AI based Video Compression with Multimodal & Semantic Priors

Institut

Lehrstuhl für Fahrzeugtechnik

Typ

Semesterarbeit / Masterarbeit /

Inhalt

 

Beschreibung

Description

Autonomous vehicles generate huge amounts of sensor data, which is semantically processed by neural networks and classical algorithms to perform the dynamic driving task.

Video data is currently the largest chunk of data transmitted. Recently, neural data compression methods have emerged as a valid alternative to classical methods such as MPEG standards. However, most of the current state-of-the-art methods in neural video compression only deal with video data. In the autonomous vehicle use case, we can assume that there is valuable side information via semantic priors (e.g. semantic segmentation methods) and multimodal information (point clouds, motion information, different camera views) that can be used to further increase the compression rate.

 

Goal

The aim of this study is to improve upon the state of the art neural compression method by leveraging structural and semantic information and beat an existing algorithmic base line

Your Role

• Literature research about current neural data compression methods as well as their evaluation

• Literature research about semantically relevant perception models, e.g. point clouds, semantic segmentation, depth prediction, IMU sensors, etc.

• Integration of semantic and multimodal methods for neural video compression

• Training and evaluation of the developed method

Depending on the type of thesis, this work can be split up in different topics

Thesis can also be completed in German

---

Beschreibung

Autonome Fahrzeuge erzeugen riesige Mengen an Sensordaten, die von neuronalen Netzen und klassischen Algorithmen semantisch verarbeitet werden, um die dynamische Fahraufgabe zu erfüllen.

Videodaten stellen derzeit den größten Anteil der übertragenen Daten dar. In letzter Zeit haben sich neuronale Datenkompressionsverfahren als Alternative zu klassischen Verfahren wie den MPEG-Standards herauskristallisiert. Die meisten der aktuellen Methoden zur neuronalen Videokompression befassen sich jedoch nur mit Videodaten. Im Anwendungsfall des autonomen Fahrzeugs können wir davon ausgehen, dass es wertvolle Nebeninformationen über semantische Priors (z. B. semantische Segmentierungsmethoden) und multimodale Informationen (Punktwolken, Bewegungsinformationen, verschiedene Kameraansichten) gibt, die zur weiteren Steigerung der Kompressionsrate genutzt werden können.

Zielsetzung

Ziel dieser Studie ist es, den Stand der Technik neuronaler Kompressionsverfahren durch die Nutzung struktureller und semantischer Informationen zu verbessern und eine bestehende algorithmische Basislinie zu übertreffen.

Ihre Aufgabe

• Literaturrecherche zu aktuellen neuronalen Datenkompressionsverfahren sowie deren Evaluierung
• Literaturrecherche zu semantisch relevanten Wahrnehmungsmodellen, z.B. Punktwolken, semantische Segmentierung, Tiefenvorhersage, IMU-Sensoren, etc.
• Integration von semantischen und multimodalen Verfahren zur neuronalen Videokompression
• Training und Evaluierung der entwickelten Methode

Je nach Art der Dissertation kann diese Arbeit in verschiedene Themen aufgeteilt werden!

Voraussetzungen

• Strong interest & motivation for autonomous driving
• Initiative & independent way of working
• Foundational understanding of statsistics and machine learning
• Programming skills, e.g. Python

If you are interested, please send me a grade sheet with your CV to niklas.krauss@tum.de :)

Verwendete Technologien

Neural Data Compression, Python, Pytorch, Machine Learning, Point Cloud, Autonomous Vehicles, Computer Vision

Tags

FTM Studienarbeit, FTM Krauss, FTM AV, FTM AV Safe Operation, FTM Informatik, FTM Teleoperation

Möglicher Beginn

sofort

Kontakt

Niklas Krauß
Raum: 3507
Tel.: +49172 1736882
niklas.krausstum.de

Ausschreibung