AI based Video Compression with Multimodal & Semantic Priors
- Institut
- Lehrstuhl für Fahrzeugtechnik
- Typ
- Semesterarbeit Masterarbeit
- Inhalt
- Beschreibung
Description
Autonomous vehicles generate huge amounts of sensor data, which is semantically processed by neural networks and classical algorithms to perform the dynamic driving task.
Video data is currently the largest chunk of data transmitted. Recently, neural data compression methods have emerged as a valid alternative to classical methods such as MPEG standards. However, most of the current state-of-the-art methods in neural video compression only deal with video data. In the autonomous vehicle use case, we can assume that there is valuable side information via semantic priors (e.g. semantic segmentation methods) and multimodal information (point clouds, motion information, different camera views) that can be used to further increase the compression rate.
Goal
The aim of this study is to improve upon the state of the art neural compression method by leveraging structural and semantic information and beat an existing algorithmic base line
Your Role
-
Literature research about current neural data compression methods as well as their evaluation
-
Literature research about semantically relevant perception models, e.g. point clouds, semantic segmentation, depth prediction, IMU sensors, etc.
-
Integration of semantic and multimodal methods for neural video compression
-
Training and evaluation of the developed method
Depending on the type of thesis, this work can be split up in different topics
Thesis can also be completed in German
Beschreibung
Autonome Fahrzeuge erzeugen riesige Mengen an Sensordaten, die von neuronalen Netzen und klassischen Algorithmen semantisch verarbeitet werden, um die dynamische Fahraufgabe zu erfüllen.
Videodaten stellen derzeit den größten Anteil der übertragenen Daten dar. In letzter Zeit haben sich neuronale Datenkompressionsverfahren als Alternative zu klassischen Verfahren wie den MPEG-Standards herauskristallisiert. Die meisten der aktuellen Methoden zur neuronalen Videokompression befassen sich jedoch nur mit Videodaten. Im Anwendungsfall des autonomen Fahrzeugs können wir davon ausgehen, dass es wertvolle Nebeninformationen über semantische Priors (z. B. semantische Segmentierungsmethoden) und multimodale Informationen (Punktwolken, Bewegungsinformationen, verschiedene Kameraansichten) gibt, die zur weiteren Steigerung der Kompressionsrate genutzt werden können.
Zielsetzung
Ziel dieser Studie ist es, den Stand der Technik neuronaler Kompressionsverfahren durch die Nutzung struktureller und semantischer Informationen zu verbessern und eine bestehende algorithmische Basislinie zu übertreffen.
Ihre Aufgabe
- Literaturrecherche zu aktuellen neuronalen Datenkompressionsverfahren sowie deren Evaluierung
- Literaturrecherche zu semantisch relevanten Wahrnehmungsmodellen, z.B. Punktwolken, semantische Segmentierung, Tiefenvorhersage, IMU-Sensoren, etc.
- Integration von semantischen und multimodalen Verfahren zur neuronalen Videokompression
- Training und Evaluierung der entwickelten Methode
Je nach Art der Dissertation kann diese Arbeit in verschiedene Themen aufgeteilt werden!
-
- Voraussetzungen
- Strong interest & motivation for autonomous driving
- Initiative & independent way of working
- Foundational understanding of statsistics and machine learning
- Programming skills, e.g. Python
If you are interested, please send me a grade sheet with your CV to niklas.krauss@tum.de :)
- Verwendete Technologien
- Neural Data Compression, Python, Pytorch, Machine Learning, Point Cloud, Autonomous Vehicles, Computer Vision
- Tags
- FTM Studienarbeit, FTM Krauss, FTM AV, FTM AV Safe Operation, FTM Informatik, FTM Teleoperation
- Möglicher Beginn
- sofort
- Kontakt
-
Niklas Krauß
Raum: 3507
Tel.: +49172 1736882
niklas.krausstum.de - Ausschreibung
-