AI based Point Cloud Compression with Temporal & Semantic Priors

Institut

Lehrstuhl für Fahrzeugtechnik

Typ

Semesterarbeit / Masterarbeit /

Inhalt

 

Beschreibung

Autonomous vehicles generate huge amounts of sensor data, which is semantically processed by neural networks and classical algorithms to perform the dynamic driving task.

In particular, point clouds are difficult to compress due to the direct modelling of structure. Classical compression methods struggle to integrate the structural information necessary to compress the information strongly.

Recent research is using neural networks to learn the structural information and thus increase the compression rate. In the case of AVs, we can go one step further and use the semantic output from the vehicle's perception pipeline and other modalities such as images to further increase the compression rate.

Goal of this work:

Improve upon the state of the art neural compression method by leveraging structural and semantic information and beat an existing algorithmic base line

Your Role

• Literature research on current neural data compression methods and their evaluation

• Literature research on semantically relevant perception models, e.g. segmentation & detection methods

• Integration of semantic and multimodal methods for point cloud compression

• Training and evaluation of the developed methods

Depending on the type of thesis, this work can be split up in different topics

---

Autonome Fahrzeuge erzeugen riesige Mengen an Sensordaten, die durch neuronale Netze und klassische Algorithmen semantisch verarbeitet werden, um die dynamische Fahraufgabe zu erfüllen.

Insbesondere Punktwolken sind aufgrund der direkten Modellierung der Struktur schwer zu komprimieren. Klassische Komprimierungsmethoden haben Schwierigkeiten, die strukturellen Informationen zu integrieren, die für eine starke Komprimierung der Informationen erforderlich sind.

Neuere Forschungen verwenden neuronale Netze, um die Strukturinformationen zu lernen und so die Kompressionsrate zu erhöhen. Im Falle von hoch automatisierten Fahrzeugen können wir noch einen Schritt weiter gehen und den semantischen Output aus der Wahrnehmungspipeline des Fahrzeugs und andere Modalitäten wie Bilder nutzen, um die Kompressionsrate weiter zu erhöhen.

Ziel dieser Arbeit:

Verbesserung der aktuellen neuronalen Kompressionsmethode durch Nutzung struktureller und semantischer Informationen und Übertreffen einer bestehenden algorithmischen Basislinie

Ihre Rolle

Literaturrecherche zu aktuellen neuronalen Datenkompressionsverfahren und deren Bewertung

Literaturrecherche zu semantisch relevanten Wahrnehmungsmodellen, z.B. Segmentierungs- und Erkennungsmethoden

Integration von semantischen und multimodalen Verfahren zur Punktwolkenkompression

Training und Evaluierung der entwickelten Verfahren

Je nach Art der Dissertation kann diese Arbeit in verschiedene Themen aufgeteilt werden!

 

 

Voraussetzungen

• Strong interest & motivation for autonomous driving
• Initiative & independent way of working
• Foundational understanding of statsistics and machine learning
• Programming skills, e.g. Python

 

If you are interested, please send me a grade sheet with your CV to niklas.krauss@tum.de :)

Verwendete Technologien

Neural Data Compression, Python, Pytorch, Machine Learning, Point Cloud, Autonomous Vehicles

Tags

FTM Studienarbeit, FTM Krauss, FTM AV, FTM AV Safe Operation, FTM Informatik, FTM Teleoperation

Möglicher Beginn

sofort

Kontakt

Niklas Krauß
Raum: 3507
Tel.: +49172 1736882
niklas.krausstum.de

Ausschreibung