A VLM-Based Scenario Analysis of Autonomous Driving
- Institut
- Professur für autonome Fahrzeugsysteme
- Typ
- Bachelorarbeit Semesterarbeit Masterarbeit
- Inhalt
- experimentell theoretisch
- Beschreibung
Hintergrund
Die Entwicklung und Validierung autonomer Fahrsysteme basiert zunehmend auf szenariobasierten Tests mit Simulation in the Loop und Hardware in the Loop. Tools wie CommonRoad bieten eine breite Palette realitätsnaher Verkehrsszenarien – von urbanen und ländlichen Umgebungen bis hin zu Autobahnen – die dynamische Hindernisse, komplexe Straßennetze und vielfältige Zielregionen abbilden. Herkömmliche Simulationsmethoden berücksichtigen dabei oft nicht alle sicherheitskritischen Ereignisse, die aus komplexen Wechselwirkungen zwischen Fahrzeugen, Umweltfaktoren und dem Verkehrsfluss resultieren.
Um diese Lücke zu schließen, schlagen wir den Einsatz von Vision-Language Models (VLMs) vor. Diese innovativen Modelle kombinieren visuelle Wahrnehmung und Sprachverarbeitung, um sicherheitsrelevante Ereignisse präzise zu erkennen und zu klassifizieren – sodass sowohl offensichtliche als auch subtile Gefahrenlagen systematisch identifiziert werden können.
Zielsetzung
Das primäre Ziel dieses Projekts ist die Verbesserung der Sicherheitsevaluierung autonomer Fahrsysteme durch den Einsatz von VLMs zur Identifizierung sicherheitskritischer Szenarien im CommonRoad-Framework.
Wir bieten:
- Ein spannendes und zukunftsorientiertes Forschungsumfeld.
- Die Möglichkeit, mit einem hochmodernen Software-Stack für autonomes Fahren zu arbeiten.
- Die Option, wissenschaftliche Ergebnisse zu veröffentlichen (bei entsprechender Eignung).
- Flexible Betreuung sowie die Durchführung der Arbeit in Deutsch oder Englisch.
Anforderungen (Was Sie mitbringen sollten):
- Eigeninitiative und eine kreative, problemlösungsorientierte Denkweise.
- Sehr gute Deutsch- oder Englischkenntnisse.
- Fortgeschrittene Kenntnisse in Python oder C++.
- Erfahrung im Bereich Maschinelles Lernen, insbesondere mit Vision-Language Models ist von Vorteil.
- Kenntnisse in der Bewegungsplanung sind von Vorteil.
- Vertrautheit mit Verkehrssimulations-Tools wie CommonRoad ist wünschenswert.
- Kenntnisse in Softwareentwicklungstools wie Git und Ubuntu sind von Vorteil.
Die Arbeit kann ab sofort begonnen werden. Wenn Dich das Thema interessiert, sende bitte eine E-Mail mit einem kurzen Anschreiben, in dem Du erläuterst, warum Dich dieses Thema fasziniert, einem aktuellen Leistungsnachweis sowie Deinem Lebenslauf an: yuan_avs.gao@tum.de.
--------------------------------------------------- ENGLISH VERSION ---------------------------------------------------
Background
The development and validation of autonomous driving systems increasingly rely on scenario-based testing with simulation in the loop and hardware in the loop. Tools such as CommonRoad offer a wide range of realistic traffic scenarios—from urban and rural environments to highways—that incorporate dynamic obstacles, complex road networks, and diverse goal regions. However, conventional simulation methods often fail to capture all safety-critical events that arise from complex interactions among vehicles, environmental factors, and traffic flow.
To address this gap, we propose the use of Vision-Language Models (VLMs). These innovative models combine visual perception with natural language processing to accurately detect and classify safety-relevant events, enabling the systematic identification of both overt and subtle hazardous conditions.
Objective
The primary objective of this project is to enhance the safety evaluation of autonomous driving systems by employing VLMs to identify safety-critical scenarios within the CommonRoad framework.
We Offer:
- An exciting and forward-looking research environment.
- The opportunity to work with a state-of-the-art software stack for autonomous driving.
- The possibility to publish scientific results (subject to merit).
- Flexible supervision and the option to conduct the work in either German or English.
Requirements (What You Should Bring):
- Initiative and a creative, problem-solving mindset.
- Excellent proficiency in either German or English.
- Advanced knowledge of Python or C++.
- Experience in machine learning, particularly with Vision-Language Models; familiarity with motion planning is an advantage.
- Familiarity with traffic simulation tools such as CommonRoad is desirable.
- Proficiency with software development tools such as Git and Ubuntu is advantageous.
Work can begin immediately. If you are interested in this topic, please send an email with a brief cover letter explaining why you are fascinated by this subject, along with a current transcript of records and your resume, to: yuan_avs.gao@tum.de.
- Tags
- AVS Gao
- Möglicher Beginn
- sofort
- Kontakt
-
Yuan Gao
yuan_avs.gaotum.de