Generierung sicherheitskritischer Szenarien basierend auf LLMs
- Institut
- Professur für autonome Fahrzeugsysteme
- Typ
- Bachelorarbeit Semesterarbeit Masterarbeit
- Inhalt
- experimentell theoretisch
- Beschreibung
[For English version see below.]
Hintergrund
Die Validierung und Entwicklung des autonomen Fahrens basiert stark auf szenariobasierten Tests mit Simulation in the Loop und Hardware in the Loop. Tools wie CommonRoad, CARLA und SUMO sind essenziell für die Simulation realer Verkehrsszenarien geworden. Während CARLA häufig zur Generierung von Szenarien für das Training von Reinforcement-Learning-Agenten (RL) verwendet wird und SUMO in der Erstellung von städtischen Verkehrsplänen herausragt, sind die Szenarien von CommonRoad darauf ausgelegt, eine realistische und herausfordernde Testumgebung für Bewegungsplanungsalgorithmen zu bieten. Diese Szenarien decken eine Vielzahl von Fahrsituationen mit statische und dynamische Hindernisse, Straßennetze und Zielbereiche ab, darunter städtische, ländliche und Autobahnumgebungen.
Trotz seiner Robustheit bleibt die Generierung neuer, sicherheitskritischer Szenarien in CommonRoad eine komplexe Aufgabe. Traditionelle Methoden beinhalten häufig manuelle Erstellung oder grafische Benutzeroberflächen, was zeitaufwändig ist und nicht alle potenziellen Edge Cases abdecken kann. Der Einsatz von Large Language Models (LLMs) zur Generierung solcher Szenarien könnte die Vielfalt und Kritikalität der Testfälle verbessern und so eine umfassendere Bewertung der Bewegungsplanungsalgorithmen ermöglichen.
Zielsetzung
Das primäre Ziel dieses Projekts ist die Erforschung, wie LLMs zur Generierung sicherheitskritischer Szenarien im CommonRoad-Framework eingesetzt werden können. Insbesondere wird das Projekt:
- Ein Framework entwickeln, um Szenarien direkt mit der Domain Specific Language (DSL) von CommonRoad zu generieren.
- Einen LLM-basierten Szenarien-Generator unter Verwendung von Prompt-Engineering-Techniken entwickeln.
- Sicherstellen, dass die generierten Szenarien vordefinierte sicherheitskritische Metriken wie Kollisionswahrscheinlichkeit, Beinahe-Unfälle und gefahrenträchtige Bedingungen erfüllen.
Wir bieten:
- Ein spannendes und zukunftsorientiertes Forschungsumfeld
- Arbeiten mit einem hochmodernen Software-Stack für autonomes Fahren
- Möglichkeit der Veröffentlichung als wissenschaftliches Paper (bei Eignung)
- Ausarbeitung auf Deutsch oder Englisch möglich
Anforderungen (Was Sie mitbringen sollten):
- Eigeninitiative und eine kreative, problemlösungsorientierte Denkweise
- Sehr gute Englisch- oder Deutschkenntnisse
- Fortgeschrittene Kenntnisse in Python oder C++
- Kenntnisse im Bereich Maschinelles Lernen, insbesondere Large Language Models, sind von Vorteil
- Vertrautheit mit Verkehrssimulations-Tools wie CommonRoad ist von Vorteil
- Erfahrung mit Softwareentwicklungstools wie Git und Ubuntu ist wünschenswert
Die Arbeit kann ab sofort begonnen werden. Wenn das Thema Dein Interesse geweckt hat, schicke einfach eine E-Mail mit einem kurzen Anschreiben, warum Dich das Thema interessiert, einem aktuellen Leistungsnachweis sowie Lebenslauf an yuan_avs.gao@tum.de.
--------------------------------------------------- ENGLISH VERSION ---------------------------------------------------
Background
The validation and development of autonomous driving heavily rely on scenario-based testing with simulation in the loop and hardware in the loop. Tools like CommonRoad, CARLA, and SUMO have become essential in simulating real-world traffic scenarios. While CARLA is commonly used for generating scenarios to train Reinforcement Learning (RL) agents, and SUMO excels in creating urban traffic plans, CommonRoad's scenarios are meticulously designed to represent a wide range of driving situations, including urban, rural, and highway environments. These scenarios incorporate static and dynamic obstacles, road networks, and goal regions, providing a realistic and challenging testing ground for motion planning algorithms.
Despite its robustness, generating new, safety-critical scenarios within CommonRoad remains a complex task. Traditional methods often involve manual design or graphical user interfaces, which can be time-consuming and may not cover all potential edge cases. Leveraging Large Language Models (LLMs) to generate such scenarios could enhance the diversity and criticality of test cases, providing a more comprehensive evaluation of motion planning algorithms.
Objective
The primary objective of this project is to explore how LLMs can be used to generate safety-critical scenarios within the CommonRoad framework. Specifically, the project will:
- Develop a framework to generate scenarios directly with CommonRoad’s domain-specific language (DSL).
- Develop an LLM-based scenario generator using prompt engineering techniques.
- Ensure that the generated scenarios meet predefined safety-critical metrics such as collision probability, near-miss events, and hazard-prone conditions.
We Offer:
- A dynamic and future-oriented research environment.
- Hands-on experience with a state-of-the-art software stack for autonomous driving.
- Opportunity to publish a scientific paper (based on merit).
- Thesis work can be conducted in English or German.
Requirements (What You Should Bring):
- Initiative and a creative, problem-solving mindset
- Excellent English or German proficiency
- Advanced knowledge of Python or C++
- Knowledge of Machine Learning, specifically Large Language Models, is an advantage
- Familiarity with traffic simulation tools like CommonRoad is an advantage
- Experience with software development tools such as Git and Ubuntu is desirable
Work can begin immediately. If you are interested, simply send an email with a brief cover letter explaining what fascinates you about this topic, a current academic transcript, and a resume to yuan_avs.gao@tum.de.
- Tags
- AVS Gao
- Möglicher Beginn
- sofort
- Kontakt
-
Yuan Gao
yuan_avs.gaotum.de