Decision Making for Real-World Autonomous Vehicles

Institute

Professur für autonome Fahrzeugsysteme

Type

Semester Thesis / Master's Thesis /

Content

 

Description

MA, SA, ...

Die Entwicklung autonomer Fahrzeuge (AV) ist weiterhin mit Herausforderungen konfrontiert, insbesondere im Umgang mit komplexen, unvorhersehbaren oder sicherheitskritischen Verkehrssituationen, den sogenannten "Edge Cases". Das Decision Making (Entscheidungsfindung) und Planning (Bewegungsplanung) sind zentrale Komponenten eines jeden autonomen Systems und müssen Robustheit, Sicherheit sowie einen hohen Fahrkomfort gewährleisten.

Die jüngsten Durchbrüche bei Large Language Models (LLMs) und Vision Language Models (VLMs) bieten neue Möglichkeiten, das Verständnis komplexer Verkehrssituationen zu verbessern und erklärbare, menschlich-interpretierbare Entscheidungen zu treffen. Diese Modelle könnten das textuelle Wissen (z.B. Verkehrsregeln, menschliches Fahrwissen) und visuelle Kontextinformationen (von Kameras und Sensoren) kombinieren, um die Lücken in traditionellen, regelbasierten oder rein datengesteuerten AV-Systemen zu schließen.

Ziel dieser Arbeit ist es, die Potenziale von LLMs und/oder VLMs zur Verbesserung des Decision Making und der Situationsbewertung im modularen Software-Stack Autoware für das autonome Fahren zu untersuchen und prototypisch zu implementieren.

Abhängig vom spezifischen Fokus und Interesse, können sich zwei Hauptrichtungen ergeben, die die Grundlage für die detaillierten Aufgaben bilden:

• Fokus 1: Intelligentes Decision Making/Planning Dieser Fokus untersucht, wie LLMs/VLMs direkt in den Entscheidungsprozess eingreifen können, um menschlich-ähnlichere oder kontextsensitivere Fahrentscheidungen zu treffen, oder wie sie zur Optimierung existierender Motion Planner beitragen können (z.B. zur Verbesserung des Fahrkomforts).

• Fokus 2: Detektion von Edge Cases und Fehlerhaftem Verhalten Dieser Fokus untersucht, wie LLMs/VLMs genutzt werden können, um die Robustheit und Sicherheit des AV-Systems zu erhöhen, indem sie anomale Situationen oder Fehler im AV-Verhalten erkennen und beschreiben.

Neben einer primären Arbeit mit aufgezeichneten Daten und Simulationsdaten ist die Validierung in unserem Level 4 Forschungsfahrzeug EDGAR ein klares Ziel der Arbeit

------------------------- English Version ------------------------

The development of Autonomous Vehicles (AVs) continues to face challenges, particularly in handling complex, unpredictable, or safety-critical traffic scenarios, known as "Edge Cases". Decision Making and Planning are central components of every autonomous system and must ensure robustness, safety, and a high level of driving comfort.

Recent breakthroughs in Large Language Models (LLMs) and Vision Language Models (VLMs) offer new possibilities for improving the understanding of complex traffic situations and enabling explainable, human-interpretable decisions. These models could combine textual knowledge (e.g., traffic rules, human driving expertise) and visual context information (from cameras and sensors) to close the gaps in traditional, rule-based, or purely data-driven AV systems.

The goal of this work is to investigate the potential of LLMs and/or VLMs for improving decision making and situational awareness within a modular software stack like Autoware for autonomous driving, and to implement a prototype.

Depending on the specific focus and interest, two main directions may emerge, forming the basis for the detailed tasks:

• Focus 1: Intelligent Decision Making/Planning This focus investigates how LLMs/VLMs can directly intervene in the decision-making process to make more human-like or context-sensitive driving decisions, or how they can contribute to the optimization of existing Motion Planners (e.g., to improve driving comfort).

• Focus 2: Detection of Edge Cases and Faulty Behavior This focus investigates how LLMs/VLMs can be utilized to increase the robustness and safety of the AV system by detecting and describing anomalous situations or faults in AV behavior.

In addition to working primarily with recorded and simulated data, deployment and validation on our Level 4 research vehicle EDGAR is a clear objective of this work.

Requirements

Mitbringen solltest du:

• Grundkenntnisse des autonomen Fahrens (z.B. entsprechende VL besucht)
• Programmierkenntnisse in Python und/oder Grundkenntnisse in C++
• Gute Deutsch- oder Englischkenntnisse
• Hohe Lernbereitschaft
• Frustrationstoleranz
• Erste Erfahrungen mit ROS2 oder Autoware sind ein plus

Wir bieten:

• Möglichkeit ein autonomes Fahrzeug hautnah zu erleben
• Individuelle Betreuung
• Spannendes und unerforschtes Forschungsfeld
• Ausarbeitung in Deutsch oder Englisch
• Alle Arbeitsmittel vorhanden
• Anwesenheit am Lehrstuhl möglich, aber nicht erforderlich
• Unmittelbarer Beginn der Forschungsarbeit möglich

Falls du Lust hast, zusammen mit deinen KommilitonInnen an einem gemeinsamen Projekt zu arbeiten, bewerbt euch gerne gemeinsam. Die Bearbeitung als als Team-Projekt ist möglich.

Bei Interesse melde dich gerne unter marvin.seegerttum.de. Für eine vollständige Bewerbung sende bitte deinen Lebenslauf und eine aktuelle Notenübersicht zusammen mit einer kurzen Beschreibung deiner Motivation für das Thema.

 

------------------------- English Version ------------------------

What you should bring:

• Basic knowledge of autonomous driving (e.g., relevant lectures/courses attended)
• Programming skills in Python and/or basic knowledge of C++
• Good proficiency in German or English
• High willingness to learn
• Frustration tolerance
• Initial experience with ROS2 or Autoware is a plus

 

What we offer:

• The opportunity to experience an autonomous vehicle up close
• Individual supervision
• An exciting and unexplored field of research
• Thesis/project can be written in German or English
• All necessary work equipment is provided
• Presence at the chair is possible, but not mandatory
• Immediate start of the research work is possible

If you are interested in working with your fellow students on a joint project, you are welcome to apply together. Processing the thesis/project as a team project is possible.

If interested, please contact marvin.seegerttum.de. For a complete application, please send your CV and a current transcript of records along with a brief description of your motivation for the topic.

 

Tags

AVS Seegert

Possible start

sofort

Contact

Marvin Seegert
marvin.seegerttum.de