VLM-based Motion Prediction for Autonomous Driving

Institute

Lehrstuhl für Fahrzeugtechnik

Type

Semester Thesis / Master's Thesis /

Content

experimental / theoretical /  

Description

Die Verhaltensprädiktion umliegender Verkehrsteilnehmer sind eine zentrale Voraussetzung für autonomes Fahren im urbanen Umfeld. Aktuelle Verfahren stützen sich in der Regel auf vergangene Bewegungs- und Karteninformationen, um die Bewegungen von Fahrzeugen, Radfahrern und Fußgängern vorherzusagen. Obwohl diese Ansätze fundierte Vorannahmen nutzen, bleibt die Berücksichtigung kontextueller Informationen der Szene vielfach unzureichend– etwa Ampelsignale, Blinker oder dynamische Interaktionen –, die menschliche Fahrer selbstverständlich in ihre Entscheidungsfindung einbeziehen. Dadurch können Prädiktionsmodelle insbesondere in komplexen städtischen Situationen versagen, in denen der Kontext eine entscheidende Rolle spielt.

Diese Arbeit soll untersuchen, inwieweit Vision-Language-Modelle (VLMs) genutzt werden können, um visuelle Kontexte aus Fahrzeugkameras in Prädiktionssysteme einzubetten. Ziel ist es, Embeddings aus VLMs zu extrahieren, die sowohl statische (z. B. Straßenlayout, Verkehrsschilder) als auch dynamische (z. B. blinkende Fahrzeuge, querende Fußgänger) Informationen erfassen, und diese als zusätzliche Eingabemerkmale in ein Prädiktionsmodell zu integrieren. Durch die Verankerung der Prädiktion in umfassenderen Kontextinformationen soll die Robustheit und Genauigkeit der Trajektorienvorhersage in realen Fahrszenarien verbessert werden.

Requirements

Requirements:

• Very good programming skills in Python.

• High personal motivation and independent working style.

• Very good language proficiency in German, English or French.

Software

Python

Tags

FTM AV, FTM AV Perception, FTM Stratil, FTM Informatik

Possible start

sofort

Contact

Loïc Stratil, M.Sc.
Room: MW 3508
Phone: +49.89.289.15898
loic.stratiltum.de

Announcement