Automotive driver monitoring: VLM-based gaze analysis to identify attention gaps

Institut

Lehrstuhl für Fahrzeugtechnik

Typ

Bachelorarbeit / Semesterarbeit / Masterarbeit /

Inhalt

experimentell /  

Beschreibung

Hintergrund

Die Teleoperation von Fahrzeugen ist ein zukunftsweisendes Konzept für den sicheren und flexiblen Einsatz autonomer Fahrzeuge, insbesondere in komplexen oder unerwarteten Situationen. Eine zentrale Herausforderung dabei ist die effektive und intuitive Darstellung der Fahrzeugumgebung für den Operator. Hier setzt unser Forschungsprojekt an: Durch die Integration von Virtual Reality (VR) und Eye-Tracking sollen kritische Verkehrssituationen identifiziert und Operatoren gezielt auf übersehene Gefahren hingewiesen werden.
Im Zentrum des Projekts steht die Entwicklung einer immersiven VR-Umgebung, in der Blickverhalten, Kamerabilder und optional auch Telemetriedaten kombiniert dargestellt werden. Ein Vision Language Model (VLM) dient dabei als zentrales Modul zur semantischen Interpretation der Szene. Ziel ist es, Ablenkungen oder Aufmerksamkeitsdefizite des Nutzers zu erkennen und kontextabhängig Hinweise auf übersehene Gefahrensituationen zu geben.

 

Deine Rolle

• Aufbau und Konfiguration des VR-Setups (VR-Brille, CARLA-Simulator)
• Mitgestaltung und Entwicklung der VR-Umgebung (Unity)
• Integration von Gaze-Daten und Videofeeds
• Unterstützung bei der Studiendurchführung mit Proband*innen
• Unterstützung bei der Evaluation und Analyse der Ergebnisse

Voraussetzungen

Was solltest du mitbringen?

• Starkes Interesse & Motivation für das autonome Fahren und VR
• Eigeninitiative & selbstständige Arbeitsweise
• Optional: Erfahrung mit Unity & ROS2 oder CARLA
• Programmierkenntnisse, z. B. C+#/C++

Tags

FTM Studienarbeit, FTM AV, FTM AV Safe Operation, FTM Trautmannsheimer, FTM Informatik, FTM IDP

Möglicher Beginn

sofort

Kontakt

Ines Trautmannsheimer, M.Sc.
Tel.: 089 289 10422
ines.trautmannsheimertum.de

Ausschreibung