Teaching Cars to Hear: Development of an Acoustic Simulation Pipeline for Autonomous Vehicles
- Institut
- Professur für autonome Fahrzeugsysteme (TUM-ED)
- Typ
- Semesterarbeit Masterarbeit
- Inhalt
- experimentell
- Beschreibung
Hintergrund und Motivation
Die akustische Wahrnehmung ist ein wertvoller Sensorpfad für autonome Fahrzeuge, um verdeckte Gefahren wie herannahende Einsatzfahrzeuge frühzeitig zu erkennen (Non-Line-of-Sight). Unser Level 4 Forschungsfahrzeug EDGAR an der TUM ist dafür mit einem verteilten Mikrofon-Array (an jeder Fahrzeugecke) ausgestattet. Um dieses Setup zu testen, bevor es auf die reale Straße kommt, müssen wir unserem digitalen Zwilling vEDGAR das "Hören" in der CARLA-Simulation beibringen.
Kernziel der Arbeit
Ziel dieser Arbeit ist der Aufbau einer reinen Simulations- und Evaluations-Pipeline für das Mikrofon-Array. Echte Hardware-Aufnahmen oder die Integration in Fahrentscheidungsmodelle sind nicht expliziter Teil der Arbeit. Der Fokus liegt vollständig auf der physikalischen Plausibilisierung der synthetischen Audiodaten in der Simulationsumgebung.
Technische Umsetzung & Aufgaben
Die Pipeline verknüpft die visuelle 3D-Welt mit physikalischer Akustik:
- Szenariensimulation (CARLA): Extraktion der exakten 3D-Trajektorien und Geschwindigkeiten von vEDGAR und den Schallquellen.
- Akustische Simulation (z.B. PyRoomAcoustics): Platzierung der 8 virtuellen Mikrofone am vEDGAR-Modell.
- Signal-Synthese: Simulation von Schallausbreitung (Distanzdämpfung, Luftabsorption, Doppler-Effekt), um aus sauberen "trockenen" Audiosignalen das physikalisch korrekte 8-Kanal-Signal zu erzeugen.
- Evaluierung: Anwendung klassischer Schallquellenlokalisierungs-Algorithmen zur quantitativen Bewertung der Pipeline.
Literatur zur Orientierung
- Priest et al. (2025): Auditory Perception in Open-Source Driving Simulator CARLA
- Damiano et al. (2024): Can Synthetic Data Boost the Training of Deep Acoustic Vehicle Counting Networks?
Voraussetzungen
- Sehr gute Python-Kenntnisse.
- Interesse an autonomen Fahren, Akustik, Physik und 3D-Geometrie.
- Strukturierte und zielstrebige Arbeitsweise.
- Erste Erfahrung mit CARLA oder ROS2 ist ein Plus.
- Hohe Frustrationstoleranz.
- Spaß am Einarbeiten in neue Systeme.
Wir bieten:
- Die Möglichkeit, aktiv zur Sensorik von EDGAR beizutragen.
- Ausarbeitung in Deutsch oder Englisch.
- Bearbeitung als Team-Projekt zusammen mit KommilitonInnen möglich.
- Anwesenheit am Lehrstuhl ist möglich, aber nicht zwingend erforderlich.
Bewerbung
Sende bitte deinen Lebenslauf und eine Notenübersicht mit einer kurzen Motivation an marvin.seegert@tum.de
------------------------- English Version ------------------------Background and Motivation
Acoustic perception is a valuable sensory modality for autonomous vehicles to detect obscured hazards, such as approaching emergency vehicles, early on (Non-Line-of-Sight). Our Level 4 research vehicle EDGAR at TUM is equipped with a distributed microphone array (at each vehicle corner) for this purpose. Before testing this setup on public roads, we need to teach our digital twin vEDGAR how to "hear" in the CARLA simulation.
Core Objective
The goal of this thesis is to develop a pure simulation and evaluation pipeline for the microphone array. Real hardware recordings or integration into driving decision models are not an explicit part of this work. The focus lies entirely on the physical plausibilization of the synthetic audio data in the simulation environment.
Technical Implementation & Tasks
The pipeline connects the visual 3D world with physical acoustics:
- Scenario Simulation (CARLA): Extracting precise 3D trajectories and velocities of vEDGAR and sound sources.
- Acoustic Simulation (e.g., PyRoomAcoustics): Placing the 8 virtual microphones on the vEDGAR model.
- Signal Synthesis: Simulating sound propagation (distance attenuation, air absorption, Doppler effect) to generate the physically correct 8-channel audio signal from clean "dry" recordings.
- Evaluation: Applying classic sound source localization algorithms to quantitatively evaluate the pipeline.
Literature for Orientation
- Priest et al. (2025): Auditory Perception in Open-Source Driving Simulator CARLA
- Damiano et al. (2024): Can Synthetic Data Boost the Training of Deep Acoustic Vehicle Counting Networks?
Requirements
- Excellent Python programming skills.
- Interest in autonomous driving, acoustics, physics, and 3D geometry.
- Structured and goal-oriented work style.
- Initial experience with CARLA or ROS2 is a plus.
- High frustration tolerance.
- Enjoyment in familiarizing yourself with new systems.
What we offer:
- The opportunity to actively contribute to EDGAR's perception stack.
- The thesis can be written in German or English.
- Working as a team project (together with fellow students) is possible.
- Presence at the chair is possible, but not strictly mandatory.
Application
Please send your CV and a current transcript of records along with a brief statement of motivation to marvin.seegert@tum.de
- Tags
- AVS Seegert
- Möglicher Beginn
- September/Oktober oder nach Absprache
- Kontakt
-
Marvin Seegert
marvin.seegerttum.de