Entwicklung eines echtzeitfähigen neuronalen Videocodecs

Institut

Lehrstuhl für Fahrzeugtechnik

Typ

Semesterarbeit / Masterarbeit /

Inhalt

 

Beschreibung

In den letzten 30 Jahren wurden viele Fortschritte in der Videokompression gemacht. Diese Codecs ermöglichen die Übertragung großer Videomengen über das Netz. Während sich die Leistung der Codecs in Bezug auf die Komprimierung ständig verbessert hat, stößt sie in Bezug auf die Recheneffizienz an ihre Grenzen. Ein Videocodec kann als Kombination verschiedener raum-zeitlich linearer Autoencoder aufgefasst werden. Diese Codecs übertragen in der Regel Bilder und deren zeitliche Residuen über das Netzwerk. In den letzten acht Jahren haben sich neuronale Videocodecs als Herausforderer der sorgfältig entwickelten Codec-Standards erwiesen. Diese neuronalen Codecs und neuere Architekturen erreichen für relevante Datensätze eine bessere Kompressionsleistung als selbst die neuesten Videocodec-Standards wie H.266. Leider sind diese derzeit noch nicht echtzeitfähig, was in dieser Arbeit verbessert werden soll.

In dieser Arbeit soll eine Methode für die Echtzeitfähige Inferenz mittels Neuronaler Videocodecs entwickelt, implementiert und evaluiert werden.

---

Many advances have been made in video compression over the last 30 years. These codecs enable the transmission of large amounts of video over the network. While the performance of codecs in terms of compression has constantly improved, it has reached its limits in terms of computational efficiency. A video codec can be understood as a combination of different spatio-temporal linear autoencoders. These codecs usually transmit images and their temporal residuals over the network. Over the last eight years, neural video codecs have emerged as a challenger to the carefully developed codec standards. These neural codecs and newer architectures achieve better compression performance for relevant data sets than even the latest video codec standards such as H.266. Unfortunately, they are currently not yet real-time capable, which will be improved in this work.

In this thesis, a method for real-time inference using neural video codec will be developed, implemented and evaluated.

 

Partials of this work can also be a BA / SA!

 

Voraussetzungen

Deine Rolle

- Literaturrecherche: Sichtung der Literatur zu den bestehenden Methoden der neuronalen Videokompression, Neuronaler Architecture Search, Pruning / Student/- Teacher Methoden

- Entwicklung & Implementierung: Einer echtzeitfähigen Netzarchitektur mittels bestehender Methoden basierend auf dem Stand der Technik

- Validation & Evaluation: Validierung des Netzes und Bewertung anhand von KPIs gegen Standard Videocodecs sowie den aktuellen Stand der Technik

Was solltest du mitbringen?

- Starkes Interesse & Motivation für das maschinelle Lernen und Videocodierung

- Eigeninitiative & selbstständige Arbeitsweise

- Programmierkenntnisse in Python (Präferable Vorkenntnisse in Pytorch/Tensorflow)

- Grundlagen Statistik sowie der Informationstheorie

 

This work can also be completed in German.

i Interesse, gerne einen Leistungsnachweis und einen aktuellen Lebenslauf an die Email-Adresse niklas.krauss@tum.de schicken! Ich kann Ihnen auch gerne Startliteratur zukommen lassen. 

 

---

Your Role

- Literature review: Review of the literature on existing methods of neural video compression, neural architecture search, pruning / student/teacher methods

- Development & Implementation: A real-time capable network architecture using existing methods based on the state of the art

- Validation & Evaluation: Validation of the network and evaluation using KPIs against standard video codecs and the current state of the art

Your Skills / Motivation:

- Good foundation in Information Theory and Statistics - Proficiency in Python

- Advanced Knowledge in Machine Learning specifically computer vision

- (Advantage) Foundational knowledge of standard video codecs

If you are interested or have any questions, please send me an e-mail (niklas.krauss@tum.de) with your CV and a current transcript of your records, thank you! 

 

 

 

Verwendete Technologien

Python, Neural Networks, PyTorch, Video Codecs, Informationstheorie

Tags

FTM Studienarbeit, FTM AV, FTM AV Safe Operation, FTM Krauss, FTM Informatik

Möglicher Beginn

sofort

Kontakt

Niklas Krauß
Raum: 3507
Tel.: +49172 1736882
niklas.krausstum.de

Ausschreibung