Training and Validation of Visual Perception Functions for Autonomous Driving with Synthetic Data

This work deals with the usability of synthetically generated data for training and validation of visual perception functions applied in autonomous driving. Synthetically generated images allow the creation of safety critical scenarios which are potentially dangerous to capture in the real-world and additionally deliver pixel perfect ground truth annotations. However, applying synthetic images to perception functions trained on real-world data poses the problem of bridging the domain gap. This is true for both training and validating with synthetic images. Therefore, the domain gap has to be sufficiently understood to generate synthetically images viable to be used for training and validation.
A new domain discrepancy metric is introduced and applied to optimize the parameters of a realistic sensor simulation effectively reducing the domain gap. Several influence factors on the domain gap are disentangled. The visual detection impairing factors are introduced and shown to have a high influence on the detectability of pedestrians. Additionally, these factors are used to calibrate a weighting loss function to increase the perception performance on real-world pedestrians.
New methods for perception validation are introduced. The deep variational data synthesis and the classification of visual detection impairing factors. While the former method searches for perception faults by parameterized probabilistic image creation, the latter method detects perception faults by the disagreement of a detectability classifier and the actual detection result.
The findings of both training and validating were influencing the creation of two synthetic validation datasets, VALERIE and SynPeDS.

Diese Arbeit befasst sich mit der Nutzbarkeit synthetisch erzeugter Daten für das Training und die Validierung visueller Wahrnehmungsfunktionen beim autonomen Fahren. Synthetisch erzeugte Bilder ermöglichen die Erstellung sicherheitskritischer Szenarien, die in der realen Welt potenziell gefährlich zu erfassen sind, und liefern zusätzlich pixelgenaue Ground-Truth Annotationen. Bei der Anwendung synthetischer Bilder auf Wahrnehmungsfunktionen, die anhand von realen Daten trainiert wurden, stellt sich jedoch das Problem der Überbrückung der Domänenlücke. Dies gilt sowohl für das Training als auch für die Validierung mit synthetischen Bildern. Daher muss die Domänenlücke hinreichend verstanden werden, um synthetische Bilder zu erzeugen, die für das Training und die Validierung verwendet werden können.
Es wird eine neue Diskrepanzmetrik eingeführt und angewendet, um die Parameter einer realistischen Sensorsimulation zu optimieren und die Domänenlücke effektiv zu reduzieren. Mehrere Einflussfaktoren auf die Domänenlücke werden hierzu untersucht. Die Faktoren, welche die visuelle Erkennung beeinträchtigen, werden vorgestellt und es wird gezeigt, dass sie einen großen Einfluss auf die Erkennbarkeit von Fußgängern haben. Aus den Erkenntnissen dieser Einflussfaktorenanalyse konnte ein Kalibrierungsverfahren einer gewichteten Verlustfunktion entwickelt werden, um die Wahrnehmungsleistung bei realen Fußgänger zu erhöhen.
Neue Methoden zur Validierung werden vorgestellt. Die Erkenntnisse aus Training und Validierung flossen ein in die Erstellung von zwei synthetischen Validierungsdatensätzen, VALERIE und SynPeDS.

Logo KCSS

KCSS

Rechte

Nutzung und Vervielfältigung:


CC BY 4.0

Bitte beachten Sie, dass einzelne Bestandteile der Publikation anderweitigen Lizenz- bzw. urheberrechtlichen Bedingungen unterliegen können.

Zitieren

Zitierform:
Zitierform konnte nicht geladen werden.