2023

Abstract: Sensor fusion is one of the trend topics in the automotive field, which aims to achieve robustness by relying on the information from different sensors. But to achieve further progress in this field, the availability or generation of multimodal data under different contexts is a vary important topic. In this paper we focus in the description of the necessary methodologies to generate such data considering Long-Range Automated Valet Driving scenarios, involving a combination of urban and indoor driving scenarios, we devised two distinct methods. For the initial approach, we utilized the installations present in the ISAFE Indoor Testing Facility at CARISSMA (Technische Hochschule Ingolstadt) to gather data for situations in severe environments and supply the necessary references. The second approach involves producing data from real-life situations using the prototyping vehicle of Expleo Germany GmbH. To accomplish this, we equipped the vehicle with various sensors and examined techniques from the latest technological developments to decrease the burden of dataset generation while meeting sensor fusion’s demands. In this work, we present both approaches and our results for the methods employed to establish our data generation pipeline.

Zusammenfassung: In diesem Beitrag wird ein Gesamtsystem zur skalierbaren Erstellung von Trainingsdaten für das maschinelle Lernen im Kontext des automatisierten Fahrens vorgestellt. Unter Verwendung einer hochgenauen Lokalisierung in verifizierten HD-Karten und mithilfe von Sensor- Projektionsmodellen können semantische Kartenmerkmale in die verschiedenen Sensordomänen rückprojiziert werden. Hierdurch entsteht eine Korrespondenz von statischen Kartenmerkmalen und den entsprechenden Messaufnahmen, welche für das Training von neuronalen Netzen verwendet werden können. Durch Mehrfachbefahrungen und eine Multi-Drive-Kartierung kann die Anzahl der Trainingsdaten nach Belieben skaliert werden. Durch die Methode lassen sich statische Kartenmerkmale wie Fahrbahnlinien und Straßenmarkierungen automatisiert annotieren. Es werden Verfahren vorgestellt, um sowohl mit statischen Verdeckungen, wie Pfosten, als auch mit dynamischen Verdeckungen, wie Fahrzeuge oder Fußgänger, umzugehen.

Für die Umsetzung der Methode wurde mit dem Versuchsfahrzeug BerthaOne ein Datensatz in den Städten Karlsruhe und Sindelfingen aufgenommen. Dieser besteht aus mindestens 20 Kilometern Strecke und umfasst 4 Befahrungen pro Strecke. Anhand dieses Datensatzes wird das System und die Qualität der erzeugten Trainingsdaten qualitativ evaluiert.

Zusammenfassung: Die zeitliche und räumliche Verfolgung anderer Verkehrsteilnehmer ist ein essentieller Bestandteil automatisierter und vernetzter Fahrzeuge sowie vernetzter Infrastruktursensorsysteme und wird häufig mit Random-Finite-Set-basierten Methoden gelöst. Dabei stellt die Assoziation der beobachteten Objekte mit den Messungen insbesondere im Multisensorfall eine große algorithmische Herausforderung dar. Dieser Artikel fasst die wissenschaftlich beschriebenen Lösungsmethoden hierfür zusammen und ordnet insbesondere die in letzter Zeit an unserem Institut entwickelten parallelisierbaren Methoden auf Basis der Bayes-Parallel-Combination-Rule in den wissenschaftlichen Kontext ein. Letztere betrachten wir tiefergehend und diskutieren offene Fragestellungen und potenzielle Lösungsansätze.

Abstract: Decision-making in interactive traffic situations is a challenging task for automated vehicles. Reinforcement learning (RL) is a promising approach to learn a driving policy from interactions with a simulator or from real driving data. However, reinforcement learning often requires many interactions with the environment and can have difficulties with generalization to unseen situations. To resolve these problems, we propose to use physics-informed deep learning to regularize the RL algorithm with a driver model. In our evaluation we show that this approach leads to improved sample efficiency and better generalization to more challenging scenarios.

Abstract: Deep neural networks (DNN) have demonstrated remarkable performance in various tasks related to automated driving. However, one significant obstacle hindering their application in automated driving systems is the occurrence of false positive detections. In our context, false positive detections are referred to as ghost detections, wherein the DNN mistakenly identifies parts of the scene as objects. In this work, we explore the prospect of leveraging uncertainty modeling to effectively minimize ghost detections. We propose a method that builds on an instance segmentation framework that better separates true positive from false positive distributions than state-of-the-art methods. This method integrates the Intermediate Layer Variational Inference (ILVI) approach and Dirichlet Distributions into an instance segmentation network. Our experimental results demonstrate that our proposed method not only enhances instance and semantic segmentation performance but also improves uncertainty estimation. Leveraging significantly improved uncertainty estimation, we investigate the potential of thresholding on uncertainty to reduce the occurrence of ghost detections, thereby enhancing both precision and recall performance.

Abstract: For a reliable detection and classification of vulnerable road users in modern automotive radar systems, the latest research introduces machine-learning (ML) based algorithms. However, suitable training datasets for ML systems based on real-world radar measurements are rarely available or lack specific raw radar data. Different approaches based on transfer-learning methods from data generated by a simulation framework for the range-Doppler-representation of radar measurement data are researched. In particular, influences of dataset size and sample quality, as well as different transfer learning approaches concerning the performance of the ML system in the radar data domain, are examined.

Zusammenfassung: Dieser Artikel präsentiert eine integrierte Trajektorienplanung und Regelung für Verkehrsszenarien in denen Interaktion mit Fahrzeugen, die von Menschen gefahren werden, erforderlich ist. Für eine sichere Bewegungsplanung berücksichtigt die vorgeschlagene Methode die Interaktion zwischen dem automatisierten Fahrzeug und anderen Fahrzeugen anhand der Spieltheorie. Das Framework umfasst ein neuartiges inverses Differentialspiel basierend auf einer LSTM Architektur, um die Zielfunktion des menschlichen Fahrers online zu schätzen. Diese Schätzung wird dann von einem spieltheoretischen prädiktiven Regler genutzt, um die Trajektorie des menschlich gesteuerten Fahrzeugs zu prädizieren und das autonome Fahrzeug zu steuern. Das entwickelte System wird in einer Human-in-the-Loop Probandenstudie unter Verwendung der CarSim High-Fidelity-Simulation evaluiert.

Zusammenfassung: Das vernetzte automatisierte Fahren hat das Potential, die Verkehrseffizienz im innerstädtischen Raum signifikant zu steigern. So können Verdeckungseffekte, wie sie beispielsweise durch Gebäude oder andere Verkehrsteilnehmer entstehen, aufgelöst werden. Darüber hinaus wird eine kooperative Manöverplanung ermöglicht, bei der die Bewegung mehrerer vernetzter automatisierter Fahrzeuge gemeinsam optimiert wird. Viele existierende Ansätze für das automatisierte Kreuzungsmanagement betrachten lediglich den vollständig automatisierten Verkehr. In der Praxis wird Mischverkehr, also die Interaktion von menschlichen Fahrern und automatisierten Fahrzeugen, vorherrschend sein. Im vorliegenden Beitrag wird ein Verfahren basierend auf Reinforcement Learning und Graph Neural Networks für das automatisierte Kreuzungsmanagement im Mischverkehr vorgestellt. In simulativen Experimenten zeigt der Ansatz gegenüber einer regelbasierten Baseline einen deutlichen Gewinn an Effizienz. Zudem werden Experimente mit einem realen Versuchsträger auf einer Erprobungsbahn vorgestellt.

Zusammenfassung: Die Absicherung automatisierter Straßenfahrzeuge (SAE Level 3+) setzt die Spezifikation und Überprüfung des Verhaltens eines Fahrzeugs in seiner Betriebsumgebung voraus. Mithilfe von Szenarien kann der offene Verkehrskontext, in dem ein solches System agiert, strukturiert beschrieben werden. Um Annahmen, welche bei der Verhaltensspezifikation innerhalb von Szenarien getroffen werden, begründen und belegen zu können, ist eine durchgängige Dokumentation von Entwurfsentscheidungen erforderlich. In dieser Arbeit wird die semantische Normverhaltensanalyse vorgestellt, mithilfe derer Ansprüche an das Verhalten eines automatisierten Fahrzeugs in seiner Betriebsumgebung durchgängig auf ein formales Regelsystem aus semantischen Konzepten für ausgewählte Szenarien abgebildet werden können. Der Beitrag der vorgestellten Methode besteht in der Rückverfolgbarkeit dieser formalisierten Konzepte zu den damit verbundenen Ansprüchen an das Verhalten. Die Durchführung einer semantischen Normverhaltensanalyse wird beispielhaft an zwei Szenarien demonstriert.

Zusammenfassung: In der Literatur und in zahlreichen etablierten Benchmarks ist es üblich die zukünftige Position eines anderen Verkehrsteilnehmers (VT) anhand einer Vorhersageverteilung pro Agenten zu prädizieren und anhand der Grundwahrheit (GT) dieses Agenten zu evaluieren. Hierfür wird implizit entweder statistische Unabhängigkeit der zukünftigen Positionen der Agenten angenommen oder es wird davon ausgegangen, dass Randverteilungen für die Weiterverarbeitung von Prädiktionen genügen.

In diesem Beitrag wird vorgeschlagen paarweise multivariate Verteilungen als zusätzliche Ausgabe in Vorhersagemodelle für interagierende Agenten zu integrieren. Diese liefern mehr Information falls die Annahme statistischer Unabhängigkeit unzutreffend ist, und andernfalls gleich viel. Aus der paarweise multivariaten Verteilung können dann bedingte Verteilungen gegeben hypothetischer Positionen eines der beiden Agenten – bspw. des automatisierten Ego-Fahrzeugs – abgeleitet werden, wodurch die prädizierte Szene bzgl. verschiedener hypothetischer Aktionen und Aktionskombinationen analysiert werden kann. Der Vorschlag ist für viele Prädiktionsansätze einfach umsetzbar, wenn für jedes Agentenpaar in der Szene eine multivariate Verteilung generiert wird.

Abstract: One approach for the introduction of SAE Level 3+ Automated Driving are lowspeed driving functions due to a reduced risk associated with them. In this paper, a systematic methodology to derive use cases and use case clusters for low-speed applications of Automated Driving (AD), which can be potentially fulfilled by a generalized low-speed function architecture, is described and applied. The use case clusters are defined according to a classification of the derived use cases in the dimensions of safety and technical capabilities. Thereby, the results of this paper simplify the definition of the ODD as well as the functional requirements and architecture for the future development of low-speed AD functions.

Abstract: Defining risk acceptance criteria for automated driving systems is an essential step for a successful release and avoidance of field incidents. Despite several regulatory provisions and normative frameworks, there is not yet a common understanding and approach, particularly concerning quantitative criteria. This work firstly gives a structured analysis of requirements and approaches. The second contribution is the proposal of a new approach targeting effectively no fleet incidents (ENFLI).

Abstract: To evaluate perception components of an automated driving system, it is necessary to define the relevant objects. While the urban domain is popular among perception datasets, relevance is insufficiently specified for this domain. Therefore, this work adopts an existing method to define relevance in the highway domain and expands it to the urban domain. While different conceptualizations and definitions of relevance are present in literature, there is a lack of methods to validate these definitions. Therefore, this work presents a novel relevance validation method leveraging a motion prediction component. The validation leverages the idea that removing irrelevant objects should not influence a prediction component which reflects human driving behavior. The influence on the prediction is quantified by considering the statistical distribution of prediction performance across a large-scale dataset. The validation procedure is verified using criteria specifically designed to exclude relevant objects. The validation method is successfully applied to the relevance criteria from this work, thus supporting their validity.

Zusammenfassung: Trotz bedeutender technischer Fortschritte im Kontext des automatisierten Fahrens sind aktuelle Systeme noch weit davon entfernt, jede auftretende Situation selbstständig lösen zu können. Neben dem Lösungsweg des minimalrisikoreichen Manövers (MRM) stehen insbesondere Transitionen der Fahraufgabe an die Fahrperson (Takeover Request, TOR) oder an einen Teleoperator im Fokus aktueller Forschungsvorhaben. In beiden Fällen ist es jedoch notwendig einzuschätzen, ob der jeweilige Operator, im Fahrzeug oder einer entfernten Leitwarte, die Fahraufgabe sicher übernehmen kann. Der Beitrag konzentriert sich nach einer kurzen Einführung auf aktuelle Studienergebnisse aus dem grade abgeschlossenen DFGSchwerpunktprogramm 1835 CoInCar und aus einer Dissertation zum Operator Monitoring, sowie auf deren Bedeutung für die Absicherung von Transitionen im Kontext des automatisierten Fahrens sowie der Teleoperation.