Internationales Verkehrswesen (72) 1 | 2020 26 INFRASTRUKTUR Wissenschaft Vorausschauende Wahrnehmung für sicheres automatisiertes Fahren Validierung intelligenter Infrastruktursysteme am-Beispiel von Providentia Intelligente Infrastruktursysteme, Validierung, Luftbildauswertung, automatisierte Fahrzeuge, Umgebungswahrnehmung, Vorausblick Intelligente Infrastruktursysteme können den Wahrnehmungshorizont von automatisierten Fahrzeugen stark erweitern und dadurch sicheres, vorausschauendes Fahren ermöglichen. Dafür muss klar sein, wie genau das von ihnen erstellte Abbild der aktuellen Verkehrssituation ist. Aufgrund der fehlenden Grundwahrheit der Fahrzeugpositionen gestaltet sich eine Validierung jedoch schwierig, es bedarf neuer Ideen. In diesem Artikel wird am Beispiel des Providentia-Systems ein Konzept präsentiert, wie intelligente Infrastruktursysteme mittels Luftbildauswertung validiert werden können. Annkathrin Krämmer, Christoph Schöller, Franz Kurz, Dominik Rosenbaum, Alois Knoll D ie Aussicht auf erhöhte Sicherheit und mehr Komfort durch automatisierte Fahrzeuge und nützliche teilautonome Fahrfunktionen führten in den letzten Jahren zu einem großen Interesse und hohen Investitionen seitens der deutschen Automobilindustrie in das autonome Fahren [1]. Für dieses Ziel ist eine grundlegende Voraussetzung, dass automatisierte Fahrzeuge ihre Umgebung zuverlässig und lückenlos auch in weiter Entfernung wahrnehmen. Ihre Wahrnehmungsreichweite ist jedoch sowohl durch die Leistungsfähigkeit verbauter Sensoren und Algorithmen als auch durch die Fahrzeugperspektive begrenzt. Bei Lidar-Sensoren nimmt beispielsweise die Dichte von Messungen winkelbedingt in der Entfernung stark ab, wodurch weiter entfernte Objekte nicht mehr zuverlässig erkannt werden können. Die Leistung der Objektdetektion mittels Kameras ist durch die Auflösung der aufgenommenen Bilder begrenzt. Diese kann nicht beliebig erhöht werden, da die Bildauflösung einen direkten Einfluss auf die Verarbeitungsgeschwindigkeit der Objekterkennung hat. Das automatisierte Fahrzeug muss jedoch unter realen Bedingungen unmittelbar auf Umweltveränderungen reagieren und darf eine gewisse Reaktionszeit nicht überschreiten. Des Weiteren verursachen andere Verkehrsteilnehmer um das automatisierte Fahrzeug herum Verdeckungen und Abschattungen, wodurch die unmittelbare Umgebung nicht vollständig erfasst werden kann. Intelligente Infrastruktursysteme können diese Beeinträchtigungen durch ihre vorteilhafte Perspektive, eine komplementäre Sensorwahl und ihre räumliche Ausdehnung beseitigen. Sie müssen zu diesem Zweck zuverlässig und präzise funktionieren. Die Leistungsfähigkeit intelligenter Infrastruktursysteme zu validieren ist jedoch eine schwierige Aufgabe, insbesondere, weil zumeist keine Grundwahrheit über den tatsächlichen Zustand des beobachteten Verkehrs und die Positionen der Fahrzeuge bekannt ist. Im Folgenden wird diese Problematik näher erläutert und am Beispiel des intelligenten Infrastruktursystems Providentia [2] veranschaulicht. Es wird eine konkrete Validierungsmethodik mittels Luftbildauswertung als Lösung vorgestellt und eine Aussicht auf die zu erwartenden Ergebnisse dieses Vorhabens gegeben. Intelligente Infrastruktursysteme und deren-Evaluation Durch die Entwicklung von intelligenten Infrastruktursystemen, welche unter anderem die Position und Geschwindigkeit aller Verkehrsteilnehmer in Echtzeit erfassen, sollen automatisierte Fahrzeuge in ihrer Wahrnehmung unterstützt werden. Derartige Systeme werden mit einer Vielzahl von Sensoren unterschiedlicher Modalität ausgestattet, welche den gesamten Streckenabschnitt vollständig und redundant abdecken, wie in Bild 1 dargestellt. Dabei ergänzen sich die Sensoren gegenseitig, indem die Schwächen eines bestimmten Sensortyps durch die Stärken eines anderen kompensiert werden. Beispielsweise funktioniert die Bilderkennung mit Kameras in der Nacht deutlich schlechter als tagsüber, auf Radare hat die Umgebungshelligkeit hingegen keinen Einfluss. Durch die Anbringung der Sensoren in erhöhter Perspektive, mit gegenläufigen Blickwinkeln und redundan- Internationales Verkehrswesen (72) 1 | 2020 27 Wissenschaft INFRASTRUKTUR ten Sichtfeldern ist es möglich, eine Großzahl von Verdeckungen von Verkehrsteilnehmern zu vermeiden oder durch intelligente Datenfusionsalgorithmen aufzulösen. Stationäre, lokale Recheneinheiten bieten deutlich mehr Leistung als typischerweise in automatisierten Fahrzeugen verbaut wird. Zudem kann diese Rechenleistung skaliert werden, um alle Sensorinformationen in geringer Zeit zu verarbeiten. Das von der intelligenten Infrastruktur aus den Sensorbeobachtungen berechnete digitale Abbild des Verkehrs wird dann an die im System befindlichen Fahrzeuge kommuniziert. Ihr Sichtfeld wird somit stark in alle Richtungen erweitert [2]. Zudem werden Verdeckungen und Lücken in der Fahrzeugwahrnehmung vervollständigt. Die zusätzlichen Informationen können somit zur Planung von Manövern hinzugezogen werden und tragen zur Erhöhung der Sicherheit, des Komforts und zur Optimierung des Verkehrsflusses bei - die Fahrzeuge können nun vorausschauend fahren und planen. Zudem wird die intelligente Infrastruktur durch ihre Gesamtsicht des Verkehrs in die Lage versetzt, die Verkehrslage zu analysieren und Fahrzeuge vor gefährlichen Situationen zu warnen oder ihnen Verhaltensempfehlungen zu geben. Damit sich die Fahrzeuge auf die empfangenen Informationen verlassen können und sicherheitskritische Mehrwertdienste wie Gefahrenwarnungen realisierbar werden, ist die Validierung eines solchen intelligenten Infrastruktursystems unerlässlich. Insbesondere die Positionsgenauigkeit und die Zuverlässigkeit bei der Erkennung aller Verkehrsteilnehmer sind von großer Bedeutung, wenn die Fahrzeuge die Informationen für ihre Manöverplanung nutzen. Fehler hierbei sind unter anderem das Resultat von Sensorrauschen, Messabweichungen und Ungenauigkeiten in der Sensorkalibrierung aufgrund von äußeren Einflüssen. Je nach aktueller Genauigkeit des digitalen Abbildes und der Verkehrssituation müssen angepasste Sicherheitsabstände zwischen den Fahrzeugen und Gefahrenstellen bei der Planung berücksichtigt werden. So können die Abstände zwischen den Fahrzeugen verringert werden, wenn das digitale Abbild sehr genau ist, was zu einem erhöhten Verkehrsdurchsatz führt. Gleichermaßen müssen sie vergrößert werden, wenn äußere Umstände (z. B. das Wetter) die Genauigkeit des digitalen Abbildes beeinträchtigten. Die durch die Validierung ermittelten Positionsfehler lassen sich zu diesem Zweck als statistische Unsicherheiten an die Fahrzeuge im System kommunizieren. In der Praxis gestaltet sich eine solche Validierung jedoch schwierig. Um den Fehler des Systems zu berechnen, wird eine Grundwahrheit des gesamten Verkehrs benötigt, also die exakten und tatsächlichen Positionen aller Fahrzeuge auf der Teststrecke über einen längeren Beobachtungszeitraum. Ein einzelnes oder auch mehrere Testfahrzeuge sind hierfür unzureichend, da das System unter realistischen Bedingungen mit optisch stark unterschiedlichen Fahrzeugen und Bewegungsmustern funktionieren muss. Des Weiteren reicht, anders als bei gängigen Evaluationsverfahren von Objektdetektionsalgorithmen [3], das Annotieren von Bildern der Verkehrsszenerie nicht aus, da die Positionen der Fahrzeuge anstatt auf Bildebene hier als 3D-Positionen in der realen Welt benötigt werden. Auch Simulationsdaten als Grundwahrheit können das System - zumindest mit vertretbarem Aufwand - nur begrenzt abbilden. Sie können einen ersten Hinweis über das Zusammenspiel und die Performanz der Sensorverarbeitung und Datenfusionsalgorithmen geben. Allerdings kann damit nur eingeschränkt eine Aussage darüber getroffen werden, wie genau das digitale Abbild unter chaotischen Umwelteinflüssen wie beispielsweise Unwetter oder physische Schwingungen der Messpunkte sein kann. Um eine vollständige Systemevaluation vorzunehmen, stellt sich die Frage nach einer Möglichkeit, die Grundwahrheit über das Verkehrsgeschehen zu approximieren. Dies erreichen wir, indem die Fahrzeuge unabhängig vom System mit Luftbildern erfasst werden. Luftbilder sind hierzu besonders gut geeignet, da es durch die ideale - fast orthogonale - Perspektive kaum Verdeckungen gibt und sich die Umrisse der Fahrzeuge sehr einheitlich darstellen. Wie dies real umgesetzt werden kann, soll nun am Beispiel der von fortiss aufgebauten digitalen Infrastruktur Providentia [4] im Zusammenspiel mit Luftbildern von einem Hubschrauber des DLRs erläutert werden. Systembeschreibung Providentia Das Testfeld des vom BMVI geförderten Projekts Providentia befindet sich im Digitalen Testfeld A9, zwischen Bild 1: Schematische Darstellung eines intelligenten Infrastruktursystems mit zwei Messpunkten und überlappenden Sichtfeldern der Sensoren [2] Internationales Verkehrswesen (72) 1 | 2020 28 INFRASTRUKTUR Wissenschaft Garching und dem Autobahnkreuz München Nord. Für das intelligente Infrastruktursystem wurden Sensoren an zwei existierenden Schilderbrücken im Abstand von etwa 440 m angebracht [2]. Jede dieser Schilderbrücken entspricht einem Messpunkt im System. Sie überblicken jeweils in Blickrichtung Nord und Süd mit einer Nahbereichskamera und einer Fernbereichskamera vom Typ Basler acA1920-50gc und zwei smartmicro-Radarsensoren den Verkehr. Bild 2 zeigt eine der Schilderbrücken des Providentia-Systems. Die von den Sensoren mit Hilfe von entsprechender Software erkannten Objekte werden in einer Sensordatenfusion in jedem Messpunkt lokal zu einem konsistenten Umweltmodell zusammengefasst. Dieses enthält Informationen über jeden Verkehrsteilnehmer im Sichtbereich des Messpunkts. Zudem ordnet ein zusätzliches Objekttracking den erkannten Fahrzeugen eine eindeutige ID zu. Die in jedem Messpunkt berechneten Objektlisten werden über ein Glasfasernetz an das so genannte Backend kommuniziert. Dort fasst eine weitere, übergeordnete Datenfusion die Messpunktergebnisse zu einem konsistenten Gesamtabbild des aktuellen Verkehrs auf dem gesamten Streckenabschnitt zusammen. Dies ist der so genannte digitale Zwilling (siehe Bild 3). Er enthält jeden aktuell auf der Strecke befindlichen Verkehrsteilnehmer mit seiner Position und Geschwindigkeit, seinem Fahrzeugtyp und einer temporären, anonymen ID als Ergebnis des Trackings. Letztere erlaubt die konsistente Begleitung des Fahrzeugs durch das gesamte Testfeld. Dieser digitale Zwilling kann, wie beschrieben, automatisierten Fahrzeugen zur Verfügung gestellt werden, damit diese mit dem kompletten Wissen über die aktuelle Verkehrssituation um sich herum vorausschauend planen können. Da das Gesamtsystem sowohl intern kalibriert, als auch global referenziert ist, ist es möglich alle Fahrzeugpositionen in lokalen UTM-Koordinaten anzugeben. Erstellung eines Referenzdatensatzes mit-Hilfe-von Luftbildern Die Validierung des Providentia-Systems basiert auf Luftbildern, die mit dem DLR 4k-Kamerasystem auf einem H135-Hubschrauber aufgenommen wurden (siehe Bild 4). Im 4k-Kamerasystem sind drei Canon EOS 1D-X Mark II-Kameras mit unterschiedlicher Blickrichtung integriert, die jeweils 20,2 Megapixel-Bilder mit einer Bildrate von bis zu 14 Hz aufnehmen können. Ein IGI Compact MEMS GNSS/ Inertialsystem misst die Sensorposition und Sensorlage zur direkten Georeferenzierung der Luftbilder. Zur Erstellung des Referenzdatensatzes wurde die Teststrecke entlang der Autobahn A9 aus der Luft für insgesamt etwa zwei Minuten lang aufgezeichnet. Die links- und rechtsgerichteten Kameras nahmen gleichzeitig ein Luftbild pro Sekunde und mit einer Bodenabdeckung von 600 x 250 m auf, während der Hubschrauber in diesem Zeitraum über der Teststrecke schwebte. Da die Bodenabdeckung durch die Flughöhe des Hubschraubers und die Bildwinkel der Kameras begrenzt ist, konnte nur ein Teil der digitalen Teststrecke abgebildet werden. Bei einer Flughöhe von 450 m über Grund und einer Brennweite von 50 mm wurde eine Bodenpixelgröße von 6 cm erreicht. Zur Verbesserung der Georeferenzierungsgenauigkeit der Luftbilder wurde eine Bündelblockausgleichung mit Verknüpfungs- und Bodenkontrollpunkten durchgeführt. Mittels eines neuronalen Netzes wurden anschließend in allen aufgenommenen Luftbildern Fahrzeuge detektiert. Das neuronale Netz wurde mit Hilfe des DLR MVDA-Datensatzes [5] trainiert und evaluiert. In der verwendeten Version wurden nur PKW erkannt, da zu wenige LKW in den Trainingsdaten zur Verfügung standen. Das hat zur Folge, dass LKW nicht mit korrektem Begrenzungsrahmen oder überhaupt nicht erkannt werden konnten. Beispiele für die detektierten Fahrzeuge sind in Bild 5 dargestellt. Bild 2: Ein Messpunkt des intelligenten Infrastruktursystems Providentia auf der Autobahn A9 in der Nähe des Autobahnkreuzes München Nord. Auf der dem Bild abgewandten Seite der Schilderbrücke befinden sich zusätzlich zwei Radare mit Blickrichtung Nord. Bild 3: Das Providentia-System erstellt in Echtzeit einen digitalen Zwilling des Verkehrsgeschehens. Links ist ein Kamerabild des Systems zu sehen und auf der rechten Seite eine Visualisierung des digitalen Zwillings in CarMaker. In collaboration with Supported by now to be known as The business event for Europe’s mobility stakeholders OVER 250 exhibitors and over 11,000 European participants from 60 countries OVER 50 events, European talks, innovation pitches, workshops, and more OVER 100 speakers, experts, and mobility professionals JOIN US! Organised by 2020 Guest of honour 2020 GUEST OF HONOUR: HAMBURG Internationales Verkehrswesen (72) 1 | 2020 30 INFRASTRUKTUR Wissenschaft Zur Validierung müssen sowohl die Luftbild-Zeitstempel als auch das Providentia-System bezüglich der GPS-Zeit synchronisiert werden. Zusätzlich müssen die detektierten Fahrzeuge in den Luftbildern wie auch im Providentia-System in das lokale UTM Koordinatensystem transformiert werden. Dazu werden die Bildstrahlen aller vier Eckpunkte des Begrenzungsrahmens mit einem Lidar-Geländemodell der Straßenoberfläche geschnitten. Die erzielten räumlichen Genauigkeiten hängen hier unter anderem von der Genauigkeit des automatisch bestimmten Begrenzungsrahmens, von der Güte der Kalibrierung des 4k-Systems, sowie den Passinformationen und von der Genauigkeit des Geländemodells ab. Theoretisch sind mit der vorliegenden Konfiguration absolute Genauigkeiten im Zentimeterbereich möglich [6], jedoch verschlechtert die Güte des Begrenzungsrahmens oft die genaue Positionierung eines Fahrzeugs. Die Validierung der Deep Learning-basierten Detektionsverfahren ist Gegenstand aktueller Forschung [7]. Beim vorliegenden Datensatz gab es kaum Fehldetektionen auf den Fahrbahnen und nur wenige Fahrzeuge sowie viele LKW wurden nicht erkannt. Beispiele für Fehlerquellen bei der Erstellung des Referenzdatensatzes sind in Bild 6 zu sehen. Ausblick auf die zu erwartenden Ergebnisse der Validierung Der Abgleich der durch die intelligente Infrastruktur erfassten Fahrzeuge mit den durch den Hubschrauber erfassten Fahrzeugen mittels geeigneter Zuordnungsmethoden ermöglicht es, die Positionsgenauigkeit und die Erkennungszuverlässigkeit im digitalen Zwilling zu bestimmen. Die Positionsgenauigkeit des Gesamtsystems kann errechnet werden, indem der metrische Positionsfehler für jedes einzelne erkannte Fahrzeug ermittelt wird. Die Erkennungszuverlässigkeit wird durch den Anteil an korrekt erkannten Fahrzeugen, fälschlich angenommenen Fahrzeugen und nicht erkannten Fahrzeugen beschrieben. Die Positionsgenauigkeit und Erkennungszuverlässigkeit lassen gemeinsam eine Beurteilung der Qualität des Gesamtsystems zu. Diese Beurteilung ist notwendig, da jeder Dienst, der auf den Informationen eines intelligenten Infrastruktursystems aufbaut, unterschiedliche Ansprüche an dessen Leistung hat. Für die Manöverplanung von Fahrzeugen müssen Positionsinformationen aus der Infrastruktur sehr präzise sein. Andere Mehrwertdienste, wie eine rechtzeitige Warnung vor Stauenden oder eine Spurempfehlung, sind hingegen fehlertoleranter. Da Providentia ein erster Prototyp eines solchen Systems ist, versprechen wir uns von den finalen Resultaten, dass unsere Evaluationen Aufschlüsse darüber geben, für welche Dienste ein System wie Providentia bereits einsetzbar wäre und welche Leistungssteigerung in Zukunft erreicht werden muss, um weitere wünschenswerte Funktionen zu realisieren. Die Validierung des Systems hat auch noch einen weiteren Nutzen. Die Bewertung der gesamten Systemleistung durch quantifizierbare Metriken ermöglicht eine iterative Verbesserung des Systems. Sowohl die komplexen Algorithmen zur Objekterkennung und Datenfusion als auch die Kalibrierung der Sensoren bestehen aus einer Vielzahl von freien Parametern, die optimal aufeinander abgestimmt werden müssen. Diese können nun schrittweise angepasst und verbessert werden, um die Detektions- und Positionsgenauigkeit des Systems empirisch zu steigern. Die Evaluation des Providentia-Systems mittels Luftbildauswertung ist ein erster wichtiger Schritt, um Methoden zu entwickeln, die es ermöglichen, intelligente Bild 4: Das DLR 4k-Kamerasystem auf einem H135-Hubschrauber Bild 5: Orthoprojiziertes Luftbildmosaik der linken und rechten Kamera (links), Ergebnisse der automatischen Fahrzeugdetektion (Mitte) und Beispiel eines detektierten Fahrzeugs mit einem automatisch bestimmten und orientierten Begrenzungsrahmen (rechts) Bild 6: Fehlereinflüsse bei der Erstellung des Referenzdatensatzes: Nicht detektierte Fahrzeuge (vor allem sehr dunkle Fahrzeuge und LKW) sowie unpräzise positionierte Begrenzungsrahmen Internationales Verkehrswesen (72) 1 | 2020 31 Wissenschaft INFRASTRUKTUR Infrastrukturen zu validieren. Dies ist die Grundlage, um deren Nutzen zur Unterstützung des Verkehrs der Zukunft zu beurteilen und sie zu kommerzialisieren. ■ REFERENZEN [1] A. Cacilo; S. Schmidt; P. Wittlinger; F. Herrmann; W. Bauer; O. Sawade; H. Doderer; M. Hartwig; V. Scholz (2015): Hochautomatisiertes Fahren auf Autobahnen - industriepolitische Schlussfolgerungen, http: / / publica.fraunhofer.de/ dokumente/ N-372308.html [2] A. Krämmer; C. Schöller; D. Gulati; A. Knoll (2019): Providentia - A Large Scale Sensing System for the Assistance of Autonomous Vehicles, Robotics Science and Systems Workshops (RSS Workshops), Freiburg [3] T. Lin; M. Maire; S. Belongie; L. Bourdev; R. Girshick; J. Hays; P. Perona; D. Ramanan; C. L. Zitnick; P. Dollár (2014): Microsoft coco: Common objects in context. European Conference on Computer Vision (ECCV) [4] G. Hinz; M. Buechel; F. Diehl; G. Chen; A. Krämmer; J. Kuhn; V. Lakshminarasimhan; M. Schellmann; U. Baumgarten; A. Knoll (2017): Designing a far-reaching view for highway traffic scenarios with 5G-based intelligent infrastructure, 8. Tagung Fahrerassistenzsysteme TÜV Süd, München [5] DLR-Datensatz zur Mehrklassenfahrzeug-Erkennung und Orientierung in Luftbildern (DLR-MVDA), www.dlr.de/ eoc/ desktopdefault.aspx/ tabid-12760/ 22294_read-52777 [6] F. Kurz; T. Krauß; H. Runge; D. Rosenbaum; P. d’Angelo (2019): Precise aerial image orientation using SAR ground control points for mapping of urban landmarks, ISPRS Archives [7] S. Azimi; C. Henry; L. Sommer; A. Schumann; E. Vig (2019): SkyScapes - Fine-Grained Semantic Understanding of Aerial Scenes, International Conference on Computer Vision (ICCV) Zusammenarbeit im Projektkonsortium Im Forschungsprojekt Providentia haben die folgenden Projektpartner zusammengearbeitet: BMW AG, Cognition Factory GmbH, Deutsche Telekom AG, Elektrobit Automotive GmbH, fortiss GmbH, Huawei Technologies Deutschland GmbH, IPG Automotive GmbH, Rohde & Schwarz GmbH & Co. KG. Dieser Artikel resultiert aus einer Zusammenarbeit von DLR und fortiss, die auf den Ergebnissen des Forschungsprojekts Providentia aufbaut. Gefördert im Rahmen der Förderrichtlinie „Automatisiertes und vernetztes Fahren auf digitalen Testfeldern in Deutschland“ Das diesem Bericht zugrundeliegende Forschungsprojekt Providentia wurde im Rahmen der Förderrichtlinie „Automatisiertes und vernetztes Fahren auf digitalen Testfeldern in Deutschland“ vom Bundesministerium für Verkehr und digitale Infrastruktur gefördert. Dominik Rosenbaum, Dr. rer. nat. Wissenschaftler, DLR Deutsches Zentrum für Luft- und Raumfahrt, Weßling dominik.rosenbaum@dlr.de Alois Knoll, Prof. Dr.-Ing. habil. Inhaber des Lehrstuhls für Robotik, Künstliche Intelligenz und Echtzeitsysteme, Fakultät für Informatik, Technische Universität München knoll@mytum.de Franz Kurz, Dr.-Ing. Wissenschaftler, DLR Deutsches Zentrum für Luft- und Raumfahrt, Weßling franz.kurz@dlr.de Christoph Schöller, M.Sc. Wissenschaftlicher Mitarbeiter, fortiss GmbH und Doktorand Technische Universität München schoeller@fortiss.org Annkathrin Krämmer, M.Sc. Wissenschaftliche Mitarbeiterin, fortiss GmbH und Doktorandin Technische Universität München kraemmer@fortiss.org Lesen Sie Internationales Verkehrswesen und International Transportation lieber auf dem Bildschirm? Dann stellen Sie doch Ihr laufendes Abo einfach von der gedruckten Ausgabe auf ePaper um - eine E-Mail an service@trialog.de genügt. Oder Sie bestellen Ihr neues Abonnement gleich als E-Abo. Ihr Vorteil: Überall und auf jedem Tablet oder Bildschirm haben Sie Ihre Fachzeitschrift für Mobilität immer griffbereit. www.internationales-verkehrswesen.de/ abonnement DAS FACHMAGAZIN IN DER JACKENTASCHE Trialog Publishers Verlagsgesellschaft | Baiersbronn | service@trialog.de IV Drittel quer.indd 2 28.08.2018 16: 22: 46