Internationales Verkehrswesen (76) 1 ǀ 2024 64 DOI: 10.24053/ IV-2024-0013 TECHNOLOGIE  Autonomes Fahren tobahnfahrten oder bis zu einer bestimmten Höchstgeschwindigkeit, wie aktuell 60 km/ h beim Drive Pilot. Der flächendeckende Einsatz von automatisierten Fahrsystemen, v. a. im urbanen Bereich, bleibt daher ein Forschungsthema. Die wesentlich höhere Komplexität des Stadtverkehrs gegenüber einfacheren Umgebungen, wie Landstraße oder Autobahn, stellt dabei große Herausforderungen. Da I n den letzten Jahren erfährt automatisiertes Fahren eine hohe Aufmerksamkeit sowohl in der Industrie und Forschung als auch in der öffentlichen Wahrnehmung. Moderne Fahrzeuge haben schon automatisierte Funktionen in Serienmodellen, wie z. B. der Drive Pilot von Mercedes Benz [1]. Die bereits erhältlichen Systeme beschränken sich jedoch auf bestimmte Bereiche, z. B. nur für Audie Möglichkeiten der Szenarien und Situationen nahezu unendlich groß sind, kann ein solches System nicht einfach regelbasiert arbeiten. Stattdessen sind KI-Ansätze üblich, bei denen das System anhand vorgegebener Trainingsdaten selbständig lernt. Die am häufigsten anzutreffenden Verfahren basieren entweder auf dem „Endto-End“-Prinzip oder dem „Sense-Plan- Act“-Prinzip. Beim „End-to-End“-Prinzip KI-FLEX: Autonomes Fahren, sicher und zuverlässig Rekonfigurierbare Hardwareplattform zur KI-basierten Sensordatenverarbeitung für das autonome Fahren Autonomes Fahren, KI, LIDAR, Objekterkennung, KI-FLEX Automatisiertes Fahren gewinnt zunehmend an Bedeutung in. Der flächendeckende Einsatz von automatisierten Fahrsystemen, insbesondere in städtischen Gebieten, ist jedoch immer noch ein hochaktuelles Forschungsthema. Künstliche Intelligenz (KI) wird dabei eingesetzt, um die Umgebung der Fahrzeuge zu erfassen. Der im Projekt KI-Flex als ASIC entwickelte flexible Multi-Core-Deep- Learning-Beschleuniger ist kleiner und energiesparender als herkömmliche KI-Systeme. Mit an diese Hardware angepasste KI-Algorithmen können damit Objekte hochpräzise erkannt werden. Bernd Schäufele, Michael Rothe, Philipp Holzinger, Simon Pfenning, Julian Pfeifer, Johann Nikolai Hark, Carsten Reuter, Hans-Joachim Stolberg Internationales Verkehrswesen (76) 1 ǀ 2024 65 DOI: 10.24053/ IV-2024-0013 Autonomes Fahren TECHNOLOGIE bestehen die Trainingsdaten aus einem zusammengehörigen Abbild der Umgebung, also z. B. Kamerabildern und LIDAR-Punktwolken sowie Steuersignalen für das Fahrzeug. Die KI versucht dabei im Training, aus den Umgebungsinformationen direkt Handlungsweisen für das Fahrzeug zu lernen. Da die möglichen Szenarien so vielfältig sind, werden dafür besonders viele Trainingsdaten benötigt. Das „Sense-Plan-Act“-Muster unterteilt das automatisierte Fahren in mehrere Einzelschritte. Zunächst wird in der „Sense“- Phase ein Verständnis der Umgebung geschaffen. Das geschieht mit Objekterkennung aus Sensoren, v. a. Kamerabildern und LIDAR-Punktwolken. Im „Plan“-Schritt wird aus der Karte, dem erkennbar befahrbaren Bereich aus der Sensorik sowie den Parametern des Fahrzeugs, eine Trajektorie berechnet, die das Fahrzeug abfahren kann. Schließlich wird im „Act“-Teil die Trajektorie durch die Fahrzeugaktorik geregelt. Insbesondere bei „Sense“ und „Plan“ kommen KI-Algorithmen zum Einsatz, während die Regelung durch klassische Verfahren gut umgesetzt werden kann. Auch wenn das „Sense-Plan-Act“-Verfahren geringere Daten- und Rechenanforderungen als das „End-to-End“-Verfahren hat, werden für die Ausführung immer noch leistungsstarke Rechner benötigt. Seit einigen Jahren ist Deep Learning, d. h. tiefe neuronale Netze, sehr verbreitet. Da diese Netze sehr groß sind und mit vielen mathematischen Operationen Grafikberechnungen ähneln, sind in Forschungsfahrzeugen häufig Grafikprozessoren mit mehreren GB-Arbeitsspeicher verbaut. Diese können große Teile des Kofferraums in Anspruch nehmen. Da derartige Rechner nicht geeignet sind, in Serienfahrzeugen verbaut zu werden, ist nicht nur auf Softwareseite, sondern auch im Hardwarebereich noch Entwicklungsarbeit notwendig. Das Projekt KI-Flex hat sich zum Ziel gesetzt, einen flexibel programmierbaren Multi-Core-Deep-Learning-Beschleuniger als ASIC (FlexAISIC) zu entwickeln. Dieser ASIC ist um ein Vielfaches kleiner als gängige Hochleistungs-PCs. Der ASIC kann vor allem für die Objekterkennung mit neuronalen Netzen aus Kamera- und LIDAR-Daten verwendet werden. Dieser Artikel zeigt die Ergebnisse dieses Projekts, welches vom Bundesministerium für Bildung und Forschung gefördert wurde. KI-Software für Objekterkennung in automatisierten Fahrzeugen KI-Software basiert heutzutage in vielen Fällen auf tiefen neuronalen Netzen. Dabei wird eine hohe Anzahl von hintereinander verketteten Recheneinheiten, so genannten Neuronen, eingesetzt. Im einfachsten Fall sind die Neuronen in aufeinanderfolgenden Ebenen teilweise oder vollständig miteinander verknüpft. Jedes Neuron berechnet anhand einer gewichteten Aktivierungsfunktion aus den Eingangsdaten neue Ausgangsdaten, die der nächsten Ebene wieder als Eingang dient. Die Eingangsdaten für die ersten Neuronen sind das vollständige Sensorabbild, z. B. ein Kamerabild. Die letzte Schicht liefert als Ergebnis eine Objekterkennung oder -klassifizierung. Die Schichten dazwischen reagieren auf von Schritt zu Schritt größer werdende, abstrakte Merkmale innerhalb des Eingangssignals. Vorbild für dieses Verarbeitungsverfahren sind die Neuronen im menschlichen Gehirn, die ebenfalls stufenweise Objekte erkennen. Dabei werden z. B. bei einem Auto zuerst charakteristische Merkmale wie das Kennzeichen oder der Abstand der Scheinwerfer erkannt, bevor das Auto als zusammenhängendes Objekt erfasst wird. Eine weit verbreitete Netzarchitektur für die Objekterkennung mit neuronalen Netzen sind Convolutional Neural Networks (CNNs) [1]. Diese Architekturen machen sich die rasterförmige Anordnung von Bildern zu Nutzen. Die einzelnen Schichten können dabei aus den Komponenten „Convolution“, „Pooling“ oder „Fully Connected Layer“ bestehen. Bei Convolution wird für jeden Pixel im Bild ein neuer Wert abhängig von der Umgebung des Pixels berechnet. Beim Pooling findet ein Downsampling statt, d. h. die Bildgröße wird reduziert, und bei Fully Connected Layers besteht eine 1: 1-Verbindung zur vorherigen und nachfolgenden Schicht. Durch diese einheitlichen Layers und die für die Berechnung der Aktivierungsfunktionen benötigten mathematischen Operationen bieten sich CNNs für die Entwicklung eines FlexAISIC an. Da neuronale Netze i.d.R. für diese Operationen Software-APIs, wie TensorFlow oder PyTorch, verwenden, können diese APIs in Hardware abgebildet werden. Der Auf bau der in KI-Flex entwickelten Hardware wird im nachfolgenden Kapitel beschrieben. Aufbau der KI-Flex Hardware Hauptproblem im Bereich des autonomen Fahrens und der Verwendung der CNN- Netzwerk-Architektur ist die große Menge an Sensordaten und mathematischen Operationen, die kontinuierlich verarbeitet und berechnet werden müssen. Dies muss zur Wahrnehmung der Umgebung und dem Erkennen potenzieller Hindernisse zudem nicht nur mit hoher Geschwindigkeit in Echtzeit, sondern auch mit einem sehr niedrigen Energieverbrauch erfolgen. Aus diesem Grund ist es notwendig, solche Systeme weg von klassischen Grafikprozessoren hin zu spezialisierteren Schaltkreisen zu entwerfen. Jedoch ist der Bereich der Algorithmik der künstlichen Intelligenz auch einer Bild 1: Blockdiagramm der KI-Beschleuniger-Hardware Internationales Verkehrswesen (76) 1 ǀ 2024 66 DOI: 10.24053/ IV-2024-0013 FPGA, auf dem dynamisch zur Laufzeit bis zu zwei weitere FlexAICores mit beliebiger Funktionalität konfiguriert werden können. Dieses Board lässt sich dann als reguläre PCIe-Steckkarte in verschiedenen Systemen verwenden. Als Basis wird dafür im KI-Flex-Projekt ein AMD ZCU102 verwendet, das aus einer 4-Kern ARM Cortex A53 CPU und einem FPGA-Teil besteht, der bis zu fünf weitere dynamische FlexAICores fassen kann. Die Verwaltung der FlexAICores wird dabei von dem Treiber, Management Daemon und der als einheitlichen Schnittstelle agierenden User-Space-Software- Bibliothek des auf der CPU laufenden HERA- Frameworks [2] übernommen. Dieses hat als Ziel, (rekonfigurierbare) Beschleunigerhardware einfach und transparent für Anwendungssoftware zugängig zu machen. Dazu unterhält es zuerst einen Bitstream Cache, der auf einem geeigneten Rechner sowohl die statischen FPGA-Teile als auch die dazu passenden dynamisch rekonfigurierbaren FlexAICores erzeugt. Erstere werden über einfache Konfigurationsparameter (Host Interface, lokaler Speicher, Anzahl Cores, ...) und letztere per High-Level- Synthese aus der hardwareunabhängigen Zwischensprache HSAIL generiert. Dieser Cache wird dann in das eingebettete System im Auto übertragen. HERA nutzt diesen im Folgenden, um die von allen Anwendungen angefragten Kernels automatisiert zur Laufzeit zu analysieren und die benötigten FlexAICores je nach Bedarf dynamisch auszutauschen. Auf bauend auf der HERA-User- Space- Schnittstelle wurde zudem zur vereinfachten Verwendung sowohl TensorFlow erweitert als auch ein OpenCL Frontend bereitgestellt [3]. Diese erlauben es nun, sowohl die im Folgenden vorgestellten CNNs im Ganzen oder in Teilen als auch beliebige weitere und zukünftige Kernel auf den FP- GAs im System auszuführen. Der FlexAISIC ist in Bild 3 dargestellt. Die vollständige Verarbeitung aller Layer der im Folgenden vorgestellten CNNs wie auch beliebiger weiterer und zukünftiger Kernels ist ebenso auf den frei programmierbaren v-MP+ Kernen des FlexAISICs möglich. Die Implementierung aller Kernels (sowie von zusätzlichem Pre- und Postprocessing und weiterer Signalverarbeitung) erfolgt auf der auf Effizienz und Flexibilität optimierten Datenpfad- und Speicherarchitektur. Die mit 1 GHz Taktrate laufenden v-MP+-Kerne sind vollständig in Firmware und auch zur Laufzeit durch Nachladen von anderem Code dynamisch änderbar. Dabei können die acht v - MP+-Kerne des FlexAISIC wahlweise alle an einer Aufgabe arbeiten oder in beliebigen Gruppen bis hin zu einzelnen Kernen durch Booten unterschiedlicher Firmware je nach den Anwendungsstetigen schnellen Weiterentwicklung unterworfen, bei dem der Hardwareentwurf mit seinen langjährigen Entwicklungszyklen an seine Grenzen kommt und mehr Flexibilität erfordert. Aus diesem Grund wurde die KI-Flex-Hardware im Hinblick auf zwei Hauptziele entwickelt: Einerseits die Bereitstellung von performanten und energieeffizienten Recheneinheiten, die in der Lage sind, trainierte State of the Art CNNs in Echtzeit auszuwerten. Andererseits die Ergänzung dieser um flexible Beschleunigerhardware, die sich dynamisch an die Rechenanforderungen unterschiedlicher Umgebungsbedingungen anpassen und auch im Nachhinein noch flexibel adaptiert werden kann. Die für diese Anforderungen geeignete und im Projekt entwickelte Hardwarearchitektur ist in Bild 1 dargestellt. Sie ist in drei verschiedene Teilkomponenten untergliedert. Hauptbestandteil ist dabei der in 22nm FDSOI bei Globalfoundries gefertigte 8.68 mm² große FlexAISIC, dessen Layout in Bild 2 zu sehen und der für die grundlegenden CNN-Berechnungen verantwortlich ist. Dieser besteht einerseits aus acht programmierbaren Videantis v-MP+ Kernen und anderseits aus einem fixen FlexAICore zur Berechnung von Dense Layern. Komplementiert werden diese Recheneinheiten von 2 MB SRAM, um Daten lokal im Chip halten und schnellen Zugriff gewährleisten zu können. Das PCB mit dem FlexAISIC ist per FMC auf das TEC0330 - PCIe-FMC-Carrier Board montiert. Dieses beinhaltet einen Bild 2: Floorplan des FlexAISIC Bild 3: Der 8,86 mm 2 große FlexAISIC als Hauptbestandteil der KI-Flex-Beschleuniger- Hardware (hier: inkl. Aufsteckplatine auf das PCIe-FMC-Carrierboard) Bild 4: Vergleich der KI-Flex-Beschleuniger- Hardware (rechts) mit einem herkömmlichen KI-PC (links) / © Marc Frommer / Fraunhofer FOKUS TECHNOLOGIE  Autonomes Fahren Internationales Verkehrswesen (76) 1 ǀ 2024 67 DOI: 10.24053/ IV-2024-0013 verwendet. Die ursprünglich breitformatigen Bilder werden auf die Größe 300x300 herunterskaliert, bevor sie durch das Base Network verarbeitet werden. Als Ergebnis erzeugt das Base Network Feature Maps mit verschiedenen Auflösungen, die als Input in das Feature Network eingegeben werden. Dort werden sie mit Convolutions weiterverarbeitet, damit das Prediction Network daraus die Wahrscheinlichkeiten der Objektklassifikationen sowie die Bounding Boxes der erkannten Objekte prädizieren kann. Dies erfolgt ebenfalls mit Hilfe von Convolutions. Mit Non-Maximum-Suppression wird schließlich die wahrscheinlichste Objekterkennung ausgegeben und in das ursprüngliche Bild zurückberechnet. Die verwendete Architektur ist in Bild 5 dargestellt. Der LIDAR-Sensor besteht aus 32 einzelnen Laserschichten, für die in einem 360-Grad-Scan und einer horizontalen Winkelauflösung von bis zu 0.08 Grad maximal 4500 Punkte ausgegeben werden. Um diese Daten zu reduzieren, werden die LIDAR- Daten in einem zweidimensionalen Raster mit einer Zellgröße von 15x15 cm auf einer Gesamtfläche von 150x150 m um das Auto anforderungen jeweils unterschiedliche Aufgaben bearbeiten. Das optimierte Mapping vollständiger neuronaler Netze auf beliebige Anzahlen vorhandener v-MP+-Kerne wird dabei von einem automatisierten Mapping-Tool übernommen. Dieses sorgt für die Partitionierung der Verarbeitung auf die gewählte Anzahl von Kernen, das Scheduling von Speichertransfers unter Einbeziehung des über eine High-Speed-Busmatrix angebundenen On-Chip SRAMs und schließlich für die vollständige Codegenerierung für die v-MP+-Kerne. Vor der finalen Festlegung erlaubt das Mapping-Tool eine Exploration, um vorab festzustellen, welche Anzahl von Kernen und Speichergröße für die Erfüllung vorgegebener Anwendungsanforderungen ausreichend sind, so dass die nicht hierfür benötigten Ressourcen parallel für weitere Verarbeitungsaufgaben zur Verfügung stehen. So ließe sich bei gleichzeitigem Einsatz aller acht v-MP+-Kerne des FlexAISICs für das im Folgenden beschriebene neuronale Netz zur Bilderkennung eine Inferenzrate von jenseits 100 fps erreichen, während für den Praxiseinsatz niedrige zweistellige Inferenzraten ausreichend sind. Somit ist ein Großteil der Kerne parallel für weitere Aufgaben einsetzbar. In Bild 4 kann der Größenvergleich zu einem herkömmlichen System gesehen werden. Training neuronaler Netze für die KI-Hardware Die neuronalen Netze, die für KI-Flex verwendet werden, sind in der Lage, Bild- und LIDAR-Daten zu verarbeiten. Da LIDAR- Punktwolken sehr große Datenmengen erzeugen, werden diese in eine abstrakte Repräsentation umgewandelt, die ähnlich wie Bilder verarbeitet werden können. Eine Herausforderung in KI-Flex ist die Größe der Input-Daten, die der Flex-AISIC verarbeiten kann. Für diesen Zweck wurden daher spezielle neuronale Netze trainiert. Für die Bilderkennung wird eine Single- Shot-Detector[5]-Architektur verwendet. Sie ist einstufig und besteht aus drei verketteten Netzwerkmodulen. Dabei werden zunächst grundlegende Merkmale im Bild durch ein Base Network extrahiert. Hierfür wird ein Inception V2[6]-Netzwerk Bild 5: Neuronale Netze für die Bilderkennung. Das Base Network nutzt eine Inception V2 Architektur zur Feature Extraktion. Das Feature Network verarbeitet diese weiter und schließlich bestimmt das Prediction Network die Klassenwahrscheinlichkeiten und Bounding-Box-Positionen. Bild 6: Untersuchung der Komprimierungsalgorithmen (PNG3 - JPG95 bedeutet mit PNG3 trainiert aber JPG95 getestet) berechnet. Für jede Zelle wird der höchste und niedrigste LIDAR-Punkt bestimmt sowie als dritter Wert die maximale Reflektivität. Die 1000x1000 Zellen des Rasters mit jeweils drei Werten pro Zelle ähneln einem RGB-Bild mit einer Auflösung von 1000x1000. Dieses Abbild kann in eine ähnliche Netzwerkarchitektur wie das Bild gegeben werden. Dabei unterscheidet sich vor allem das Feature Network. Es besteht nicht aus simpel verketteten Convolutions, sondern einer Feature Pyramid [7]. Dabei werden durch wiederholtes Upsampling, Convolutions und geschickte Kombination mit Feature Maps aus dem Base Network detaillierte Feature Maps mit verschiedenen Skalierungen erzeugt. Durch die Ansicht aus der Bird’s Eye View können die Objektpositionen mit dem Prediction Network genau bestimmt werden. Ergebnisse Der in KI-FLEX gewählte KITTI-Datensatz musste angepasst werden, denn aufgrund der begrenzten Datenrate des FlexAISIC werden die Bild-Daten komprimiert, bevor sie an das Board gesendet werden. Deswegen müssen die Trainingsdaten der dort Autonomes Fahren TECHNOLOGIE Internationales Verkehrswesen (76) 1 ǀ 2024 68 Eingangsabbildung: © iStock.com/ jiefeng jiang einem Inception V2 Base Network, einem Feature Network und einem Prediction Network eingesetzt. Die LIDAR-Daten werden in ein zweidimensionales Raster umgewandelt und mit einer Feature Pyramid Architektur verarbeitet, um detaillierte Feature Maps mit verschiedenen Skalierungen zu erzeugen. ausgeführten Netze ebenfalls aus komprimierten Bildern bestehen. In Bild 6 sind die Ergebnisse unserer Untersuchungen mit verschiedenen Komprimierungsalgorithmen dargestellt. Es hat sich gezeigt, dass in diesem Fall JPG mit einer Qualitätsstufe von 95 besser funktioniert als PNG, wenn das Netz auch direkt mit JPG-Bildern trainiert wurde. Die trainierten Netze sind so weit optimiert, dass sie mit den begrenzten Ressourcen des FlexAISIC ohne Probleme ausgeführt werden können und adäquate Ergebnisse liefern. Die Precision-Recall Curves für Autos auf Bild- und LiDAR-Daten sind in Abbildung 7 zu sehen. Zusammenfassung Ein Hauptproblem im Bereich des autonomen Fahrens und der Verwendung von CNN-Netzwerk-Architekturen ist die Verarbeitung großer Datenmengen in Echtzeit mit niedrigem Energieverbrauch. Die KI-Flex- Hardware wurde entwickelt, um leistungsstarke und energieeffiziente Recheneinheiten bereitzustellen und sie mit flexibler Beschleunigerhardware auszustatten, die sich an unterschiedliche Umgebungsbedingungen anpassen können. Die in KI-Flex entwickelte Hardwarearchitektur besteht aus dem FlexAISIC-Chip, der sich aus acht programmierbaren v-MP+ Kernen und einem FlexAICore zusammensetzt und für die grundlegenden CNN-Berechnungen verantwortlich ist. Das FlexAISIC-Board ist mit einem FPGA auf dem TEC0330-PCIe-FMC- Carrier Board montiert und ermöglicht die dynamische Konfiguration von bis zu zwei zusätzlichen FlexAICores. Die Verwaltung der FlexAICores erfolgt über das HERA- Framework, das eine einfache Nutzung von Beschleunigerhardware ermöglicht und die dynamische Anpassung der FlexAICores je nach Bedarf ermöglicht. Für die Verarbeitung von Bild- und LIDAR-Daten in KI-Flex werden speziell trainierte neuronale Netze verwendet. Für die Bilderkennung wird eine Single-Shot-Detector-Architektur mit DOI: 10.24053/ IV-2024-0013 Bild 7: Ergebnis des Trainings mit KITTI-Daten für Autos mit Bild-Daten (links) und LiDAR-Daten (rechts) LITERATUR [1] Ernstberger, U.; Thöne, O.; Weissinger, J. (2020): Im Mittelpunkt steht der Mensch. In: Sonderprojekte ATZ/ MTZ 25: S. 8-11. [2] O‘Shea, K.; Nash, R. (2015): An introduction to convolutional neural networks. arXiv preprint arXiv: 1511.08458 . [3] Holzinger, P.; Reichenbach M. (2021): The HERA Methodology: Reconfigurable Logic in General-Purpose Computing. In IEEE Access, Vol. 9, S. 147212-147236. [4] Pfenning, S.; Holzinger, P.; Reichenbach, M. (2021): Transparent FPGA Acceleration with TensorFlow. arXiv preprint ar- Xiv: 2102.06018. [5] Liu, W.; Anguelov, D.; Erhan, D.; Szegedy, C.; Reed, S.; Fu, C. Y.; Berg, A. C. (2016). SSD: Single shot multibox detector. In Computer Vision-ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11-14, 2016, Proceedings, Part I 14, S. 21-37, Springer International Publishing. 6. [6] Szegedy, C.; Vanhoucke, V.; Ioffe, S.; Shlens, J.; Wojna, Z. (2016). Rethinking the inception architecture for computer vision. In Proceedings of the IEEE conference on computer vision and pattern recognition, S. 2818-2826. [7] Lin, T. Y.; Dollár, P.; Girshick, R.; He, K.; Hariharan, B.; Belongie, S. (2017). Feature pyramid networks for object detection. In Proceedings of the IEEE conference on computer vision and pattern recognition, S. 2117-2125. Johann Nikolai Hark Wissenschaftlicher Mitarbeiter, Daimler Center for Automotive IT Innovations (TU Berlin) j.hark@dcaiti.com Carsten Reuter Geschäftsführer, videantis GmbH carsten.reuter@videantis.de Hans-Joachim Stolberg CEO, videantis GmbH hans-joachim.stolberg@videantis. de Bernd Schäufele Senior Researcher, Fraunhofer FOKUS bernd.schaeufele@fokus.fraunhofer.de Michael Rothe Gruppenleiter Embedded AI, Fraunhofer IIS michael.rothe@iis.fraunhofer.de Philipp Holzinger Wissenschaftlicher Mitarbeiter, FAU Erlangen philipp.holzinger@fau.de Simon Pfenning Wissenschaftlicher Mitarbeiter, FAU Erlangen simon.pfenning@fau.de Julian Pfeifer Wissenschaftlicher Mitarbeiter, Daimler Center for Automotive IT Innovations (TU Berlin) julian.pfeifer@dcaiti.com TECHNOLOGIE  Autonomes Fahren