eJournals Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur 2/1

Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur
dtv
2748-9213
2748-9221
expert verlag Tübingen
61
2023
21

Halbautonome Schadenskartierung und -segmentierung mit Spot

61
2023
Patrick Herbers
Firdes Çelik
Marlena Block
Markus König
Um den strukturellen Zustand von Bauwerken zu überwachen, müssen Schäden wie Risse oder Abplatzungen frühzeitig erkannt und bewertet werden. Automatisierte Bauwerksprüfung mit KI und Robotersystemen können dabei helfen, die Arbeitsbelastung von Prüfenden zu reduzieren. Eine Möglichkeit ist die Schadenserfassung auf einer autonomen Plattform mit automatischer Klassifizierung. In diesem Ansatz wird der Roboterhund Spot eingesetzt, um Punktwolken von Bilddaten in Echtzeit zu segmentieren. Das Ergebnis ist eine halbautonome Schadenskartierung, die nicht nur den ersten Schritt zur vollautonomen Bauwerksprüfung darstellt, sondern auch die Grundlage für die Erstellung einer umfangreichen Schadenshistorie bietet, die Bauwerksprüfende bei der Entscheidungsfindung unterstützt.
dtv210247
2. Fachkongress Digitale Transformation der Verkehrsinfrastruktur - Juni 2023 247 Halbautonome Schadenskartierung und -segmentierung mit Spot Patrick Herbers, M. Sc. Ruhr-Universität Bochum Firdes Çelik, M. Sc. Ruhr-Universität Bochum Marlena Block, M. Sc. Ruhr-Universität Bochum Prof. Dr.-Ing. Markus König Ruhr-Universität Bochum Zusammenfassung Um den strukturellen Zustand von Bauwerken zu überwachen, müssen Schäden wie Risse oder Abplatzungen frühzeitig erkannt und bewertet werden. Automatisierte Bauwerksprüfung mit KI und Robotersystemen können dabei helfen, die Arbeitsbelastung von Prüfenden zu reduzieren. Eine Möglichkeit ist die Schadenserfassung auf einer autonomen Plattform mit automatischer Klassifizierung. In diesem Ansatz wird der Roboterhund Spot eingesetzt, um Punktwolken von Bilddaten in Echtzeit zu segmentieren. Das Ergebnis ist eine halbautonome Schadenskartierung, die nicht nur den ersten Schritt zur vollautonomen Bauwerksprüfung darstellt, sondern auch die Grundlage für die Erstellung einer umfangreichen Schadenshistorie bietet, die Bauwerksprüfende bei der Entscheidungsfindung unterstützt. 1. Einführung Die Überwachung und Instandhaltung von alternden Bauwerken ist von großer Bedeutung für die Sicherheit und Nachhaltigkeit unserer Infrastrukturen. Der vorliegende Beitrag adressiert das Tätigkeitsfeld der Bauwerksprüfung und stellt ein teilautonomes Verfahren zur Unterstützung vor. Um die Relevanz einer Effizienzsteigerung bei der Bauwerksprüfung zu unterstreichen, lassen sich die Zahlen aus dem Bereich Brücken heranziehen, ohne den Anspruch einer vollständigen Betrachtung zu verfolgen. Auf Ebene der Bundesfernstraßen existieren rund 39.500 Brückenbauwerke. Normkonform ist bei der Prüfung einer Brücke eine jährliche Sichtprüfung vorgeschrieben, eine Hauptprüfung alle 6 Jahre und eine Einfache Prüfung im Wechsel drei Jahre nach der Hauptprüfung [1]. Diese Größenordnung bietet Potenzial zur Evaluation von kosten- und zeitreduzierenden technischen Verfahren. Ein möglicher Ansatz zur Unterstützung ist der Einsatz von Maschinellem Lernen auf Roboter(-systemen), da maschinelles Lernen (ML) komplexe Informationen, wie Schäden erfassen und verarbeiten kann, und Robotersysteme die Mobilität für den automatischen Einsatz von ML bieten. Konkret heißt das, mittelfristig kann die Sichtprüfung durch den Einsatz (teil-)autonomer Systeme durchgeführt werden. Für die Hauptprüfung wäre ein Assistenzsystem denkbar, bei dem ein (teil)autonomes System die Dokumentation der Schadenshistorie unterstützt. In verschiedenen Veröffentlichungen werden dazu unbemannte Luftfahrzeuge (engl. unmanned aerial vehicles, UAV) z. B. Drohnen für die Bauwerksprüfung von Gebäuden und Brücken vorgeschlagen. Allerdings ist die Navigation von UAVs in Innenräumen und bei schwierigen Wetterlagen mit weiteren Einschränkungen in der Bewegungsfreiheit verbunden. Eine Alternative zu UAVs sind Laufroboter wie der Boston Dynamics Spot. Spot kann mit einem Kamerasystem bestückt und als mobile und autonome Plattform genutzt werden, die wiederum Bildaufnahmen zur Auswertung an eine ML-basierte Schadenerkennungsmethode schickt. Dadurch kann die Schadendokumentation automatisiert und optimiert werden. Ferner kann die Schadensdokumentation hinsichtlich der Verortung verbessert werden, wenn eine Schadenskartierung mithilfe einer Punktwolke zur Aufzeichnung der Umgebung genutzt wird. Der vorgestellte Ansatz kann auch auf anderen Plattformen mit entsprechender visueller Sensorik eingesetzt werden. Zudem kann der vorliegende Ansatz sinnvoll auf weitere Bauwerkstypen angewendet werden, dazu zählen Tunnel, Trogbauwerke, Lärmschutz- und Stützbauwerken, sowie Gebäude des Hochbaus. Der Beitrag stellt eine auf ML-basierende Methode zur Schadenskartierung vor. In Anbetracht der oben genannten Anforderungen ist es effizient, die Datenerfassung bezüglich der Geometrie des Bauwerks und der Schäden zu parallelisieren und zu automatisieren. Im Abschnitt Funktionsweise des Systems wird eine Methode zur Schadenskartierung in einem Umgebungsnetz unter Verwendung von Punktwolken und Bilddaten vorgestellt. Auf das Bild wird ein Segmentierungsnetz angewendet, das eine Segmentierungsmaske erzeugt. Diese 248 2. Fachkongress Digitale Transformation der Verkehrsinfrastruktur - Juni 2023 Halbautonome Schadenskartierung und -segmentierung mit Spot Maske wird auf das Umgebungsnetz abgebildet und markiert den Schadensbereich so, dass er genau lokalisiert wird. Gleichzeitig wird die Datenquelle für das Umgebungsnetz mit Hilfe von Punktwolkendaten erfasst. Dieser Ansatz ist weniger rechenintensiv als die Schadenserkennung in Punktwolken, wie in Bolourian et al. [2] vorgeschlagen. Im folgenden Beitrag werden eingangs das Plattformsystem Spot und das verwendete Hardware-Setup vorgestellt. Zudem erfolgt eine Übersicht der erkennbaren Betonschadensarten. Der dritte Abschnitt behandelt das implementierte System und das Zusammenspiel der einzelnen Komponenten. Der Abschnitt Diskussion bewertet vorrangig die technische Leistungsfähigkeit des Systems. Die Zusammenfassung abschließend gibt eine Aussicht auf zukünftige Potenziale. 2. Plattformsystem und erkennbare Schäden 2.1 Spot Das Robotersystem Spot von Boston Dynamics kann Hindernissen ausweichen, auf verschiedenen Oberflächen laufen und Treppen steigen. Er kann Lasten von bis zu 14 kg tragen und ist ausreichend robust um in anspruchsvollen Umgebungen wie Baustellen eingesetzt zu werden. Der Roboter kann über eine Fernbedienung gesteuert werden, aber auch halb- oder vollständig autonom agieren. Durch seine Fähigkeit, sich in schwer zugänglichen Bereichen zu bewegen und eine breite Palette von Daten zu sammeln, ist Spot ein vielversprechendes Werkzeug für den Einsatz in der Inspektion von Bauwerken oder anderen kritischen Infrastrukturen. Spot kann mit einer Vielzahl von Sensoren ausgestattet, darunter Kameras, LIDAR- und IMU-Sensoren, die ihm eine 360-Grad-Wahrnehmung seiner Umgebung ermöglichen. Zur Erfassung von Schadensbildern ist der Roboter mit einer Schwenk-Neige-Zoom-Kamera (PTZ, siehe Abbildung 1, b) ausgestattet. Diese Kamera hat einen Schwenkbereich von 360°, einen Neigebereich von 30° bis 100° und einen bis zu 30-fachen Zoomfaktor. Des Weiteren wurde Spot mit einem Velodyne-LiDAR-Sensor bestückt, welcher kontinuierlich Punktwolken der Umgebung für die Schadenlokalisierung aufzeichnet (siehe Abbildung 1, a). 2.2 Schadensarten und Schadenskartierung Das in diesem Ansatz verwendete Segmentierungsmodell basiert auf dem Feature Pyramid Network [3]. Das Training erfolgte auf einem Datensatz von über 5500 Bildern von Betonschäden. Diese Bilder zeigen hauptsächlich Betonstrukturen im Freien, Schäden wurden in vier Schadenarten annotiert: Risse, Kiesnester, Abplatzungen und Korrosion. Risse können aus verschiedenen Gründen entstehen, wie zum Beispiel durch äußere Belastungen, Zwangsbeanspruchungen und Eigenspannungen sowie durch bauchemische und bauphysikalische Prozesse. Risse können je nach Art und Größe unterschiedliche Auswirkungen auf ein Bauwerk und seine Stabilität haben. Kiesnester entstehen durch Ausführungsfehler beim Betonieren. Beispielsweise kann sich der Beton bei großen Fallhöhen entmischen. Kiesnester können die Entstehung anderer Schäden beschleunigen, da Feuchtigkeit einfacher in den Beton eindringen kann. Bei Abplatzungen handeln es sich um Schäden, bei dem sich Betonteile von der Oberfläche lösen. Ursachen können eine unzureichende Vorbereitung der Oberfläche, mangelhafte Materialqualität, chemische Reaktionen oder physische Ereignisse, wie Anprall, sein. Abplatzungen können die Betonstruktur schwächen. Häufig lassen sich an älteren Massivbrücken Abplatzungen mit freiliegender korrodierter Bewehrung finden. Eine Ursache dafür kann Karbonatisierung des Betons sein, wodurch die alkalische Schutzwirkung des Betons verloren geht. Die Bewehrung fängt an zu korrodieren und nimmt an Volumen zu, sodass anschließend der Beton abplatzt. [4] Abb. 1: Hardware-Setup des Spot-Roboters. a) Velodyne-LiDAR-Sensor. b) Schwenk-Neige-Zoom-Kamera (Pan-Tilt-Zoom, PTZ). c) Spot-Core-Recheneinheit 3. Halbautonome Schadenskartierung und Segmentierung mit Spot Das System umfasst vier wesentliche Module - die Datenerfassung, die Umgebungsrekonstruktion, die Schadenserkennung und Schadenslokalisierung. Das Modul der Datenerfassung erfasst und überträgt Daten vom Roboter an die Recheneinheit. Punktwolken werden mit einer Geschwindigkeit von 1 Hz erfasst und an das Rechengerät gesendet. Die Odometriedaten, die die Körperposition und -drehung des Roboters umfassen, werden kontinuierlich und mit hoher Frequenz ausgewertet, um die Steuerung des Roboters zu ermöglichen. Andere Module greifen auf diese Odometriedaten zu, wenn Punktwolken oder Bilddaten erfasst werden. Es gibt drei relevante Odometrierahmen: Der Roboterkörperrahmen, der LiDAR-Scannerrahmen und der PTZ-Kamerarahmen. Das Modul verfolgt nur den Körperrahmen des Roboters, während die anderen Rahmen in Bezug auf den Körper fixiert sind. So kann der Scannerrahmen einfach aus dem Körper berechnet werden, und der Kamerarahmen kann aus den Drehwinkeln des PTZ-Kamerakopfes berechnet werden. Schließlich wird ein Kamerabild für die PTZ-Kamera erstellt und mit einer Auflösung von 2. Fachkongress Digitale Transformation der Verkehrsinfrastruktur - Juni 2023 249 Halbautonome Schadenskartierung und -segmentierung mit Spot 1280x720 Pixel und 30 Hz übertragen, das mit h.264- Kompression kodiert ist. Der Roboter zeichnet zur Umgebungskonstruktion ständig Punktwolkendaten mit dem Velodyne LiDAR- Sensor auf. Diese Daten werden mithilfe von Octomap [5] in einer Octree-Datenstruktur gespeichert, wobei die Punkte in Voxeln mit einer Seitenlänge von 10 cm abgelegt werden. So lässt sich neues Material effizient einfügen und der Speicherbedarf der Punktwolke begrenzen. Um Redundanzen zu vermeiden, werden doppelte Punkte aussortiert und Punkte, die durch dynamische Elemente wie passierende Personen erzeugt werden, entfernt. Die resultierende Punktwolke wird in ein Umgebungsnetz rekonstruiert, indem benachbarte Punkte mithilfe des Marching-Cubes-Algorithmus [6] zu Flächen verbunden werden. Zur Schadenserkennung innerhalb der aufgenommenen Bilder werden visuell erfassbare Schadensarten segmentiert (siehe 2.2). Einzelheiten zum Modelltraining und zum Datensatz finden sich in [7]. Abbildung 2 zeigt das Ergebnis des Segmentierungsnetzwerks auf einem PTZ-Kamerabild. Schließlich werden das PTZ-Kamerabild und die zugehörigen Segmentierungsmasken weitergeleitet an das Modul zur Lokalisierung. Abb. 2: Segmentierungsmasken eines Risses im Verputz eines Deckenbalkens mit der PTZ-Kamera. Das Modul zur Schadenslokalisierung hat die Aufgabe, die vom Segmentierungsnetzwerk markierten Schäden im Umgebungsnetz zu registrieren. Hierbei wird das PTZ-Kamerabild sowie das Segmentierungsergebnis mithilfe einer Projektionsmatrix auf das Netz projiziert. Die Projektionsmatrix ist von der Drehung und der Brennweite der Kamera sowie von der Position des Roboters in einem globalen Referenzrahmen abhängig, welcher durch die intrinsischen und extrinsischen Kameramatrizen repräsentiert wird. Auf diese Weise wird eine genaue Registrierung der Schäden im Umgebungsnetz sichergestellt. Detailliert wird das Verfahren in Herbers et.al. [8] beschrieben. 4. Diskussion Der entwickelte Prototyp zeigt das Potenzial für eine halbautomatische Schadensprüfung und -kartierung. Der Spot-Roboter erweist sich als vielseitige Plattform, die in der Lage ist, die für die Schadenskartierung erforderliche Ausrüstung, wie hochauflösende Kameras und LiDAR-Geräte, zu tragen. Die Teilautonomie von Spot ermöglicht das Durchqueren von unterschiedlichem Terrain in Innenräumen und im Freien. Herausforderungen für einen vollständig autonomen Einsatz können sich ergeben, wenn an einem Ort viel geklettert oder Türen geöffnet werden müssen. Detaillierte Bilddaten von Schäden in großen Entfernungen wurden mit einer PTZ-Kamera aufgezeichnet. Vorläufige Ergebnisse zeigen, dass die Bildqualität der PTZ-Kamera für kleine Risse in der Ferne oder an Decken ausreichend ist. Der Bewegungsbereich, die stabile Plattform und der hohe Zoomfaktor der Kamera ermöglichen die Aufnahme von Bildern mit starker Vergrößerung. Die Videokomprimierung der Kameraübertragung kann die Leistung des Segmentierungsnetzes beeinträchtigen. In zukünftigen Iterationen kann die Videoübertragung durch die Aufnahme statischer Bilder oder die Reduzierung der Videofrequenz ersetzt werden. Die Bilddaten wurden mit Hilfe eines Schadenssegmentierungsnetzes auf Risse untersucht. Das verwendete Segmentierungsnetz von Çelik et al. [7] zeigt im Zusammenhang mit der PTZ-Kamera eine vielversprechende Leistung. Obwohl es einen Domänenunterschied zwischen Innenräumen und Betonstrukturen im Freien gibt, wird die Leistung des Modells als ausreichend für Tests angesehen. In einer fortgeschrittenen Forschungsstudie kann ein Datensatz mit Schadensbildern aus Innenräumen erstellt werden, um den bereits verfügbaren Datensatz zu erweitern. Auf diese Weise kann die Leistung des Segmentierungsnetzwerks für Innenraumschäden verbessert werden. Die analysierten Bilder wurden auf ein lokales Umgebungsnetz abgebildet. Die Schadenskartierung zeigt viel- 250 2. Fachkongress Digitale Transformation der Verkehrsinfrastruktur - Juni 2023 Halbautonome Schadenskartierung und -segmentierung mit Spot versprechende Ergebnisse und liefert ein grobes Modell der Umgebung. Die Odometrie des Roboters reicht aus, um Umgebungsnetze auch über größere Entfernungen zu erfassen, und die Kartierung ermöglicht eine effiziente Akkumulation von Punktwolken über die Zeit. Schäden an vertikalen Bauelementen können gut erkannt und rekonstruiert werden. Der Prototyp berücksichtigt nur Einzelbilder für die Schadenslokalisierung. In einer zukünftigen Iteration könnten die Ergebnisse des Segmentierungsnetzwerksmit der Zeit akkumuliert werden, indem eine voxelbasierte Abstimmungsstrategie für eine stabile Erkennung verwendet wird. Um ein saubereres und genaueres Umgebungsnetz zu erhalten, könnten weitere Verbesserungen vorgenommen werden, z. B. achsenorientierte Octrees und Sub-Voxel-Vertices. Aufgrund der Kartierungsauflösung von 10 cm können bei der geometrischen Rekonstruktion Details übersehen werden, wie z. B. kleine Säulen oder Geländer. In solchen Situationen können detailliertere Rekonstruktionsmethoden erforderlich sein, was jedoch auf Kosten der Rechen- und Speichereffizienz geht. 5. Fazit und Ausblick Der vorliegende Beitrag zeigt einen funktionsfähigen Ansatz zur Schadenskartierung auf einer autonomen Plattform. Der vorgestellte Prototyp kann eine 3D-Umgebung erfassen, in der Risse, Abplatzungen, Kiesnester und Korrosionen in Betonstrukturen von einem ML- Verfahren segmentiert und einem 3D-Punkt zugeordnet werden. Spot hat sich als geeignete Plattform für autonome Missionen erwiesen, und die verwendeten Sensoren erbringen eine gute Leistung, um ausreichend Umgebungsdaten zu erfassen. Die demonstrierte Plattform könnte mit zusätzlichen Sensoren erweitert werden. Beispielsweise kann die PTZ-Kamera mit Wärmebildsensoren im Infrarotspektrum ausgestattet werden, um Wärmebrücken und undichte Stellen zu detektieren. Da die Steuerung des Roboters in diesem Prototyp nur teilautonom ist, sollte in Zukunft auch die vollständige Autonomie getestet werden. Für eine vollständig autonome Bauwerksprüfung sollte der Roboter in der Lage sein, ein Bauwerk selbständig zu begehen, zum Beispiel mit der Autowalk-Funktion von Spot. Bauwerksprüfungen könnten regelmäßig durchgeführt werden, indem autonome Missionen geplant werden, die eine detaillierte Schadenshistorie erstellen. Eine solche Historie könnte eine bessere Rückverfolgbarkeit, Vorhersagbarkeit und schnellere Reaktionszeiten bei kritischen Mängeln ermöglichen. Zukünftig sind eine modellbasierte Verortung und eine objektbezogene Schadenshistorie denkbar. Dieses rückt erneuet das Potenzial digitaler Zwillinge in den Fokus. Für die Existenz eines digitalen Zwillings ist eine regelmäßige Datenerfassung und -akkumulation erforderlich. Der vorliegende Prototyp dient als Datenerfassungswerkzeug zur Erleichterung der Erstellung des digitalen Zwillings. Dafür müssen der annotierte räumliche Netzbereich und ein Gebäudemodellbereich registriert werden. Dadurch erhalten kartierte Mängel einen zusätzlichen Kontext und es entsteht ein gemeinsamer Bezugspunkt zwischen den Datensammlungen. Eine Verbindung zwischen Netz- und Gebäudemodellbereich ermöglicht dem autonomen Roboter auch ein besseres Verständnis seiner Umgebung und die Fähigkeit, Entscheidungen zu treffen, die über die lokale für ihn sichtbare Umgebung hinausgehen. Zukünftige Arbeiten sollten sich auf die Modellregistrierung und Gerätelokalisierung konzentrieren, um die Entwicklung des digitalen Zwillings voranzutreiben. Literatur [1] DIN 1076: Ingenieurbauwerke im Zuge von Straßen und Wegen - Überwachung und Prüfung. [2] Bolourian, Neshat; Nasrollahi, Majid; Bahreini, Fardin; Hammad, Amin (2023): Point Cloud-Based Concrete Surface Defect Semantic Segmentation. In: J. Comput. Civ. Eng. 37-(2), Artikel 04022056. DOI: 10.1061/ JCCEE5.CPENG-5009. [3] Lin, T.-Y., P. Dollar, R. Girshick, K. He, B. Hariharan, and S. Belongie. 2017. “Feature Pyramid Networks for Object Detection.” Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2117-2125. [4] Bundesministerium für Verkehr und digitale Infrastruktur (2017): Richtlinie Zur Einheitlichen Erfassung, Bewertung, Aufzeichnung und Auswertung von Ergebnissen der Bauwerksprüfungen nach DIN 1076 (RI-EBW-PRÜF). [5] Hornung, Armin; Wurm, Kai M.; Bennewitz, Maren; Stachniss, Cyrill; Burgard, Wolfram (2013): OctoMap: an efficient probabilistic 3D mapping framework based on octrees. In: Auton Robot 34- (3), S.-189-206. DOI: 10.1007/ s10514-012-9321-0. [6] Lorensen, William E.; Cline, Harvey E. (1987): Marching cubes: A high resolution 3D surface construction algorithm. In: SIGGRAPH Comput. Graph. 21 (4), S. 163-169. DOI: 10.1145/ 37402.37422. [7] Çelik, F., Herbers, P. und M. König, M. 2022: Image Segmentation on Concrete Damage for Augmented Reality Supported Inspection Tasks. Proc. 19 th Int. Conf. Comput. Civ. Build. Eng. Cape Town. [8] Herbers, Patrick; Çelik, Firdes; König, Markus (im Druck): Autonomous Defect Inspection and Mapping for Building Maintenance. In: 2023 ASCE International Conference on Computing in Civil Engineering.