6. Brückenkolloquium 2024 - Oktober 2024 191 Automatisierte Zustandserfassung mittels multivariater Inspektionssysteme und Drohnen - Stand der Entwicklung Dipl.-Ing. Dirk Münzner BuP. Boll Beraten und Planen Ingenieurgesellschaft mbH & Co. KG, Stuttgart Dominik Thomas, M. Sc. Helmut-Schmidt-Universität, Hamburg Zusammenfassung Die Herausforderungen beim Erhalt bestehender Infrastrukturbauwerke steigen enorm. Das MISDRO-Projekt hat sich daher zur Aufgabe genommen, die Ingenieure bei Erfassung und Bewertung entscheidend zu entlasten sowie gleichzeitig die Möglichkeiten der Bewertung zu erhöhen. Dadurch wird dem Ingenieur die Möglichkeit gegeben, die Bewertung schneller und fundierter durchzuführen und zu dokumentieren. 1. Motivation und Team 1.1 Motivation Bei der vorhandenen Verkehrsinfrastruktur und hier insbesondere bei Ingenieurbauwerken wie Brücken ergibt sich eine immer größer werdende Lücke zwischen den personell, monetär und technisch möglichen Rahmen und den dringend notwendigen Maßnahmen zur Erhaltung. Die gesetzlich vorgegebene Überprüfung des Ist-Zustandes des Brückenbauwerks hinsichtlich Standsicherheit und verkehrssicherer Nutzung orientiert sich methodisch noch an den bewährten technischen Möglichkeiten des vergangenen Jahrhunderts, auch wenn der Vorentwurf der neuen DIN 1076 mittlerweile vorliegt. Geschultes Personal und Experten untersuchen das Bauwerk, dokumentieren Schäden, erstellen Berichte und werten diese aus - ein Prozedere, das sich bisher an Bauwerken mit wenig Schäden und einem gutem oder befriedigenden Gesamtzustand orientieren konnte. Mit der gleichzeitigen Annäherung vieler tausender Brückenbauwerke, die zwischen 1950 und 1980 erbaut wurden, an den Mindestsollzustand und dem damit verbundenen massiven Anstieg von zu dokumentierenden Schäden und Bewertungskriterien, stößt die bisherige Methodik an ihre Grenzen. Gleichzeitig nimmt die Personaldecke der erforderlichen Experten, wie in vielen anderen Fachbereichen, ebenfalls ab. Das Projekt „MISDRO“ verfolgt das Ziel, die Prozesse der Zustandserfassung auf Basis der neuen technischen Möglichkeiten durch Drohnen, Sensorik, Digitalisierung und KI neu zu denken und die Zustandserfassung nicht nur zu beschleunigen, sondern auch inhaltlich wesentlich zu verbessern. Der Einsatz innovativer Technik, um bequemer zu besseren Ergebnissen zu kommen, soll auch einen Motivationsschub auslösen, um junge Ingenieure als Nachwuchs für die Sicherstellung des Betriebs alternder Brücken zu gewinnen. 1.2 Team Das MISDRO- Konsortium wird von Prof.- Dr. Gündel vom der Helmut-Schmidt-Universität / Universität der Bundeswehr Hamburg, Lehrstuhl für Stahlbau und Stahlwasserbau und seinen Mitarbeitern geleitet. Die Professur für Regelungstechnik der Helmut-Schmidt-Universität, BuP. Boll Beraten und Planen, Emqopter, Synergeticon und Wölfel Engineering sind als Konsortialpartner beteiligt. Den Mitgliedern des Konsortiums sind verschiedene Arbeitspakete zugeteilt, welche im Wesentlichen den folgenden Umfang beinhalten: Das Arbeitspaket (AP) 1 beinhaltet die Analyse und Definition der Anforderungen an ein Inspektionssystem, die sich aus den Inspektionsrichtlinien der Infrastrukturbetreiber von Wasserbauten, Straßen- und Eisenbahnbrücken ergeben. Die ermittelten Anforderungen fließen ein in das AP 2, in dem ein eigenes Drohnensystem speziell für die Bauwerksprüfung entwickelt wird. Parallel dazu behandelt das AP 3 die Zustandsanalyse mittels kontaktloser, zerstörungsfreier Prüfverfahren und Entwicklung von KI-basierten Algorithmen für eine automatische, objektive Bewertung der Bauwerksdefekte. Schlussendlich geschieht die Gesamtintegration in das AP 4, in dem das System in der Praxis erprobt wird. Der Konsortialpartner BuP. Boll Beraten und Planen verfügt über eine langjährige Erfahrung im Bereich Bauwerksprüfung, Drohnenbefliegung und BIM und konnte diese Expertise in das MISDRO Projekt einbringen. Daher werden vornehmlich die Themenbereiche, wie vorgezogene Testbefliegung, BIM und Auswertung, nachfolgend schwerpunktmäßig erläutert. 2. Konzept „MISDRO“ 2.1 Ziele Wie bereits im Abschnitt „Motivation“ beschrieben, soll sich der Ingenieur zukünftig stärker auf die Bewertung eines Bauwerkes fokussieren können und von bisher er- 192 6. Brückenkolloquium 2024 - Oktober 2024 Automatisierte Zustandserfassung mittels multivariater Inspektionssysteme und Drohnen - Stand der Entwicklung forderlichen Tätigkeiten, wie Organisation und Betrieb von Höhenzugangsgeräten, Aufnahme und spätere Verortung von Fotos, Schreiben von Berichten und Bewertungen, entlastet werden. 2.2 Darstellung bisheriger Methoden Bisherige Inspektionsansätze gehen von dem Erfordernis einer „handnahen Prüfung“ aus. Dies ist technisch richtig und bewährt, denn nur so kann das mögliche Spektrum an Schäden geprüft und erkannt werden. Gleichzeitig ist die Methode, einen Menschen an alle möglichen Schadstellen eines Bauwerks zu befördern und ihm dort eine Prüfung sowie Dokumentation mittels Fotos und Klemmbrett zu ermöglichen, sehr aufwändig - und somit ineffizient. In diesem hohen Aufwand und der heterogenen, subjektiven Dokumentations- und Bewertungsstrategie liegt die Problematik begründet, nur geringe Intervalle der Prüfung fahren zu können und somit die Verschlechterung des Zustandes bei Annäherung an den Mindestsollzustand nur schwer abschätzen zu können. 2.3 Neue Methodologie Das MISDRO- Projekt möchte nicht die bestehenden Ansätze durch neue Technik graduell verbessern, sondern den gesamten Inspektionsprozess disruptiv neu entwickeln. Hierfür werden die folgenden innovativen und technischen Ansätze verfolgt: - Datenerfassung mittels automatisiert agierender Flugsysteme (UAS) • Flugwegplanung zur Erfassung relevanter Bereiche • Kollisionserkennung • Verortung - Sensorik • Hochauflösende RGB- Kameras • Hyperspektralkameras • Wärmebildkameras • LIDAR - Auswertung • Erkennung von Schäden mit Künstlicher Intelligenz • Bewertung und Verortung der Schäden an einem Digitalen Zwilling - Kombination mit anderen Erfassungssystemen • Integration bisheriger Daten, z. B. aus SIB- Bauwerken • Synthese mit Daten aus SHM- Systemen (Structural- Health- Management, z. B. über Variation von Bauwerksschwingungen) 3. Stand der Umsetzung 3.1 Durchführung von Testbefliegungen Zur Schaffung von Grundlagen für die automatisierte Flugwegplanung und Auslegung des Trägersystems und die Auswertung wurden zunächst manuell geplante Befliegungen mit kommerziellen Systemen durchgeführt. Abb. 1: Befliegung einer Eisenbahnbrücke Diese „Testbefliegungen“ haben dem Team frühzeitig einen hohen Erkenntnisgewinn für die späteren Entwicklungen ermöglicht und die teilweisen Lücken zwischen Konzept und Realität aufgezeigt: - Regularien / Luftraumbeschränkung - Durch bestehende Beschränkungen ist der Betrieb von UAS in der Nähe von Infrastrukturbauwerken richtigerweise eingeschränkt. Einem engagierten Projektteam gelang es vielfach trotz hohem Vorlauf ebenfalls nicht, entsprechende zusätzliche Genehmigungen zu erlangen. Abb. 2: Einschränkung Genehmigungsverfahren - Erfassbare Bereiche Die Kombination aus Mindestabstand/ UAS- Abmessungen und der vielfach sehr komplexen Oberfläche von Fachwerkbrücken, ergeben starke Einschränkungen an erfassbaren Bereichen. 6. Brückenkolloquium 2024 - Oktober 2024 193 Automatisierte Zustandserfassung mittels multivariater Inspektionssysteme und Drohnen - Stand der Entwicklung Abb. 3: Einschränkung bei der Erfassung mittels Kamera- Sensorik - Verortung Die erforderliche Genauigkeit der Verortung eines Schadens ist über die Verortung der Drohne selbst über RTK nicht realisierbar - hinzu kommen vielfach Verschattungseffekte, z. B. unter dem Bauwerk. - Sensorik Die Möglichkeit, Schäden zu detektieren, korreliert in hohem Maße mit der Qualität der von der Drohne aufgenommenen Fotos. Diese sind in Bezug auf Belichtung/ Verschattung, Gegenlicht ebenfalls höchst anspruchsvoll und nicht mit den Anforderungen z. B. an normale Geländeerfassungen zu vergleichen. Die eingesetzten Hyperspektralsysteme müssen regelmäßig auf die veränderten Belichtungssituationen neu kalibriert werden. Abb. 4: Problematik RGB- Sensorik 3.2 Auswertungsmethodik Für die Auswertung wurde ein mehrstufiges Verfahren entwickelt. Ziele dieses Verfahrens sind: 1. Serienaufnahme 2. Schaden auf Bild erkennen und markieren (Segmentation) 3. Transfer des Schadens als 2D- Bildinformation in ein 3D- Objekt mittels Photogrammmetrie 4. Darstellung am Digitalen Zwilling Abb. 5: Auswertungsmethodik mittels Photogrammmetrie 3.3 Digitaler Zwilling Für die Befliegungsplanung sowie Analyse und Darstellung der Bauwerksprüfung wird auf die Modellierung durch digitale Zwillinge zurückgegriffen. Für das Building Information Modeling (BIM) von Inspektionen und deren Darstellungen existieren bisher keine standardisierten Richtlinien, weshalb eine eigene interne Richtlinie eingeführt wurde. Als Grundlage wurde als Level of Information 200 ausgewählt, wobei jedoch Verbindungsmittel wie Schrauben, Nieten, Schweißnähte und Seile für die Inspektion von besonderem Interesse sind und daher ebenfalls modelliert wurden. Zusätzlich sind die BIM-Modelle georeferenziert. Durch die aktuell bekannte Position und Orientierung der Sensorik ist es möglich, Bildpixel einen Punkt im BIM-Modell zuzuordnen und darüber weitere Bauwerksinformationen zu laden. Zudem ermöglicht es, die Lidar-Punktwolke des Drohnensystems mit dem BIM-Modell zu überlagern und as-planned und as-built-Zustände zu vergleichen. Zusätzlich wird die 3D-Geometrie für die automatische Befliegungsplanung und im Anschluss für die Analyse und Darstellung der Inspektionsergebnisse genutzt. Für die Modellierung wurde von BuP. Boll Beraten und Planen auf historische Bauwerkspläne und Photogrammetrische Aufnahmen aus eigenen Drohnenbefliegungen zurückgegriffen. 3.4 Trägersystem Als Trägersystem wurde von der Firma Emqopter GmbH eine Inspektionsdrohne entwickelt, die in komplexen Umgebungen in Stahl-Fachwerken eingesetzt werden kann und Aufnahmen ober- und unterhalb von Trägern vornehmen kann. Hierzu wurde ein Fokus auf möglichst geringe Abmessungen der Drohne und ein C-Bügel entwickelt, der auf einer Seite ein Lidar für die Positionsbestimmung benutzt, während auf der anderen Seite je nach aktueller Inspektionsaufgabe die notwendige Sensorik installiert ist. Das System ist Plug&Play-basiert, sodass bei einer Befliegungsunterbrechung die Sensorik und die Speichermedien schnell gewechselt werden kann. Eine Live- Übertragung der Sensorik findet, aufgrund der entstehenden Datenmenge, nur bedingt statt. Durch die zentrale Positionierung der Sensorik bleibt der Schwerpunkt in der Mitte der Drohne erhalten und unterstützt einen stabilen Flug. Das System wiegt mit 10 Ah-Akkupack und Sensorik ca. 12,5 kg. Im Regelfall ist die Drohne während der Inspektion in einem größeren Abstand zum Bauwerk 194 6. Brückenkolloquium 2024 - Oktober 2024 Automatisierte Zustandserfassung mittels multivariater Inspektionssysteme und Drohnen - Stand der Entwicklung (~10 m) unterwegs. Lediglich auffällige oder sonst nicht erreichbare Bereiche werden aus der Nähe aufgenommen. Der Flugpfad wird automatisch mit einem Algorithmus der Professur für Regelungstechnik der Helmut-Schmidt- Universität Hamburg aus aufgenommenen Lidardaten berechnet. Hierbei fließen die Flächenorientierungen, bereits bekannte Bauwerksschäden und aktuelle Verdachtsfälle in die Flugplanung ein. Die Drohne fliegt teilautonom, sodass ein Pilot lediglich in Gefahrensituationen intervenieren muss. Der Pilot selbst muss kein Bauwerksprüfer sein. Die aufgenommenen Daten werden vor Ort voranalysiert und auffällige Bereiche werden markiert, und mit zusätzlicher Sensorik genauer inspiziert. Abb. 3: Berechneter Flugpfad aus Lidardaten eines Fachwerkträgers Die Befliegungen finden je nach Bauwerk an stark frequentierten Verkehrsachsen und in Naturschutz gebieten statt. Die Piloten sind besitzen deshalb einen EU-Fernpiloten-Zeugnis A2 und müssen ihre Befähigung durch regelmäßige Befliegungen nachweisen. Abb. 6: Misdro-Drohne mit C-Bügel und Sensorik in Top-Konfiguration für die Inspektion von Fahrbahnunterseiten. 3.5 Sensorik Die eingesetzte Sensorik sollte für den Drohneneinsatz ein möglichst geringes Gewicht, geringe Abmessungen, niedrige Energieaufnahme und scharfe Aufnahmen, trotz Vibrationen des Trägersystems, liefern. Aufgrund der Distanz zum Bauwerk sind viele der standardmäßig eingesetzten zerstörungsfreien Prüfverfahren der Bauwerksprüfung nicht anwendbar. Nach einer umfassenden Marktrecherche wurden klassische (RGB-)-Kameras, Wärmebildkameras, Lidar und Hyperspektralkameras als geeignete Verfahren ausgewählt. Hauptanwendungsgebiet des Lidar ist die Detektion von Geometrieveränderungen, während die Wärmebildkamera für die Detektion loser Verbindungen eingesetzt wird, und die Hyperspektralkamera Vegetation, Feuchtigkeit und Korrosion erkennt. Beschichtungsschäden, Ermüdungsrisse und weitere Veränderungen werden per RGB- Kamera aufgenommen. Hyperspektralkameras nehmen anstatt der Farbkanäle Rot, Grün, Blau standardmäßig eingesetzter RGB-Kameras, eine Vielzahl weiterer Wellenlängenbereiche auf, wodurch das materialabhängige Reflexionsspektrum einer Oberfläche analysiert und Veränderungen verfolgt werden können [1]. Für die Reflexionsmessung ist eine vorherige Kalibrierung mit einem Weißlichtreferenztarget notwendig, um die Belichtungssituation am Bauwerk aufzunehmen. Im MISDRO-Projekt wird eine Ultris X20 Plus-Hyperspektralkamera eingesetzt, die im Bereich von 350 bis 1000 nm unterteilt in 164 Wellenlängenbereichen aufnimmt. Eine Aufnahme hat dabei 640x640 räumliche Pixel. Zusätzlich wird ein hochaufgelöstes 1886x1886-Graustufenbild aufgenommen, mit dem die niedriger aufgelöste Hyperspektralaufnahme via “Pansharpening” hochskaliert wird. Die Größe einer Hyperspektralaufnahme beträgt 21 MB. Der Großteil der Befliegungen findet mit hochaufgelösten Vollformatkameras und einem Objektiv mit 50 mm Festbrennweite statt. Die aufgenommenen Bilder ähneln somit am meisten dem, was das menschliche Auge sieht, und künstliche Bildverzerrungen sind auf ein Minimum reduziert. Abb. 7: Hyperspektralaufnahme korrodierter Flächen an einer Brücke. Links: Falschfarbenaufnahme der Hyperspektralkamera Rechts: Per Algorithmus segmentierte Pixel die mit dem Reflexionsspektrum von Eisenkorrosion korrelieren. Die Aufnahmen werden mit KI-basierten Algorithmen segmentiert, wobei für jede Schadensart Feuchtigkeit, Biota, Beschichtungsschaden, Korrosion, Ermüdungsriss und Verformung eigene Detektionsalgorithmen eingesetzt werden. Für das Training der Algorithmen wird ein Datensatz gesammelt und manuell annotiert. 6. Brückenkolloquium 2024 - Oktober 2024 195 Automatisierte Zustandserfassung mittels multivariater Inspektionssysteme und Drohnen - Stand der Entwicklung 3.6 Dokumentationssystem Für das Dokumentationssystem wurde der Fokus auf eine aktuelle BIM-basierte Dokumentation gerichtet, die eine genaue Schadensverortung auf dem Bauwerk erlaubt und von der Firma Synergeticon GmbH umgesetzt wird. Hierdurch können gleichzeitig die Informationen aus dem Digitalen Zwilling, wie Geometrien, Materialien, verwendeter Korrosionsschutz, genutzt werden. Die Inspektionen werden analog wie bisher als entsprechende Besichtigung, Einfachprüfung, Hauptprüfung, Objektspezifische Schadensanalyse abgelegt und jeder Defekt beinhaltet eine Zuordnung zu den Schadensbeispielen nach RI-EBW-PRÜF und eine entsprechende automatische Bewertung. Die Zustandsnote kann bei Bedarf vom Bauwerksprüfer angepasst werden. Zusätzlich ist jeder Schaden am Bauwerk verortet und es können Aufnahmen aus unterschiedlichem Blickwinkel angesehen, sowie Veränderungen über mehrere Inspektionen hinweg verfolgt werden. Ist eine Inspektion abgeschlossen, kann diese nicht mehr verändert werden. Abb. 8: Übersicht Dokumentationssystem Abb. 9: Auswertung Dokumentationssystem Zusätzliche Schnittstellen erlauben den Datenimport und -export, sodass historische Bauwerksdaten und -prüfungen aus SIB-Bauwerke geladen und verglichen, sowie die Daten abgeschlossener Inspektionen wieder abgelegt werden können. Auch die Verknüpfung der Daten mit Monitoring-Systemen wird hierdurch ermäßigt. Abb. 10: Dokumentationssystem mit BIM-Modell und georeferenzierten Schäden. 3.7 Zwischenfazit Aktuell ist das entwickelte System in Arbeitspaket 4, der Gesamtintegration aller entwickelten Untersysteme. Historische Bauwerksprüfungen sind im Dokumentationssystem mit BIM-Modell integriert und werden für die Flugpfadplanung genutzt. Da für das entwickelte Trägersystem noch keine Fluggenehmigung vorliegt, werden Befliegungen mit einer Sondergenehmigung mit einem handelsüblichen Trägersystem durchgeführt. Die ausgewählte Sensorik wurde dafür teilweise auf dem anderen Trägersystem montiert und an realen Bauwerken getestet. Mit den aufgenommenen Daten wurde ein Trainingsdatensatz zum Anlernen von KI-Segmentierungsalgorithmen entwickelt. Für eine genaue Evaluation des Systems werden aktuell mehrere Versuchsreihen durchgeführt und zusätzlich die Systeme im Fluglabor der Professur für Regelungstechnik der Helmut-Schmidt-Universität Hamburg getestet. 4. Ausblick 4.1 Umfangreiche Datenerhebung - „Lernen“ Schwerpunkt der anstehenden Phasen ist die umfangreiche Erhebung von Daten. In allen Bereichen des Processings, von der Bild Sensorik bis hin zur Segmentierung von Bildern, ist eine möglichst umfangreiche Datengrundlage erforderlich: - Sensorik: Welches Setup an Kamera, Bildfiltern, Belichtungs-Verhältnissen und Aufnahmewinkeln ermöglicht optimale Bildaufnahmen, das sowohl für die Photogrammetrische wie auch die Segmentierung bzgl. Schäden geeignet sind. - Auswertung: Kategorisierung von Bildmaterial, Segmentierung, Beispielaufnahme Segmentierung/ Klassifizierung/ Training mit Roboflow 196 6. Brückenkolloquium 2024 - Oktober 2024 Automatisierte Zustandserfassung mittels multivariater Inspektionssysteme und Drohnen - Stand der Entwicklung Abb. 11: Training auf Basis von gelabelten Daten - Optimierung der Flugpfadberechnung: Maximierung des Flächendurchsatz für die Sensorik durch Minimierung des Energieverbrauchs pro Flug 5. „Ingenieurmäßiges Denken“ implementieren Technisch erscheint es möglich, über entsprechende Erfassungssysteme die Oberfläche eines Brückenbauwerks zu 100 % mit der erforderlichen Auflösung von ca. 0,1 mm abzubilden. Der hierfür erforderliche Aufwand ist aber zunächst ähnlich oder höher als bei der handnahen Prüfung - welche eigentlich ersetzt werden sollte. Es scheint also geboten, dem System mehr „ingenieurmäßiges Denken“ beizubringen, dies kann bereits in der Erfassung durch eine mehrstufige Granularität erreicht werden, d. h. > untersuche vor allem Bereiche: - in denen bei ähnlichen Konstruktionen häufig Schäden auftreten - in denen durch Verfärbungen, Spektralsignaturen, weitere Indikatoren Verdachtsmomente vorliegen - in welchen Vorschäden am digitalen Zwilling bekannt sind Um dieses „Verständnis“ auf bauen zu können, muss das System über eine Ontologie ein Bauwerk verstehen können und per KI die richtigen Entscheidungen treffen. - Fachwerkträger, Feldbereich: • Vorwiegend auf zug-druck beanspruchtes Bauteil • durch Ausführungsart wenig anfällig für Korrosion durch Feuchtigkeit • keine Auffälligkeiten durch Rostfahnen oder Abplatzungen • >> Granularität 1 ausreichend - Genieteter Fachwerkknoten • Durch Exzentrizitäten außerplanmäßige Momente möglich • Fachwerkknoten in Auflagernähe, hohe Auslastung zu vermuten • Bauartbedingte Staunässe möglich • Verfärbungen und Abplatzungen erkennbar • >> Granularität erhöhen, Verlust an Materialstärke oder Risse erkennbar? >> Im einsehbaren Bereich Abplatzungen, Bereich für handnahe Prüfung vorsehen. Abb. 12: Unterstützung bei der Brückenprüfung mittels ChatBot unter Einbeziehung ergänzender Datenquellen (RAG) Literatur [1] Thomas, D. und Gündel, M. (2023), Hyperspectral imaging systems for corrosion detection from remotely operated vehicles. ce/ papers, 6: 934-938. https: / / doi.org/ 10.1002/ cepa.2132