5. Brückenkolloquium - September 2022 119 Brückeninspektion: Datenerfassung, -prozessierung & -analyse - ein moderner Ansatz DI Gerald Fuxjäger Vermessung ADP Rinner ZT GmbH Zusammenfassung Brückeninspektionen haben nach österreichischen normativen Vorgaben spätestens alle sechs Jahre zu erfolgenden Bei Brückeninspektionen steht nach wie vor die subjektive Bewertung des Sachverständigen (SV) im Vordergrund. Durch sensorbasierte Datenaufnahmen, terrestrisch- oder Drohnengestützt, einhergehende Anwendung navigationsspezifischer und photogrammetrischer Methoden, weitgehend automatisierter Triangulation und darauf basierter Anfertigung eines Digital Twin sowie Schadensdetektion mittels künstlicher Intelligenz (KI) und automatisiertem Reporting als Cloud Service soll der Sachverständige (SV) entsprechend unterstützt und die Inspektionsbefundung objektiviert werden. Nachvollziehbare Ergebnisse der maschinellen Zustandsbewertung können somit in das Asset Management der Infrastrukturbetreiber einfließen. Besondere Herausforderungen stellen die Navigation, die erforderliche Bildqualität und die Zuverlässigkeit der KI-Ergebnisse dar. 1. Modernisierungsbedarf 1.1 Instandhaltungsvorgaben Gemäß den Richtlinien und Vorschriften für das Straßenwesen (RVS), festgehalten in der RVS-Reihe 13.03. xx, sind Brücken und andere Ingenieurbauten (FSV 2012) alle 4 Monate zu überwachen, alle 2 Jahre zu kontrollieren und spätestens alle 6 Jahre zu prüfen (FSV 2011). Ziel der regelmäßigen bautechnischen Begutachtung ist die laufende Gewährleistung der Zuverlässigkeit und Verkehrssicherheit entsprechender Konstruktionen. Durch periodische Erhebung, Dokumentation und Bewertung des Erhaltungszustands von Brücken und ähnlichen Ingenieurbauwerken sind Mängel und allfällig eingetretene Schäden rechtzeitig zu erkennen und zu beheben, bevor ein größerer wirtschaftlicher Schaden eintritt bzw. die Zuverlässigkeit und/ oder die Verkehrssicherheit beeinträchtigt wird. Im Rahmen der Prüfung von Brücken und artverwandten Kunstbauten sind von einem sachkundigen Ingenieur mit einschlägiger Erfahrung Mängel und Schäden, die Einfluss auf die Tragfähigkeit, Gebrauchstauglichkeit und Dauerhaftigkeit des Bauwerks haben, festzustellen, zu dokumentieren und zu beurteilen. Zu den dabei qualitativ als auch quantitativ festzuhaltenden Mängeln und Schäden zählen dabei unter anderem Hohlstellen, Verschmutzungen, Bemoosungen, auffällige Verformungen, Risse, Roststellen, Korrosion der Bewehrung, freiliegende Bewehrung und Abplatzungen. 1.2 Traditionelle Inspektionspraktiken In der Regel wird der Erhaltungszustand bzw. die Funktionstüchtigkeit einer Brücke durch zwangsweise im Freien stattfindende Sicht- und gegebenenfalls Klopfprüfungen unter Verwendung besonderer Rüstungen und Geräte festgestellt. Hierfür begeben sich sachkundige Inspekteure nach Bewerkstelligung erforderlicher Verkehrsabsicherungen meist auf temporäre Baugerüste oder - um die Sicherheit des entsprechend geschulten und erfahrenen Fachpersonals zu erhöhen - auf fahrbare Brückenuntersichtgeräte (d.s. auf einem LKW montierte, vertikal ausfahrbare und horizontal schwenkbare Plattformen) und untersuchen die Brückenoberfläche auf kurzen Entfernungen visuell unter Zuhilfenahme einfacher Mittel wie Zollstock, Risslupe oder Rissmaßstab und Hammer (SEIM 2018). Zu Dokumentationszwecken werden die Schäden abfotografiert, deren Verortung skizzenhaft und deren Ausdehnungen quantitativ festgehalten, bevor sie schließlich einer Bewertung seitens des SV unterzogen werden. Damit sind herkömmliche Zugangstechniken und handnahe Inspektionspraktiken durch eine komplexe Logistik charakterisiert, mit einem hohen Risiko für Prüfer und Verkehrsteilnehmer verbunden und arbeits-, zeit- und kostenintensiv. Zudem erfolgt die Dokumentation, bedingt durch die ausschließliche Fokussierung auf Schäden, vorwiegend punktuell. Darüberhinaus ist die Zustandsbewertung zwangsläufig subjektiv, kaum nachvollziehbar und ist bei hohen Brückenbauwerken aufgrund der begrenzten Reichweite des Brückenuntersichtgerätes praktisch kaum vollständig durchführbar. 120 5. Brückenkolloquium - September 2022 Brückeninspektion: Datenerfassung, -prozessierung & -analyse - ein moderner Ansatz Abb. 1: Brückeninspektionsgerät 1.3 Schwerpunktverlagerung: Digitalisierung Um den immensen Aufwand aus personeller, organisatorischer und finanzieller Sicht zu minimieren und gleichzeitig die mit den Inspektionsarbeiten verbundenen Sicherheitsrisiken von Prüfer und Verkehrsteilnehmer zu reduzieren, liegt es nahe, bereits bestehende digitale Lösungen, die in einem interdisziplinären Zusammenspiel an der Umsetzung der Optimierungsvorhaben beteiligt sind, geeignet miteinander zu verknüpfen und der Reihe nach einzusetzen. Im Folgenden wird eine bereits erfolgreich umgesetzte und in der Praxis abgedeckte Prozesskette der digitalisierten Bauwerksinspektion präsentiert, die es erlaubt den gesteigerten Einsatz von Brückenuntersichtgeräten zu reduzieren und dadurch ggf. notwendige Brückenbetriebseinschränkungen deutlich zu verkürzen, Dokumentationen unter Einbeziehung eines flächendeckenden Abbildes des gesamten Bauwerks auszuweiten, Zustandsbeurteilungen zu objektivieren und für eine zuverlässige Zustandsvergleichbarkeit zu homogenisieren. 2. Brückeninspektion 4.0 Text Das Konzept der digitalisierten Brückeninspektion ist in drei aufeinanderfolgende Arbeitspakete gegliedert (vgl. Abb. 1). Diese umfassen (1) die vorwiegend luftgestützte Datenerfassung mittels eigens entwickeltem und auf die Brückeninspektionsbedürfnisse angepasstem Flugroboter, (2) die als Cloud Service verpackte dreiteilige Datenprozessierung samt softwareunabhängiger visueller Auf bereitung und tabellarischer Auflistung eruierter Zustandsdaten in einem webbasierten geografischen Informationssystem (WebGIS), sowie (3) die Bereitstellung vorklassifizierter bzw. vorkalkulierter Ergebnisse (automatisiertes reporting), zur kontrollierten Vervollständigung und Integration in bestehende Berichte seitens des SV. Abb. 2: Prozesskette digitalisierte Brückeninspektion - von der vollständigen Erfassung und Digitalisierung des Bauwerks bis hin zur objektivierten Bauwerksanalyse und Zustandsbeurteilung (Quelle: STRUCIN- SPECT 2020A) 2.1 Datenerfassung mittels maßgeschneiderter UAV Die Herausforderungen zum konsequenten Einsatz von unbemannten Luftfahrzeugen, auch als UAV (engl. Unmanned Aerial Vehicle) bezeichnet, werfen diverse rechtliche, organisatorische und technische Fragen auf, wobei hier nur auf letztgenannten und da aktuell nur auf die RGB Datenerfassung mit Kameras für die optische Prüfung eingegangen wird. Für eine effiziente Datenauswertung, s. u., müssen die Bildaufnahmen, die mittels Drohnenbefliegung erzeugt werden, sowohl geometrische Kriterien erfüllen um eine photogrammetrische Triangulation und in weiterer Folge einen Digital Twin berechnen zu können, andererseits radiometrische oder Bildqualitätskriterien um die KI für die Schadensdetektion einsetzen zu können. Die wesentlichen zugehörigen Vorgaben dazu sind eine GSD (Bildauflösung am Objekt) mit 0,5 mm/ Pixel, eine ausreichende Überlappung der Bilder zueinander, eine sehr hohe Bildschärfe, geringstmögliches Bildrauschen und eine möglichst homogene Ausleuchtung. Die wichtigsten - meist behindernden - Randbedingungen sind die sichere Zugänglichkeit, die Vegetation in der unmittelbaren Umgebung, die Größe und Form des Objekts (der Brücke), die Verkehrsbehinderungen, die Lichtverhältnisse und die GNSS Abschattungen. Daraus abgeleitet ergibt sich folgende Anforderung an die Drohnenauswahl: möglichst großer Bildsensor auf möglichst kleiner Drohne, Aufnahmeabstand ca. 2-5 m und eine sichere und effiziente Steuerungsmöglichkeit sowie eine adäquate Beleuchtung. Abb. 3: Maßgeschneiderte UAV für die Datenerfassung: „Scorpion L“ 5. Brückenkolloquium - September 2022 121 Brückeninspektion: Datenerfassung, -prozessierung & -analyse - ein moderner Ansatz Die „Scorpion L“ ist ein unbemanntes Luftfahrzeug, ausgestattet mit einer Vollformatkamera und einer Beleuchtung mit einer Flugzeit von mehr als 10 Minuten. Mit einer Abmessung von unter 800mm und einem Aufnahmeabstand von 2-5 m ist das UAV perfekt für Aufnahmen unter Brücken und zwischen Baustrukturen geeignet. Das maximale Abfluggewicht beträgt unter 3,9 kg. Abb. 4: Die zum Flug notwendige FPV Kamera sitzt am Ende der Drohne um dem UAV-Piloten eine Third-Person-Perspektive zu erlauben. Abb. 5: Third-Person Perspektive aus der Sicht des zu steuernden UAV-Piloten Zur Einhaltung der notwendigen GSD bekommt der UAV Pilot durch eine LED Beleuchtung die Information über den momentanen Aufnahmeabstand zum Objekt. Dank der Third-Person-Perspektive kann der UAV Pilot durch Sicht auf die Ausleger der Drohne Abstände einschätzen, um gefahrlos an Hindernisse vorbei zu manövrieren. 2.2 Photogrammetrische Datenverarbeitung Die digitale Photogrammetrie ist als Überbegriff all jener berührungslosen Messmethoden und robusten Auswerteverfahren zu verstehen, mit denen die Lage, Form und optische Beschaffenheit von in digitalen Messbildern dargestellten Objekten rekonstruiert wird (KRAUS 1994). Das Ergebnis der photogrammetrischen Auswertung kann dabei die Form eines digitalen, photorealistischen Geometriemodells einnehmen, das in Informationssysteme einfließt - ein sogenannter Digital Twin. Ausgangspunkt zur weitgehend automatisierten, photogrammetrischen Erstellung eines digitalen Bauwerkszwillings stellt der Bildverband dar, bei dem es sich um eine Vielzahl von sich bis zu 90% überlappenden Bildern handelt, die von verschiedenen Standorten aus aufgenommene Objektpunkte der zu rekonstruierenden Bauwerksoberfläche in mindestens zwei Aufnahmen abbilden. Voraussetzung für die photogrammetrische Mehrbildauswertung ist die Bildorientierung, bei der die Aufnahmesituationen mathematisch rekonstruiert, d.h. die Positionen und Drehungen der Kamera bzw. der Bilder zu den Aufnahmezeitpunkten bestimmt werden. Die eigentliche Auswertung beruht auf dem Prinzip der Triangulation, bei der räumlich zu bestimmende Objektoberflächenpunkte zunächst individuell in mindestens zwei Bildern lokalisiert werden. In Verbindung mit den zugehörigen Orientierungsdaten der betroffenen Bilder können daraus in weiterer Folge korrespondierender Sehstrahlen rekonstruiert und für jeden der vielen Objektpunkte einzeln zum Schnitt gebracht werden. Das Ergebnis ist eine räumlich strukturierte, wenn auch unorganisierte und mit unscharfen Grenzen gekennzeichnete Menge von Punkten (OTEPKA et al. 2013), die als Diskretisierung der einzelnen Oberflächen der Bauwerkskomponenten zu verstehen ist. Die Punkte selbst sind dabei durch ihre dreidimensionalen, kartesischen Koordinaten in einem gemeinsamen Projektkoordinatensystem definiert. Die Einbindung des digitalen Zwillings in das übergeordnete Koordinatensystem geschieht für gewöhnlich über Passpunkte, die im Landeskoordinatensystem geodätisch eingemessen wurden, bzw. über RTK oder PPK der Aufnahmestandpunkte. Die georeferenzierte 3-D-Punktwolke kann anschließend mathematisch durch geometrische Formen (bspw. durch eine Dreiecksvermaschung) approximiert bzw. interpoliert werden. Die so entstehenden mehrdimensionalen Bauwerksmodelle bzw. -hüllen können in einem abschließenden Schritt mit den Texturen der zugehörigen Bilder versehen werden, um ein detailtreues digitales Abbild der Realität darzustellen. 2.3 KI-unterstützte Musterkennung Durch Methoden der künstlichen Intelligenz (KI) werden Brückenschäden qualitativ (Schadenstyp) und quantitativ (Schadensintensität) klassifiziert (vgl. Abb. 2). Ein künstliches neuronales Netz (NN) mit zahlreichen Schichten zwischen Ein- und Ausgabeschicht, das mittels Deep Learning trainiert wird, sorgt dabei für eine automationsgestützte, schablonisierte Untersuchung auf sowie eine objektivierte Detektion, Markierung und Klassifikation von in den aufgenommenen Brückenbildern optisch erkennbaren Schäden, zu welchen u. a. Verschmutzungen, vegetativer Befall, auffällige Verformungen, Risse, Roststellen, Korrosion der Bewehrung, freiliegende Bewehrung und Abplatzungen zählen. Für das Trainieren der einzelnen Schadenstypen sind a) ausreichend Bilder - dies können tausende sein, die sowohl die allgemeinen, sich wiederholenden, als auch die konkreten projektspezifischen Muster und Aufnahme- und Lichtverhältnisse repräsentieren sollen, und b) Experten, die die 122 5. Brückenkolloquium - September 2022 Brückeninspektion: Datenerfassung, -prozessierung & -analyse - ein moderner Ansatz Schadensmuster fachlich korrekt manuell erfassen, notwendig. Nur dadurch kann die angestrebte False-Negative Rate ≤ 0,5 % und False-Positive Rate ≤ 10 % erreicht werden, weiters die in nachfolgenden Schritten notwendige Zusammenführung der detektierten Schäden aus mehreren Einzelbildern in jeweils einen eindeutigen zuordenbaren Schaden. Abb. 6: KI-basierte Schadensdetektion und -extraktion: Darstellung unterschiedlicher Schadenstypen im Originalbild (links) und KI-gestützte, klassifizierte Segmentierung (rechts) (Quelle: STRUCINSPECT 2020B) 2.4 Datenvisualisierung und -management Die softwareunabhängige Verfügbarmachung der dynamischen Visualisierung des digitalen Zwillings sowie der qualitativen als auch quantifizierten Schadensdokumentation erfolgt in einem Web-basierten geographischen Informationssystem (WebGIS) via Einbettung eines Viewers zur dreidimensionalen Modellbetrachtung sowie einer datenbankgestützten tabellarischen Auflistung exakt verorteter Schäden mit Klassifizierungsdetails. Dadurch wird dem erfahrenen Bauingenieur die Möglichkeit einer ortsunabhängigen, augenscheinlichen Bewertung geboten. Darüber hinaus sind dem Experten, der für die an die Vorklassifizierung anschließende Zuweisung von Zustandsnoten zuständig ist, strukturierte Archivierungs- und positionsbezogene Abfragemöglichkeiten hinsichtlich Brückenbestands- und -zustandsdaten gegeben. Zur Unterstützung des Bearbeiters bei der Berichterstellung verfügt das WebGIS zudem über einen Report Generator. Abb. 7: Dreidimensionales Modell einer Brücke im WebGIS Abb. 8: Georeferenzierte, durchnummerierte Bauwerksschäden dargestellt im WebGIS und auswählbar per Mausklick zur Weiterleitung zu korrespondierenden Klassifizierungsdetails (Quelle: STRUCINSPECT 2020B) 3. Zusammenfassung & Ausblick Brücken und artverwandte Ingenieurbauten haben Anforderungen hinsichtlich Tragfähigkeit, Gebrauchstauglichkeit und Dauerhaftigkeit sowie Verkehrssicherheit zu erfüllen. Sie sind daher in möglichst gleichmäßigen Zeitabständen, spätestens alle sechs Jahre, einer Inspektion zu unterziehen. Normative Regelwerke beschreiben diese insbesondere in Österreich und Deutschland seit Jahrzehnten und werden nicht zuletzt aufgrund der neuen digitalen Möglichkeiten in den nächsten Jahren überarbeitet. Traditionelle Brückenprüfungen mit dem Einsatz von Untersichtgeräten führen darüber hinaus zu massiven Verkehrseinschränkungen und Sicherheitsrisiken. Zudem sind sie subjektiv, kostenintensiv und schwer nachvollziehbar, womit nur schwierig verlässliche Aussagen zu Veränderungen der Bauwerkssicherheit und zur Kostenabschätzung von Sanierungen abgeleitet werden können. Vor diesem Hintergrund sind zur Ermöglichung vorbeugender Instandsetzungsmaßnahmen und die damit einhergehende laufende Gewährleistung zur sicheren Nutzbarkeit innovative Ansätze für Brückeninspektionen unter Einbeziehung von Technologien der Industrie 4.0 erforderlich. Durch nahtlose Kombination neuartiger Prozesse zur Datenerfassung (mittels maßgeschneiderter Drohnen als zentrale Sensorplattformen), zur Datenprozessierung (durch die Verwendung künstlicher Intelligenz zur automatisierten Detektion und Vorklassifizierung von Bauwerksschäden) sowie 5. Brückenkolloquium - September 2022 123 Brückeninspektion: Datenerfassung, -prozessierung & -analyse - ein moderner Ansatz zur Datenanalyse (mithilfe der Visualisierung des photogrammetrisch erstellten digitalen Zwillings und die übersichtliche Darstellung in einem Web-basierten geographischen Informationssystems) werden objektivierte und flächendeckende Zustandsinformationen erzeugt, Kosten für Verkehrssperren, Brückeninspektionsgeräte und Einrüstungen vermieden, sowie die Sicherheit und Verfügbarkeit der Verkehrsinfrastruktur und der damit verbundenen Versorgungssicherheit als auch die Minimierung der Verkehrsstörung bei Inspektionen sichergestellt. Aus technischer Sicht wird sich die Weiterentwicklung insbesondere auf den Bereich verbesserter automatisierbarer Datenerfassung konzentrieren, es werden weitere v.a. chemisch-physikalische Sensoren zur Erfassung z. B. der Chloridisierung oder Karbonatisierungstiefe adaptiert werden, im Bereich der Datenverarbeitung werden auch künstliche Intelligenz und die notwendige Anbindung an Asset-, bzw. Infrastrukturmanagement an Bedeutung zunehmen. Literatur [1] FSV (2011): RVS 13.03.11 Qualitätssicherung bauliche Erhaltung; Überwachung, Kontrolle und Prüfung von Kunstbauten; Straßenbrücken, ausgearbeitet von der Österreichischen Forschungsgesellschaft Straße - Schiene - Verkehr. [2] FSV (2012): RVS/ Mkbl 13.03.01 Qualitätssicherung bauliche Erhaltung; Überwachung, Kontrolle und Prüfung von Kunstbauten; Monitoring von Brücken und anderen Ingenieurbauwerken, ausgearbeitet von der Österreichischen Forschungsgesellschaft Straße - Schiene - Verkehr. [3] KRAUS, K. (1994): Photogrammetrie, Band 1, Grundlagen und Standardverfahren. 5., durchgesehene und erweiterte Auflage, Dümmler Verlag, Bonn. [4] OTEPKA, J., SAJID, G., WALDHAUSER, C., HOCHREITER, R. & PFEIFER, N. (2013): Georeferenced Point Clouds: A Survey of Features and Point Cloud Management. In: ISPRS International Journal of Geo-Information, vol. 2, no. 4, 1038- 1065. [5] SEIM, W. (2018): Bewertung und Verstärkung von Stahlbetontragwerken. 2., aktualisierte und erweiterte Auflage, Wilhelm Ernst & Sohn, Berlin. STRUCINSPECT (2020A): Aivolution of Structural Inspection, https: / / strucinspect.com/ wp-0adb9content/ uploads/ 2019/ 09/ Strucinspect-Folder-DE. pdf (11.11.2020) [6] STRUCINSPECT (2020B): Information provided by strucinspect, Vienna, 2020. Kontakt DI Gerald Fuxjäger ADP Rinner ZT GmbH Münzgrabenstr. 4/ 1 A-8010 Graz gerald.fuxjaeger@adp-rinner.at