4. Kolloquium Brückenbauten - September 2020 235 UAS und KI - Potentiale zur Unterstützung der Bauwerksprüfung von Brücken und Ingenieurbauwerken Ralph Holst Bundesanstalt für Straßenwesen (BASt), Bergisch Gladbach Guido Morgenthal Bauhaus-Universität Weimar, Professur Modellierung und Simulation - Konstruktion, Weimar Norman Hallermann Bauhaus-Universität Weimar, Professur Modellierung und Simulation - Konstruktion, Weimar Zusammenfassung Innovative digitale Technologien können uns zukünftig bei der Bewältigung der anstehenden und immer komplexeren Herausforderungen im Bereich der Straßenverkehrsinfrastruktur unterstützen. Der Tagungsbeitrag stellt aktuelle Entwicklungen auf dem Gebiet der Bauwerksprüfung nach DIN 1076 dar und zeigt auf, wie mit Hilfe des Einsatzes von Unbemannten Flugsystemen (UAS unmanned aerial system) in Kombination mit Methoden der Künstlichen Intelligenz (KI) die Bauwerksprüfung zukünftig unterstützt werden kann. UAS bieten die Möglichkeit einer schnellen, automatisierten und sicheren Erfassungen von Bauwerksdaten in Form von hochaufgelösten digitalen Bildern, die einerseits für eine hochgenaue 3D-Rekonstruktion der IST-Geometrie und somit auch für die Erfassung kleinster geometrischer Veränderungen und andererseits für die automatische Detektion und Quantifizierung von visuell erfassbaren Schäden an der Bauwerksoberfläche genutzt werden können. Letzteres wird durch den Einsatz moderner Methoden des maschinellen Sehens (Computer Vision) und den Einsatz von KI-Methoden möglich. 1. Einleitung/ Hintergrund Die Verkehrsinfrastruktur in Deutschland bildet das Rückgrat der Wirtschaft, indem es ermöglicht Waren möglichst schnell und störungsfrei von einem Ort zum nächsten zu transportieren. Bundesfernstraßen nehmen hierbei eine sehr wichtige Rolle ein. Dafür muss die Funktionsfähigkeit dieser aber gewährleistet sein. Diese wiederum wird durch unterschiedliche vorhersehbare und ungeplante Einwirkungen negativ beeinflusst. Das führt dazu, dass Maßnahmen, im Allgemeinen baulicher Art, geplant und durchgeführt werden müssen. Damit diese aber bestmöglich und mit möglichst geringem Einfluss auf die Nutzer und die Umwelt durchgeführt werden können, ist es notwendig, dass der Straßen-baulastträger im Vorfeld so umfassend wie möglich über den Zustand der Verkehrsinfrastruktur informiert ist. Ingenieurbauwerke im Zuge von Straßen und hierbei insbesondere Brücken, stellen eine besondere Herausforderung dar. Denn diese Bauwerke können unterschiedlichste Schäden aufweisen, die so weit fortgeschritten sein können, dass ein statisches Versagen nicht mehr ausgeschlossen werden kann und ggf. Sofortmaßnahmen ergriffen werden müssen. Eindringliche Beispiele hierfür stellen die Sperrung der Leverkusener Rheinbrücke für den LKW- Verkehr und der Brücke der B1 am Altstädter Bahnhof in Brandenburg an der Havel sogar für den gesamten Verkehr dar. Die Sperrungen mussten sehr kurzfristig angeordnet werden und führte zu erheblichen Belastungen für die Wirtschaft, nicht nur im direkten Umfeld, sondern auch weit darüber hinaus. Hierfür gibt es bekannte und eingespielte Verfahren. 2. Stand der Technik zur Zustandserfassung und -bewertung von Ingenieurbauwerken 2.1 Einleitung/ Hintergrund Die Erfassung des Zustandes von Bauwerken und das daraus abgeleitete zukünftige Verhalten bilden die wichtigste Grundlage für die Eigentümer und Betreiber dieser Infrastruktur hinsichtlich kurz-, mittel- oder langfristig zu ergreifenden Maßnahmen. Für diese Aufgabe gibt es unterschiedliche Vorgehensweisen und Methoden. Am bekanntesten und in fast allen europäischen und außereuropäischen Ländern verbreitet ist die Aufnahme von Mängeln und Schäden durch entsprechend ausgebildetes 236 4. Kolloquium Brückenbauten - September 2020 UAS und KI - Potentiale zur Unterstützung der Bauwerksprüfung von Brücken und Ingenieurbauwerken Prüfpersonal. Diese Vorgehensweise ist im Allgemeinen eine visuelle und dabei wird vorausgesetzt, das Mängel und Schäden von außen bzw. an der Oberfläche des Bauwerks bzw. der Bauteile zu erkennen sind. Was sich in der inneren Konstruktion abspielt, ist zunächst nicht erkenn- und somit auch nicht bewertbar. Zudem stellt diese Art der Aufnahme nur eine Momentaufnahme dar, da Bauwerksprüfungen in regelmäßigen Abständen durchgeführt werden. Werden kontinuierliche Informationen über Schadensverläufe bzw. Veränderungen über die Zeit benötigt, kann es sinnvoll sein, ein sogenanntes Monitoring durchzuführen. Hierbei werden mit entsprechenden Sensoren Messgrößen, wie z.B. Verschiebungen, Verdrehungen, Temperaturen oder auch Überfahrten von Fahrzeugen erfasst, ggf. vorausgewertet und gespeichert. Zur Erfassung von Konstruktions- und Zustands-informationen aus dem Inneren einer Konstruktion können sogenannte zerstörungsfreie Prüfverfahren, kurz ZfP, eingesetzt werden. Mit diesen indirekten Verfahren werden Messgrößen, z.B. Laufzeitveränderungen von Wellen, aufgezeichnet und auf Basis von vorher durchgeführten Kalibrierungen Indizien für Veränderungen an Bauteilen detektiert. 2.2 Nach DIN 1076/ RI-EBW-PRÜF In Deutschland wird seit Anfang der 30er Jahre des letzten Jahrhunderts eine Prüfung der Bauwerke im Zuge von Straßen auf Basis der DIN 1076 [1] durchgeführt. Diese Norm regelt die grundsätzliche Vorgehensweise der Prüfung, indem unterschiedliche Prüfungsarten und deren Intervalle definiert werden. Das wichtigste an dieser Norm ist die Tatsache, dass diese für alle Baulastträger von Brücken unter öffentlichem Verkehr bindend ist und diese zu einer regelmäßigen Bauwerksprüfung verpflichtet. Für den Bereich der Bundesfern-, Landes- und Staatsstraßen gibt es darüber hinaus die Richtlinie RI-EBW-PRÜF [2]. Diese regelt die Art der Schadenserfassung und -bewertung und stellt den Algorithmus zur Berechnung der Zustandsnote und der Substanzkennzahl bereit. Diese Art der Zustandsbewertung ist in Deutschland für die Bundesfern-, Landes- und Staatsstraßen vorgeschrieben. Die Zustandsnote ist vergleichbar einem Schulnotensystem aufgebaut. Dabei bedeutet eine 1,0 einen neu, komplett ungeschädigten Zustand, während eine 4,0 sofortigen Handlungsbedarf bis hin zu Verkehrseinschränkungen oder sogar der Sperrung einer Brücke bedeutet. Dabei signalisiert die Zustandsnote, dass an dem Bauwerk Handlungsbedarf besteht. Die Höhe der Note gibt zwar einen Anhalt über die Dringlichkeit einer Maßnahme, aber nicht über das zeitliche und finanzielle Ausmaß zur Beseitigung einer schlechten Zustandsbewertung. 2.3 Ansätze moderner bildgebender Methoden und Verfahren in Verbindung mit KI in der Bauwerksprüfung Bildgebende Verfahren, wie die Nahbereichsphotogrammetrie, bieten aufgrund der enormen technischen Weiterentwicklungen, wie z.B. im Bereich der Kamera- und Drohnentechnologie aber auch auf Seiten der Computerhardware zur Auswertung der Bilddaten, in den letzten Jahren ein enormes Potential, die Zustandserfassung wesentlich effizienter sowie objektiver zu gestalten und zugleich in ihrer Qualität zu steigern. Drohnengestützt können Bauwerke bereits teilautomatisiert auf vorgeplanten Flugrouten schnell und sicher aus kurzer Distanz erfasst werden. Die erfassten extrem hochaufgelösten digitalen Bilddaten liefern die Grundlage einerseits für die Extraktion geometrischer Bauwerksinformationen, wie z.B. georeferenzierte 3D-Punktwolken oder texturierte 3D-Bauwerksmodelle und andererseits für die automatische Bildanalyse zur Erfassung von visuell erfassbaren Schäden an der Bauwerksoberfläche. In Verbindung mit neuen leistungsfähigen Methoden der künstlichen Intelligenz, wie z.B. die Nutzung von Convolutional Neural Networks (CNN oder auch Faltungsnetze), die derzeit einem immensen Entwicklungsschub unterliegen, können sehr große Bilddatensätze effizient und automatisch ausgewertet werden, um weitere Bauwerkszustandsinformationen zu extrahieren. So können beispielsweise Risse auf Betonoberflächen in den 2D-Bilddaten erkannt werden. Über eine entsprechende Georeferenzierung am Bauwerk und der Bilder können quantitative Schadensinformationen, wie z.B. die Rissbreite, ermittelt werden. Durch die bildbasierte und georeferenzierte 3D-Rekonstruktion können die 2D-Schadensinformationen exakt am Bauwerk bzw. im Bauwerksmodell verortet werden, was mit Blick auf eine kontextbezogene Speicherung aller Daten im Lebenszyklus eines Bauwerks unter Nutzung von BIM-Ansätzen unabdingbar ist. Die voran genannten Methoden und Verfahren können bei konsequenter und normativ geregelter Umsetzung unter Einhaltung qualitativer Mindestanforderungen in der Datenerfassung und -auswertung eine nahezu lückenlose Schadenserfassung, -dokumentation und -fortschrittsentwicklung ermöglichen. Durch wiederholte Aufnahmen im Zuge regelmäßiger Bauwerksprüfungen können Unterschiede in den 2D- und 3D-Datensätzen erkannt und entsprechend visualisiert werden. Eine Gesamtmethodik für die drohnen- und bildbasierte Zustandserfassung im Zuge der wiederkehrenden Bauwerksprüfung wurde bereits von Morgenthal et. al [3] entwickelt und das Potential moderner Technologien für eine digitale Instandhaltungsstrategie von Hallermann et. al [4] aufgezeigt. 4. Kolloquium Brückenbauten - September 2020 237 UAS und KI - Potentiale zur Unterstützung der Bauwerksprüfung von Brücken und Ingenieurbauwerken 3. Innovative Technologien 3.1 Anforderungen Die unter 2.2 beschriebenen Verfahren und Methoden sind teilweise schon sehr lange im Einsatz, sind stetig weiterentwickelt und angepasst worden und haben sich im Rahmen der Möglichkeiten bewährt. Allerdings haben diese Verfahren ihre Grenzen. Diese Grenzen werden nicht nur durch die Verfahren selbst, sondern auch durch geänderte Rahmenbedingungen oder Anforderungen an Baulastträger definiert. So ist es mittlerweile weit verbreitet ein Management-System zur Optimierung der Erhaltung von Bauwerken einzusetzen, um nicht mehr nur die Betriebsphase, sondern den gesamten Lebenszyklus in die Betrachtung mit einzubeziehen, siehe Abbildung 1. Hierfür werden zusätzliche Informationen benötigt, die bisher so nicht erhoben wurden bzw. werden konnten. Daneben haben sich in den letzten Jahren bzw. Jahrzehnten ganz wesentliche Fortschritte auf dem Gebiet der Zustandserfassung ergeben und die Digitalisierung stellt die Verantwortlichen nicht nur vor neue Heraus-forderungen, sondern bietet auch neue Möglichkeiten. Diese gilt es zu erkunden und soweit sinnvoll und zielführend in die bestehenden Abläufe zu integrieren oder sogar neue Vorgehensweisen zu ermöglichen. Unter dem Begriff der „Digitalisierung“ sind dabei nicht nur die Umstellung von analogen Abläufen und Vorgängen in digitale Vorgehensweisen zu verstehen, sondern insbesondere die Erzeugung eines Mehrwertes dadurch, dass Informationen digital verfügbar und somit kombiniert und zusammenhängend auswertbar werden. Diese verdichteten Informationen müssen und können dann ebenfalls mit digitalen Methoden besser verständlich dargestellt werden. Damit können diese Informationen auch Personen und Institutionen vermittelt werden, die zur Beurteilung der fachlichen Hintergründe ansonsten nicht das notwendige Hintergrundwissen haben. Abbildung 1: Bauwerksprüfung im Kreislauf „Erhaltung“ 3.2 UAS/ UAV Die visuelle, handnahe Bauwerksprüfung aller Bauteile, z.B. an einer Brücke, ist mit sehr hohen Anforderungen an das Prüfpersonal verbunden. Neben dem nicht immer einfachen, teils nur mit zusätzlichen Besichtigungs-geräten möglichen Zugang zu allen Bauteilen unter Lärm- und Staubbelastung und nahe am befahrenen Verkehrsraum, kann zu Gefährdungen des Prüfpersonal und zusätzlichem Stress führen. Zudem kann es passieren, dass z.B. nach einem Unfall, ein schneller Zugang zu Bauteilen erreicht werden muss, ohne im Vorab alle sonst notwendigen Sperrungen durchführen zu lassen. Unter anderem für diesen Fall bietet es sich an, sogenannte unmanned aerial vehicles bzw. systems (UAV/ UAS) unterstützend einzusetzen, wie in der nachfolgende Abbildung 2 dargestellt. Abbildung 2: Einsatz einer Drohne (Typ: Intel Falcon 8+) an einem Brückenbauwerk zur Generierung von Bilddaten aus kurzer Distanz für die 3D-Rekonstruktion und automatische Schadenserfassung. 238 4. Kolloquium Brückenbauten - September 2020 UAS und KI - Potentiale zur Unterstützung der Bauwerksprüfung von Brücken und Ingenieurbauwerken Hiermit können fast alle Bauteile von Ingenieurbau-werken im Zuge von Straßen schnell und ohne Gefährdung des Prüfpersonals und Verkehrs erreicht werden. Mit der verfügbaren Kameratechnik können in kurzer Zeit sehr viele, qualitativ hochwertige Bildaufnahmen von Einzelbauteilen bzw. vom gesamten Bauwerk erfasst und anschließend verarbeitet werden. Sowohl die Flugals auch die Aufnahmetechnik kann als so ausgereift bezeichnet werden, dass ein Einsatz unter normalen Wetterbedingungen plan- und durchführbar ist. Regen und böiger Wind in Bauwerksnähe stellen zurzeit noch Herausforderungen bzw. Beschränkungen dar. Es ist aber zu erwarten, dass auch hierfür, z.B. durch aktive Kollisionsvermeidungs-assistenten oder Abstandskontrollen zum Bauwerk, zukünftig Verbesserungen erzielt werden können. Gleiches gilt auch für die möglichen Flugzeiten, die zurzeit noch durch die geringen Kapazitäten der Akkus und hohe Nutzlasten erheblich eingeschränkt werden. Da der Austausch der Akkus aber sehr schnell durchgeführt werden kann und wenn das Untersuchungsobjekt nicht zu weit vom Start-/ Landeplatz entfernt ist, sind die Zeitverluste hierdurch überschaubar. Es steht derzeit eine „Basistechnologie“ zur Verfügung, die eine Bauwerksprüfung bereits punktuell unterstützen kann. Für einen flächendeckenden und „vollautomatisierten“ Einsatz am Bauwerk zur Erzeugung qualitativ sehr hochwertiger Bilder aus kurzer Distanz sind aber noch weitere technische Entwicklungen erforderlich, die insbesondere den Piloten in seiner Arbeit unterstützen. Erst die Fusion einer verlässlichen Abstandssensorik mit der Flugroutenplanung und automatischen Befliegung, insbesondere bei schlechten GPS-Bedingungen, wie z.B. in Bauwerksnähe oder unterhalb von Bauwerken, ermöglicht eine automatisierte Aufnahme des gesamten Bauwerks. Zudem können durch Integration noch leistungsfähigerer Kameras hochwertige Daten aus größerer Entfernung zum Objekt und somit auch sicherer und bei tendenziell weniger Daten mit gleicher Aussagekraft erfasst werden. 3.3 Künstliche Intelligenz (KI) Die einfache bildhafte Dokumentation von Sach-verhalten an Bauwerken in digitaler Form stellt an sich schon eine sehr gute Unterstützung der bisheriger Prüfaufgaben dar, u.a. da diese Bildinformation auch für ein Building Information Modelling (BIM) genutzt werden können, um einzelne Schäden im Zusammen-hang mit der aktuellen Gesamtzustands-bewertung des Bauwerks besser verstehen zu können. Allerdings ermöglicht die Digitalisierung eine noch sehr vielweitreichendere Unterstützung. Digitale Bildauf-nahmen enthalten eine Vielzahl von unterschiedlichen Information über Mängel und Schäden an Bauwerken. Tagtäglich werden im Rahmen von Bauwerksprüfungen Bildaufnahmen von Schäden erfasst, die zwar grundsätzlich ähnlich, aber im Einzelfall doch sehr unterschiedlich sein können. Die Methoden der KI und hierbei insbesondere die Mustererkennung unter Einsatz von CNNs befassen sich genau mit dieser Fragestellung, aus ähnlichen, aber doch verschiedenen Mustern eine grundsätzlich gemeinsame Charakteristik zu erkennen, die auf eine bestimmte Art von Schädigung, z.B. Risse auf Betonoberflächen, hinweist. Die Anforderungen an die Qualität der gelieferten Bilddaten sind hierfür noch sehr hoch, da auch kleinste Risse detektiert werden sollen, sodass eine Schadenserkennung sehr frühzeitig gewährleistet und eine Schadensfortschrittsentwicklung von Beginn an ermöglicht wird. Insbesondere die Struktur von Betonoberflächen an Bauwerken, die unterschiedlichen Licht- und Schattenverhältnissen unterliegen, stellen die Algorithmen zurzeit noch vor erhebliche Herausforderungen. Der große Vorteil am Ansatz der künstlichen Intelligenz ist es, dass die Algorithmen die Qualität der Aussagen durch jedes weitere Trainingsbild und zusätzliche Bild-informationen stetig verbessern. Hierfür werden allerdings qualitativ hochwertige Trainingsdatensätze mit typischen Schadensbildern benötigt, um die Algorithmen auf das entsprechende Schadensmuster so zu trainieren, dass eine ausreichend hohe Erkennungs-wahrscheinlichkeit erreicht wird. Abbildung 3 zeigt exemplarisch die typische Kette zur Entwicklung eines geeigneten Neuronalen Netzes zur bildbasierten Schadenserkennung. Abbildung 3: Arbeitsschritte zur Entwicklung einer bildbasierten Schadenserkennung mit maschinellem Lernen. [5] Im Forschungsvorhaben „Unterstützung der Prüfung gemäß DIN 1076 durch (halb-) automatisierte Bildauswertung u. a. mittels UAV - FE 89.0334/ 2017) [5] konnten erste verwendbare Trainingsdatensätze und KI- Methoden mit Blick auf die Risserkennung erfolgreich umgesetzt werden. Durch Annotation visuell erfassbarer Schäden in den Bildern müssen in einem manuellen sehr aufwendigen Prozess zunächst geeignete Trainings-bilder zum Anlernen des Erkennungs-Algorithmus erzeugt werden. Bewährt sich ein ausgewähltes neuronales Netz bei der Erkennung ausgewählter Schäden, muss dieses Netz weiter trainiert werden, um eine ausreichend hohe Trefferquote bei der Schadens-detektion zu erreichen. Dies geschieht durch die Verwendung einer sehr hohen Anzahl typischer Schadensbilder (meist mehrere hundert tausend). Wurde das neuronale Netz ausreichend trainiert, können Schäden in den digitalen Bildern visuali- 4. Kolloquium Brückenbauten - September 2020 239 UAS und KI - Potentiale zur Unterstützung der Bauwerksprüfung von Brücken und Ingenieurbauwerken siert und die Schadenserkennung bewertet werden. Die nachfolgende Abbildung 4 zeigt exemplarisch das Ergebnis einer automatischen Risserkennung, die im Zuge von Forschungsarbeiten an der Bauhaus-Universität Weimar entwickelt wurde. Abbildung 4: Beispiel einer automatischen Rissdetektion auf einer Betonoberfläche von einer drohnenbasierten Aufnahme, oben: Originalaufnahme, unten: Rissdetektion (Rissbreite: 0,15 mm). Somit kann davon ausgegangen werden, dass heute noch nicht oder nur schwer detektierbare Schädigungen sehr bald mit sehr hoher Trefferwahrscheinlichkeit erkannt werden können. Dies bedeutet eine sehr große Unterstützung des Prüfpersonals im Zuge der Vor- und Nachbereitung Bauwerksprüfungen oder sogar direkt vor Ort. In Kombination mit weiteren modernen Technologien der Datenvisualisierung, z.B. Virtual Reality (VR) oder auch Augmented Reality (AR), können den Prüfern aus den Bilddaten extrahierte Bauwerkszustands-informationen aufgabenbezogen am 3D-Bauwerks-modell in VR oder sogar am Bauwerk direkt mit AR visualisiert bzw. angezeigt werden. Zustands-informationen, wie 3D-Bauwerksdaten oder auch Bilder mit Schadensinformationen vergangener Prüfungen, können eingeblendet werden, sodass der Bauwerks-prüfer „auf einen Blick“ entsprechende Veränderungen über die Zeit sehen kann. 4. Einsatz im Rahmen der Zustandserfassung und -bewertung von Ingenieurbauwerken Zahlreiche Pilotstudien und abgeschlossene Forschungsvorhaben der BASt und an der Bauhaus-Universität Weimar in den letzten Jahren haben bereits gezeigt, dass der Einsatz von Drohnen in Verbindung mit einer bildbasierten Bauwerkserfassung und Nutzung leistungsfähiger Methoden des maschinellen Sehens (Computer Vision) sowie neuer Methoden der KI in der Zustandserfassung von Bauwerken enormes Potential bietet, den gesamten Prozess der Bauwerksprüfung von der Bauwerksaufnahme über die Datenauswertung und Speicherung (Dokumentation) bis hin zur Visualisierung digital neu zu denken. In der Praxis kommt diese Technologie bisher aber noch kaum oder nur punktuell zur Anwendung. Dies ist einerseits in fehlenden Vorgaben und Regularien zur Datenerfassung (insbesondere der Datenqualität) und andererseits in der noch immer großen Unsicherheit in Bezug auf die Datenmengen und weiteren Verwendbarkeit der digitalen Daten begründet. Die Einbindung digitaler Zustandsinformationen in Bauwerksinformations-modelle existiert derzeit in der Praxis noch nicht. Aktuelle Forschungsarbeiten zeigen Konzepte zur Datenintegration und prototypische Umsetzungen. Im Rahmen des aktuellen Verbundforschungsvorhabens „AISTEC - Bewertung alternder Infrastrukturbauwerke mit digitalen Technologien“ an der Bauhaus-Universität Weimar [6] werden Technologien von der Aufnahme über die Auswertung bis hin zur Visualisierung von Bauwerksdaten für eine effiziente Bauwerksprüfung entwickelt. Dabei werden die Endanwender, Infrastrukturbetreiber aber auch Ingenieurbüros für die Planung und Unterhaltung von Infrastrukturbauwerken von Beginn an als Praxispartner eingebunden, die Anwendungsszenarien und entsprechende Anforderung an die neuen digitalen Verfahren definieren. Die Grundlage der Zustandserfassung und daraus resultierenden Zustandsbewertung des Bauwerks bilden digitale, sehr hochaufgelöste und qualitativ hochwertige Bilddaten, die wenn möglich automatisiert z.B. unter Einsatz von Drohnen am Bauwerk erfasst werden. Da diese Bilddaten sowohl für eine photogrammetrische 3D-Rekonstruktion des Bauwerks als auch für die automatische Bildanalyse zur Schadenserkennung genutzt 240 4. Kolloquium Brückenbauten - September 2020 UAS und KI - Potentiale zur Unterstützung der Bauwerksprüfung von Brücken und Ingenieurbauwerken werden, entstehen folglich sehr große Bilddatensätze, die mit leistungsfähiger Hard- und Software ausgewertet werden müssen. Aus den Bilddaten können visuelle 2D- (z.B. Risserkennung mit Rissbreite) und geometrische 3D-Zustands-informationnen (z.B. Verformungen von Bauteilen) abgeleitet werden. Abbildung 5 zeigt beispielhaft einen 28 m hohen Brückenpfeiler (Grundfläche 1,50 x 6,00 m) mit einer vorgeplanten Flugroute in einem konstanten Aufnahmeabstand zum Objekt. Ziel der Aufnahme war die Erfassung der Ist-Geometrie, sowie aller visuell erfassbaren Schäden auf der Betonoberfläche. Abbildung 5: Beispiel einer berechneten Flugroute (Kamera-position mit Blickrichtung) für einen Brückenpfeiler zur Erfassung eines überlappenden Bildverbandes für die 3D-Rekonstruktion und Ermittlung des Verformungszustandes. Für den dargestellten Pfeiler wäre rechnerisch ein Bildverband von ca. 25.000 Bildern erforderlich, um mit einer automatischen Bildanalyse eine Rissbreite von 0,1 mm sicher zu detektieren, beim Einsatz einer Kamera vom Typ Sony Alpha7R mit 35mm Objektiv. Für eine Rissbreite von 0,3 mm wären immer noch 4000 Bilder erforderlich, die in einem Abstand von ca. 1,70 m zum Objekt erfasst werden müssten. Der Pfeiler wurde zur Ermittlung der Ist-Geometrie mit 450 Bildern erfasst, sodass eine Objektauflösung (3D-Auflösung) von ca. 1 mm/ Pixel erreicht wurde. Die zu unterschiedlichen Temperaturen wiederholte Aufnahme und erzeugten 3D-Punktwolken mit ca. 25 Mio. Punkten des Pfeilers wurden u.a. für die Ermittlung der temperaturbedingten Verformungen des Pfeilers genutzt. Die Anzahl der Bilder allein zeigt, dass die Anforderungen an die zu erfassenden Daten bzw. zu extrahierenden Zustandsinformationen für die Bewertung des Bauwerkszustandes vor der Bauwerks-aufnahme aufgabenspezifisch definiert sein müssen, um unnötig große Datenmengen zu vermeiden. So sind Zweck und Ziel der Inspektions-/ Messaufgabe einhergehend mit der Benennung von Grenzwerten und Zielgrößen sowie -qualität festzulegen. Wie unter 3.3 und in Abbildung 4 bereits gezeigt, können die Bilddaten bei entsprechender Auflösung und Qualität für automatische Schadensanalysen, z.B. die Risserkennung genutzt werden. Neben der visuellen Darstellung können weitere Informationen der Rissstrukturen, wie Risslänge und -breite, extrahiert werden. Aus den Bilddaten können aber auch geometrische 3D-Bauwerksinformationen generiert werden, wie z.B. eine hochgenaue Ist-Geometrie oder der aktuelle Verformungszustand eines Brückenpfeilers. Werden Risse oder nicht erwartete Verformungs-änderungen festgestellt, muss deren Einfluss auf die Tragfähigkeit und Gebrauchstauglichkeit untersucht werden. Hierfür können Finite Elemente Modelle (FEM) genutzt werden, die sowohl unter Berücksichtigung der tatsächlichen Verformungen die exakte Geometrie des Bauwerkes als auch erkannte Schädigungen enthalten und für Simulationen des Tragverhaltens und die Bestimmung der Resttragfähigkeit genutzt werden. Unter Verwendung eines Referenzzustandes werden Belastungs- und Schädigungsmodelle kalibriert, sodass der aktuelle mechanische Tragwerkszustand für Simulationen genutzt werden kann. Auf Basis dieser Daten erfolgt eine Bewertung des aktuellen Bauwerkszustandes für kritische Belastungszustände. Für die Ableitung der geometrischen Zustands-informationen, globaler (Pfeilerverformungen) wie auch lokaler Art (Abplatzungen), werden sehr hochaufgelöste und detaillierte 3D-Bauwerksmodelle in Form von 3D-Punktwolken und vermaschter texturierter 3D-Oberflächenmodelle benötigt. Diese Modelle bieten aufgrund ihres enormen Detailgrades darüber hinaus die Möglichkeit, gewisse Arbeiten im Rahmen der Bauwerksprüfung am digitalen Bauwerk durch-zuführen, auch mit mehreren Experten gleichzeitig. Abbildung 6 zeigt die Visualisierung eines digitalen 3D-Bauwerksmodell in einer kolla- 4. Kolloquium Brückenbauten - September 2020 241 UAS und KI - Potentiale zur Unterstützung der Bauwerksprüfung von Brücken und Ingenieurbauwerken borativen Virtual-Reality-Umgebung. Mit dem Digital Bauhaus Lab (DBL) verfügt die Bauhaus-Universität Weimar über eine sehr leistungsfähigste Forschungsinfrastruktur zur Visualisierung von sehr großen 3D-Daten in Mehrbenutzer-Umgebungen der Virtuellen Realität. Hier können bis zu sechs Experten gleichzeitig an einem 3D-Bauwerksmodell, 3D-Punktwolken oder vermaschte und texturierte 3D-Oberflächenmodelle, in unterschiedlichen Detaillierungsgraden arbeiten. Abbildung 6: Integrierte Visualisierung registrierter 3D-Bauwerksmodelle in einer kollaborativen VR-Umgebung. [Foto: S. Beck, Bauhaus-Universität Weimar] Ein wesentlicher Vorteil der Verwendung digitaler Bilddaten gegenüber der konventionellen Bauwerks-prüfung ist, die Verknüpfung von extrahierten visuellen 2D-Schadensinformationen mit der 3D-Bauwerks-geometrie. Somit können identifizierte Schäden gemessen sowie exakt im digitalen Bauwerksmodell respektive am Bauwerk verortet und betrachtet werden. Schäden können zudem im 3D-Modell selbst annotiert und mit weiteren Informationen versehen werden. Die Speicherung aller Informationen erfolgt kontextbezogen mit entsprechenden zeitlichen Referenzen in einem Bauwerksinformationsmodell, sodass zurückliegende Prüfkampagnen jederzeit im Vergleich betrachtet werden können und eine nahezu lückenlose Dokumentation der Schadensfortschrittsentwicklung gewährleistet ist. Abbildung 7 und 8 zeigen die Arbeiten an einem geschädigten Bereich eines Brückenpfeilers in einer VR-Umgebung. Abbildung 7: Manuelle Markierung und automatische Annotation von Schadstellen am Detail eines hochaufgelösten und in 3D rekonstruierten Brückenpfeilers innerhalb einer VR-Umgebung. [Foto: Beck, Bauhaus- Universität Weimar] Abbildung 8: Lokale Einblendung automatisch detektierter Risse (grün) mittels einer Linsenmetapher (blauer Bereich). [Foto: Beck, Bauhaus-Universität Weimar] Darüber hinaus können zusätzliche Informationen aus Tragwerkssimulationen zur Zustandsbewertung des Bauwerks in das digitale Bauwerksmodell zurückgespielt werden, sodass auch solch komplexe Simulationsergebnisse direkt im hochaufgelösten Bauwerksmodell visualisiert werden können. Verformungszustände des Tragwerks wie z.B. aus Temperaturänderungen oder auch dynamischen Lasten lassen sich so zusammen mit etwaigen sichtbaren Schäden darstellen. Abbildung 9 zeigt die Visualisierung der Ergebnisse einer Tragwerks-simulation aus einer dynamischen Last (Fahrzeug-überfahrt) am 3D-Bauwwerksmodell in der VR-Umgebung. 242 4. Kolloquium Brückenbauten - September 2020 UAS und KI - Potentiale zur Unterstützung der Bauwerksprüfung von Brücken und Ingenieurbauwerken Abbildung 9: Visualisierung einer Tragwerkssimulation in einer VR-Umgebung. [Foto: Beck, Bauhaus-Universität Weimar] Weitere Informationen zum Projekt AISTEC und den erzielten Ergebnissen können auf der Projektwebseite unter www.uni-weimar.de/ aistec eingesehen werden. 5. Zusammenfassung Eine Zustandserfassung und -bewertung von Ingenieurbauwerken der Straßeninfrastruktur stellt die wichtigste Grundlage für eine zielführende Erhaltung dieser dar. Somit wächst der Anspruch an die Qualität und Aussagekraft dieser Erfassung bei gleichzeitigem Wunsch die Gefährdungen und Kosten die davon sowohl für das Personal, als auch Dritte ausgehen zu minimieren. Da sich gleichzeitig innovative Technologien zur Datenerfassung, -auswertung und -speicherung anwendungsreif weiterentwickelt haben, ist es die logische Konsequenz diese zur Unterstützung der Bauwerksprüfung einzusetzen. Durch diese entwickelten digitalen Methoden kann zukünftig der Zustand von Infrastrukturbauwerken genauer, sicherer, objektiver und effizienter überwacht werden. Dadurch können Inspektionen bedarfsgerechter durchgeführt und Inspektionslücken geschlossen werden, sodass Schäden früher erkannt werden und somit ein schnelleres und gezielteres Eingreifen möglich wird, bevor Nutzungseinschränkungen oder sogar die Sperrung des Bauwerks drohen. Durch die lückenlose Zustandserfassung und konsistente Speicherung aller im Prozess der Bauwerkprüfung anfallenden Daten in einem digitalen Zwilling wird die Grundlage für ein zukünftiges digitalisiertes Anlagenmanagement der Verkehrsinfrastruktur geschaffen. Bis diese Technologie für alle Situationen fehlerfrei anwendbar ist, ist noch eine Menge an Forschungs-, Entwicklungs- und Umsetzungsarbeit zu leisten. Aber gute praktisch anwendbare Ergebnisse sind schon jetzt für Teilbereiche möglich und somit kann und wird es gelingen den Mehrwert der Digitalisierung auch im Baubereich zu etablieren. Dieser ist gekennzeichnet durch lange Nutzungszeiten, individuelle Bauwerke sowie hohe Investitionskosten und erfordert damit längere Vorlauf- und Prüfzeiten, als andere Bereiche der Wirtschaft. Denn einmal gemachte Fehler oder Fehlentwicklungen bleiben sehr lange im Straßennetz erhalten und können erst nach und nach mit viel Zeit-, Personal- und Finanzmitteleinsatz korrigiert werden. 6. Literatur [1] DIN 1076 (1999) Ingenieurbauwerke im Zuge von Straßen und Wegen - Überwachung und Prüfung. Berlin: Beuth. [2] RI-EBW-PRÜF, Richtlinie zur einheitlichen Erfassung, Bewertung, Aufzeichnung und Aus-wertung von Ergebnissen der Bauwerksprüfungen nach DIN 1076, Bundesministerium für Verkehr und digitale Infrastruktur, Bonn 2017 [3] Morgenthal, G., Hallermann, N., Kersten, J., Taraben, J., Debus, P., Helmrich, M., Rodehorst, V.: Framework for Automated UAS-based Structural Condition Assessment of Bridges. Automation in Construction 97 (2019), pp. 77-95 [4] Hallermann, N., Helmrich, M., Morgenthal, G., Schnitzler, E.: UAS-basierte Diagnostik von Infrastrukturbauwerken - Teil einer digitalen Instandhaltungsstrategie. Bautechnik 95 (2018) [5] Morgenthal, G., Rodehorst, V., Hallermann, N., Debus, P., Benz, C.: Unterstützung der Prüfung gemäß DIN 1076 durch (halb-) automatisierte Bildauswertung u. a. mittels UAV (unmanned aerial vehicles). Schlussbericht zu FE 89.0334/ 2017 (2019). Unveröffentlicht [6] URL: https: / / www.uni-weimar.de/ aistec, Zugriff: 28.06.2020