Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur
dtv
2748-9213
2748-9221
expert verlag Tübingen
61
2023
21
Die digital unterstützte Brückenprüfung am Beispiel des Einsatzes künstlicher Intelligenz und erweiterter Realität
61
2023
Jessica Steinjan
Stephan Embers
Jan-Derrick Braun
David Schammler
Sven Zentgraf
Patrick Herbers
Firdes Celik
Benedikt Faltin
Markus König
Sonja Nieborowski
Ralph Holst
Brücken sind ein integraler Teil einer leistungsfähigen Verkehrsinfrastruktur. Die Gewährleistung ihrer Sicherheit, Zuverlässigkeit und Verfügbarkeit hat für Bauwerkseigentümer und -betreiber daher einen sehr hohen Stellenwert und gewinnt unter anderem angesichts der Alterung der Bauwerke und steigender Verkehrslasten weiter an Bedeutung. Regelmäßige Inspektionen des Bauwerks durch Experten geben Aufschluss über den Bauwerkszustand und notwendige erforderliche Maßnahmen zur Erhaltung des Bauwerks. Dies bildet die Grundlage zur Gewährleistung der Zukunftsfähigkeit von Ingenieurbauwerken. Dieser Beitrag zeigt Unterstützungspotenziale durch digitale Technologien auf Basis der Bedarfe und Anforderungen in der Bauwerksprüfung auf. Exemplarisch wird eine Kombination aus Künstlicher Intelligenz (KI) zur Schadensdetektion sowie erweiterter Realität (MR) zur Anzeige gesammelter Informationen in den Prüfprozess integriert. Die Prototypentwicklung am Beispiel eines realen Bauwerks wird vorgestellt. Die Rückmeldungen von Prüfenden aus Praxistests wurden zusammengefasst und ein Fazit über die praktische Anwendbarkeit gezogen.
dtv210251
2. Fachkongress Digitale Transformation der Verkehrsinfrastruktur - Juni 2023 251 Die digital unterstützte Brückenprüfung am Beispiel des Einsatzes künstlicher Intelligenz und erweiterter Realität Entscheidungskriterien in der Bauwerksprüfung Jessica Steinjan HOCHTIEF ViCon, Essen Stephan Embers, M. Sc. Ruhr-Universität Bochum Jan-Derrick Braun HOCHTIEF ViCon, Essen David Schammler HOCHTIEF ViCon, Essen Sven Zentgraf Ruhr-Universität Bochum Patrick Herbers, M. Sc. Ruhr-Universität Bochum Firdes Celik, M. Sc. Ruhr-Universität Bochum Benedikt Faltin Ruhr-Universität Bochum Prof. Dr.-Ing. Markus König Ruhr-Universität Bochum Regierungsrätin Sonja Nieborowski, M. Sc. Bundesanstalt für Straßenwesen (BASt), Bergisch Gladbach Regierungsdirektor Dipl.-Ing. Ralph Holst Bundesanstalt für Straßenwesen, Bergisch Gladbach Zusammenfassung Brücken sind ein integraler Teil einer leistungsfähigen Verkehrsinfrastruktur. Die Gewährleistung ihrer Sicherheit, Zuverlässigkeit und Verfügbarkeit hat für Bauwerkseigentümer und -betreiber daher einen sehr hohen Stellenwert und gewinnt unter anderem angesichts der Alterung der Bauwerke und steigender Verkehrslasten weiter an Bedeutung. Regelmäßige Inspektionen des Bauwerks durch Experten geben Aufschluss über den Bauwerkszustand und notwendige erforderliche Maßnahmen zur Erhaltung des Bauwerks. Dies bildet die Grundlage zur Gewährleistung der Zukunftsfähigkeit von Ingenieurbauwerken. Dieser Beitrag zeigt Unterstützungspotenziale durch digitale Technologien auf Basis der Bedarfe und Anforderungen in der Bauwerksprüfung auf. Exemplarisch wird eine Kombination aus Künstlicher Intelligenz (KI) zur Schadensdetektion sowie erweiterter Realität (MR) zur Anzeige gesammelter Informationen in den Prüfprozess integriert. Die Prototypentwicklung am Beispiel eines realen Bauwerks wird vorgestellt. Die Rückmeldungen von Prüfenden aus Praxistests wurden zusammengefasst und ein Fazit über die praktische Anwendbarkeit gezogen. 252 2. Fachkongress Digitale Transformation der Verkehrsinfrastruktur - Juni 2023 Die digital unterstützte Brückenprüfung am Beispiel des Einsatzes künstlicher Intelligenz und erweiterter Realität 1. Einführung Durch Alterung der Bauwerke, Änderungen in den Verkehrszusammensetzungen, Einflüsse durch den Klimawandel und steigende Verkehrslasten müssen in erheblichem Umfang Maßnahmen zur Erhaltung der Bauwerke durchgeführt werden. Bei der Bauwerksprüfung gemäß DIN 1076 [1] von Brücken- und Ingenieurbauwerken sowie der Schadensbewertung nach RI-EBW-PRÜF [2] ist es von entscheidender Bedeutung, dass die festgestellten Schäden vollständig, ortsgenau identifiziert sowie reproduzierbar und einheitlich bewertet werden. Dies ist insbesondere auch zur Beurteilung von Schadensentwicklungen und damit zur Beurteilung der Dringlichkeit von durchzuführenden Erhaltungsmaßnahmen unabdingbar. Dafür ist es wichtig, dass das Prüfpersonal Erfahrungen und Fähigkeiten zur Schadenserfassung und Schadensbeurteilung optimal einsetzen und von Aufgaben, die durch Einsatz digitaler Technologien einfacher erledigt werden können, entlastet bzw. von dieser Seite unterstützt wird. Somit hat die Einführung IT-gestützter Prozesse im Betrieb der Infrastruktur eine wichtige Bedeutung, um den erforderlichen Erhaltungsaufwand zu reduzieren. Die Anwendung einer Kombination aus Augmented bzw. Mixed Reality (AR/ MR) und Künstlicher Intelligenz (KI) bzw. Maschinellem Lernen kann diesen Prozess durch z. B. automatische Schadenserkennung bei der Bauwerksprüfung und darauf basierender Informationsbereitstellung unterstützen. Augmented und Mixed Reality bieten u. a. neue Möglichkeiten der Veranschaulichung virtueller Inhalte, der Informationseingabe und Informationsbereitstellung. Visuell können dem Menschen virtuelle Inhalte bereitgestellt werden, der damit die Möglichkeit hat, diese in seine Entscheidungsfindung einzubeziehen und zu bearbeiten. Dafür verwendete Systeme können über Sensoren die reale Umgebung und damit die Ist-Situation aufnehmen und Informationen passend überlagern. Technologien der Künstlichen Intelligenz werden durch das Training von Datenmodellen der Bilderfassung dafür verwendet, Schäden an Bauwerken zu erkennen und zu analysieren. Durch Kombination kann die KI die vom AR/ MR-System aufgenommenen Daten zusammen mit anderen zur Verfügung stehenden Daten sowie Erfahrungen mit vergangenen Problemstellungen möglichst in Echtzeit verarbeiten, Muster erkennen und dem Menschen darauf basierende Auswertungsergebnisse und Lösungsvorschläge über das AR/ MR-System bereitstellen. 2. Anforderungsanalyse/ Requirement Engineering Die Gewährleistung der Standsicherheit, Verkehrssicherheit und Dauerhaftigkeit von Ingenieurbauwerken ist ein umfassender Prozess bei der Daseinsvorsorge im öffentlichen Raum. Sicherstellen kann man dies nur mit regelmäßigen Qualitätsprüfungen an den Bauwerken vor Ort und einer Nachverfolgung in einem zentralen Qualitätsmanagementsystem, welches Daten zu den Bauwerken von Planung über Bau, während der Erhaltung bis hin zum Abbruch oder Ersatzneubau vorhält. Die Bauwerksprüfung nach DIN 1076 [1] ist ein wesentlicher Bestandteil dieser Qualitätssicherung. Die Daten der Prüfungen werden in den existierenden Bauwerksinformationssystemen (z. B. SIB Bauwerke) zusammengetragen. Hieraus lassen sich notwendige Maßnahmen zur Gewährleistung eines jeden Ingenieurbauwerks ableiten. Besonderen Fokus haben hierbei konstruktive Schwachstellen, die vornehmlich bei älteren Bauwerken zu Tage treten und einer genaueren Betrachtung und besonderer Überwachung bedürfen. Solche Schwachstellen können in erheblichem Maße die Nutzbarkeit des Bauwerks einschränken und zur temporären Sperrung bis hin zum Ersatzneubau führen. Im Rahmen der Prüfung nach DIN 1076 [1] werden die Bauwerke nicht nur aus baulicher Sicht bewertet, sondern ebenfalls nach wirtschaftlichen Gesichtspunkten analysiert. Selbst wenn die Standsicherheit sichergestellt wäre, die Wirtschaftlichkeitsberechnungen für z. B. eine Sanierung aber nicht positiv bewertet werden könnte, so hätte dies Auswirkungen auf die vorzunehmenden Maßnahmen. Der Prüfprozess nach DIN 1076 [1] ist komplex und erfordert ein hohes Maß an Erfahrung des Personals vor Ort. Im Zuge einer Hauptprüfung muss das komplette Bauwerk handnah geprüft werden, um Schäden ertasten und mit bloßem Auge erkennen zu können. Die Dokumentation der erfassten Schäden ist aufwändig. Daten zu vorhandenen Schäden, sowie das zugehörige Bauwerksbuch und Bauwerkspläne stehen vor Ort oft nur als Papierausdruck zur Verfügung. All diese Herausforderungen sollen im Rahmen dieser Anforderungsanalyse genauer betrachtet werden. Es sollen die relevanten Anforderungen identifiziert werden, die in Rahmen der Konzeptionierung einer mobilen AR-Anwendung Berücksichtigung finden, um den Prüfprozess zu vereinfachen und den Prüfingenieur zu unterstützen. Im Zuge der Anforderungsanalyse wurden Interviews mit Bauwerksprüfern verschiedener Unternehmen und aus unterschiedlichen Bereichen geführt. Die Bereitstellung der AR Anwendung stieß hierbei auf großes Interesse. Die Ergebnisse dieser Interviews sind bei der Formulierung der notwendigen Anforderungen mit eingeflossen. Das Vorgehen während der Anforderungsanalyse folgt den Prinzipien des Requirement Engineerings und berücksichtigt hierbei Anforderungen, die sich zum einen aus dem üblichen Ablauf des Bauwerksprüfprozesses ergeben und zum anderen abhängig vom aktuellen Stand der Technik definiert werden. Um den neuen und leicht angepassten Ablauf des Prüfprozesses mit der in diesem Forschungsprojekt neu zu entwickelnden AR-Anwendung zu konkretisieren, fließen diese Anforderungen in die spätere Konzeptionierung ein. Permanentes Feedback von Anwendern als Validierung der Konzeptionierung und darauf auf bauenden Prototypisierung wird Einfluss auf die erarbeiteten Definitionen haben und bei Erfordernis entsprechende Anpassungen mit sich bringen. 2. Fachkongress Digitale Transformation der Verkehrsinfrastruktur - Juni 2023 253 Die digital unterstützte Brückenprüfung am Beispiel des Einsatzes künstlicher Intelligenz und erweiterter Realität 3. Konzeptionierung Für die erfolgreiche Implementierung digitaler Prozesse und neuer Technologien sind grundsätzlich vier wesentliche Aspekte zu berücksichtigen: • Technologie: Es muss gewährleistet werden, dass technologische Anforderungen (z. B. an Hard- und Software) erfüllt werden, da ansonsten Prozesse nicht reibungsfrei ablaufen können und gestört würden. • Richtlinien Es ist zwingend erforderlich, dass bei der Implementierung neuer Arbeitsweisen vorhandene Richtlinien eingehalten werden, da ansonsten eine Einführung im Widerspruch hierzu stehen würde. • Prozesse Neue Arbeitsmethoden müssen sich reibungsfrei in bestehende Prozesse eingliedern und sollten diese nicht grundlegend abändern. Neue Prozesse, die störend auf bestehende Abläufe wirken, sind kontraproduktiv. • Menschen Es ist zwingend erforderlich, dass beteiligte Personen für die Anwendung neuer Arbeitsmethoden befähigt werden. Prozessbeteiligte sollten in den Neuentwicklungen Vorteile sehen, um die Akzeptanz zu steigern. Für die Konzeptionierung wurde zunächst der aktuelle IST-Prozess untersucht und vorliegende Herausforderungen im Prüfablauf identifiziert. Basierend auf den identifizierten Schwachstellen des Prozesses wurde anschließend der gewünschter SOLL-Prozess skizziert. Dieser bleibt nahezu unverändert zum IST-Prozess, wurde aber um Anknüpfungspunkte für die Implementierung der neuen Technologien ergänzt. Auf Basis der Anforderungsanalyse erfolgt die detaillierte Spezifikation der umzusetzenden Funktionseinheiten für das Bridge Inspection Support System (BISS) zur Bauwerksprüfung im Brückenbau, welches für dieses Projekt prototypisch realisiert wurde. 4. Bridge Inspector / Demonstrator Aus der Anforderungsanalyse ging hervor, dass eine Brückenprüfung häufig durch zwei Prüfer durchgeführt wird. Es bietet sich deshalb an, beide Personen einzubinden und mit technischen Geräten zur Durchführung der Brückenprüfung auszustatten. Aus diesem Grund nutzt der entwickelte Demonstrator des BISS einen Zwei-Geräte Ansatz. Durch diesen Ansatz können sich die beiden Prüfer in der Nutzung der Geräte abwechseln und so ein mögliches Unbehagen beim Tragen eines Headmounted Gerätes verringern. Ergänzend lassen sich hierdurch die gute Immersion von Headmounted-AR-Geräten (z. B. Holo- Lens) und deren ausgereiften Positionierungseigenschaften für Verortung und Erfassung von Schäden mit der intuitiven Handhabung eines Handheld-AR-Geräts (z. B. Smartphones, Tablets) für die Dokumentation und Beschriftung der Daten vereinen. Auf Basis des Zwei-Geräte Ansatzes wurden in diesem Forschungsvorhaben zwei unterschiedliche technische AR-Systeme eingesetzt. Zum einen ein Tablet auf Basis von ARCore von Google sowie ein Trimble XR10 System mit HoloLens 2. Das Trimble XR10 System mit HoloLens 2 ist speziell für den Einsatz in Bereichen mit erhöhten Sicherheitsanforderungen wie Baustellen, Offshore-Anlagen oder im Bergbau entwickelt worden und entspricht dem ANSI/ ISEA Industriestandard. Die im Demonstrator genutzte Hardware stellt sicher, dass benötigte Sicherheitsausrüstung ohne Einschränkungen genutzt werden kann. Insgesamt umfasste die Konzeptionierung des Demonstrators damit vier unterschiedliche Komponenten: die Tablet-Anwendung, die AR-Anwendung, die Datenhaltung und die KI-Komponente. Diese vier Komponenten wurden über entsprechende Schnittstellendefinition miteinander gekoppelt. Im Folgenden eine kurze Erläuterung der vier Komponenten. 4.1 Tablet Das Tablet ist das leistungsstärkere Gerät in Bezug auf Prozessorleistung, Akkulaufzeit und Eingabemöglichkeiten in der Benutzeroberfläche. Aus diesem Grund wird es bevorzugt für die Dateneingabe und Dokumentation von Schäden verwendet. Zusätzlich dient das Tablet auch als Speichermedium für sämtliche bereitgestellten Dokumente und Informationen, die im Zusammenhang mit vorangegangenen Prüfungen stehen. Zudem werden auf dem Tablet auch die neu aufgenommenen Daten der aktuell laufenden Prüfung gespeichert. Eine der wichtigsten Funktionen der Tablet-Anwendung ist die visuelle Darstellung von Schäden in einem Übersichtsplan (z. B. Lageplan). Dies hilft dabei auf einen Blick alle bereits erfassten Schäden in einer einzigen, übersichtlichen Darstellung zu sehen. Die Tablet-Anwendung stellt außerdem eine Baumstruktur zur datentechnischen Verortung der Schäden bereit. Diese Struktur folgt den Stufen der ASB-ING [3] Schlüssel, und ermöglicht so die bauteilbezogene Verortung und Kategorisierung. Für die Dokumentation eines neuen Schadens, bzw. der Aktualisierung eines bestehenden Schadens, stellt die Tablet-Anwendung eine anwenderfreundliche Benutzeroberfläche zur Verfügung. Hierbei können eine Schadensbeschreibung (Name, Art, Richtung), die relevante Zuweisung des ASB-ING [3] Schlüsselcodes, die notwendige SVD-Bewertung und zugehörige Schadensfotos eingegeben bzw. angefügt werden. Ein großer Vorteil gegenüber der bisherigen Vorgehensweise bei der Bauwerksprüfung ist, dass die Schäden auf diese Weise sofort bauteilbezogen dokumentiert sind und zusätzlich ein direkter Bezug zu bestehenden Schäden am selben Bauteil hergestellt werden kann. Weiterhin können zusätzliche Informationen oder Kommentare über das bereitgestellte Beschreibungsfeld ergänzt werden und eine Kennzeichnung als „handnah zu prüfender Schaden“ (EP Schaden) vorgenommen werden. Alle genannten Felder sind optional und müssen nicht ausgefüllt werden, sodass über dieselbe Oberfläche auch Schäden dokumentiert werden 254 2. Fachkongress Digitale Transformation der Verkehrsinfrastruktur - Juni 2023 Die digital unterstützte Brückenprüfung am Beispiel des Einsatzes künstlicher Intelligenz und erweiterter Realität können, die nicht für das Bauwerksmanagement relevant sind (z. B. Kleinschäden). Abb. 1: Eingabemaske der Tablet-Anwendung für die Dokumentation von erkannten Schäden Weiter bietet die Tablet-Anwendung die Möglichkeit, beispielhafte Schadensbeispiele und Schadensmerkmale, die mit dem Schema der RI-EBW-PRÜF [2] übereinstimmen, einzusehen. Diese Schadensbeispiele unterstützen den Bauwerksprüfer bei der Entscheidung zur Beurteilung eines Schadens. Sie bieten eine Bandbreite an vorgefertigten Schadensmerkmalen an, die sich in der entwickelten Anwendung automatisch in die Nutzeroberfläche zur Schadensdokumentation einbinden lassen. Diese automatisch befüllten Felder zur Dokumentation lassen sich im Nachgang weiterbearbeiten, sodass der Bauwerksprüfer eine Empfehlung erhält und diese annehmen oder Eintragungen seiner Beurteilung entsprechend anpassen kann. Der im Rahmen dieses Forschungsvorhabens entwickelte Demonstrator implementiert diese Funktionalität beispielhaft und bietet Schadensbeispiele für Risse, Erosionen, Abplatzungen und Graffiti. Zukünftig ist hier eine Liveanbindung an die bestehende Datenbank anzustreben. Im Zusammenspiel mit dem Zweitgerät, der HoloLens mit der AR-Anwendung, kann die Tablet-Anwendung alle von der HoloLens erfassten Daten, inklusive aufgenommener Schadensbilder, importieren. Die importierten Schadensmerkmale werden in Listenform angezeigt und können anschließend in der Tablet-Anwendung dem relevanten Bauteil zugewiesen werden. Die so bereitgestellten Informationen können in der Benutzeroberfläche zur Dokumentation des Schadens anzeigt, direkt verwendet oder weiterbearbeitet werden. 4.2 Headmounted Display (HMD) Der Einsatz des in diesem Forschungsvorhaben zum Einsatz kommenden HMD, der HoloLens im Rahmen des Zwei-Geräte Ansatzes bringt den Vorteil der Bewegungsfreiheit für den Bauwerksprüfer bei der Bauwerksbegehung und Schadenserfassung mit sich. Dies ermöglicht es dem Prüfer, seine Hände ohne Einschränkungen zu benutzen und somit effektiver zu arbeiten. Die Steuerung der HoloLens AR-Anwendung erfordert kein zusätzliches Gerät, wie es bei anderen AR-fähigen Geräten oft der Fall ist. Stattdessen wird die gesamte Anwendung über eine hybride Methode aus Gestik-Steuerung und virtuellen Eingabemasken gesteuert. Diese Methode bietet eine schnelle und effektive Möglichkeit, um auf die Anwendung zuzugreifen und sie zu bedienen. Über die HoloLens AR-Anwendung ist es möglich, eine einfache Schadensaufnahme zu dokumentieren. Der Bauwerksprüfer startet die AR-Anwendung, indem er eine beliebige innere Handfläche zur HoloLens anhebt. Durch diese Geste wird die Benutzeroberfläche als virtuelles Hologramm über dem realen Blick des Anwenders eingespielt. Die Realität wird an dieser Stelle das erste Mal im entwickelten Prozess mit AR überlagert und virtuell ergänzt. Damit die eingeblendete Benutzeroberfläche die Anzeigefläche und damit die Sicht des Bauwerksprüfers nicht einschränkt, wird diese nach Beenden der Eingabe ausgeblendet, kann aber jederzeit durch erneutes Anheben einer Handfläche wieder eingeblendet werden. Abb. 2: Virtuelle Eingabemaske der HoloLens AR-Anwendung Entdeckt der Bauwerksprüfer vor Ort einen Schaden an einem Bauteil, initiiert er den Schadensaufnahmeprozess durch die Schaltfläche „Aufnahme“ auf der Holo- Lens. Ein Countdown von 3 Sekunden kündigt das Foto an. In dieser Zeit kann der Bauwerksprüfer die Hand aus dem Sichtfeld nehmen und das Gerät stabilisieren. Das Foto wird darauf hin von der KI-Komponente ausgewertet und vorerst lokal auf dem Gerät gespeichert. Mit der Schaltfläche „Senden“ werden alle zuvor aufgenommenen Schadensfotos zur Tablet-Anwendung gesendet. In der HoloLens AR-Anwendung kann die KI über den Aktivierungsbutton in der Benutzeroberfläche ausgeführt werden. Das bei der Schadens-Fotoaufnahme aufgenommene Foto wird im Hintergrund an das Tablet gesendet und dort von der KI ausgewertet. Die berechneten Ergebnisse werden im Anschluss an die HoloLens zurückgeschickt und dem Bauwerksprüfer in holographischer Form dargestellt. Implementiert wurde die Rissbreitenberechnung, in der pro erkannter Rissinstanz die maximale Breite berechnet wird. Für einen Schaden wird die maximale Breite über alle Rissinstanzen angezeigt. Zusätzlich erhält der Bauwerksprüfer Informationen zu der von der KI erkannten Schadensart, die im Falle des implementierten Demonstrators Risse, Abplatzungen, Korrosion und Kiesnester umfasst. An dieser Stelle sei erwähnt, dass für dieses Forschungsvorhaben eine Live-Schadenserkennung auf der Holo- Lens angedacht war. Aus Gründen der Wirtschaftlichkeit 2. Fachkongress Digitale Transformation der Verkehrsinfrastruktur - Juni 2023 255 Die digital unterstützte Brückenprüfung am Beispiel des Einsatzes künstlicher Intelligenz und erweiterter Realität in Bezug auf Ablauf des Bauwerksprüfprozesses musste hiervon leider abgewichen werden. Die Rechenleistung der HoloLens ist zurzeit beschränkt und noch nicht ausreichend. Eine Bildauswertung der KI dauert hier im Durchschnitt 60Sekunden, die Wirtschaftlichkeit der Durchführung einer Bauwerksprüfung wäre damit nicht mehr gegeben. Aus diesem Grund wurde von der Live- Schadenserkennung auf der HoloLens abgesehen und eine alternative, performantere Herangehensweise über ein externes Gerät mit der nötigen Rechenleistung implementiert. Die Zeit bis zur Anzeige des Berechnungsergebnisses konnte so auf <1 Sekunde verkürzt werden. Es ist zu erwarten, dass zukünftig leistungsstärkere Hardware auf den Markt kommen wird, mit welcher eine Live- Schadenserkennung auf einem ähnlichen Headmounted Display wie der HoloLens ausgeführt werden könnte. 4.3 Künstliche Intelligenz (KI) Für die automatische Schadenserkennung von Schäden wurden KI-basierte Segmentierungsverfahren eingesetzt. Die Ergebnisse des trainierten KI-Modells werden hierfür auf das AR-Gerät hochgeladen und lassen sich auf dem Bildschirm des AR-Geräts anzeigen. Abhängig vom segmentierten Schaden können weitere Analysen durch das System vorgenommen werden. Dazu gehören beispielsweise die Berechnung einer Risslänge, Rissbreite oder die Fläche eines größeren Schadensbereichs. Als neuronales Netzwerk zur Segmentierung der Schäden wurde das Feature Pyramid Network (FPN) gewählt. Dieses Netzwerk lieferte im Test mit mehreren Netzwerken auf kleineren Datenmengen die besten Erkennungswerte. Um die Leistung der FPN-Modelle zu bewerten, wurde eine fünffache Kreuzvalidierung durchgeführt. Um die Variabilität in den Daten zusätzlich zu erhöhen und die Modelle robust gegenüber möglichen qualitativ schlechteren HoloLens-Bildaufnahmen zu machen, wurde eine Reihe von Techniken in einer Pipeline zur Datenerweiterung angewandt. Dazu gehören das Hinzufügen von Bildunschärfe, Rotation (90 °, 180 °, 270 °), tonnenförmige Verzerrung und Änderung der Helligkeit. Diese Techniken wurden jeweils mit einer zufällig generierten Wahrscheinlichkeit p ∈ [0, 1] (p < 0,5 anwenden, p ≥ 0,5 nicht anwenden) angewandt. Sobald eine Datenerweiterungstechnik ausgewählt war, wurde der Grad der Veränderung (z. B. Helligkeitsgrad) durch einen weiteren zufällig generierten Wahrscheinlichkeitswert ausgewählt. Mit dieser Datenerweiterung wurden ungefähr 20.000 Bilder erzeugt, sodass insgesamt 26.754 Bilder als Trainingsdatensatz zur Verfügung standen. Für die Implementierung der Modelle wurde die KI-Bibliothek TensorFlow genutzt. 4.4 Datenhaltung Für die Speicherung der durch den Demonstrator erfassten Prüfungsdaten wurde eine geeignete Datenhaltung implementiert. Diese besteht im Wesentlichen aus einer Datenbank, in der die gesammelten Daten persistiert werden können und einer REST-Schnittstelle, mit dessen Hilfe die Daten auf einen Server übertragen werden können, damit sie später (z. B. an einem Desktop-PC) weiterverarbeitet werden können. Dieser Server persistiert die übertragenen Daten ebenfalls in einer Instanz der entwickelten Datenbank. 5. Vorgehen/ Validierung Die Evaluierung des Demonstrators erfolgte dreistufig. Die erste Phase erfolgte durch Tests der Anwendungen, inklusive Validierung der Ergebnisse der mitlaufenden KI, in den Laboren der RUB. Daran anschließend erfolgen Phase Zwei und Drei der Evaluierung im Rahmen von Begehungen vor Ort an einer Demonstrator Brücke. Die Demonstrator-Brücke wurde zur weiteren Verbesserung des Demonstrators zweimal begangen. Die erste Begehung diente vorrangig der Erprobung aller Funktionalitäten und simulierte Realbedingungen bei der Erfassung von Schäden vor Ort. Einzelne Bauteile wurden hierbei beispielhaft und handnah untersucht, wobei die Auswahl der Bauteile variantenreich gestaltet wurde, um eine umfangreiche Bandbreite an möglichen Bauteilen abzudecken. Gesammeltes Feedback im Rahmen dieser Begehung floss umgehend in die weitere Ausarbeitung des Demonstrators ein. Die zweite Begehung simulierte eine nachfolgende Begehung. Hierbei wurden die grundsätzlichen Funktionalitäten validiert. Die Begehungen wurden mit Experten der RUB und HOCHTIEF ViCon durchgeführt. Weitere Beteiligte waren Bereitwillige Bauwerksprüfer des Ingenieurbüros ZETCON, Beteiligte des Forschungsgebers BASt und des involvierten Betreuerkreises, sowie die Ansprechpartner für das Bauwerk von Seiten Straßen NRW. Das Bauwerk wurde, wie geplant, jeweils mit zwei Personen begangen. Eine davon trug vor Ort den Sicherheitshelm mit integrierter HoloLens und überprüfte die Schäden handnah. Die begleitende Person bediente das Tablet, welches mit der HoloLens gekoppelt war. Dieses Setup wurde mit verschiedenen Beteiligten durchgespielt. Mit Hilfe des Testszenarios sollten die erforderlichen Anforderungen, bezogen auf die zuvor erläuterten Kernaspekte (Mensch, Technik, Prozesse, Richtlinien) validiert werden. Ein zentraler Aspekt war hierbei, die Anwenderakzeptanz im Generellen sicherzustellen. Die Arbeitssicherheit für das Personal ist hierbei uneingeschränkt zu gewährleisten. Der Tragekomfort der zum Einsatz kommenden Geräte muss gegeben sein und darf die Bewegungsfreiheit nicht einschränken. In Bezug auf die Menü-Führung wurde die Nutzerfreundlichkeit überprüft. Es galt sicherzustellen, dass die Eingabe von Daten einfach und intuitiv erfolgt. Des Weiteren soll eine vollumfängliche Fotoaufnahme zu Dokumentationszwecken ermöglicht und hinsichtlich der Anwendbarkeit überprüft werden. Aus technischer Sicht hat die Testung der Akkulaufzeit bei Verwendung der Systeme einen hohen Stellenwert. Sowohl die HoloLens, als auch das Tablet sollten hierzu an ihre Belastungsgrenzen gebracht werden. Die maximale Einsatzzeit wurde dokumentiert und hinsichtlich 256 2. Fachkongress Digitale Transformation der Verkehrsinfrastruktur - Juni 2023 Die digital unterstützte Brückenprüfung am Beispiel des Einsatzes künstlicher Intelligenz und erweiterter Realität einer ausreichenden Nutzungsdauer für eine durchschnittliche Brückenprüfung evaluiert. Da generell eine ausreichende Netzabdeckung an Brückenbauwerken im Rahmen dieses Forschungsvorhabens nicht gewährleistet werden konnte, wurde eine Offline Funktionalität der Anwendungen (sowohl auf der Holo- Lens, als auch auf dem Tablet) implementiert. Die Datenbereitstellung muss auch ohne Netzabdeckung so implementiert sein, das bereitgestellte Daten und Informationen vor Ort möglichst ohne Herausforderungen und Schwierigkeiten gut lesbar dargestellt werden konnten. Dies betrifft insbesondere die Lesbarkeit bei schwierigen Lichtverhältnissen (z. B. im Hohlkasten) oder in Abhängigkeit der vorherrschenden Wetterverhältnisse. Ebenso wurde die Bereitstellung relevanter Bestandsdokumente (Bauwerksbuch, Bauwerksakte, zugehörige 2D Zeichnungen, etc.) kontrolliert. Die Vollständigkeit dieser Dokumente ist entscheidend zur Durchführung einer Bauwerksprüfung. Auch hier galt es die Lesbarkeit solcher Art von Dokumenten auf den eingesetzten Geräten zu evaluieren. Zur Datenbereitstellung gehörte auch das Testen des Einblendens bestehender Schäden bei einer simulierten Zweitbegehung. Vor Beginn der Prüfung soll eine Übersicht zu bestehenden Schäden gegeben werden, um erforderliche Aufwände und Bauwerkszustände besser einschätzen zu können. Bei der Begehung selber sollen Schäden vorangegangener Prüfungen vor Ort eingeblendet werden und das Schadensbild überlagern, sodass eine Schadensentwicklung einzuschätzen ist. Die Bereitstellung der KI-Berechnung soll eine Klassifizierung des Schadenstyps ermöglichen. Auch sollen erforderliche Schadenskenngrößen, sowie übliche Bewertungsempfehlungen bereitgestellt werden. Die Entscheidung der Schadensbewertung muss in den Händen der Bauwerksprüfer verbleiben. 6. Anwenderfeedback In allen drei Phasen der Evaluierung wurde kontinuierlich Feedback der Anwender gesammelt und sofern möglich direkt in die weitere Ausdetaillierung des Demonstrators implementiert. Die Beteiligten der Bauwerksbegehungen vor Ort waren interessiert und testeten engagiert die Funktionalitäten und Möglichkeiten des Demonstrators. Insbesondere die Rückmeldungen der Bauwerksprüfer, die im täglichen Geschäft Prüfungen am Bauwerk auf konventionelle Art und Weise durchführen, war für die Projektbeteiligten von großer Bedeutung. Es gab viele konstruktive Kommentare und Diskussionen, sowie neue Fragestellungen und Ideen. Dies wurde während der Begehungstermine durch die Projektbeteiligten dokumentiert. Zusätzlich wurde nachgelagert ein Fragebogen zur Verfügung gestellt, über den die Tester weiteres Feedback geben konnten. Der Fragebogen hatte 14 themenbezogene Frageblöcke, die sich auf die Entwicklung des Demonstrators im Allgemeinen bezogen (z. B. Strukturierungstiefe der Anwendung, Akku-Laufzeit, Offline-Funktionalität, Menu-Führung im Allgemeinen) und auf die beiden technologischen Aspekte HoloLens und Tablet (Datenbereitstellung, Lesbarkeit, Arbeitssicherheit, etc.) bezogen. Im Folgenden eine Zusammenfassung des Anwenderfeedbacks: Die Menu-Führung wurde als intuitiv und selbsterklärend empfunden. Lediglich eine kurze Einweisung, insbesondere bei der Nutzung der HoloLens war notwendig, was auch die Unerfahrenheit der Anwender mit dieser Technologie zurückzuführen ist. Als hilfreich wurde hier die zusätzliche Implementierung einer Sprachsteuerung angesehen, die es bei einer Weiterentwicklung auf Tauglichkeit bei vielbefahrener Infrastruktur zu verifizieren gilt. In Bezug auf die Arbeitssicherheit gab es keine Bedenken. Der zum Einsatz kommende Helm mit integrierter HoloLens entspricht den nationalen Vorgaben zur Arbeitssicherheit und schränkt die Bewegungsfreiheit nicht ein. Jedoch ist hier zu erwähnen, dass dieser Helm deutlich schwerer als ein üblicher Helm ist und insofern die Arbeitssicherheit in gewisser Weise einschränkt. Die Akku Laufzeit hingegeben stellt eine Herausforderung dar. Während das Tablet bei Dauernutzung während der Pausenzeit bei Bedarf aufgeladen werden kann, so ist der Akku der HoloLens nicht für den Dauerbetrieb ausgelegt. Hier muss auf einen mitzuführenden Zweit-Akku zurückgegriffen werden oder auf eine Weiterentwicklung der Hardware gewartet werden. Die Strukturierungsstufen der verwendeten Daten wurde als ausreichend empfunden und folgt bekannten Vorgaben, wie der Gliederung gem. der ASB-ING [3] Schlüssel. Eine reibungslose Datenbereitstellung auch als Offline Funktionalität in Bereichen ohne Netzwerk (wie z. B. im Hohlkasten) konnte exemplarisch demonstriert werden. Ein Lageplan des Bauwerks dient als Orientierungshilfe zur Identifikation vorhandener Schäden der vorherigen Begehung. Relevante Dokumente des Bauwerks (Bauwerksbuch, Bauwerksakte, Prüf bericht und vorhandene 2D Pläne konnten erfolgreich bereitgestellt werden. Die Berechnungsergebnisse der KI zeigte eine beeindruckende Genauigkeit bei der Maskierung von Schadensbildern. Die Unterscheidung von Schadenstypen, sowie die Ermittlung von relevanten Kenngrößen konnte erfolgreich demonstriert werden. Abb. 3: Schadenserkennung KI: farbliche Überlagerung des Schadensbildes und Berechnung der Risslänge und -breite 2. Fachkongress Digitale Transformation der Verkehrsinfrastruktur - Juni 2023 257 Die digital unterstützte Brückenprüfung am Beispiel des Einsatzes künstlicher Intelligenz und erweiterter Realität Auch die Überlagerung des Schadensbildes funktionierte sehr gut. Nachfolgendes Bild zeigt anschaulich das Schadensbild vor Ort und die Einblendung der Schadensüberlagerung, so wie es der Prüfende auf der HoloLens sieht. Abb. 4: Überlagerung Schadensbild aus Sicht des Anwenders mit HoloLens 7. Ausblick & Zusammenfassung Die grundlegenden Funktionen des in diesem Forschungsvorhaben prototypisch entwickelten Demonstrators konnten durch die Live Begehungen zielorientiert verifiziert werden. Auch der Mehrwert neuer Technologien wie AR konnte grundsätzlich bestätigt werden. Das holografische Einblenden relevanter Informationen bietet eine gute Hilfestellung für die Anwendung vor Ort. Der aktuelle Entwicklungsstatus der KI liefert bereits jetzt eine sehr hohe Treffergenauigkeit für die bisher angelernten Schadensbilder. Die Genauigkeit der Ergebnisse ist allerdings noch nicht umfänglich genug, um für den praktischen Einsatz gut aufgestellt zu sein. Für die Überführung in den Regelbetrieb bedarf es umfassender Weiterentwicklung des Demonstrators. Die Aufgabenstellung dieses Forschungsvorhabens war die Entwicklung eines prototypischen Demonstrators für die Bauwerksprüfung von Brücken. Die Vorgehensweise dieser Entwicklung lässt sich gleichermaßen übertragen für die Verwendung der Bauwerksprüfung anderer Ingenieurbauwerke, wie z. B. Tunnel, Stützwände, etc. Zusammengefasst lassen sich mit der prototypischen Entwicklung dieses Demonstrators notwendige Anforderungen zur Digitalisierung der Dokumentation von allgemeinen Zustandsfeststellungen bei Ingenieurbauwerken ableiten. Die Weiterentwicklung des Demonstrators ist absolut empfehlenswert und dies in Bezug auf den gesamten Sektor von Infrastruktur-Bauwerken. 8. Danksagung Dieser Beitrag basiert auf Teilen des Forschungsprojekts, das im Auftrag des Bundesministeriums für Digitales und Verkehr und seines Expertennetzwerks „Wissen - Können - Handeln“, vertreten durch die Bundesanstalt für Straßenwesen, im Rahmen des Forschungsprojekts FE-Nr. 69.0008/ 2020 durchgeführt wurde. Die Verantwortung für den Inhalt liegt allein bei den Autoren. Wir bedanken uns bei den Mitgliedern des Betreuerkreises für ihre hilfreichen Hinweise und Rückmeldungen. Literatur [1] DIN 1076: 1999-11, „Ingenieurbauwerke im Zuge von Strassen und Wegen - Überwachung und Prüfung“, Beuth Verlag GmbH, 1999. doi: 10.31030/ 8499929. [2] Bundesministerium für Verkehr und digitale Infrastruktur, „Richtlinie zur einheitlichen Erfassung, Bewertung, Aufzeichnung und Auswertung von Ergebnissen der Bauwerksprüfungen nach DIN 1076 (RI-EBW-PRÜF)“, Feb. 2017. [3] Bundesministerium für Verkehr, Bau- und Stadtentwickelung - Abteilung Straßenbau, „Anweisung Straßeninformationsbank Segment Bauwerksdaten (ASB-ING) (Sammlung Brücke- und Ingenieurbau: Erhaltung)“, Okt. 2013.
