4. Kolloquium Brückenbauten - September 2020 243 Brückenprüfung und Digitalisierung mittels AI und Cloud Computing Albrecht Karlusch, MSc, MBA (Managing Director), DI Peter Furtner (Managing Director) und DI Ernst Forstner (Head of Operations) PALFINGER Structural Inspection GmbH (STRUCINSPECT), Wien, Österreich Zusammenfassung Der vorliegende Beitrag präsentiert die innovative AI-basierte Strukturinspektions-Plattform STRUCINSPECT, welche mit der Nutzung einer Artificial Intelligence (AI) die Brückeninspektion schneller, sicherer und nachhaltiger macht. STRUCINSPECT ist eine All-in-one-Solution, welche zum einen die Erstellung von Digitalen Zwillingen und BIMs, die AI-basierte Schadenserkennung von Rissen, Abplatzungen, offenen und korrodierten Bewehrungen sowie Asset Management und eine transparentere Strukturinspektion erlaubt, zum anderen aber auch als Kommunikations- und Arbeitsplattform zwischen dem Auftraggeber (Strukturbetreiber), Auftragnehmer (Ingenieur), Service Partnern (Data Capturer) und Technologie-Bereitstellern dient. Zusätzlich erhalten die Ingenieure die Möglichkeit ihre Prozesse zu digitalisieren und mit der AI-basierten Schadenserkennung zu beschleunigen. Die Strukturbetreiber können mit Hilfe von STRUCIN- SPECT auch eine präzisere Lebenszyklusanalyse durchführen. 1. Einleitung Ingenieurbauwerke (= Kunstbauten) haben Anforderungen hinsichtlich Standsicherheit, Verkehrssicherheit und Dauerhaftigkeit zu erfüllen. Kunstbauten sind daher einer periodischen Inspektion zu unterziehen. Diesbezüglich gibt es in den meisten Ländern entsprechende Gesetze und Regelwerke. Beispielsweise sind dies in Deutschland die DIN 1076 und die RI-EBW-Prüf und in Österreich die RVS Reihe 13.03.XX und das Dokument „06.01.02 Instandhaltung / / Instandhaltungsplan“ der ÖBB Infrastruktur AG. Der vorliegende Beitrag präsentiert die innovative Inspektions-Plattform von STRUCINSPECT, welche mit Hilfe von Fotos Digitale Zwillinge und BIM-Modelle erstellt. Auf diesen 3D-Modellen werden mit einer Artificial Intelligence (AI) Schäden detektiert, klassifiziert und dokumentiert. Die Plattform dient dabei nicht ausschließlich als Bearbeitungs-Tool sondern erfüllt auch die Funktion eines Kommunikations- und Präsentations-Tools für den Infrastrukturbetreiber. 2. Eine kollaborative AI-basierte Plattform für Ingenieure und Infrastrukturbetreiber 2.1 Das Joint Venture STRUCINSPECT STRUCINSPECT ist ein JV von PALFINGER, VCE und der ANGST Gruppe, also von drei Spezialisten aus verschieden Bereichen des Bauwesens. PALFINGER stellt Spezialausrüstung für Bauwerksinspektionen zur Verfügung, die den Zugang von Kontrollorganen und Bauingenieuren zu schwer zugänglichen Bereichen ermöglicht. VCE arbeitet als High-Tech-orientiertes Ingenieurbüro, spezialisiert auf Zustandsinspektionen und Bewertungen von Infrastrukturbauwerken. Die ANGST Gruppe ist Spezialist für mobile Kartierung, professionellen Drohnenbetrieb und Fotogrammmetrie. Gemeinsamen haben diese drei Firmen eine AI-basierte Plattform zur kollaborativen Strukturinspektion der Zukunft entwickelt. Auf der STRUCINSPECT Plattform können die Bauwerksprüfer eine komplette, AI-basierte und digitale Strukturanalyse durchführen sowie gleichzeitig mit dem Infrastrukturbetreiber die Zwischen- und Endergebnisse teilen. Dies ermöglicht höchste Transparenz bei gleichzeitiger Effizienzsteigerung und Zeitersparnis. Aktuell bietet die STRUCINSPECT Plattform folgende Services an: Management von Bauwerken und Bauwerksprüfungen, Digitaler Zwilling und BIM-Erstellung, AI-Schadensanalyse, Verortungs-, Dokumentations- und Visualisierungsservice, Ergebnis- und Be- 244 4. Kolloquium Brückenbauten - September 2020 Brückenprüfung und Digitalisierung mittels AI und Cloud Computing funds-Toolbox für Bauwerksprüfer, Zusammenarbeit und Teilen von Ergebnissen sowie Lebenszyklusanalyse und Asset-Management-Service. 2.2 Die STRUCINSPECT Plattform für kollaboratives, interdisziplinäres Arbeiten Auf der STRUCINSPECT Plattform können Ingenieure Zwischenergebnisse ihrer Prüfung teilen und gleichzeitig gemeinsam an Projekten arbeiten. Das Endergebnis können Bauwerksprüfer direkt mit den Kunden bzw. Bauwerkserhaltern teilen. Zudem können die Bauwerkserhalter sämtliche Ergebnisse mit Dritten, z.B. Ingenieurbüros und Bauunternehmen, teilen und für weitere gemeinsame Arbeiten, z.B. für die Instandhaltung und Instandsetzung, nutzen. Zusätzlich können Bauwerkserhalter, die bereits aktive STRUCINSPECT Plattform Kunden sind, die erhaltenen Ergebnisse in ihre Asset-Management-Systeme einpflegen bzw. an diese Systeme anbinden. Bild 1 Mögliche Austauschprozesse unter den Teilnehmern der Plattform 2.3 Management von Bauwerken und Prüfungen Mit einem sicheren Login erhält der Nutzer Zugang zu allen Services, Projekten, Visualisierungen und Befunden. Neue Projekte können angelegt und an die jeweiligen Bedürfnisse angepasst werden. Um welches Bauwerk handelt es sich? Welche Art von Inspektion benötige ich? Möchte ich einen Digitalen Zwilling erstellen? Möchte ich die AI-Analyse-Services in Anspruch nehmen? Brauche ich Schadenszuordnung und Georeferenzen? Bild 2 Projektübersicht mit den zugeordneten Kunden und Strukturen 2.4 Datenerfassung Grundlage für die weiteren Analysen ist die vollflächige Aufnahme des gesamten Bauwerks mit hochauflösenden Bildern nach vorgegebenen Qualitätskriterien. Der Bauwerksprüfer kann diese Daten (Bilder) selbst aufnehmen oder optional über die Plattform Unterstützung von Experten für die Datenbeschaffung (Bildaufnahme) anfordern und auch beauftragen. Diese Experten beschaffen die Daten in der Luft (mittels UAVs), zu Land und zu Wasser (z.B. per Boot), je nach Anforderung und Zugangsmöglichkeit. Die derart erfassten Daten werden nach dem Hochladen auf der STRUCINSPECT Plattform automatisiert auf ihre Vollständigkeit und Qualität geprüft. Die Datenqualität und Vollständigkeit ist essentiell für die weitere Bearbeitung, wie die AI-basierte Schadensanalyse sowie die Erstellung eines exakten Digitalen Zwillings und eines IFC-konformen BIM-Modells. Deswegen wurde von STRUCINSPECT ein verbindlicher Qualitäts- und Schnittstellenkatalog mit harten Kriterien erarbeitet (z.B. Auflösung, Überlappung, GSD, Fokus Art) die jedenfalls erfüllt werden müssen, bevor die Daten zur Weiterverarbeitung akzeptiert werden. Bild 3 Interface zum Strukturen-Management auf der STRUCINSPECT Plattform 4. Kolloquium Brückenbauten - September 2020 245 Brückenprüfung und Digitalisierung mittels AI und Cloud Computing 2.5 Digitaler Zwilling und BIM Bei der Erstellung des Digitalen Zwillings aus den aufgenommenen Bildern können verschiedene Qualitätsstufen ausgewählt werden: In der „Basic“ Version wird ein 3D-Zwilling als Punktwolke erstellt, welche absolute Georeferenzierung zur genauen Lokalisierung von Schäden ermöglicht. Die „Premium“ Version beinhaltet die Erstellung eines hochauflösenden texturierten 3D-Zwillings, welcher so genau ist, dass er eine virtuelle, manuelle Inspektion und eine 3D-Schadenskontrolle ermöglicht. Die „Premium“ Version beinhaltet auch die Erstellung eines IFC-konformen BIM-Modells im ausgewählten LOD (Level of Detail). Zusätzlich werden zu allen 3D-Modellen alle erforderlichen und vorhandenen Bauwerksdaten aufgenommen, wie z.B. Nutzung, Alter des Bauwerks, Bauwerktyp oder Länge der Brücke. Bild 4 Originalaufnahme: Drauquerung, Kunde: ÖBB Bild 5 Punktwolken Digitaler Zwilling Bild 6 Texturierter Digitaler 3D-Zwilling 2.6 AI-Schadensanalyse Die AI-basierte Schadenserkennung, kann Risse, Abplatzungen, freiliegende Bewehrungen, die Korrosion von Bewehrungen, Rostfahnen, Hohlstellen, Feuchtigkeit, Kiesnester und Bemoosungen mit einer Erkennungsrate (TPR) von 99,9%, vollautomatisch erkennen. Neben der Erkennung und Markierung der Schäden erfolgt auch eine automatische geometrische Analyse (z.B. Rissbreitenmessung, Bestimmung der Schadensfläche). Dabei können die gewünschten Genauigkeitskriterien und Klasseneinteilungen vorab festgelegt werden. So kann eine definierte Rissbreite von 0,1mm bei Spannbeton- 246 4. Kolloquium Brückenbauten - September 2020 Brückenprüfung und Digitalisierung mittels AI und Cloud Computing bauwerken und von 0,3mm bei Stahlbetonbauwerken vorgegeben werden. Unterbrochene, jedoch zusammengehörende Risse und Netzrisse werden als ein zusammenhängender Schaden erkannt, markiert und dokumentiert. Abplatzungen mit einer einstellbaren Mindestgröße werden ebenfalls automatisch von der AI als Schaden erkannt, markiert und vermessen. Bild 7 Original Bild mit Abplatzung, freiliegender Bewehrung und Korrosion Bild 8 Segmentiertes Bild und von der AI markierte Schäden Bild 9 Original Bild mit Abplatzung und offener korrodierender Bewehrung Bild 10 Darstellung auf der STRUCINSPECT Plattform mit markierter Abplatzung und offener korrodierender Bewehrung Bild 11 Von AI aus schrägem Winkel erkannte, markierte und gruppierte Risse auf der STRUCINSPECT Plattform 4. Kolloquium Brückenbauten - September 2020 247 Brückenprüfung und Digitalisierung mittels AI und Cloud Computing Bild 12 Frontalaufnahme mit von AI erkannten und gruppierten Rissen zu einem Schaden (Rahmen) auf der STRUCINSPECT Plattform Bild 13 Große Rissgruppe an einem Brückenpfeiler, von AI erkannt und zugeordnet, auf der STRUCINSPECT Plattform Bei Artifical Intelligence Systemen wird die Qualität der Erkennungsrate anhand von drei Kennzahlen definiert und gemessen: Die True Positive Rate (TPR) oder auch „Recall“ genannt, setzt die Anzahl von gefundenen Schadensobjekten eines Datensatzes ins Verhältnis zur Gesamtanzahl der Schäden des Datensatzes. Die False Positive Rate (FFR) oder auch „Fall out“ genannt, setzt die Anzahl von fälschlicherweise als Schaden klassifizierten Stellen ins Verhältnis zur Gesamtzahl schadensfreier Stellen. Der Positive Prediction Value (PPV) auch „Precision“ genannt, setzt die Anzahl von gefundenen Schadensobjekten eines Datensatzes ins Verhältnis zu der Anzahl vorhergesagter Schäden. [1] Die von STRUCINSPECT genutzte AI hat folgende Werte dafür: Tabelle 1 AI-Erkennungs-KPIs von STRUCINSPECT True Positive Rate > 99% False Positive Rate < 50% Positive Prediction Value > 80% 2.7 AI-basierter Zuordnungs-, Dokumentations- und Visualisierungsservice Mit Hilfe der AI werden die erkannten Schäden auf 2D- Bildern (Originalbilder) und 3D-Bildern (georeferenzierter Digitaler Zwilling) mit einer eigenen, eindeutigen Identifikationsnummer zugeordnet und dokumentiert. Wird der selbe Schaden auch auf weiteren Bildern und aus anderen Winkeln detektiert, erfolgt ein automatischer Abgleich und eine automatische Zuordnung zu dieser Identifikationsnummer. Ein und derselbe Schaden, auch wenn dieser auf mehreren Bildaufnahmen detektiert wird, wird nur einmal in die Schadensdatenbank aufgenommen.. Alle Schäden mit ihrer eindeutigen Identifikationsnummer sind absolut georeferenziert auf dem 3D-Digitalen Zwilling verankert. Bild 14 Mit Identifikationsnummern markierte Schäden auf dem 3D-Modell Bild 15 Farsund Brücke in Norwegen als texturiertes 3D-Modell auf der STRUCINSPECT Plattform (Schäden ausgeblendet) 248 4. Kolloquium Brückenbauten - September 2020 Brückenprüfung und Digitalisierung mittels AI und Cloud Computing Bild 16 Zoomausschnitt eines texturierten 3D-Modells des Brückenpfeilers mit eingeblendeten Schäden 2.8 Ergebnis- und Befunds-Toolbox für Ingenieure Alle gefundenen Schäden werden in der Datenbank gespeichert und können in 2D und 3D mit nur ein paar Klicks bearbeitet werden. Der Bauwerksprüfer kann Schadensempfehlungen und Bewertungen annehmen, modifizieren, erweitern oder ablehnen. Eventuelle Folgemaßnahmen können ebenfalls hinzugefügt werden. Bild 17 STRUCINSPECTs Plattform-Toolbox für Ingenieure: (1) Sortierte Identifikationsnummern der Schäden, (2) Schadensempfehlung von AI, kann vom Ingenieur überprüft und gegebenenfalls geändert werden, (3) Schäden werden Komponenten zugeordnet, kann ebenfalls vom Ingenieur geändert werden, (4) Angaben zu eventuellen Folgemaßnahmen 2.9 Zusammenarbeit und Teilen von Ergebnissen, Asset Management Die Bauwerksprüfer können ihren Kunden, den Infrastrukturbetreibern, und auf Wunsch der Kunden auch anderen Service-Partnern definierten Zugriff auf die generieten Ergebnisse gewähren und somit für höchste Transparenz sorgen und die Zusammenarbeit vereinfachen. Die Befunde, welche von den Infrastrukturbetreibern eingesehen werden können, beinhalten Schadenskataloge, Ratings, (empfohlene) Maßnahmen und vieles mehr. Sämtliche Ergebnisse können außerdem als Schadensdatensatz, BIM-Datensatz oder als PDF-Bericht heruntergeladen werden. Auch die direkte oder indirekte Anbindung an bereits beim Kunden vorhandene Bauwerksdatenbanken und Asset-Management-Systeme ist zum einfachen Datenaustausch möglich Als weitere umfangreiche Leistungen ermöglich die STRUCINSPECT Plattform unter anderem die Durchführung von Lebenszyklusanalysen und Erhaltungsplanungen auf Basis von diversen Alterungsmodellen und Kostenmodellen. Ein Management-Center ermöglicht jedem Nutzer einen einfachen Überblick über alle seine Projekte, Bauwerke und Daten. 3. Mehrwert Im Vergleich zur herkömmlichen Bauwerksprüfung nach dem Stand der Technik ist die STRUCINSPECT Plattform eine zeitsparende, effektive und effiziente Alternative. Wesentliche Vorteile von STRUCINSPECT sind die absolute Objektivität und Wiederholbarkeit der Bearbeitung, die vollständige und lückenlose Dokumentation des Zustandes der gesamten Bauwerksoberfläche (auch schadensfreie Bereiche werden vollständig dokumentiert) und die einfache und automatisierte Dokumentation des Schadensfortschrittes bei aufeinanderfolgenden, periodischen Prüfungen. 4. Ausblick und Weiterentwicklung Die STRUCINSPECT Plattform ist in einem konstanten Weiterentwicklungsprozess, wodurch auf explizite Wünsche, Feedback und Inputs von Nutzern zeitnaheeingegangen werden kann. Weitere geplante Features in der aktuellen Entwicklungspipeline sind so zum Beispiel: zusätzliche Asset-Management-Features mit Kollaborationen bzw. Plug-ins für Asset-Management-Software-Systeme von Dritten, die Inspektion und Prüfung von weiteren Asset-Klassen 4. Kolloquium Brückenbauten - September 2020 249 Brückenprüfung und Digitalisierung mittels AI und Cloud Computing (Straßen, Tunnel) sowie die Integration eines vertieften Datenaufnahme- und Auswertungsverfahrens (multispektral) für zusätzliche Schadenstypen. 5. Literaturangaben [1] Powers David M W (2011. „Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation”. Journal of Machine Learning Technologies. 2 (1): 37-63