5. Brückenkolloquium - September 2022 99 From Pixel to Pset Automatisierte Erstellung eines IFC-4-konformen Fachmodells Bauwerksprüfung aus einer digitalen Bauwerksinspektion unterstützt durch KI Dipl.-Ing. Peter Furtner VCE, Vienna Consulting Engineers ZT GmbH, Wien, Österreich B.Eng. (Honours), M. Sc.Arch. RAIA MIEAust Peter O’Brien VCE, Vienna Consulting Engineers ZT GmbH, Wien, Österreich Zusammenfassung Dieser Beitrag beschreibt eine technologische Lösung zur digitalen Bauwerksinspektion, welche den ganzen Prozess, beginnend mit der Bildaufnahme vor Ort, bis hin zum IFC-4 konformen Endergebnis umfasst. Im Detail umfasst der Prozess folgende Schritte: • Digitale Bildaufnahme des gesamten Objekts vor Ort • Automatisierte Erstellung eines 3-D-Modells aus den Bilddaten in Form einer texturierten Punktwolke • Generierung eines BIM Teilmodells Geometrie aus der Punktwolke • Vollautomatisierte Schadenserkennung in den Originalbildern mittels KI (pixelgenau) • Exakt Lagerichtige Verortung der Schäden am 3-D-Modell als Polylinie und Verknüpfung der Schäden mit zugehörigen Schadensinformation in einer Datenbank (Bsp. Risslänge, Rissbreite, Schadensfläche) • Vollautomatisierte Erstellung eines IFC-4 konformen Fachmodells Bauwerksinspektion. 1. Einleitung Ingenieurbauwerke (= Kunstbauten) haben Anforderungen hinsichtlich Standsicherheit, Verkehrssicherheit und Dauerhaftigkeit zu erfüllen. Kunstbauten sind daher einer periodischen Inspektion zu unterziehen. Diesbezüglich gibt es in den meisten Ländern entsprechende Gesetze und Regelwerke. Beispielsweise sind dies in Deutschland die DIN 1076 und die RI-EBW-Prüf und in Österreich die RVS Reihe 13.03.XX. Der vorliegende Beitrag präsentiert einen Prozess für eine digitale Bauwerksinspektion, welche die normgerechte Brückenprüfung unterstützt und in weiterer Folge die Instandsetzung unterstützt, von der Planung bis hin zur Durchführung. Abb. 1: Testobjekt auf der A99 in Bayern Der gesamte Prozess wird Anhand des Brückenobjekts BW32/ 1 auf der A99 der Autobahndirektion Nordbayern anschaulich präsentiert. Das Projekt und die technologische Lösung sind beim internationalen buildingS- MART Wettbewerb 2021 in der Kategorie „Technology“ aus mehreren hundert Einreichungen von einer weltweiten Jury zum Sieger gekürt worden. 2. Digitale Bauwerksaufnahme und laufende Zustandsdokumentation mittels Photogrammmetrie und Künstlicher Intelligenz 2.1 Digitale Datenaufnahme Grundlage für eine digitale bildbasierte Inspektion ist die vollflächige Aufnahme des gesamten Bauwerks mit hochauflösenden Bildern nach vorgegebenen Qualitätskriterien und einer speziell dafür entwickelten Aufnahmemethode. Der Bauwerksprüfer kann diese Daten (Bilder) selbst aufnehmen oder optional Unterstützung von Experten für die Datenbeschaffung (Bildaufnahme) anfordern und auch beauftragen. Die Datenaufnahme erfolgt aus der Luft (mittels UAVs), zu Land und zu Wasser (mittels Boot), je nach Anforderung und Zugangsmöglichkeit. Die Datenaufnahme erfolgt dabei mittels hochwertiger Digitalkameras bzw. mittels 360°-Kameras. Die derart erfassten Daten werden nach dem Hochladen auf 100 5. Brückenkolloquium - September 2022 From Pixel to Pset einer Online-Plattform wie Strucinspect automatisiert auf ihre Vollständigkeit und Qualität geprüft und gesichert. Abb. 2: Beispiel texturiertes Modell (3-D-Zwilling) Die Datenqualität und Vollständigkeit ist essentiell für die weitere Bearbeitung, wie die AI-basierte Schadensanalyse sowie die Erstellung eines exakten Digitalen Zwillings. Deswegen wurde ein verbindlicher Qualitäts- und Schnittstellenkatalog mit harten Kriterien erarbeitet (z. B. Auflösung, Überlappung, GSD, Fokus Art) die jedenfalls erfüllt werden müssen, bevor die Daten zur Weiterverarbeitung akzeptiert werden. 2.2 Digitaler 3-D-Zwilling Aus den hochauflösenden digitalen Bildaufnahmen wird mittels photogrammetrischer Auswertung ein Millimetergenauer digitaler 3-D-Zwilling als texturierte Punktwolke oder als Mesh-Modell erstellt. Die Auswertung erfolgt mittels leistungsfähigem Cloudcomputing, um die Auswertung in kürzester Zeit zu ermöglichen. Dieser digitale Zwilling kann mit allen Projektbeteiligten über einen geschützten Zugang in der Cloud geteilt und auch gemeinsam bearbeitet werden. Eine Überlagerung mit einem BIM-Modell ist möglich. 2.3 AI-(Artificial Intelligence-)basierte Schadensanalyse Im nächsten Schritt erfolgt eine AI-basierte Schadenserkennung. Diese kann Risse, Abplatzungen, freiliegende Bewehrungen, die Korrosion von Bewehrungen, Rostfahnen, Hohlstellen, Feuchtigkeit, Kiesnester und Bemoosungen etc. mit einer Erkennungsrate (TPR) von 99,9 %, vollautomatisch erkennen. Neben der Erkennung und Markierung der Schäden in den Einzelbildern erfolgt auch eine automatische geometrische Analyse (z. B. Rissbreitenmessung, Bestimmung der Schadensfläche). Alle Schäden werden mit einer Polylinie pixelgenau erfasst und die exakte Geometrie und geometrische Verortung sowie die Art des Schadens in einer Datenbank gespeichert. Dabei können die gewünschten Genauigkeitskriterien und Klasseneinteilungen vorab festgelegt werden. So kann eine definierte Rissbreite von 0,1mm bei Spannbetonbauwerken und von 0,3mm bei Stahlbetonwerken vorgegeben werden. Unterbrochene, jedoch zusammengehörende Risse und Netzrisse werden als ein zusammenhängender Schaden erkannt, markiert und dokumentiert. Abplatzungen mit einer einstellbaren Mindestgröße werden ebenfalls automatisch von der AI als Schaden erkannt, markiert und vermessen. 2.4 Zuordnung und Visualisierung Mithilfe der AI werden die erkannten Schäden auf 2-D- Bildern (Originalbilder) und dem 3-D-Zwilling mit einer eigenen, eindeutigen Identifikationsnummer exakt georeferenziert dargestellt und dokumentiert. Wird derselbe Schaden auch auf weiteren Bildern und aus anderen Winkeln detektiert, erfolgt ein automatischer Abgleich und eine automatische Vereinigung und Zuordnung zu dieser Identifikationsnummer. Ein und derselbe Schaden, auch wenn dieser auf mehreren Bildaufnahmen detektiert wird, wird nur einmal in die Schadensdatenbank aufgenommen. 5. Brückenkolloquium - September 2022 101 From Pixel to Pset Abb. 3: Schadensanalyse am Bsp. A99 in Bayern Abb. 4: 3-D-Zwilling mit den am Objekt verorteten Schäden inkl. Mängel-I 102 5. Brückenkolloquium - September 2022 From Pixel to Pset Alle Schäden mit ihrer eindeutigen Identifikationsnummer sind absolut georeferenziert auf dem 3-D-Digitalen Zwilling verankert. Die Schadensinformationen, die originalen 2-D-Bilder und die von der KI durchgeführten Auswertungen sind über den 3-D-Zwilling durch Anklicken des Schadens zugänglich. 2.5 Befundung Alle gefundenen Schäden werden in der Datenbank gespeichert und können in 2-D und 3-D mit nur ein paar Klicks bearbeitet werden. Der Bauwerksprüfer kann Schadensempfehlungen und Bewertungen annehmen, modifizieren, erweitern oder ablehnen. Eventuelle Folgemaßnahmen können ebenfalls hinzugefügt werden. Durch den befugten Bearbeiter können Schäden und Informationen auch jederzeit bearbeitet werden. Schäden und sonstige Informationen können gelöscht (wenn nicht relevant) oder manuell hinzugefügt werden. Dies inkludiert eine Bewertung der schwere des Schadens / Mangels sowie die Zustandsbeurteilung des jeweiligen Bauteils und des Gesamtbauwerks durch den Bauingenieur. 2.6 Kollaboration - Zusammenarbeit und Teilen von Daten und Ergebnissen bis hin zum Asset- Management Die Bauwerksprüfer können ihren Projektpartnern, den Infrastrukturbetreibern, und auf Wunsch der Kunden auch anderen Service-Partnern definierten, vollen oder eingeschränkten Zugriff auf die generieten Ergebnisse gewähren und somit für höchste Transparenz sorgen und die Zusammenarbeit vereinfachen. Die Ergebnisse, welche eingesehen werden können, beinhalten Schadenskataloge, Ratings, (empfohlene) Maßnahmen und vieles mehr. Sämtliche Ergebnisse können außerdem als Schadensdatensatz, BIM-Datensatz oder als PDF-Bericht heruntergeladen werden. Auch die direkte oder indirekte Anbindung an bereits beim Kunden vorhandene Bauwerksdatenbanken und Asset-Management-Systemen ist zum einfachen Datenaustausch möglich. Ein übergeordnetes Management-Center ermöglicht jedem Nutzer einen einfachen Überblick über alle seine Projekte, Bauwerke und Daten. 3. Erstellung eines IFC-4-konformen As-Built BIM Teilmodells Geometrie und laufende Zustandsdokumentation IFC-4-konform als BIM Fachmodell 3.1 Von der Digitalen Datenaufnahme zu den BIM Teilmodellen Bauwerksgeometrie und zu Fachmodellen Bauwerksinspektion Die digitale Bauwerksinspektion, die KI-basierte Schadensdetektion, die Erstellung von 3-D-Geometriemodellen (Punktwolke und Mesh-Modell), die Schadensverortung am Objekt und die Dokumentation wurden bereits beschrieben. Ein noch größerer Mehrwert kann durch die Überführung all dieser Ergebnisse in IFC-konforme BIM-Modelle, genauer einem Teilmodell Bauwerksgeometrie und einem Fachmodell Bauwerksprüfung, erreicht werden. Diese As-Built-BIM-Modelle können als Grundlage für die Instandsetzungsplanung, die Bauausführung und die Dokumentation herangezogen werden. Durch fortlaufende digitale Aufnahmen und die Überführung in ein IFC-konformes Fachmodell Bauwerksinspektion können Veränderungen, wie z. B. Veränderung von Schäden oder ausgeführte Instandsetzungsmaßnahmen, laufend dokumentiert werden (4D-BIM). 3.2 Das Teilmodell Bauwerksgeometrie Die Erstellung eines Teilmodells Bauwerksgeometrie aus einer Punktwolke (die ein Ergebnis der photogrammetrischen Auswertung der digitalen Bauwerksaufnahme ist) stellt immer noch eine große Herausforderung dar. Eine manuelle Überführung durch den BIM-Modeller ist mit hohem Personalaufwand verbunden. Die vollautomatisierte Überführung ist nach aktuellem Stand bisher noch nicht möglich. Daher wird ein kombinierter Ansatz verfolgt. Im ersten Schritt erfolgt eine Segmentierung der Punktwolke zu Bauwerkselementen mit Unterstützung einer KI-Anwendung. Im zweiten Schritt wird diese Vorsegmentierung durch den Bearbeiter in ein Teilmodell Bauwerksgeometrie übergeführt. Maßgebend für den Aufwand ist die Wahl des LOD (Level of Detail). Aus Budgetgründen wird für die Erstellung der As-Built-Modelle aus der digitalen Bauwerksinspektion meist LOD 200 gewählt. Höhere Detailierungsgrade sind mit entsprechendem Mehraufwand möglich. 3.3 Das Fachmodell Bauwerksprüfung Das IFC-4-konforme Fachmodell Bauwerksprüfung wird mittels einer eigens dafür entwickelten Software auf Python Basis vollautomatisiert aus der Strucinspect Prüfergebnis-Datenbank abgeleitet. Dabei werden folgende Anforderungen erfüllt: • Übernahme der exakten Schadensgeometrie aus der Datenbank • Extrahierung der Geometrie normal zur Bauwerksoberfläche, um die Sichtbarkeit bei Verwendung mit Geometriemodellen sicher zu stellen • Übernahme sämtlicher Information zum Schaden aus der Datenbank • IFC-konformes Ergebnis, Software-neutral und nachhaltig • Verwendungsmöglichkeit des Fachmodells Bauwerksprüfung nicht nur mit BIM-Geometriemodellen, sondern auch mit rein geometrischen 3-D-Modellen, Punktwolken und Mesh-Modellen ist möglich. 5. Brückenkolloquium - September 2022 103 From Pixel to Pset Abb. 5: Teilmodell Bauwerksgeometrie am Bsp. A99 in Bayern 3.4 Ableitung von 2-D-Plänen Trotz der fortschreitenden Digitalisierung im Bauwesen sind in vielen Fällen noch 2-D-Bauwerksinspektionspläne erforderlich. Ohne digitale Bauwerksinspektion und dem daraus generierten Fachmodell Bauwerksprüfung ist die Erstellung solcher Pläne mit großem Aufwand verbunden. Die diesem Konzept zugrunde liegende Software ermögliche auch eine einfache Ableitung von 2-D Plänen aus dem Geometriemodell und dem Schadensmodell, wie nachfolgendes Beispiel zeigt. Mehrwert für den Infrastrukturerhalter 3.5 Mehrwert der digitalen Inspektion Im Vergleich zur herkömmlichen Bauwerksprüfung nach dem Stand der Technik ist die digitale Inspektion z. B. über die Strucinspect Plattform eine zeitsparende, effektive und effiziente Alternative. Wesentliche Vorteile sind die absolute Objektivität und Wiederholbarkeit der Bearbeitung, die vollständige und lückenlose Dokumentation des Zustandes der gesamten Bauwerksoberfläche (auch schadenfreie Bereiche werden vollständig dokumentiert) und die einfache und automatisierte Dokumentation des Schadensfortschrittes bei aufeinanderfolgenden, periodischen Prüfungen. Die Technologie ermöglicht eine schnelle, zuverlässige periodische Aufnahme eines gesamten Objekts oder nur von Teilen (z. B. bereits Instand gesetzten Fehlstehlen), mit exakter Verortung am Objekt und vollständiger digitaler Dokumentation in der Datenbank. Bei Bedarf können jederzeit teilautomatisiert Fortschrittsdokumentationen, Mängellisten, Prüf berichte etc. generiert werden. Die Erstellung eines BIM-Teilmodells Bauwerksgeometrie in Kombination mit dem BIM-Fachmodell Bauwerksprüfung auf Basis der digitalen Bauwerksprüfung bietet eine ausgezeichnete Grundlage für die Detailplanung, Ausführung und Dokumentation von Instandsetzungsmaßnahmen. Abb. 7: Ergebnis der Ableitung aus der Schadensdatenbank Abb. 6: Ableitung des BIM-Fachmodells Bauwerksprüfung aus digitaler Bauwerksprüfung mittels einer Python-Software 104 5. Brückenkolloquium - September 2022 From Pixel to Pset Abb. 8: Visualisierung von Rissen dokumentiert im BIM-Fachmodell Bauwerksprüfung am Geometriemodel Abb. 9: 2-D-Bauwerksinspektionsplan abgeleitet aus den BIM Modellen am Bsp. der A99 in Bayern 5. Brückenkolloquium - September 2022 105 From Pixel to Pset Neben der exakten Geometrie und Verortung der dokumentierten Mängel wird auch sämtliche in der Datenbank vorhandene Information (Art des Schadens, Massen, Bewertung etc.) mit in das IFC-konforme Schadensmodell übernommen. Bei aufeinanderfolgenden digitalen Bauwerksaufnahmen bzw. -prüfungen können die Schadensmodelle überlagert werden und somit eine Veränderung einfach erkannt und dokumentiert werden. Das IFC-4 konforme Ergebnis kann Softwareneutral und nachhaltig verwendet werden. Eine Kombination mit bereits bestehenden BIM-Modellen und auch anderen Modellen (Punktwolke, Mesh-Modell, rein geometrisches 3-D-Modell) ist möglich. 3.6 Einsatzmöglichkeiten in der Bauwerksinspektion und Bauwerkserhaltung Für den Bauwerkserhalter ergeben sich folgende Einsatzmöglichkeiten mit Zusatznutzen: • Gewährleistungsprüfung und Erstdokumentation sowie Folgeprüfungen: Digitale Aufnahme aller Kunstbauten, Erstellung eines digitalen Zwillings in Form einer Punktwolke oder eines Mesh-Modells, KI-basierte Identifikation aller Mängel (exakt georeferenziert, Art, Ausmaß etc.) am Objekt, Ablage in der Datenbank, Erstbericht, Visualisierung aller Ergebnisse am 3-D-Modell in der zugangsgesicherten Cloud, zugänglich für alle Projektbeteiligten. Eine Überlagerung mit einem bestehenden BIM-Modell ist möglich. • Planung von lokalen Instandsetzungsmaßnahmen: Verwendung der Datenbankdaten und des 3-D-Zwillings aus der Erstdokumentation für die Unterstützung der Planung der detaillierten Instandsetzung (Massen etc.). • Fortlaufende Dokumentation und Prüfung der durchgeführten Arbeiten: Die fortlaufenden Instandsetzungsarbeiten können durch digitale Aufnahme und KI-Auswertung (wie bei der Erstdokumentation) der betroffenen Bauteile dokumentiert, geprüft und visualisiert werden. Erforderlichenfalls können die durchgeführten Arbeiten am Modell mitdokumentiert werden. Zusätzlich zur „Digitale Bauwerksaufnahme und laufende Zustandsdokumentation mittels Photogrammmetrie und Künstlicher Intelligenz“ ermöglicht die Bearbeitung im IFC-konformen BIM die Aufnahme, Dokumentation und Visualisierung sämtlicher Instandsetzungsmaßnahmen (Typ der Instandsetzung nach RVS, verwendete Materialen, Ausmaß, Position etc.). Die Dokumentation der Instandsetzungsmaßnahmen und die Aufnahme nach erfolgter Instandsetzung könne für eine digitale Abrechnung herangezogen werden.