8. Kolloquium Erhaltung von Bauwerken - Februar 2023 445 Modellbasierte digitale Bauwerksprüfung Intelligente Schadensaufnahme durch Einsatz von Mixed Reality, KI-basierter Schadenserkennung, -zuordnung und -bewertung Dipl.-Ing. (FH) Birga Ziegler, M. Sc. ilp2 Ingenieure GmbH & Co. KG, München Dr. Johannes Kreutz Khoch3 GmbH, Oberschleißheim Johannes Flotzinger Universität der Bundeswehr, München Dipl.-Ing. Sabine Reim ilp2 Ingenieure GmbH & Co. KG, München Bishr Maradni Khoch3 GmbH, Oberschleißheim Zusammenfassung Bauwerksprüfungen nach DIN 1076 wie gewohnt nur vollständig digital, effizient und unterstützt durch KI. Das ist das Ziel von MoBaP, unserem Forschungsantrag der modellbasierten digitalen Bauwerksprüfung. Die Grundlage bildet ein BIM-basierter Digitaler Zwilling, der aus Bestandsdaten abgeleitet wird. Die Prüfung selbst bedarf keiner Vorarbeiten, wie Drohnen- oder Scannereinsatz, Markierungen oder Ähnlichem am Bauwerk. Der Bauwerksprüfer wird für die Aufnahme neuer Schäden von einem Mixed-Reality-Gerät (Hololens2) unterstützt, welches auch offline z.B. in Kellern funktionsfähig ist. Für die softwarebasierte Erkennung, Quantifizierung und Bewertung von Schäden nach Standsicherheit, Verkehrssicherheit und Dauerhaftigkeit wird Deep Learning (DL) eingesetzt. So wird der Prüfer bei der Auswahl des zutreffenden Schadensbeispiels nach RI-EBW-Prüf optimal unterstützt. Die vollständige Aufnahme und Bewertung von Schäden finden vor Ort statt. Nachbereitungen von Prüfungen werden so auf ein Minimum reduziert. 1. Einführung Wir, das sind die Ingenieurbüros ilp2 (www.ilp2.de), K³ (www.k-hoch-3.net) und das Institut und Labor für Konstruktiven Ingenieurbau der Universität der Bundeswehr München (https: / / www.unibw.de/ konstruktiver-ingenieurbau), Professur für Massivbau. Unser gemeinsamer Forschungsantrag „Modellbasierte, digitale Bauwerksprüfung (MoBaP)“ wurde vom Bayerischen Staatsministerium für Wirtschaft, Landesentwicklung und Energie bewilligt und läuft seit dem 01.01.2020. Der dynamische Wirtschaftsstandort Bayern steht nach Vorgabe des Bundesverkehrswegeplans 2030 vor der langfristigen Aufgabe des vorrangigen Erhalts und Ausbaus seiner bestehenden Verkehrsinfrastruktur, wozu als zentraler Bestandteil die Brückenbauwerke zu zählen sind. Mit diesem Ziel ist die Die Entwicklung einer optimalen Erhaltungsstrategie auf Objekt- und Netzebene von hoher Signifikanz. Diese sollte durch die Bearbeitung folgender Kernproblemstellungen initiiert werden: 1. Die Digitalisierung von Bestandsunterlagen erfolgte bisweilen maximal in vereinfachter Form. Dies führt derzeit zu einem stark erhöhten Aufwand in der Abwicklung jeglicher Aufgaben des Erhaltungsmanagements, wozu u.a. die Bauwerksprüfung zählt. 2. Aufgrund der vorliegenden Altersstruktur des Brückenbestands in Deutschland und anwachsender Beanspruchungen entsteht ein hoher Ressourcenbedarf in der Bauwerksprüfung. Dieser kann in Zukunft nur durch eine Optimierung in der Prüfsystematik gedeckt werden. 3. Die Zustandserfassung und -bewertung von Brücken erfolgt nicht nach einer einheitlichen Systematik und lassen sich derzeit nur schwer standardisieren. Mit Fokus auf die nachfolgend beschriebenen Arbeitsziele wurden im zurückliegenden Projektzeitraum zukunftsweisende, wissenschaftliche und technische Lösungen entwickelt, welche einen wesentlichen Beitrag zur Digitalisierung des Bauwerksmanagements liefern. Teilziel 1: Vereinfachte Erzeugung von Digitalen Zwillingen: Entwicklung softwaretechnisch vereinfachter Möglichkeiten zur Erzeugung von Digitalen Zwillingen aus vorhandenen Bestandsdaten. Die erzeugten Digitalen Zwillinge enthalten sämtliche für das Bauwerksmanagement relevanten Daten in einem geeigneten Format. 446 8. Kolloquium Erhaltung von Bauwerken - Februar 2023 Modellbasierte digitale Bauwerksprüfung Abbildung 1: Zusammenspiel der drei Teilziele Teilziel 2: DL-basierte Schadenserkennung, -zuordnung und -auswertung: Einsatz von künstlichen Neuronalen Netzen zur automatisierten Schadenserkennung. Datenaustausch mit Digitalen Zwillingen und Kollaboration mit Mixed-Reality-Geräten. Teilziel 3: Intelligente Schadensaufnahme durch Einsatz von Mixed Reality: Optimierung der Bauwerksprüfung vor Ort mittels informationstechnischer Unterstützung durch Mixed Reality Geräte. Datenaustausch mit Digitalen Zwillingen. Mit diesen Teilzielen wurde ein System für die digitale Bauwerksprüfung in folgendem Szenario entwickelt: Der Bauwerksprüfer erhält für die Vorbereitung einer Prüfung ein digitales 3-D Modell mit bekannten Schäden auf einer webbasierten Oberfläche (digitale Bauwerksakte). An diesem Modell kann sich der Prüfer einen Überblick verschaffen. Unterstützt durch eine Mixed Reality Umgebung werden dem Prüfer bekannte Schäden und Hintergrundinformationen auf einer Mixed Reality Gerät vor Ort am Bauwerk eingeblendet. Mit dieser soll es möglich sein, einen Abgleich des Schadens in Hinblick auf Veränderungen durchführen zu können. Der Bauwerksprüfer hat sofort die Erkenntnis über die Schadensentwicklung im Laufe der Zeit. Durch die modellbasierte Verortung der Schäden am Digitalen Zwilling wird der Prüfer zudem zielgerichtet zu den Schäden geführt. Neue Schäden können ebenfalls direkt mit Bild, Verortung und Kommentar bzw. Bewertung erfasst werden. Mit Hilfe von Deep Learning werden Schäden automatisiert erfasst. Die Klassifizierung der Schäden erfolgt bei der Aufnahme. Zu den momentan erkennbaren Schäden zählen beispielsweise Risse, Abplatzungen und Ausblühungen. Für das Training der Deep Learning Modelle werden Open-Source Datensätze genutzt und ein eigener Datensatz entwickelt. Der Prüfer kann während der Inspektion die Klassifikationen des Modells annehmen oder korrigieren, bevor diese in einer Datenbank gespeichert werden. 2. Modellbasierte digitale Bauwerksprüfung 2.1 Geplanter Prozess der digitalen Bauwerksprüfung Abbildung 1 veranschaulicht den allgemeinen Workflow der modellbasierten digitalen Bauwerksprüfung und zeigt das Zusammenspiel der drei Teilziele - Vereinfachte Erzeugung von Digitalen Zwillingen, KI-basierte Schadenserkennung, -zuordnung und -auswertung sowie Intelligente Schadensaufnahme durch Einsatz von Mixed Reality. 8. Kolloquium Erhaltung von Bauwerken - Februar 2023 447 Modellbasierte digitale Bauwerksprüfung 2.2 Vereinfachte Erzeugung von Digitalen Zwillingen Bei der Mehrzahl der Bestandsbrücken ist derzeit kein As-Built-BIM-Modell vorhanden, Standard sind nach wie vor 2D-Bestandspläne. Daher wurde genauer untersucht, wie ein möglichst aufwandsarmes Platzhalter-Modell auf Basis der vorhandenen 2D-Bestandspläne erstellt werden kann. Die Möglichkeit des Scan-to-BIM mittels Laserscanning, Lidar, Photogrammetrie u. ä. wurde nicht weiterverfolgt, da die digitalisierte Bauwerksprüfung aus Effizienzgründen mit einem einmaligen Ortstermin durchführbar sein sollte. Zur Erzeugung der 3D-Modelldaten wurde die Softwarelösung Allplan inkl. Allplan Bridge des Unternehmens Allplan GmbH genutzt, die es ermöglicht, parametrische 3D-Modelle zu erstellen [1]. Ein zukünftiges Ziel wäre es nun, einen frei zugänglichen Pool an parametrisierten Standardbrücken inklusive deren Querschnitte anzulegen, um so möglichst viele verschiedene Brücken/ Brückenkonstruktionen aufwandsarm nachmodellieren zu können. Dieser Pool sollte softwareunabhängig entwickelt werden. Parametrische Informationen können über IFC 4 derzeit noch nicht übertragen werden, es existieren jedoch bereits seit Längerem Entwicklungen und Vorschläge zur Integration parametrischer Abhängigkeiten direkt in eine IFC-Datei. Ob diese zukünftig umgesetzt werden, ist jedoch fragwürdig. Daher wird für das Forschungsvorhaben vorerst weiterhin Allplan als Softwarelösung verwendet. Nach der geometrischen Modellierung wurde das 3D- Modell mit semantischen Informationen ergänzt. Beispielsweise wurden die Bauteile IFC-Objekttypen zugewiesen. Die Übergabe des 3D-Modells an die AR/ VR erfolgt über den offenen Standard IFC4. Entwicklung der Interoperabilität Die semantischen Informationen können den Prüfer zukünftig zusätzlich zur Schadensklassifikation durch Neuronale Netze bei der Auswahl des zutreffenden Schadensbeispiels nach RI-EBW-PRÜF unterstützen. Die Schadensbeispiele nach RI-EBW-PRÜF wurden hierfür strukturiert und die notwendigen Attribute wurden in den Bauteilen hinterlegt. Abbildung 3 zeigt die geplante Zusammenführung der Informationen. Nach erfolgreicher Klassifikation und Verortung eines Schadens ergänzen die Bauteilattribute die Informationen zur Auswahl eines Schadensbeispiels nach RI-EBW-PRÜF. Dem Prüfer wird die getroffene Auswahl (im Beispiel sechs mögliche Schadensbeispiele) präsentiert, sodass das passende Schadensbeispiel nur noch ausgewählt werden muss. Ein offener Forschungspunkt ist die Hinterlegung der erzeugten Bild- und Schadensdaten in Digitalen Zwillingen. Welche Objekttypen im IFC 4-Format hierfür geeignet sind, ob es künftig neue Objekttypen für Schäden geben soll, oder ob Schäden beispielsweise im BIM Collaboration Format (BCF) gespeichert werden, hängt wesentlich von Vorgaben der Baulastträger ab. Hierzu sind zum aktuellen Zeitpunkt keine ausreichenden Informationen veröffentlicht. 448 8. Kolloquium Erhaltung von Bauwerken - Februar 2023 Modellbasierte digitale Bauwerksprüfung 2.3 KI-basierte Schadenserkennung 2.3.1 Allgemein In vielen Branchen haben künstliche Neuronale Netze, im Englischen „Convolutional Neural Networks“ (CNNs), aus dem Bereich der Künstlichen Intelligenz (KI) erfolgreich zur Automatisierung von Prozessen beigetragen. Anwendungen, die CNNs nutzen, können innerhalb weniger Millisekunden Alltagsgegenstände oder im medizinischen Bereich Melanome erkennen sowie Sprache verstehen [1][2][3]. Aufgrund von diesen erfolgreichen Entwicklungen sind CNNs nach der Meinung der Autoren auch für die automatisierte Schadenserkennung geeignet. Zunächst wurden Modelle zur Multi-Target Klassifikation entwickelt und für deren Training open-source Datensätze verwendet. Um pixelgenau Schäden zu erkennen, werden ein Datensatz und Modelle zur semantischen Segmentierung erstellt. Im Folgenden werden die Ergebnisse der im Rahmen des Projektes trainierten CNNs und die Entwicklung eines eigenen Datensatzes dargestellt. Zudem wird aufgezeigt, wie der Fortschritt im Bereich der automatisierten Schadenserkennung durch Wettbewerb und den einfachen Zugang zu Daten katalysiert wird [4]. 2.3.2 Multi-Target-Klassifikation Die Multi-Target-Klassifikation ermöglicht das Erkennen mehrerer Schäden auf einem Bild unabhängig voneinander. Der Output eines CNNs stellt einen Vektor mit sechs Elementen dar, welcher die Wahrscheinlichkeiten für das Vorliegen der jeweiligen Klasse wiedergibt. Liegt die Wahrscheinlichkeit über einem Schwellenwert von 0,5, so gilt dieser als erkannt. In Abbildung 3 werden somit die Klassen Abplatzung und offenliegende Bewehrung erkannt, die Korrosion der Bewehrungsstäbe jedoch nicht. Abbildung 3: Wahrscheinlichkeiten einer Multi-Target-Klassifizierung einer Abplatzung (AB) mit offenliegender Bewehrung (OB) und Korrosion (KO) und der restlichen Schäden: Ausblühung (AU), Riss (RI) sowie „Kein Schaden“ (KS) [5]. Für die Bewertung der Leistung von CNNs zur Multi-Target-Klassifikation sind die Exact Match Ratio (EMR) und die klassenweise Sensitivität (engl.: Recall) entscheidend. Die EMR beschreibt das Verhältnis aus Exact Matches und der Gesamtzahl an Bildern im entsprechenden Testdatensatz. Ein Exact Match liegt bei einem Bild dann vor, wenn das Modell alle Schäden erkannt hat. Es darf somit kein Schaden zu viel, zu wenig oder falsch klassifiziert werden. Die EMR der besten Modelle liegt bei ca. 75 % für den derzeit größten Datensatz im Multi-Target-Setting [5]. Die klassenweise Sensitivität, auch Richtig-positiv- Rate genannt, beschreibt das Verhältnis von richtig-positiven Klassifikationen zu allen positiven Labeln. Aus Ingenieurssicht ist diese Metrik sehr wichtig, weil durch sie ersichtlich wird, wie viel falsch-negative Klassifikation in der entsprechenden Schadensklasse aufgetreten sind. Tabelle 1 zeigt eine Übersicht über die Leistung zweier Neuronaler Netze für den CODEBRIM Datensatz [5]. Tabelle 1: Testergebnisse in Prozent von ResNet50 (RN50) und MobileNetV3-Large (MNV3); Abkürzungen analog zu Abbildung 3 [4]. CNN EMR Klassenw. Sensitivität KS RI AB AU OB KO RN50 74 95 88 84 76 89 79 MNV3 69 94 79 83 70 89 77 2.3.3 dacl5k Datensatz Für das Trainieren von CNNs zur Semantischen Segmentierung, d.h. zur Klassifizierung eines Bildes auf Pixel- Ebene, existiert aktuell ein Datensatz mit 743 Bildern [9]. In diesem Datensatz sind die Schäden: Hintergrund, Riss, Abplatzung, Korrosion, Ausblühung, Bewuchs und Kontrollpunkt pixelgenau annotiert. Um eine größere Vielfalt an Schäden klassifizieren zu können, wird der dacl5k Datensatz entwickelt. Der dacl5k beinhaltet aktuell 5663 Bilder mit 16.043 Polygonen. Insgesamt stehen 23 Label zur Klassifizierung von Schäden, bzw. Objekten zur Verfügung. Um außerdem die Qualität der Bilder beschreiben zu können, werden für jedes Bild Flags vergeben, vgl. Abbildung 4. Entsprechend der qualitativen Bewertung kommt es nach dem Annotationsprozess zur Aussortierung von fehlerhaften Datenpunkten. Demnach kommen nach aktuellem Stand 4360 Bilder für das Publizieren des Datensatzes in Frage. Abbildung 5 zeigt die momentane Verteilung der vergebenen Flags, bzw. Polygone. Klassen, die einen Schwellenwert von 100 Polygonen nicht überschreiten, werden im nächsten Schritt aussortiert oder mit einer anderen Klasse zusammengefasst. Abbildung 4: Übersicht über vergebene Flags im dacl5k-Datensatz [4]. 8. Kolloquium Erhaltung von Bauwerken - Februar 2023 449 Modellbasierte digitale Bauwerksprüfung Abbildung 5: Übersicht über Mengen vergebener Label im dacl-Datensatz [4]. 2.3.4 dacl-App Für das Testen der Neuronalen Netze wurde eine Android Applikation entwickelt. Mithilfe der App können die in Kapitel 2.3.2 vorgestellten Modelle in situ getestet werden. Hierzu werden aus dem Video-Stream der Kamera Bilder (Frames) live direkt an das CNN zur Verarbeitung übergeben. Das CNN „MobileNetV3-Large“ zeigt dabei eine sehr kurze Inferenzzeit von ca. 33,3 Millisekunden und ermöglicht deshalb die Klassifikation von 30 Videoframes pro Sekunde. 450 8. Kolloquium Erhaltung von Bauwerken - Februar 2023 Modellbasierte digitale Bauwerksprüfung Abbildung 6: Screenshot der dacl-app bei der Klassifikation einer Abplatzung (Spalling) mit offenliegender Bewehrung (Bars Exposed) und Korrosion (Rust). 2.3.5 Fortentwicklung der Automatisierten Schadenserkennung mit der Open Source Community Um den Fortschritt im Bereich der automatisierten Schadenserkennung zu beschleunigen, werden Datensätze sowie Modelle dieses Fachbereichs (Domäne) der Open Source Community online zur Verfügung gestellt. Bei den Datensätzen handelt es sich um gelabelte Bilddatensätze für die Erkennung von Schäden an Massiv- und Stahlbrücken. Mit diesen Datensätzen werden Modelle für die Multi-Target-Klassifikation, Objekt-Detektion und semantische Segmentierung von Schäden trainiert. Über die Python-API „building-inspection-toolkit“ (bikit) werden Open-Source Datensätze sowie eigene Datensätze, vortrainierte Modelle und Metriken für die Schadenserkennung frei zur Verfügung gestellt. Mit bikit werden die Daten und CNNs mit nur drei Zeilen Code zugänglich gemacht. Ferner ermöglichen Metriken, die ebenfalls über bikit erhältlich sind, das Vergleichen von Modellen [6][7]. Abbildung 7: Code zum Downloaden eines Datensatzes und vortrainierten Modells mit bikit. Daneben stellt die Website „dacl.ai“ eine Plattform für Anwender und Forschende im Bereich der Schadenserkennung zum Teilen und Vergleichen von Modellen dar. Über das integrierte Leaderboard - eine ewige Bestenliste - wird schnell ersichtlich, welches Modell, auf den jeweiligen Datensatz die beste Leistung zeigt. Zudem kann über die GitHub-Verlinkung der Source Code des jeweiligen Modells schnell gefunden werden. Außerdem bietet dacl.ai zu allen Metriken und Datensätzen Beschreibungen. Es besteht auch die Möglichkeit, eigene Ergebnisse über dacl.ai einzureichen, um so Teil des Leaderboards und dadurch der dacl-Community zu werden. Neben den Ergebnissen kann der oder die Forschende auch das dazugehörige Modell über bikit teilen, vgl. Abbildung 8. 8. Kolloquium Erhaltung von Bauwerken - Februar 2023 451 Modellbasierte digitale Bauwerksprüfung Abbildung 8: Leaderboard von dacl.ai [7]. 2.4 Intelligente Schadensaufnahme durch Einsatz von Mixed Reality 2.4.1 Stand der Technik Aktuell sind diverse Geräte kommerziell zu erwerben, die es ermöglichen, virtuelle Elemente mit der Realität zu kombinieren und darzustellen. Dazu gehören Augmented Reality (AR), Virtual Reality (VR) und Mixed Reality (MR). Während AR auf den Bildschirm eines Telefons/ Tablets beschränkt ist und VR eine vollständig unabhängige virtuell erzeugte Welt darstellt, ermöglicht Mixed Reality eine Kombination zwischen 3D-Modellen und realen Objekten. Das hier verwendete Mixed-Reality-Tool Microsoft HoloLens 2 (Trimble XR10) ist ein Helm mit einem durchsichtigen Visier, der holografische Projektionen von 3D-Modellen im realen Raum anzeigen kann. Die Modelle können ortsfest platziert werden, denn das Gerät verfolgt die Bewegungen des Benutzers mit einer Vielzahl an Sensoren (Stereo-Kamera, Beschleunigungs- und Rotationssensoren). Die Benutzerinteraktionen erfolgen primär über Handgesten. Die Vorteile der Verwendung eines Mixed-Reality-Tools wie der Microsoft HoloLens 2 liegen in der Möglichkeit, die umgebende Geometrie zu scannen und die tatsächlichen Gegebenheiten mit dem platzierten Modell abzugleichen[10]. Die HoloLens funktioniert autark und benötigt keine zusätzlichen Eingabegeräte wie Joysticks, Controller oder Tastaturen; daher ist sie für die Arbeit am Bauwerk geeignet und behindert den Benutzer vergleichsweise wenig. Die virtuellen Modelle können bei Bedarf ein- und ausgeblendet werden, was die visuellen Einschränkungen auf ein Minimum reduziert. Urban et al. [11] haben die Effizienz und Akzeptanz des Einsatzes von AR-basierten Werkzeugen für mehrere Inspektionsprozesse im Bauwesen getestet und nachgewiesen, dass sie in weiten Bereichen etwa 75 % schneller sind als herkömmliche Methoden. Ungeachtet der Vorteile leidet die Microsoft HoloLens 2 unter mehreren Nachteilen, die die Nutzung und Entwicklung erschweren. Die Microsoft HoloLens 2 hat kein eingebautes GPS-Gerät und kann sich nur über WLAN mit dem Internet verbinden, was im vorliegenden Anwendungsfall am Bauwerk jegliche Standortbestimmung und Internetbzw. cloudbasierte Arbeit verhindert. Das Display ist gut für die Verwendung in Innenräumen geeignet, wird aber in einer hellen Umgebung im Freien nicht gut sichtbar. Das Display stellt auch Farben nicht korrekt dar, so dass es schwierig ist, eingeblendete Fotos auf der HoloLens 2 zu erkennen. Da das Display nur einen kleinen Teil der Brille ausmacht, ist das Sichtfeld, das die Modelldarstellungen enthält, für den Benutzer sehr klein. Es ist zu erwarten, dass zukünftige Neuerscheinungen hier in absehbarer Zeit weitere Verbesserungen bringen werden. 2.4.2 AR-Anwendung für die Bauwerksprüfung Im Rahmen des vorgestellten Projekts wurde eine Mixed- Reality-Anwendung auf der Microsoft HoloLens 2 entwickelt, die den Inspektionsprozess erleichtern soll. Das Ziel der Anwendung ist es, die Funktionalitäten und Vorteile der Microsoft HoloLens 2 bei Inspektionen vor Ort zu nutzen und einzusetzen. Die Anwendung kann in drei Hauptsegmente unterteilt werden: • Die BIM-Schnittstelle, die es ermöglicht, die Projektmodelle auf die HoloLens 2 zu laden, • Eine Kommentarfunktion, die es vor Ort ermöglicht, verschiedene Formen von Kommentaren verortet zur erzeugen und mit Bezug zum Modell oder dem gescannten Netz zu speichern • Synchronisationsschnittstelle, um die Daten und Kommentare in einen geeigneten Dienst oder eine Plattform zu importieren und zu exportieren. Die BIM-Schnittstelle ermöglicht es, eine holografische Darstellung des Projekts vor Ort anzuzeigen und zu positionieren, wie in der Abbildung 9 gezeigt. Das importierte Modell enthält die Global Unified Identifier (GUID) für jedes Element des Projekts für die Verfolgung und Referenzierung. Wenn das Projekt nicht über ein zuvor bereitgestelltes BIM-Modell verfügt, kann die HoloLens-2 die Geometrie der Umgebung scannen und ein Netz der Oberflächen erzeugen, das zusammen mit den anderen Daten exportiert werden kann. 452 8. Kolloquium Erhaltung von Bauwerken - Februar 2023 Modellbasierte digitale Bauwerksprüfung Abbildung 9: BIM-Modellanzeige und Projektauswahl auf der HoloLens 2 Sobald das Modell richtig platziert ist, kann der Benutzer mit der Inspektion über die Kommentarfunktion beginnen. Sie verwaltet den Kommentierungsprozess für Schäden und Anmerkungen. Dieser Prozess beginnt mit dem Platzieren einer „Stecknadel“ auf dem jeweiligen Schaden oder an der gewünschten Stelle des Kommentars. Die Stecknadel wird automatisch an das Objekt angeheftet und kopiert dessen GUID zur weiteren Referenzierung. Mit der angehefteten Stecknadel kann der Benutzer Kommentare durch Tippen, Fotografieren oder Skizzen auf Oberflächen des Modells oder des Netzes der gescannten Umgebung mit einem holografischen Stift eingeben, wie in der Abbildung 10 gezeigt. Alle eingegebenen Kommentare werden für das betreffende Projekt verortet, mit Bezug auf das Modell oder das gescannte Umgebungsnetz gespeichert. Abbildung 10: Kommentar GUI und Pin-Platzierung Nach der Inspektion des Bauwerks können die vor Ort erzeugten Daten über die Synchronisationsschnittstelle exportiert werden. Die Daten (Kommentare, Bilder, GUIDs, Koordinaten) werden in einer vorgegebenen Datenstruktur gespeichert und entweder als BIM Collaboration Format (BCF) oder als JSON-Datei für Datenbankdienste lokal oder online exportiert. Es ist auch möglich, dieselben Dateien wieder in die HoloLens-2 zu importieren, um bei einer weiteren Inspektion die Kommentare auf dem Modell anzuzeigen, oder um z.B. noch Änderungen und Löschungen vor Ort vorzunehmen. Dieser Ansatz löst eines der wichtigsten Themen der Zustandserfassung von Bauwerken: die automatische Positionierung von Informationen (Schäden). Mobiltelefone und Tablets eignen sich gut, um Informationen schnell zu erfassen (Fotos, Text, Formulare, Sprachnotizen). Das Problem der Verortung der Information bleibt jedoch ungelöst, da die Positionierung mit GPS zu ungenau bzw. im Inneren von gebauten Strukturen nicht verfügbar ist. Im Rahmen des Projekts wurden auch Ansätze zur Indoor- Verortung z.B. mit Ultra-Wide-Band (UWB) untersucht, jedoch wegen der schlechten Anwendbarkeit und unzu- 8. Kolloquium Erhaltung von Bauwerken - Februar 2023 453 Modellbasierte digitale Bauwerksprüfung reichender Stabilität wieder verworfen. Weil sie während des Arbeitsvorgangs nicht abgenommen oder ausgeschaltet wird, verarbeitet die Hololens 2 die Bewegungen des Benutzers mit verschiedenen Sensoren kontinuierlich. Dies ermöglicht das ortsfeste Platzieren von virtuellen Objekten im realen Raum mit sehr geringen Abweichungen (drift). Der Benutzer kann dadurch in Verbindung mit den BIM-Modellen oder der automatischen Netzgenerierung einen bestimmten Punkt im Projekt definieren, die Kommentare in Bild- oder Textform erzeugen und sie für die spätere Verwendung vor Ort oder im Büro verortet speichern. Wenn ein BIM-Modell verwendet wird, können die Informationen auch direkt mit Verweisen auf Bauteile gespeichert werden. 2.4.3 Interaktion mit der KI-basierten Schadenserkennung Um den Benutzer im Rahmen der Inspektion bestmöglich mit den Netzwerken der künstlichen Intelligenz zu unterstützen, wurde innerhalb der Mixed-Reality-Anwendung eine Schnittstelle zu den CNNs implementiert. Dadurch kann der Benutzer zusätzliche Zeit sparen, indem er z.B. automatisch Vorschläge für Kommentare für klassifizierte Schäden angezeigt bekommt. Das Tool kann auch so verwendet werden, dass es dem Benutzer mit Hilfe von Semantischer Segmentierung kontinuierlich Schäden direkt im Sichtfeld markiert und so für die weitere Inspektion vorschlägt. Der Benutzer kann die vorgeschlagenen Schäden bei Bedarf akzeptieren, dokumentieren und ändern. Mit dem Aufkommen von maschinellem Lernen und künstlicher Intelligenz erhält die Microsoft HoloLens 2 ständige und kontinuierliche Updates, um die Ausführung neuronaler Netzwerke auf dem Gerät zu ermöglichen. Trotz der derzeit begrenzten Funktionalität der eingesetzten neuronalen Netze hat, sich die HoloLens 2 als geeignet erwiesen, diese neuronale Netze auszuführen [12]. Tabelle 2 zeigt die getesteten Fähigkeiten der Microsoft HoloLens 2 bei der Ausführung neuronaler Netze, einschließlich der Leistung (Inferenzzeit), der Genauigkeit und der Top-1- und Top-5-Fehler [13]. Tabelle. 2: Vergleich der Bewertungsergebnisse von Implementierungsansätzen für neuronale Netze (Quelle: Leon Lazar) Tensor- Flow.js Unity Barracuda Windows ML Leistung (Inferenzzeit) 1035ms 183ms 4045ms Genauigkeit 90.71% 89.03% 89.03% Top 1 Fehler 9.29% 10.97% 10.97% Top 5 Fehler 0.1% 0.17% 0.17% Im Projekt wurde unter Verwendung von Unity Barracuda (das unter anderen Lösungen die höchste Leistung aufweist) eine KI-Schnittstelle entwickelt, die CNNs auf der HoloLens 2 ausgeführt. Der Benutzer kann ein Bild eines bestimmten Ortes aufnehmen und es durch das Netzwerk laufen lassen, das ihm die vorhergesagte Schadensklasse, die prozentuale Konfidenz und die erforderliche Inferenzzeit anzeigt, wie in der Abbildung 11 gezeigt. Für das semantische Segmentierungsnetzwerk wurde eine ähnliche Schnittstelle entwickelt, die durch eine Kombination von Projektionsmethoden und Quick Hull-Netzgenerierung die Bounding Box in eine 3D-Hervorhebungsebene auf das Modell projiziert. Abbildung 11: Ausgabe der Netzwerkvorhersage unter Verwendung der Mixed-Reality-App und ein Beispiel für eine Klassifizierungsvorhersage (Quelle: Mitchell Doughty) 3. Fazit und Ausblick In diesem Projekt wird ein Ansatz zur Digitalisierung, Organisation und Standardisierung der Datenerfassung im Baubereich vorgeschlagen. Dies erweist sich als wesentlich, da die Digitalisierung während der Betriebsphase minimal bis nicht vorhanden ist, Zustandsbewertungen nicht einheitlich erfolgen und somit ein hoher Ressourceneinsatz für die Inspektion und Instandhaltung erforderlich ist. Der Ansatz verwendet die Technologien des digitalen Zwillings, um As-Built-BIM-Modelle zusammen mit parametrischer Modellierung und standardisierten Schadensklassifizierungen zu erzeugen. Neuronale Netze werden implementiert, um Schäden in Bildern während der Inspektion zu klassifizieren, bzw. pixelgenau semantisch segmentieren. Anschließend wird Mixed Reality mit Hilfe von Microsoft HoloLens 2 eingesetzt, um dem Anwender eine einfache und benutzerfreundliche Plattform für die effiziente Anwendung zu bieten. 454 8. Kolloquium Erhaltung von Bauwerken - Februar 2023 Modellbasierte digitale Bauwerksprüfung Dieser Ansatz löst das Problem der automatisierten Positionierung von Informationen bei der Zustandserfassung von Bauwerken. Herangehensweisen unter Verwendung von Mobiltelefonen, Tablets und Ultra-Wide- Band (UWB) stellten sich als nicht praktikabel heraus. Mit der kontinuierlichen Verarbeitung von Nutzerbewegungen auf der HoloLens 2 und dem Import von BIM- Modellen hingegen, kann man dem Modell Pins anfügen und diese im realen Raum platzieren. Diese „Pins“ können Kommentare mit Referenzen zu Bauteilen speichern und sind später vor Ort oder im Büro leicht zugänglich. Als Proof of Concept wurde die Bridge-AR-Software auf ihre Kompatibilität mit Projektmanagementlösungen getestet. Das Importieren des Modells von einem lokalen Server oder einer webbasierten Cloud, das Importieren früherer Kommentare, das Hochladen von gesammelten Baustelleninformationen und Inspektionskommentaren zusammen mit Bildern und Standorten sowie die Aufrechterhaltung eines indirekten Versionskontrollsystems wurden konzeptionell getestet. Die vorliegenden Entwicklungen beziehen sich vor Allem auf die Tätigkeit des Bauwerksprüfers oder der örtlichen Besichtigung durch fachkundiges Personal. Hierzu wurden auch Schnittstellen implementiert, um Daten (Bauwerksdaten, Modelle, Schäden und Berichte) vom Baulastträger zu importieren und nach der Inspektion zusammen mit den neuen Informationen wieder zu exportieren. Dies setzt die m2ing GmbH durch Zusammenspiel von App und cloudbasiertem Backend zur Bauwerksverwaltung und Auswertung der Ergebnisse bereits um. Für einen durchgehenden digitalen Prozess „Bauwerkserhaltung“ sind aber vor Allem auf Seiten der Baulastträger Strukturen nötig, die die digitale Datenhaltung und Verarbeitung umsetzen. Erst, wenn auch hier Schnittstellen und Inhalte (Datenstrukturen) definiert und implementiert sind, kann der Prozess der Bauwerksprüfung digitalisiert mit durchgängigen Datenflüssen umgesetzt werden. Literatur [1] ALLPLAN Deutschland GmbH (2022) Allplan Bridge (Software) https: / / www.allplan.com/ de/ produkte/ workflows/ bridge-workflow/ [Zugriff am: 14. Dezember. 2022] [2] Google LLC (2022) Google Lens [Software]. https: / / play.google.com/ store/ apps/ details? id=com. google.ar.lens [Zugriff am: 6. Dezember. 2022] [3] Badlani, S. et al. (2021) Melanoma Detection Using Convolutional Neural Networks and Group Normalization. 5th International Conference on Trends in Electronics and Informatics (ICOEI), pp. 1412-1416. [4] Apple Inc. (2022) Siri [Software]. https: / / www. apple.com/ de/ siri/ [Zugriff am: 6. Dezember. 2022] [5] Flotzinger, J.; Braml, T. (2022) Automatisierte Klassifizierung von Schäden an Massivbrücken mittels Neuronaler Netze. Beton- und Stahlbetonbau. 117, H. 10, S. 786-794. https: / / doi.org/ 10.1002/ best.202200068 [6] Mundt, M. et al. (02.04.2019) Meta-learning Convolutional Neural Architectures for Multi-target Concrete Defect Classification with the COncrete DEfect BRidge IMage Dataset. https: / / arxiv.org/ pdf/ 1904.08486 [7] Flotzinger, J. et al. (2022) Building Inspection Toolkit: Unified Evaluation and Strong Baselines for Damage Recognition. 2022 IEEE International Conference on Image Processing (ICIP). Bordeaux, FR. Piscataway, NJ: IEEE. [8] Rösch, P. J.; Flotzinger, J. (2022) bikit (building-inspectiontoolkit) [online]. https: / / github.com/ phiyodr/ building-ins pection-toolkit [Zugriff am: 24. Mai https: / / github.com/ phiyodr/ building-inspection-toolkit [Zugriff am: 6. Dezember 2022] [9] Flotzinger, J.; Rösch, P. J. (2022) dacl.ai - Leaderboard for Models Tackling the Problem of Damage Classification on Built Structures [online]. https: / / dacl.ai/ [Zugriff am: 6. Dezember 2022] [10] Flotzinger, J. et al. (2022) Applying Automated Damage Classification During Digital Inspection of Structures in: Zingoni, A. [Ed.] Current Perspectives and New Directions in Mechanics, Modelling and Design of Structural Systems: Proceedings of the 8th International Conference on Structural Engineering, Mechanics and Computation (SEMC 2022). September 5-7, 2022, Cape Town, South Africa. Milton: CRC Press LLC. [11] Microsoft (2022), Räumliche Abbildung, [Online]. https: / / learn.microsoft.com/ de-de/ windows/ mixedreality/ design/ spatial-mapping. [Zugriff am 13. Dezember 2022]. [12] H. Urban, N. Breitschopf und C. Schranz, Entwicklung und Validierung eines AR-Abnahmetools für die örtliche Bauaufsicht am Beispiel der Technischen Gebäudeausrüstung, Bauingenieur, Nr. 97, pp. 353-361, 2022. [13] Unity (2022), Introduction to Barracuda, [Online]. https: / / docs.unity3d.com/ Packages/ com.unity.barracuda@3.0/ manual/ index.html. [Zugriff am 13. Dezember 2022]. [14] L. Lazar, Neural Networks on Microsoft HoloLens 2, Universität Stuttgart, Stuttgart, 2021.