5. Brückenkolloquium - September 2022 107 Ansatz für künstliche Intelligenz und Mixed Reality zur Optimierung des Arbeitsablaufs bei Brückeninspektionen Stephan Embers Ruhr-Universität Bochum, Bochum, Deutschland Sven Zentgraf Ruhr-Universität Bochum, Bochum, Deutschland Patrick Herbers Ruhr-Universität Bochum, Bochum, Deutschland Firdes Celik Ruhr-Universität Bochum, Bochum, Deutschland Benedikt Faltin Ruhr-Universität Bochum, Bochum, Deutschland Prof. Dr.-Ing. Markus König Ruhr-Universität Bochum, Bochum, Deutschland Jan-Derrick Braun HOCHTIEF ViCon, Essen, Deutschland Jessica Steinjan HOCHTIEF ViCon, Essen, Deutschland David Schammler HOCHTIEF ViCon, Essen, Deutschland Sonja Nieborowski Bundesanstalt für Straßenwesen, Bergisch Gladbach, Deutschland Ralph Holst Bundesanstalt für Straßenwesen, Bergisch Gladbach, Deutschland Zusammenfassung Die frühzeitige Erkennung von Schäden an Brücken ist aus finanziellen und ökologischen Gründen sehr wichtig. Dies kann nur durch regelmäßige und häufige Inspektionen durch Experten erreicht werden, die ihre Befunde meist handschriftlich dokumentieren. Ziel dieses Beitrags ist es, ein Konzept für ein Brückeninspektionstool vorzustellen. Dieses wird mehrere Arten von Hardware-Geräten verwenden, um das Brückeninspektionspersonal bei der Beurteilung und Dokumentation von Schäden zu unterstützen, wobei Kombinationen aus KI- und MR-Technologien eingesetzt werden. Hierfür wurden Interviews mit Bauwerksprüfern aus verschiedenen Unternehmen und Branchen durchgeführt, um wichtige Anforderungen zu ermitteln. Auf der Grundlage dieser Anforderungen wurde ein Konzept entwickelt, das mit bestehenden Datenbanken für Infrastrukturen kompatibel ist. 1. Einführung Aufgrund der Alterung, der veränderten Verkehrszusammensetzung, der Einflüsse des Klimawandels, und der zunehmenden Verkehrsbelastungen an Ingenieurbauwerken, müssen in erheblichem Umfang Maßnahmen zur Erhaltung dieser durchgeführt werden. In Deutschland sind diese Erhaltungsmaßnahmen in der DIN 1076 [1] definiert. Die Regeln der Schadensbewertung werden in der RI-EBW-PRÜF [2] aufgeführt. Bei der Prüfung von Brücken und anderen Ingenieurbauwerken nach diesen Normen kommt es darauf an, dass die vorgefundenen Schäden vollständig erfasst, sowie reproduzierbar und einheitlich bewertet werden. Dies ist insbesondere für die Beurteilung des Schadensverlaufs und damit für die Bewertung der Dringlichkeit von Instandsetzungsmaßnahmen unerlässlich. Dazu ist es wichtig, dass der 108 5. Brückenkolloquium - September 2022 Ansatz für künstliche Intelligenz und Mixed Reality zur Optimierung des Arbeitsablaufs bei Brückeninspektionen Brückeninspekteur seine Erfahrungen und Fähigkeiten in der Schadenserfassung und -beurteilung optimal einsetzt und bei Aufgaben unterstützt wird, die durch den Einsatz digitaler Technologien leichter erledigt werden können. Die Einführung von IT-gestützten Prozessen im Betrieb der Infrastruktur hat somit eine wichtige Bedeutung für die Reduzierung des erforderlichen Instandhaltungsaufwandes. Nach der deutschen Norm für Bauwerksprüfungen DIN 1076 [1] gliedert sich der Prozess der Brückenprüfung in drei Phasen: Datenvorbereitung, Datenerfassung vor Ort und Datenverarbeitung. Dieser Beitrag konzentriert sich auf Phase 2, die Datenerfassung vor Ort. Phase 2 beginnt vor Ort mit der Lokalisierung bekannter Schäden anhand schriftlicher Unterlagen und der Suchen nach möglichen neuen Schäden am Bauwerk. Die Schäden werden dann mit Digitalkameras dokumentiert und in schriftlicher Form kategorisiert. Anhand dieser Daten werden anschließend Entscheidungen über den Zustand des Bauwerks und möglichen Maßnahmen der Instandhaltung getroffen. Dieser Prozess lässt sich durch den Einsatz digitaler Technologien optimieren. Augmented und Mixed Reality (AR/ MR) bieten neue Möglichkeiten der Visualisierung virtueller Inhalte, der Informationseingabe, und der Informationsbereitstellung. Virtuelle Inhalte können Inspektionsmitarbeitern zur Verfügung gestellt werden, die damit die Möglichkeit haben, diese in ihre Entscheidungsfindung einzubeziehen und zu verarbeiten. Technologien der künstlichen Intelligenz (KI) können eingesetzt werden, um Schäden an Bauwerken zu erkennen und zu analysieren. In Kombination mit AR kann die KI die vom AR/ MR-System aufgezeichneten Daten in Echtzeit verarbeiten, Muster erkennen und dem Benutzer über das AR/ MR-System eine Bewertung des Schadens liefern. Die Anwendung einer Kombination aus AR/ MR und KI kann den Prozess der Brückeninspektion unterstützen, wie ähnliche Studien zeigen [3]- [5]. Diese Studien zeigen, wie die Verwendung eines Geräts, meist eines Head-Mounted Displays (HMD), den Arbeitsablauf der Brückeninspektion verbessern kann. In den Beiträgen von [3], [5] wird das verwendete Gerät nur zur Anzeige von Informationen ohne Interaktion genutzt und bietet dem Benutzer nur begrenzte Möglichkeiten zur Interaktion mit dem System. Dies kann bei der Dokumentation komplexerer Daten, wie z. B. Schadensberichten, eine Herausforderung darstellen. Darüber hinaus ist die Navigation von großen Datenstrukturen oder das Inspizieren von Bauplänen auf HMDs schwierig. Durch den Einsatz von weiteren Geräten, wie z. B. Tablets, könnten die in diesen Studien vorgestellten Arbeitsabläufe verbessert werden. Die DIN 1076 empfiehlt, dass aus Sicherheitsgründen mindestens zwei Personen eine Hauptprüfung durchführen sollen. Dies wird im deutschen Arbeitsablauf der Brückenprüfung weitgehend akzeptiert und praktiziert. Aus diesem Grund schlägt der in diesem Beitrag vorgestellte Ansatz einen digitalisierten Arbeitsablauf für Brückenprüfungen mit zwei verschiedenen Geräten vor. Durch den Einsatz von zwei Geräten kann der Arbeitsablauf aufgeteilt werden, was die Arbeitsbelastung sowohl für die Prüfer als auch für die Geräte reduziert und die verschiedenen Geräte jeweils auf Informationsvisualisierung oder Dokumentation spezialisiert. 2. Verwandte Arbeiten Zur Unterstützung der Brückeninspektoren vor Ort werden Augmented Reality (AR) zur Informationsvisualisierung und künstliche Intelligenz (KI) zur Schadenserkennung eingesetzt. AR ist ein Mensch-Maschine- Interaktions-Paradigma, bei dem virtuelle Informationen über eine reale Umgebung gelegt werden. Dadurch kann der Benutzer die reale Umgebung mit zusätzlichen virtuellen Objekten sehen. AR soll die reale und die virtuelle Welt verbinden und in Echtzeit bedienbar sein. Darüber hinaus sollten Objekte im virtuellen und realen Raum in einer 3-dimensionalen Beziehung zueinander stehen [6]. Zu den Stärken von AR gehören die in Echtzeit interpretierten Informationen über die Umgebung des Benutzers und die einfache Darstellung dieser Umgebung. Durch die Überlagerung der digitalen Informationen mit der realen Umgebung kann z.B. eine Bedienungsanleitung auf dem Display angezeigt werden, ohne das zu nutersuchende Objekt aus den Augen zu verlieren. Weitere Stärken von AR sind die papierlose Bereitstellung großer Informationsmengen und die Möglichkeit, zusätzliche Geräte an das System anzuschließen. Viele dieser Stärken variieren je nach Anwendungsbereich. Ein solcher Anwendungsbereich ist die Brückeninspektion. Um die Stärken von AR bestmöglich zu nutzen, führten Moreu et al. [5] Interviews mit Interessenvertretern durch, um das Potenzial zur Erkennung, Analyse und Hervorhebung von Schäden an einer Brücke für den Inspektor vor Ort aufzuzeigen. Salamak & Januszka [3] stellen ein Konzept vor, wie ein AR-Brückeninspektionstool unter Verwendung eines HMD implementiert werden kann. Das vorgeschlagene System würde es den Inspektoren ermöglichen, Videos und Bilder von Schäden aufzunehmen und über ein visuelles Overlay zu interessanten Punkten geführt zu werden. Damit das System funktioniert, wäre ein digitales Modell der Brücke erforderlich. Riedlinger et al. [7] stellen einen weiteren Ansatz vor, bei dem ein digitales Modell verwendet wird, um den Prozess der Brückeninspektion mithilfe von AR zu verbessern und gleichzeitig sowohl die Vorbereitungsals auch die Nachbearbeitungsphase mithilfe von Virtual Reality zu optimieren. Da eine manuelle Inspektion in kleinen Zeitabständen nicht immer gewährleistet werden kann, hat sich die Forschung auf die bildverarbeitungsbasierte Automatisierung der Schadenserkennung konzentriert, die nicht nur eine häufigere, sondern auch eine zeit- und kosteneffizientere Überwachung und Inspektion ermöglichen würde. Die bildbasierte Erkennung von Betonschäden stellt jedoch eine große Herausforderung dar: Bilder von Brücken können inter- und intrakategorische Unterschiede bei den Schäden, Rauschelemente wie Graffiti, Pflanzen, Insekten, Müll, Verfärbungen, unterschiedli- 5. Brückenkolloquium - September 2022 109 Ansatz für künstliche Intelligenz und Mixed Reality zur Optimierung des Arbeitsablaufs bei Brückeninspektionen che Lichtverhältnisse usw. enthalten. Es gibt bereits KIbasierte Methoden zur Erkennung von Schäden in Bildern, wie z. B. Support-Vektor-Maschinen [8], neuronale Netze [9], [10] und k-nearest neighbor [11]. Die Veröffentlichung von Krizhevsky et al. [12] und die jüngste Steigerung der GPU-Leistung, rückten das maschinelle Lernen in den Fokus der bildbasierten Schadenserkennung. Insbesondere die Verwendung von Convolutional Neural Networks (CNNs) führte zu guten Ergebnissen bei der Bilderkennung. In der Folge wurden CNNs als Basisarchitektur für die meisten auf maschinellem Lernen basierenden Methoden der Schadenserkennung verwendet. Diese Entwicklung wurde insbesondere durch die Einführung fortschrittlicher Erkennungsmethoden begünstigt. Dies sind insbesondere Bounding-Box-Objekterkennungsmethoden [13], semantische Segmentierungsmethoden [14] und Instanzsegmentierungsmethoden [15]. Karaaslan et al. [4] stellen ein AR-System vor, das eine künstliche Intelligenz (KI) verwendet und mit einem Strukturinspektor zusammenarbeitet, um Schäden an der Brückenstruktur zu identifizieren. Die vorgeschlagene AR-Anwendung wird während der Brückeninspektion auf einem HMD ausgeführt, auf dem auch die KI implementiert ist. Die KI kann u. a. Risse und Abplatzungen erkennen und die Größe dieser Schäden erfassen. Erkannte Schäden werden dem Bauwerksinspektor auf dem HMD durch eine virtuelle Überlagerung der realen Schäden angezeigt. Um Schäden an einem Brückenmodell zu lokalisieren und abzurufen, muss eine Form der Lokalisierung des Geräts und der erfassten Schäden durchgeführt werden. Das Lokalisierungsproblem ist ein Begriff aus der Robotik, der die Aufgabe beschreibt, die Pose eines Geräts (Position und Rotation) aus der Umgebung zu bestimmen. Die Pose kann auf ein Modell oder eine bereits besuchte Umgebung bezogen sein. Dieses Problem wird in der Literatur auch als „Kidnapped-Robot-Problem“ bezeichnet, bei dem ein Roboter nach dem Aufwachen in einer bekannten Umgebung seine eigene Position herausfinden muss. Die bekannteste Lokalisierungsmethode ist GPS, wobei die Position mithilfe eines Satellitennetzes bestimmt wird. Die Orientierung wird bei einem solchen System in der Regel durch ein Gyroskop und einen Kompass bestimmt. GPS kann zwar überall auf der Welt eingesetzt werden, seine Genauigkeit ist jedoch auf wenige Meter begrenzt. In geschlossenen Räumen, Tunneln oder Straßenschluchten kann sich die Genauigkeit weiter verringern. Nichtsdestotrotz kann es im Freien für Visualisierungen mit einem AR-Gerät verwendet werden [16]. Eine weitere Methode zur Lokalisierung sind lokale Signalstationen wie RFID- oder WiFi-Verteiler. Anhand der Signalstärke der verschiedenen Verteiler kann die Position eines Geräts mit einer Genauigkeit von weniger als einem Meter bestimmt werden [17]. Diese Methode setzt jedoch voraus, dass das Gebiet von einem Netz solcher Verteiler abgedeckt ist und das Netz entsprechend kalibriert wurde. Eine Möglichkeit, die Lokalisierung ohne externe Sensoren durchzuführen, ist die geometrische Lokalisierung. AR-Geräte können räumliche Kartierungstechniken (Structure-from- Motion, Tiefenkameras) verwenden, um die Geometrie ihrer Umgebung zu bestimmen und diese mit bestehenden Geometrien abzugleichen. Dazu gehören Ansätze wie der Punktwolkenabgleich [18] oder der Grundrissabgleich [19]. Diese Methoden können sehr genaue Posen bestimmen, sind aber an Orten mit sich wiederholender oder selbstähnlicher Geometrie unzuverlässig. In den letzten Jahren wurde auch verstärkt an KI-basierten Lokalisierungsmethoden geforscht. Mithilfe von CNNs kann ein Netzwerk eine Zuordnung zwischen Bildern und Posen erlernen [20]. Solche Ansätze haben in der Regel eine Genauigkeit von ein bis drei Metern und sind effizient in der Ausführung, aber für das Training ist eine beträchtliche Menge an Daten erforderlich. 3. Methodik Um mögliche Funktionen für das vorgeschlagene Brückenprüfsystem zu ermitteln, wurde eine Anforderungsanalyse durchgeführt. Im Zuge der Anforderungsanalyse wurde eine detaillierte Analyse des Brückenprüfungsablauf nach DIN 1076 [1], [21] durchgeführt, um entscheidende Prozessschritte innerhalb des Workflows zu identifizieren, die potenziell durch den Einsatz von AR oder KI optimiert werden könnten. Das Vorgehen bei der Anforderungsanalyse folgt den Prinzipien des Requirements Engineering und berücksichtigt Anforderungen, die sich aus dem Ablauf des Bauwerksprüfprozesses ergeben. Darüber hinaus wurden Interviews mit Bauaufsichtsbeamten verschiedener Unternehmen und aus unterschiedlichen Bereichen geführt. Die Befragten wurden aufgrund ihrer Erfahrung mit dem Prüfverfahren ausgewählt. Insgesamt wurden fünf Personen befragt, von denen drei auf die Instandhaltung von Brücken spezialisierte Bauwerksprüfer und zwei Projektleiter bei öffentlichen Auftraggebern für Infrastruktur sind. Die Interviews basierten auf der oben erwähnten detaillierten Analyse der DIN 1076 und wurden in einheitlicher Weise durchgeführt, wobei jeder Teilnehmer einen Überblick über das zugrundeliegende Projekt erhielt. Die Teilnehmer wurden nur gefragt, ob ein bestimmter Prozessschritt von einem AR- oder KI-Unterstützungssystem profitieren würde. Jeder einzelne Prozessschritt wurde gemeinsam besprochen, um genaue Anknüpfungspunkte für die zu entwickelnde AR-Anwendung und den Einsatz der unterstützenden KI zu identifizieren. Die Interviews dauerten jeweils eine Stunde und wurden online durchgeführt. Die Ergebnisse dieser Interviews flossen in die Formulierung der notwendigen Anforderungen an das vorgeschlagene AR/ KI- Konzept ein. 110 5. Brückenkolloquium - September 2022 Ansatz für künstliche Intelligenz und Mixed Reality zur Optimierung des Arbeitsablaufs bei Brückeninspektionen Abb. 1: Neuer Brückenprüfungsablauf für das BISS Zusätzlich wurde eine Hardware-Analyse durchgeführt, um mögliche Kombinationen verschiedener Geräte zu ermitteln. In dieser Analyse werden die Geräte nach ihrem Potenzial zur Visualisierung und Verarbeitung von Daten, ihrer Benutzerfreundlichkeit und anderen Kriterien zur Unterstützung eines Bauwerkprüfers vor Ort bewertet. Auch die Kosten, die Verfügbarkeit, und die Akkulaufzeit der Geräte werden berücksichtigt. Um den in dieser Arbeit zu entwickelnden angepassten AR-gestützten Brückenprüfungsablauf zu spezifizieren, fließen diese Anforderungen in den anschließenden Konzeptionsvorschlag ein. 4. Ergebnisse Der folgende Abschnitt gliedert sich in die Ergebnisse der Experteninterviews, die Ergebnisse der Hardwareanalyse, und das vorgeschlagene System. 4.1 Ergebnisse der Experteninterviews Die detaillierte Analyse der einzelnen Prozessschritte des Brückenprüfablaufs nach DIN 1076 [1], [21] bietet verschiedene Ansatzpunkte für eine mobile AR-Anwendung mit integrierter KI zur Unterstützung des Prüfprozesses. In den Interviews wird ein Mehrwert für den Einsatz der neuen digitalen Technologien in der Reduzierung des Aufwands, insbesondere des manuellen Aufwands bei der Bereitstellung der Dokumente vor Ort, gesehen. Die automatische Hervorhebung von Schäden bei der Aufnahme und der direkte Vergleich mit früheren Zustandsdaten wird als Effizienzsteigerung genannt. Eine Bewertungsempfehlung als Leitfaden für die Schadensbeurteilung durch den Inspektor und die abschließende Bauzustandsnote könnte die Genauigkeit ebenfalls verbessern. Je nach Ausmaß und Größe des Schadens werden gemeinsame Bewertungsstufen vorgeschlagen. Auch die Zusammenführung und Auswertung der erfassten Daten für eine standardisierte Dokumentation wird als vielversprechend angesehen. Die Lokalisierung der Schäden am Bauwerk spielt bei der Schadensdokumentation eine große Rolle. Die KI soll vorhandene Schadensmuster identifizieren und Veränderungen seit der letzten Inspektion in der AR-Anwendung visualisieren. Obwohl es innerhalb des Brückenprüfablaufs noch weitere potenzielle Interessenspunkte gibt, wurden die oben genannten Schritte als die vielversprechendsten identifiziert. 4.2 Ergebnisse der Hardwareanalyse In diesem Beitrag werden zwei verschiedene technische AR-Systeme verwendet: ein AR-Tablet, das auf Googles ARCore basiert, und ein Trimble XR10-System mit einer angeschlossenen Microsoft HoloLens 2. Das Trimble XR10 System mit HoloLens 2 wurde speziell für den Einsatz in Bereichen mit erhöhten Sicherheitsanforderungen wie Baustellen, Offshore-Anlagen oder Bergbau entwickelt und entspricht dem AN-SI/ ISEA Industriestandard. Mehrere mobile AR-Geräte mit unterschiedlichen Betriebssystemen (Apple, Google, Microsoft) wurden evaluiert. Es wurden mehrere Konzepte für die Konfiguration eines Zwei-Geräte-Ansatzes untersucht: Tablet/ Tablet, Tablet/ HMD und HMD/ HMD. Die Tablet-/ Tablet-Konfiguration ist eine kostengünstige und robuste Methode, welche die analoge Arbeit auf Papier durch digitale Arbeit auf einem Tablet ersetzen soll. Die Akzeptanz und Erfahrung mit der Hardware ist in der Bevölkerung hoch, was die Umschulung vereinfacht. Eine erweiterte AR-Immersion ist mit dieser Konfiguration jedoch nicht möglich. Dies steht im Gegensatz zur HMD/ HMD-Konfiguration, bei der beide Brückenprüfer ein am Kopf getragenes AR-Gerät verwenden, um die Brückenprüfung durchzuführen. Diese Kombination würde viele innovative Interaktionen ermöglichen, wie immersive AR und Multi-User-Räume. Da es sich bei AR-HMDs jedoch um eine sehr neue Technologie handelt, ist für die Verwendung solcher Geräte eine umfangreiche Schulung erforderlich, und die Akzeptanz der Benutzer ist geringer. Darüber hinaus sind präzise Eingaben, wie das Tippen oder Bedienen eines Bauplans, mit einem HMD komplexer und insgesamt langsamer. 5. Brückenkolloquium - September 2022 111 Ansatz für künstliche Intelligenz und Mixed Reality zur Optimierung des Arbeitsablaufs bei Brückeninspektionen Abb. 2: Datenauf bau innerhalb des ICDD-Containers Aus diesen Gründen wurde das Tablet/ HMD-Konzept gewählt, da es die Vorteile der oben genannten Konfigurationen vereint und gleichzeitig die Nachteile minimiert, indem es eine robuste Anwendung mit innovativen Methoden kombiniert. Die Dateneingabe und das Nachschlagen von vorhandenen Daten erfolgt auf dem Tablet, während die Datenerfassung und Visualisierung mit dem HMD erfolgt. Bei der Entwicklung wird darauf geachtet, die Kopplung zwischen den Geräten so flexibel wie möglich zu halten, damit das Hardwarekonzept in Zukunft leicht erweitert oder verändert werden kann. So soll beispielsweise nicht für jede Inspektion ein HMD notwendig sein, sondern ein einziges Tablet ausreichen. Dies würde einen flexiblen Einsatz der neuen Technologien ermöglichen. 4.3 Bridge Inspection Support System Basierend auf der Anforderungsanalyse erfolgt die detaillierte Spezifikation der zu implementierenden Funktionseinheiten der Anwendung zur Bauwerksprüfung im Brückenbau, fortan Bridge Inspection Support System (BISS) genannt. Im Folgenden wird auf den vorgesehenen Prozess des neuen Systems, die Systemarchitektur, die Visualisierung der Daten mittels AR, und die Mensch-Maschine-Interaktion mit dem BISS eingegangen. Für eine Brückenprüfung mit dem BISS ist eine Anpassung an das herkömmliche Verfahren notwendig. Zu diesem Zweck wird ein neuer Brückenprüfungsablauf entworfen, das den Einsatz des BISS integriert (Abb. 1). Der angepasste Prozess beginnt in der Datenschicht. Diese Schicht enthält die Bestandsdatenbank mit Informationen über den aktuellen Zustand des zu inspizierenden Bauwerks, z. B. einer Brücke, sowie Informationen über vergangene Inspektionen und deren erfasste Schäden. Um mit der bestehenden Bauwerksdatenbank kompatibel zu sein, wird eine zweite Datenbank für zusätzliche Informationen verwendet, die mithilfe des neuen Arbeitsablaufs gesammelt werden. Die Mesh-Datenbank enthält 3-D-Daten über aufgezeichnete Schäden aus vergangenen Brückeninspektionen und deren Umgebungsdaten, die später für die Relokalisierung von Schäden verwendet werden. Die Meshes werden im offenen glTF- Dateiformat gespeichert, während die Relokalisierungsdaten in einem proprietären Dateiformat gespeichert werden, das von der Microsoft HoloLens verwendet wird. Aus beiden Datenbanken werden die Brückendaten zu Beginn der Brückeninspektion aus der Datenebene auf einen Bürorechner importiert. Die vom Desktop-Computer aus den Datenbanken importierten Daten enthalten alle Daten über das zu prüfende Bauwerk, d. h. Baupläne, dokumentierte Schäden aus früheren Inspektionen, Umgebungsmeshes zu den Schäden, falls vorhanden, Beschreibungen und Bewertungen der dokumentierten Schäden, und andere für die Bauwerksprüfung erforderliche Daten. Der Datenprüfer bereitet die Vor-Ort Begehung in der Regel wie in der ersten Phase der DIN 1076 beschrieben vor (z. B. Einholung von Genehmigungen, Festlegung von Inspektionsterminen, usw.). Die erforderlichen Daten werden dann mit der BISS-Anwendung auf das für die Brückenprüfung verwendete Tablet übertragen. Ist dies geschehen, kann die Brückenprüfung vor Ort beginnen. Während der Brückenprüfung vor Ort verwendet der Dateninspektor, der Prüfer der für die Datenverwaltung zuständig ist, die BISS-Anwendung auf dem Tablet und der visuelle Inspektor, der die Schäden identifiziert und aufnimmt, das HMD. Dabei sendet der Daten- 112 5. Brückenkolloquium - September 2022 Ansatz für künstliche Intelligenz und Mixed Reality zur Optimierung des Arbeitsablaufs bei Brückeninspektionen inspektor die relevanten Bauwerksinformationen über das Tablet an das HMD des visuellen Inspektors. Anhand der vom Tablet empfangenen Daten kann der visuelle Inspektor das Bauwerk auf Schäden überprüfen. Dem Inspektor stehen mehrere Funktionen des BISS auf dem HMD zur Verfügung, die ihm bei der Bewertung der festgestellten Schäden helfen. Dokumentierte Schäden von früheren Inspektionen können mit der Relokalisierungsfunktion der HoloLens visualisiert werden. Neu entdeckte Schäden können aufgezeichnet und kategorisiert werden, einschließlich der aktuellen Position und der umgebenden Geometrie. In der zukünftigen Forschung können diese Schäden auch durch eine integrierte KI hervorgehoben werden, die in der Lage sein wird, Schäden automatisch zu markieren und zu kategorisieren. Wie in Abb. 1 zu sehen ist, besteht die Datenschicht des BISS aus unabhängigen Datenbanken. Die aktuellen Zustandsdaten für Brückenbauwerke werden in den Datenbanken gespeichert. Die für eine Brückenprüfung benötigten Daten werden über die von den Datenbanken bereitgestellten REST-Schnittstellen abgerufen. Dazu greift der Dateninspektor über die Desktop-Komponente auf die Datenbanken zu und kann so die Pläne, die bereits dokumentierten Schadensbilder sowie Beschreibungen und Bewertungen herunterladen und auf bereiten. Die auf bereiteten Daten werden dann über eine DIN SPEC 91391-2 konforme REST-API an die ICDD-Komponente übergeben und, sofern vorhanden, mit den Umgebungsmeshes, Relokalisierungs-Ankerpunkten, und Schadensmasken verknüpft und in einem Container abgelegt. Der Information Container for linked Document Delivery (ICDD) [22], veröffentlicht in der internationalen Norm ISO 21597-1, führt eine Datenstruktur ein, die die Verknüpfung von mit einem Container verknüpften Dokumenten unter Verwendung semantischer Webtechnologien ermöglicht [23]. Die Spezifikation DIN SPEC 91391-2 (bekannt als openCDE) kann verwendet werden, um den Austausch und den Zugriff auf verschiedene Arten von Informationscontainern zu ermöglichen [24]. Sie definiert Anforderungen für die Entwicklung einer offenen Web-API für die Speicherung, Verwaltung und Verteilung dieser Container. Die vom Dateninspektor in der ICDD-Plattform gespeicherten Daten der Brückeninspektion können in der Tablet-Komponente über die von der Büroanwendung bereitgestellte openCDE-API in Form eines ICDD-Containers heruntergeladen werden. Während der Brückenprüfung werden die vom visuellen Inspektor über die HMD-Komponente erfassten Schäden direkt an den Dateninspektor in der Tablet-Komponente zurückgespielt. Der Dateninspektor wertet die übermittelten Schäden aus und finalisiert diese. Abb. 2 zeigt den genauen Auf bau der Daten innerhalb des ICDD-Containers. Nach Abschluss einer Brückeninspektion werden die Bestandsdaten und die neu erfassten Schäden und Berichte wiederum in einem ICDD-Container gespeichert und über die openCDE-API zurück an die ICDD-Plattform übertragen. Von hier aus können die bei der Vor-Ort-Inspektion neu erfassten Daten dann mithilfe der Desktop- Komponente über die REST-Schnittstelle in die Datenbanken übertragen werden. Der Austausch von Daten innerhalb von BISS erfolgt dateibasiert. Die Verknüpfung der verwendeten Daten erfolgt über die in der ICDD- Plattform implementierten semantischen Webtechnologien. Eine Übersicht über die vorgeschlagene Systemarchitektur ist in Abb. 3 zu sehen. Abb. 3: BISS Systemarchitektur3 5. Brückenkolloquium - September 2022 113 Ansatz für künstliche Intelligenz und Mixed Reality zur Optimierung des Arbeitsablaufs bei Brückeninspektionen Um die Schadenshistorie bei späteren Inspektionen visualisieren zu können, müssen die erfassten Informationen ortsbezogen gespeichert werden. AR-Geräte verwenden dazu sogenannte Ankerpunkte: Punkte im AR-Raum, die bestimmten Umgebungsmerkmalen im realen Raum zugeordnet sind. Ein Ankerpunkt speichert zum Beispiel lokale Bildinformationen oder die lokale Geometrie der Umgebung (in Form von Punktwolken oder Meshes). Beim Betreten eines Ortes, der bereits bei einer früheren Inspektion besucht wurde, vergleicht das AR-Gerät die Umgebung mit der Liste der gespeicherten Ankerpunkte. Wenn eine Übereinstimmung gefunden wird, kann der Ankerpunkt an der erkannten Stelle platziert werden, wodurch der AR-Raum der vorherigen Inspektion und der reale Raum der aktuellen Inspektion wieder zusammengeführt werden. Das BISS speichert mindestens einen Ankerpunkt pro Schaden. Es wäre zwar möglich, nur einen einzigen Ankerpunkt zu verwenden, von dem aus alle Schäden positioniert werden, aber die Genauigkeit der Lokalisierung nimmt ab, je weiter das Gerät von diesem Ankerpunkt entfernt ist. Stattdessen wird ein elastisches Netz von Ankerpunkten gebildet, dass die Positionierungsfehler zwischen den Ankerpunkten abmildern soll. Jedem erfassten Schaden wird ein Ankerpunkt zugewiesen, der einen Knoten im Netz bildet. Dieses Netz von Ankerpunkten wird am Ende einer Inspektion aus dem Gerät exportiert und in der Datenbank gespeichert, wobei pro Brücke ein Ankernetz verwaltet wird. Dies ermöglicht auch die Übertragung von Ankerpunkten auf andere Geräte. Ein weiterer wichtiger Aspekt bei der Entwicklung neuer Software, insbesondere bei neueren Technologien wie AR und der Verwendung neuer Hardware wie HMDs, ist die Benutzerfreundlichkeit der neuen Software. Der Aspekt der Benutzerfreundlichkeit hat auch einen direkten Einfluss auf die Akzeptanz der neuen Software durch die Benutzer. Aus diesem Grund wurde ein einfaches und intuitives Mensch-Maschine-Interaktionskonzept für die beiden verwendeten Systeme, das Tablet und die Holo- Lens, entwickelt. Besonderes Augenmerk liegt dabei auf den unterschiedlichen Interaktionsmethoden der Holo- Lens und den Benutzeroberflächen der beiden Geräte, mit denen der Nutzer interagiert. Die HoloLens bietet dem Benutzer mehrere Möglichkeiten, mit ihr oder ihrer Oberfläche zu interagieren. Die beiden am häufigsten verwendeten Interaktionsmöglichkeiten sind die Sprachsteuerung und die Gestensteuerung. Bei der Sprachsteuerung überträgt der Nutzer Befehle per Stimme an das HoloLens-Gerät; meist wird dies durch vorgegebene Schlüsselwörter initiiert. Bei der Gestensteuerung werden die Hände als Eingabemethode verwendet. Dabei können verschiedene Handgesten genutzt werden, um Befehle an die HoloLens weiterzugeben, zum Beispiel durch Winken oder Zeigen. Eine Unterkategorie der Gestensteuerung ist die Verwendung eines virtuellen Touch-Interfaces, das virtuelle Schaltflächen und Bedienelemente bereitstellt. Des Weiteren ist zu erwähnen, dass das Sichtfeld der HoloLens kleiner ist als das Sichtfeld des Nutzers, was bedeutet, dass die Informationen meist in der Mitte des Sichtfeldes des Nutzers angezeigt werden. Aus diesem Grund sollte bei der Platzierung von Schnittstellenkomponenten besonders darauf geachtet werden, dass der Nutzer nicht überfordert wird oder sein Sichtfeld verdeckt wird. Das vorgeschlagene Konzept besteht aus einer Kombination von Gestensteuerung und virtuellen Eingabeelementen. Durch diese Kombination kann eine fehlerfreie und einfache Bedienung gewährleistet werden. Darüber hinaus können die Vorteile beider Methoden weiter ausgebaut werden. Durch den Einsatz der reinen Gestensteuerung kann das Blickfeld des visuellen Inspektors bei der Brückenprüfung freigehalten werden und zusätzliche Informationen werden nur dann angezeigt, wenn sie benötigt werden. Darüber hinaus bieten die virtuellen Eingabeelemente einfache Bedienelemente für die Erfassung von Bauschäden, wenn diese benötigt werden. Während der Erfassung von Bauschäden werden zur besseren Übersicht nur die benötigten Informationen und Eingabeelemente angezeigt. Diese sind an das Sichtfeld des visuellen Inspektors gebunden, so dass der visuelle Inspektor beim Umschauen die Eingabeelemente nicht aus den Augen verliert. Sobald der visuelle Inspektor die Eingabe der benötigten Informationen beendet hat, werden die für diese Eingabe relevanten Eingabeelemente ausgeblendet, bis sie wieder benötigt werden. So hat der visuelle Inspektor jederzeit ein möglichst klares Sichtfeld. Bei Beginn der Bauwerksprüfung mit der HoloLens sieht der visuelle Inspektor zuerst ein komplett freies Interface ohne störende Interfaceelemente, um Schäden besser erkennen zu können. Mit dem Drehen der Handfläche nach oben, wird ein Kontextmenü geöffnet. Welche Hand zum Öffnen des Kontextmenüs genutzt wird spielt keine Rolle, da das Kontextmenü über beide Hände auf diese Weise geöffnet werden kann. Das Kontextmenü ist an die gedrehte Hand geankert, sodass das Menü der Handbewegung folgt, solange diese in der zuvor genannten „Handfläche nach oben“-Position verbleibt (Abb. 4). Wird die Hand wieder umgedreht, wird auch das Kontextmenü wieder geschlossen. Abb. 4: Öffnen der HoloLens Menüführung Über das Kontextmenü können das Schadensaufnahmemenü (Abb. 5), sowie die KI aufgerufen werden. Das Schadensaufnahmemenü bietet Werkzeuge zur Dokumentation von identifizierten Schäden am untersuchten Bauwerk. Hierzu gehören die Angaben des Schadentyps, 114 5. Brückenkolloquium - September 2022 Ansatz für künstliche Intelligenz und Mixed Reality zur Optimierung des Arbeitsablaufs bei Brückeninspektionen die Schadensbewertung über SVD, und die Aufnahme eines Fotos. Die so dokumentierten Daten können anschließend an die Tablet-Anwendung gesendet werden. Einige Interaktionen, wie z. B. die Auswahl von Strukturkomponenten oder die Anzeige von Strukturzeichnungen, würden eine größere Anzeigefläche erfordern und möglicherweise das gesamte Sichtfeld des Benutzers verdecken. Außerdem kann die Navigation in langen Listen von Bauteilen oder Bauwerkzeichnungen schwierig sein. Um dieses Problem zu umgehen, werden diese Interaktionen auf das Tablet des Dateninspektors ausgelagert. Abb. 5: Virtuelles Schadensaufnahmemenü der Holo- Lens Anwendung Die Tablet-Anwendung kann, wie jede herkömmliche mobile Anwendung, über das Hauptmenü des Tablets gestartet werden. Nach dem Starten und Einloggen der BISS-Anwendung erhält der Nutzer ein Menü zur Auswahl von den auf dem Gerät gespeicherten Brückeninspektionsdatensets. Hierbei muss die Brücke ausgewählt werden, für die die Inspektion durchgeführt werden soll. Nach der Auswahl des Bauwerks wird eine Übersicht der Baupläne angezeigt (Abb. 6). Über eine Schaltfläche können neue Schäden eingetragen werden. Bereits eingetragene Schäden von vorherigen Begehungen sind auf den Plänen markiert und können hier angewählt werden. Zudem wird ein Suchfilter zur Verfügung gestellt, um genauer nach bestimmten Bauteilen, Plänen, oder Schäden zu suchen. Bei Auswahl eines Filters werden nur passende Bauteile in der Liste angezeigt. Abb. 7 zeigt die Nutzeroberfläche für die Dokumentation von Neuschäden oder die Aktualisierung von Altschäden. Über diese Nutzeroberfläche können alle Informationen des Schadens eingetragen werden. Hierzu gehören unter anderen das Bauteil, an dem sich der Schaden befindet, die Schadensart, eine Kurzbeschreibung des Schadens und der ASB-ING Schlüssel. Weiter können Bilder des Schadens aufgenommen und eine präzisere Beschreibung des Schadens hinzugefügt werden. Eine Bewertung über die Standsicherheit, Verkehrssicherheit, und Dauerhaftigkeit ist ebenfalls vorgesehen. Sobald alle Daten eingetragen wurden, kann der Dateninspektor den Schaden speichern. Der so dokumentierte Schaden wird anschließend in der Liste der Schäden des zugehörigen Bauteils angezeigt. Abb. 6: Bauplan-Übersichtsanzeige der Tablet-Anwendung 5. Brückenkolloquium - September 2022 115 Ansatz für künstliche Intelligenz und Mixed Reality zur Optimierung des Arbeitsablaufs bei Brückeninspektionen Abb. 7: Schadensaufnahmemenü der Tablet-Anwendung Abb. 8: Importmenü für das Importieren von gesendeten Daten der HoloLens 116 5. Brückenkolloquium - September 2022 Ansatz für künstliche Intelligenz und Mixed Reality zur Optimierung des Arbeitsablaufs bei Brückeninspektionen Alternativ kann der Vorgang der Schadensaufnahme über einen HoloLens-Import (XR-Import) gestartet werden (Abb. 8). In dem XR-Import-Reiter werden alle vom visuellen Inspektor aufgenommenen und verschickten Schäden der HoloLens an das Tablet angezeigt. Hier kann ein aufgenommener Schaden weiter dokumentiert und finalisiert werden, da der visuelle Inspektor, aufgrund von eingeschränkten Interaktionsmöglichkeiten der HoloLens, nicht alle Daten angeben kann. Um den Schaden in der Tablet-Anwendung aufzunehmen, muss zunächst das dazugehörige Bauteil zugeordnet werden und anschließend der Schaden über die Nutzeroberfläche importiert werden. Die so importierten Schadensdaten werden in die Schadensdokumentation-Nutzeroberfläche eingetragen. Hierbei werden alle Daten, die bereits auf der HoloLens erfasst wurden, in den dafür vorgesehenen Felder eingetragen, sodass nur noch die fehlenden Daten ergänzt werden müssen. Der Rest des Vorganges verläuft analog zu dem Vorgang der neuen Schadensaufnahme. 5. Fazit In diesem Beitrag wurde untersucht, wie der bestehende Prozess für Brückenprüfungen strukturiert ist und welche Potenziale für die Digitalisierung durch computergestützte Prozesse und neue Technologien bestehen. Darauf auf bauend wurde ein digitalisiertes Zwei-Geräte-Verfahren für Brückenprüfer zur Unterstützung des Prüfprozesses bei der Bewertung und Dokumentation von Schäden entwickelt, das Kombinationen aus KI- und MR-Technologien einsetzt. Die Hardware-Anforderungen wurden untersucht und geeignete Technologien definiert. Es wurde ein Konzept in Form einer Tablet-Anwendung auf dem Android-Betriebssystem und einer AR-Anwendung auf der Microsoft HoloLens entwickelt. Die vorgeschlagene Zwei-Geräte-Konfiguration nutzt die Vorteile der AR- Technologien (Immersion, Freihandnutzung) und mildert gleichzeitig die Nachteile (komplexe Bedienung, Nutzerakzeptanz). Das System soll es ermöglichen, Schäden digital zu beschriften und zu lokalisieren. Eine Schadenshistorie für jedes Bauteil kann eingesehen werden, um die Entwicklung und Veränderungen seit früheren Schadensinspektionen mithilfe der integrierten KI zu überwachen. Über räumliche Ankerpunkte können früher erfasste Schäden leicht abgerufen und zum Vergleich mit dem aktuellen Zustand eingeblendet werden. In einem nächsten Schritt wird ein Demonstrator entwickelt, der das vorgesehene Konzept beinhaltet. Es werden Tests durchgeführt, um die optimale Methode der Kommunikation zwischen den beiden Geräten vor Ort zu überprüfen. Besonderes Augenmerk wird auf die Modularität, Belastbarkeit, und Benutzerfreundlichkeit des Systems gelegt. Die trainierten KI-Netzwerke werden für den Einsatz vorbereitet und in die Geräte integriert. Darüber hinaus werden das Verfahren und der Demonstrator von Fachleuten anhand einer Aufwand-Nutzen-Analyse bewertet. 6. Danksagung Dieser Beitrag basiert auf Teilen des Forschungsprojekts, das im Auftrag des Bundesministeriums für Digitales und Verkehr und seines Expertennetzwerks „Wissen - Können - Handeln“, vertreten durch die Bundesanstalt für Straßenwesen, im Rahmen des Forschungsprojekts FE-Nr. 69.0006/ 2020 durchgeführt wurde. Die Verantwortung für den Inhalt liegt allein bei den Autoren. Wir bedanken uns bei den Mitgliedern des Betreuerkreises für ihre hilfreichen Hinweise und Rückmeldungen. Literatur [1] DIN 1076: 1999-11, ‘Ingenieurbauwerke im Zuge von Strassen und Wegen - Überwachung und Prüfung’, Beuth Verlag GmbH, 1999. doi: 10.31030/ 8499929. [2] Bundesministerium für Verkehr und digitale Infrastruktur, ‘RI-EBW-PRÜF’, 2017. [3] M. Salamak and M. Januszka, ‘BrIM bridge inspections in the context of Industry 4.0 trends’, in Maintenance, Safety, Risk, Management and Life-Cycle Performance of Bridges, CRC Press, 2018, pp. 2260-2267. doi: 10.1201/ 9781315189390-307. [4] E. Karaaslan, U. Bagci, and F. N. Catbas, ‘Artificial Intelligence Assisted Infrastructure Assessment using Mixed Reality Systems’, Transp. Res. Rec. J. Transp. Res. Board, vol. 2673, no. 12, pp. 413-424, Dec. 2019, doi: 10.1177/ 0361198119839988. [5] F. Moreu, C. Lippitt, D. Maharjan, M. Aguero, and X. Yuan, ‘Augmented Reality Enhancing the Inspections of Transportation Infrastructure: Research, Education, and Industry Implementation’, Transportation Consortium of South-Central States, Aug. 2019. [6] R. T. Azuma, ‘A survey of augmented reality’, Presence Teleoperators Virtual Environ., vol. 6, no. 4, pp. 355-385, 1997. [7] U. Riedlinger et al., ‘Supporting Bridge Inspectors with Interactive Mixed Reality Visualizations of BIM Process and Geometry Data’, in Proceedings of the International Bridge Conference 2021, Jun. 2021. [8] Z. Liu, S. A. Suandi, T. Ohashi, and T. Ejima, ‘Tunnel crack detection and classification system based on image processing’, in Machine Vision Applications in Industrial Inspection X, Mar. 2002, vol. 4664, pp. 145-152. doi: 10.1117/ 12.460191. [9] R. Oullette, M. Browne, and K. Hirasawa, ‘Genetic algorithm optimization of a convolutional neural network for autonomous crack detection’, in Proceedings of the 2004 Congress on Evolutionary Computation, Jun. 2004, vol. 1, pp. 516-521. doi: 10.1109/ CEC.2004.1330900. [10] H. C. S. Rughooputh, S. D. D. V. Rughooputh, and J. M. Kinser, ‘Automatic inspection of road surfaces’, in Machine Vision Applications in Industrial Inspection VIII, Mar. 2000, vol. 3966, pp. 349-356. doi: 10.1117/ 12.380090. 5. Brückenkolloquium - September 2022 117 Ansatz für künstliche Intelligenz und Mixed Reality zur Optimierung des Arbeitsablaufs bei Brückeninspektionen [11] M. S. Kaseko, Z.-P. Lo, and S. G. Ritchie, ‘Comparison of Traditional and Neural Classifiers for Pavement-Crack Detection’, J. Transp. Eng., vol. 120, no. 4, pp. 552-569, Jul. 1994, doi: 10.1061/ (ASCE)0733-947X(1994)120: 4(552). [12] A. Krizhevsky, I. Sutskever, and G. E. Hinton, ‘ImageNet classification with deep convolutional neural networks’, Commun. ACM, vol. 60, no. 6, pp. 84-90, May 2012, doi: 10.1145/ 3065386. [13] R. Girshick, J. Donahue, T. Darrell, and J. Malik, ‘Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Jun. 2014. [14] J. Long, E. Shelhamer, and T. Darrell, ‘Fully Convolutional Networks for Semantic Segmentation’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 3431-3440. [15] B. Hariharan, P. Arbeláez, R. Girshick, and J. Malik, ‘Simultaneous Detection and Segmentation’, in Computer Vision - ECCV 2014, Cham, 2014, pp. 297-312. doi: 10.1007/ 978-3-319-10584-0_20. [16] G. Schall et al., ‘Handheld Augmented Reality for underground infrastructure visualization’, Pers. Ubiquitous Comput., vol. 13, no. 4, pp. 281-291, May 2009, doi: 10.1007/ s00779-008-0204-5. [17] K. Chintalapudi, A. Padmanabha Iyer, and V. N. Padmanabhan, ‘Indoor localization without the pain’, in Proceedings of the sixteenth annual international conference on Mobile computing and networking, New York, NY, USA, Sep. 2010, pp. 173-184. doi: 10.1145/ 1859995.1860016. [18] M. Bueno, F. Bosché, H. González-Jorge, J. Martínez-Sánchez, and P. Arias, ‘4-Plane congruent sets for automatic registration of as-is 3D point clouds with 3D BIM models’, Autom. Constr., vol. 89, pp. 120-134, May 2018, doi: 10.1016/ j.autcon.2018.01.014. [19] P. Herbers and M. König, ‘Indoor Localization for Augmented Reality Devices Using BIM, Point Clouds, and Template Matching’, Appl. Sci., vol. 9, no. 20, p. 4260, Jan. 2019, doi: 10.3390/ app9204260. [20] F. Walch, C. Hazirbas, L. Leal-Taixe, T. Sattler, S. Hilsenbeck, and D. Cremers, ‘Image-Based Localization Using LSTMs for Structured Feature Correlation’, in Proceedings of the IEEE International Conference on Computer Vision, 2017, pp. 627-637. [21] DIN 1076, ‘Bauwerksprüfung nach DIN 1076. Bedeutung, Organisation, Kosten’, 2013. [22] L. Höltgen, F. Cleve, and P. Hagedorn, ‘Implementation of an Open Web Interface for the Container-based Exchange of Linked Building Data’, in 32. Forum Bauinformatik 2021, Darmstadt, Germany, 2021, p. 9. doi: 10.26083/ tuprints-00019496. [23] EN ISO 21597-1, ‘Information container for linked document delivery - Exchange specification - Part 1: Container’, 2020. [24] DIN SPEC 91391-1: 2019-04, ‘Gemeinsame Datenumgebungen (CDE) für BIM-Projekte - Funktionen und offener Datenaustausch zwischen Plattformen unterschiedlicher Hersteller - Teil 1: Module und Funktionen einer Gemeinsamen Datenumgebung’, Beuth Verlag GmbH, 2019. doi: 10.31030/ 3044838.