1. Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur - Juni 2021 367 Drohnenbasierte Erfassung von as-built Modellen zur Automatisierung von Prozessen des digitalen Planens und Bauens im Brückenbau Univ.-Prof. Dr.-Ing. Christian Glock Technische Universität Kaiserslautern, Fachbereich Bauingenieurwesen, Fachgebiet Massivbau und Baukonstruktion, Kaiserslautern, Deutschland Fabian Kaufmann, M. Eng. Technische Universität Kaiserslautern, Fachbereich Bauingenieurwesen, Fachgebiet Massivbau und Baukonstruktion, Kaiserslautern, Deutschland Thomas Tschickardt, M. Eng. Technische Universität Kaiserslautern, Fachbereich Bauingenieurwesen, Fachgebiet Massivbau und Baukonstruktion, Kaiserslautern, Deutschland Zusammenfassung Die BIM-basierte Projektabwicklung befindet sich aktuell im Infrastruktur- und Ingenieurbau noch in der Entwicklung. Insbesondere in der Ausführungsphase ist bislang wenig erforscht, wie Informationen am Bauwerk digital erfasst und automatisiert mit Bauwerksinformationsmodellen (BIMs) abgeglichen werden können. Das vorgestellte Konzept beinhaltet die Planung der Datenerfassung auf Grundlage eines 4D-BIMs, d.h. 3D-Geometrie und Zeit, ebenso die Auswertung der erfassten Punktwolken und den Abgleich mit dem 4D-BIM. Sämtliche Teilschritte sollen automatisiert durchgeführt werden, um in kurzen Zyklen eine Informationsbereitstellung in Echtzeit zu ermöglichen. Auf Grundlage des 4D-BIMs werden relevante Bauteile identifiziert und hieraus Wegpunkte für die drohnenbasierte Erfassung abgeleitet. Anschließend erfolgt die automatisierte Planung der Flugroute unter Berücksichtigung des Erfassungsverfahrens und möglicher Hindernisse. Die Datenerfassung erfolgt mittels autonom operierender UAVs (engl. unmanned aerial vehicle). Die Punktwolke wird anschließend geometrisch ausgewertet. Zusätzlich erfolgt die Erkennung von Objekten direkt in der Punktwolke mittels Verfahren der Künstlichen Intelligenz. Die ausgewerteten Informationen werden zum Schluss zu as-built BIMs umgesetzt. 1. Einleitung 1.1 Problemstellung Die modellbasierte Projektabwicklung hat durch den Stufenplan Digitales Planen und Bauen [1] des Bundesministeriums für Verkehr und digitale Infrastruktur (BMVI), welcher im Jahr 2015 veröffentlicht wurde und das Ziel verfolgt, alle öffentlichen Infrastrukturprojekte ab 2020 mit Building Information Modeling umzusetzen, entscheidenden Anschub erhalten und wird zunehmend operativ umgesetzt. Der Lebenszyklus eines Bauwerksinformationsmodells (BIMs) erstreckt sich hierbei von der Planungsüber die Ausführungsbis hin zur Betrieb- und Erhaltungsphase [vgl. hierzu: 2]. Erste umfangreiche praktische Erfahrungen wurden für die Planungsphase gesammelt und sind weitestgehend standardisiert [vgl. hierzu: 3]. Für die Anwendung von BIM in der Ausführungsphase ist das Erfassen von Informationen, z. B. über den Baufortschritt, von entscheidender Bedeutung. Aktuell existieren erste Forschungsansätze, die auf einer automatisierten Erfassung von Informationen mithilfe von photogrammetrischen Verfahren und / oder Laserscanning (engl. light detection and ranging, „LiDAR“) während der Ausführungsphase beruhen. Es ist bislang wenig erforscht, wie diese am Bauwerk automatisiert erfassten Daten ebenso automatisiert ausgewertet und mit BIMs abgeglichen werden können. Im Brückenbau bieten sich für den Erfassungsprozess UAV an. Eine wesentliche Herausforderung besteht darin, auf Grundlage des 4D-BIMs (Geometrie + Zeit) eine modellbasierte automatisierte Erfassung zu planen und durchzuführen. Eine weitere Herausforderung ist, die Drohnenbasierte Erfassung von as-built Modellen zur Automatisierung von Prozessen des digitalen Planens und Bauens im Brückenbau 368 1. Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur - Juni 2021 während der Befliegung erzeugte, unstrukturierte Punktwolke automatisiert in ein hinreichend detailliertes Wiegebaut BIM (engl. as-built BIM) zu überführen. Solche Wie-gebaut BIMs sind notwendige Voraussetzung für nachgelagerte Auswertungsprozesse, z. B. die automatisierte Baufortschrittserfassung. Bei der Überführung von Punktwolken in BIMs ist die Bauteilerkennung ein zentraler Schritt der semantischen Informationsauswertung. Für die Bauteilerkennung in Punktwolken scheint der Einsatz von Methoden der Künstlichen Intelligenz vielversprechend und wird von den Autoren bereits beforscht [4]. Die Methoden sind jedoch zum derzeitigen Zeitpunkt noch nicht ausreichend entwickelt, um sie in der Praxis flächendeckend einzusetzen. Weiterentwicklungen und umfangreiche Praxistests sind erforderlich. Nach der Erzeugung von Wiegebaut BIMs können Qualitätssicherungsmaßnahmen, wie z.B der geometrische Abgleich zwischen Wiegeplant/ terminiert BIM (engl. as-designed/ scheduled) und Wiegebaut BIM durchgeführt werden, um die tatsächlichen Positionen und Abmessungen sequenziell validieren und beurteilen zu können. Ebenfalls kann ein zeitlicher Abgleich erfolgen, bei dem erfasst wird, ob die Bauteile wie terminiert erstellt worden sind. 1.2 Zielsetzung Im Rahmen der voranschreitenden Digitalisierung und Automatisierung im Bauwesen bedarf es die zuvor angesprochenen Forschungsansätze im Bereich automatisierte, UAV-basierte Erfassung und Überführung von Punktwolken in BIMs weiterzuentwickeln. Zu Beginn sind aus dem 4D-BIM relevante Ansichtspunkte, sogenannte „Points of Interest“ (POI), zu identifizieren, um die Flugroute automatisiert abzuleiten. Diese Flugroute soll zudem in einer Simulationssoftware validiert werden, um Kollisionen mit dem zu erfassenden Bauwerk ausschließen und die Qualität der erfassten Daten im Vorfeld überprüfen zu können. Weiterhin wird untersucht, wie die Bauteilerkennung in unstrukturierten Punktwolken mittels Verfahren des maschinellen Lernens vollständig automatisiert werden kann. Hierfür ist eine große Menge an Trainingsdaten notwendig, welche bislang für den Brückenbau nicht vorhanden sind. Die Bereitstellung solcher Trainingsdaten stellt sich dabei als große Herausforderung dar. Trainingsdaten können entweder real erzeugt oder synthetisch aus dem BIM abgeleitet werden. Nach der automatisierten Bauteilerkennung aus Punktwolken soll der Abgleich zwischen dem Wie-Terminiert BIM und dem Wie-gebaut BIM weiter verfeinert und automatisiert werden, um im Brückenbau ebenfalls in der Praxis zum Einsatz zu kommen. Prüfkriterien wie z.B. Abmessungen und Lage zur Baustellendokumentation aber auch SollTermine aus dem 4D-BIM sollen hierbei berücksichtigt werden. 2. Stand der Forschung 2.1 Erfassungstechnologie Die Technologien und Geräte für die digitale Erfassung haben sich in den letzten Jahren stetig weiterentwickelt. Neben klassischen Verfahren wie dem terrestrischen Laserscanning und der Photogrammmetrie stehen auch komplexe Technologien wie Mobile Mapping Systeme und unbenannte Flugdrohnen zur Verfügung, mit denen Brückenbauwerken schnell erfasst werden können. Um sicherzustellen, dass die erfassten Punktwolken für die geplante Anwendung geeignet sind, muss gewährleistet sein, dass alle Ziele der Erfassung mit der spezifizierten Datenqualität und innerhalb verfügbarer Zeiträume erfasst werden. Die Effizienz der Datenerfassung ist wichtig, um die Unterbrechung der Aktivitäten auf der Baustelle zu reduzieren. Eine effektive und effiziente Datenerfassung kann durch einen vorausgehenden Planungsoptimierungsprozess erreicht werden, der als „Planning for Scanning“ (P4S) bezeichnet werden kann [5]. Aryan, Bosché et al. geben einen systematischen Überblick der bisherigen Forschungsansätze für das terrestrische Laserscanning und stellen eine Kategorisierung der Qualitätskriterien (Vollständigkeit, Genauigkeit und räumliche Auflösung und „Registrierbarkeit“) für Punktwolkendaten vor. Des Weiteren werden Forschungslücken wie z.B. die Notwendigkeit einer vollautomatischen Scanplanung zur optimalen Abdeckung aufgedeckt [5]. Bolourian stellt ein Konzept vor, welches die Planung einer kollisionsfreien Befliegung mittels genetischen Algorithmus (GA) und A*-Algorithmus (A*) umsetzt [6]. Freimuth [7] verfolgte zunächst den Ansatz auf Grundlage von Bounding Boxes der Objekte, einem zusätzlichen Sicherheitsabstand zu diesen und einem auf der Bauwerkshülle liegenden Raster eine Flugroutenplanung durchführen. In der Weiterentwicklung [8] wird der nutzbare und zugängliche Raum, in dem sich die Drohne bewegen kann, mit einem sogenannten Navigationsnetz (engl. navigation meshes) bestimmt, einer etablierten Datenstruktur für Wegfindungsprobleme aus der Robotik. Navigationsnetze repräsentieren typischerweise den zugänglichen Bereich einer 2D-Ebene, in der sich die Drohne bzw. der Agent bewegen kann. Aufgrund der variablen Höhe ist eine Adaption der Vorgehensweise auf 3D notwendig. Dies erfolgt mit einem sogenannten Navigationsvolumen, welches durch eine Menge von Voxeln, die Informationen über Nachbarschaft und Belegung enthalten, dargestellt wird. Das Voxel-Modell erstreckt sich über den gesamten geometrischen Raum, einschließlich des bereits belegten Raums durch das BIM und, falls nicht innerhalb dieses Raums, bis zum Abflugort der Drohne. In einem Vorverarbeitungsschritt wird jedes Voxel, dass sich mit der Geometrie des BIM schneidet, als belegt markiert. Die inverse Menge der Voxel stellt Drohnenbasierte Erfassung von as-built Modellen zur Automatisierung von Prozessen des digitalen Planens und Bauens im Brückenbau 1. Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur - Juni 2021 369 somit den belegten Raum des Navigationsnetzes dar. Der Sicherheitsabstand zu den Objekten wird mit einer weiteren Schicht Voxel bestimmt. Nach der Definition des Navigationsvolumens wird ein Graph (OcTree) erstellt. Im OcTree kann unter Anwendung der Moore-Nachbarschaftsbeziehung jede Verbindung zwischen den Knoten als Bewegung der Drohne betrachtet werden. Zur Ableitung eines Pfades zwischen dem Knoten am Abflugort und den Knoten an Wegpunkten wird ein A*Algorithmus verwendet. Mittels Software-In-The-Loop (SITL) wird die Befliegung simuliert und Vorschaubilder der Kamerafotos an den Wegpunkten angezeigt. Dies ermöglicht es dem Piloten durch die Simulation zusätzliche Erkenntnisse zu sammeln, welche Daten im Rahmen der Flugmission erfasst werden. In beiden Ansätzen [6] und [8] werden die Wegpunkte der Erfassung manuell selektiert. Ein weiterer Ansatz von Hamledari [9] verwendet ein 4D-BIM im openBIM Format Industry Foundation Classes (IFC) mit Befliegungsmerkmalen (Beschreibung der Befliegungsziele, Datum und Uhrzeit der Befliegung, die Start- und Ladeposition sowie Einschränkungen im navigierbaren Raum) als Grundlage für die Missionsplanung. Die IFCDatei wird an einen Parser übergeben, der die geometrischen und semantischen Informationen der Elemente extrahiert. Der Anwender kann mittels Filtermöglichkeiten bspw. eine Ressourcenabfrage (IfcConstructionResource) starten, um verknüpfte Elemente (IfcElement) zu identifizieren. Die Vorgänge und die verknüpften Elemente, bei denen eine Erfassung notwendig ist, werden somit manuell selektiert. Ein Dijkstra-Algorithmus berechnet die kürzeste Entfernung der Erfassungspositionen und der Ameisenalgorithmus (engl. ant colony optimization, “ACO”) entwirft eine Erfassungsplanung, welche die Flugdauer minimiert und gleichzeitig eine Erfassung an jeder Position ermöglicht. Auf eine Simulation oder Verifizierung der vorgeschlagenen Erfassungsmission wird verzichtet. Es ist zu erwähnen, dass die Drohne während des Flugbetriebes aufgrund von gesetzlichen Vorgaben jederzeit in Sichtweise zu halten hat. Gem. § 21b LuftVO muss der Pilot sogar in der Lage sein, die Fluglage des Fluggeräts jederzeit einschätzen zu können [10]. Ein weiterer Punkt ist die geodätische Referenzierung. UAV operieren im Koordinatensystem WGS84. Modellkoordinaten müssen somit ins geodätische Koordinatensystem übertragen werden [7]. 2.2 Semantische Segmentierung Bei der semantischen Segmentierung erfolgt die Klassifikation eines jeden Datenpunktes, z. B. eines jeden Pixels oder Punktes in einer 3D Punktwolke. Jeder Datenpunkt wird hierbei mit einem Label versehen, das die jeweilige Klasse repräsentiert. Je nach Domäne kann es sich bei den Klassen um reale Objekte (Autonomes Fahren), oder auch um Bauteile wie bei der semantischen Segmentierung im Rahmen von Scan to BIM Workflows handeln. Abbildung 1 zeigt eine texturierte Punktwolke. Abbildung 2 zeigt dieselbe Punktwolke nach der semantischen Segmentierung. Die Farbwerte entsprechen den Bauteilklassen, z.B. Wand, Decke, Fenster. Für die semantische Segmentierung haben sich Verfahren des Machine Learning etabliert. Abbildung 1: Texturierte Punktwolke Abbildung 2: Segmentierte Punktwolke 2.3 Machine Learning Beim Machine Learning wird im Gegensatz zum klassischen Vorgehen ein Algorithmus nicht durch programmierte Logiken gebildet, sondern durch die Prozessierung von Trainingsdaten angelernt. Realisiert wird das durch den Aufbau künstlicher neuronaler Netze, die aus mehreren Millionen Neuronen bestehen, die miteinander verbunden sind. Das Anlernen erfolgt durch die Gewichtung der Verbindungen der Neuronen in der Vorwärtsrechnung. Für die semantische Segmentierung haben sich „Convolutional Neural Networks“ (CNN) bewährt, die klassenrelevanten Merkmale in Feature Maps anlernen können. Implementierungen bestehen sowohl für die Bilderkennung in bekannten Deep Learning Frameworks wie Pytorch [11] oder Keras [12], als auch für die semantische Segmentierung n-dimensionaler Daten, z. B. Punktwolken aus Laserscans, fotogrammetrischer oder hybrider Erfassung [vgl. hierzu beispielhaft: 13-16]. Bei der Bauteilerkennung in Punktwolken ergibt sich ein entscheidender Unterschied zur Bilderkennung. Im Drohnenbasierte Erfassung von as-built Modellen zur Automatisierung von Prozessen des digitalen Planens und Bauens im Brückenbau 370 1. Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur - Juni 2021 Gegensatz zu Bilddaten handelt es sich bei Punktwolken um „sparse populated grids“, also „spärliche“ Daten, bei denen nicht an jedem möglichen Punkt im dreidimensionalen Raum auch ein Datenpunkt vorhanden ist. Dies muss bei der Implementierung der Verfahren berücksichtigt werden. Eine gute Übersicht über für die Bauteilerkennung relevante Implementierungen bietet die Scannet Benchmark Challenge, bei der die erzielbare Genauigkeit in verschiedenen Klassifikationsaufgaben auf einem Dataset mit Innenraumszenarien erprobt werden kann [17]. Neben Multi-View CNNs konnten insbesondere Implementierungen von „Submanifold Sparse Convolutional Neural Networks“ (SSCNS) sehr gute Ergebnisse erzielen. Bei diesen Implementierungen ist bemerkenswert, dass auch eine hohe Recheneffizienz erreicht werden kann, indem nur die aktiven Datenpunkte mit berücksichtigt werden [18]. 2.4 Sensorsimulation Für das Anlernen der genannten Algorithmen sind Trainingsdaten erforderlich. Diese stehen entweder als Datasets frei verfügbar zum Download bereit, müssen händisch annotiert oder synthetisch erzeugt werden. Alle drei Möglichkeiten haben ihre spezifischen Vor- und Nachteile, die nachfolgend dargestellt werden sollen. Online verfügbare Datasets, z. B. das Scannet Dataset [17], bieten eine große Menge vorklassifizierter Trainingsdaten zur freien Verwendung. Allerdings entspricht die Klassifikationsaufgabe nur selten domänenspezifischen Problemen, weil frei verfügbare Datasets mit dem Fokus erzeugt werden, Machine Learning Verfahren weiterzuentwickeln. So existiert bspw. kein Dataset, das annotierte Punktwolken konstruktiver Bauwerksteile enthält. Somit können frei verfügbare Datasets nicht für das Training von Machine Learning Algorithmen für die Bauteilerkennung im Brückenbau herangezogen werden. Die naheliegendste Möglichkeit, Trainingsdaten aus Laserscans von Brücken zu erzeugen, ist die händische Annotation der Punktwolken. Hierbei werden mittels geeigneter Software wie CloudCompare [19] einzelne Bauteile aus der Gesamtpunktwolke extrahiert und mit entsprechenden Labels versehen. Dieses Vorgehen ist jedoch sehr arbeitsaufwändig und fehleranfällig. Eine weitere Option ist die synthetische Erzeugung von Trainingsdaten. Hierbei werden zunächst digitale Modelle erzeugt, gerendert und schließlich mittels Sensorsimulationen (LiDAR, Photogrammetrie, usw.) zu Punktwolken umgesetzt. Hierbei wird die Klassifikation von den digitalen Modellen vererbt und den Daten als Label zu jedem Punkt während der Prozessierung angefügt. Somit können annotierte, realistisch texturierte Trainingsdaten erzeugt werden. Die Erzeugung digitaler Modelle erfolgt im Brückenbau gem. der BIM-Methodik. BIMs enthalten bauteilspezifische Informationen wie die Bauteilklasse gem. IFC [3] und bilden somit die ideale Grundlage für die synthetische Erzeugung von Trainingsdaten. BIMs werden in definierten Merkmalsräumen mittels (visueller) Programmierschnittstellen wie Dynamo [20] teilrandomisiert erzeugt. Die nachfolgende Texturierung erfolgt mittels 3D Creation Engines, z. B. Blender, Unreal Engine [21] oder Unity [22]. Diese erlauben die fotorealistische Texturierung der Modelle und die Simulation terrestrischer oder mobiler Sensoren mittels geeigneter Plugins wie dem Blender Sensor Simulation Toolkit [23] oder Air- Sim. AirSim ist ein quelloffener, plattformübergreifender Simulator, der auf der Unreal Engine 4 (UE4) aufbaut und ähnliche fotorealistische Simulationen für Drohnen und Autos bietet [24]. 3. Lösungsansatz zur Automatisierung von Prozessen des digitalen Planens und Bauens im Brückenbau 3.1 Einführung Ein Lösungsansatz zur Automatisierung von Prozessen des digitalen Planens und Bauens im Brückenbau wird nachfolgend vorgestellt. Einen Überblick bietet die Konzeptdarstellung in Abbildung 3. Abbildung 3: Konzeptdarstellung Drohnenbasierte Erfassung von as-built Modellen zur Automatisierung von Prozessen des digitalen Planens und Bauens im Brückenbau 1. Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur - Juni 2021 371 Kernelemente sind die Automatisierte Flugroutenplanung, die (Teil-)autonome Befliegung, die Objekterkennung in Punktwolken mittels neuronaler Netzwerke zur Erstellung des Wie-gebaut BIMs, sowie der Abgleich zwischen Wie-gebaut BIM und Wie-Geplant BIM. 3.2 Erfassung Ist-Daten werden am Bauwerk als Punktwolken mittels autonom operierender UAVs mit entsprechenden Sensoren erfasst. Die Ableitung der Flugroute für die teilautonome Befliegung erfolgt aus dem Wie-Geplant bzw. Wie-terminiert BIM (Schritte 1-4 der Abbildung 3). Die Teilschritte werden nachfolgend erläutert. Schritt 1-2: Ausgangspunkt ist das Planungsmodell, das nachfolgend als Wie-Geplant BIM bezeichnet wird; und das aus einzelnen gewerkespezifischen Teilmodellen (Strecke, Brückenbauwerk, usw.) besteht. Das Wie- Terminiert BIM (4D-BIM) entsteht bei der Verknüpfung zwischen dem Planungsmodell und dem bauzeitlichen Terminplan. Auf Grundlage des 4D-BIMs werden relevante Bauteile und Vorgänge identifiziert und Wegpunkte für die drohnenbasierte Erfassung abgeleitet. Die ermittelten Wegpunkte der abzufliegenden Flugroute ermöglichen während der Erfassung eine optimale LiDAR-Abdeckung. Schritt 3: Anhand der Algorithmen A*, GA und ACO kann hierbei die optimale Flugroute zur Erfassung des Bauzustandes unter Berücksichtigung von Randbedingungen ermittelt werden. Hier zählen unter anderem die sechs Freiheitsgrade der UAV, d. h. drei Koordinaten (x, y, z) und drei Rotationen (Gieren, Nicken und Rollen). Aber auch Einschränkungen wie die Batteriekapazität, Nutzlast und Startgewicht sowie die Größe der UAV. Zur Validierung der Erfassungsmission hinsichtlich Qualität der erfassten Daten und zur Vermeidung von Kollisionen des UAV mit dem Bauwerk oder anderen Gegenständen bzw. Hindernissen wird eine Simulation der Befliegung mit der Software AirSim [24] durchgeführt. Die Simulationsberichte enthalten Informationen über den gemessenen Stromverbrauch, die Missionsdauer und die erfasste segmentierte Punktwolke. Bei der Simulation können das reale aerodynamische Verhalten und mögliche Störungen berücksichtigt werden. Störungen treten u.a. in Form von Böen auf, die die UAV vorübergehend verschieben können, und in Form von verzerrtem GNSS-Empfang, der zu ungenauen Positionsmessungen führt. Schritt 4: Die Erfassung von Brückenbauwerken erfolgt im Anschluss mittels (Teil)-Autonomer Befliegung unter Berücksichtigung gesetzlicher Vorgaben. Hierfür wird die in der Simulation validierte Flugroute mittels geeigneter Schnittstellen als Erfassungsmission auf das UAV übertragen. Während der Erfassungsmission erfolgt die kontinuierliche Datenerfassung mittels LiDAR. 3.3 Verarbeitung Die Verarbeitung umfasst die Registrierung und Bereinigung der Punktwolke sowie die Bauteilerkennung in Punktwolken mittels neuronaler Netzwerke zur Erstellung des Wie-gebaut BIMs. Nachfolgend werden die Teilschritte 5-6 der Abbildung 3 erläutert. Schritt 5-6: Nach erfolgter Befliegung müssen die Rohdaten registriert werden. Die erfasste Punktwolke wird anschließend zum Wie-gebaut BIM umgesetzt. Hierfür muss die Punktwolke zunächst hinsichtlich der Bauteile semantisch segmentiert werden. Hierfür werden Machine Learning Algorithmen eingesetzt, die zunächst angelernt werden müssen. Für das Training ist eine ausreichende Menge Trainingsdaten erforderlich. Weil domänenspezifisch keine geeigneten Datasets zur Verfügung stehen und die händische Annotation mit einem zu großen Aufwand verbunden wäre, werden Trainingsdaten synthetisch aus BIMs erzeugt. Hierfür werden zunächst in einem definierten Merkmalsraum variierte BIMs mittels Autodesk Revit und der visuellen Programmierschnittstelle Dynamo erzeugt [20]. Beispielhaft wird ein solches BIM-Modell in Abbildung 4 dargestellt. Die so generierten BIMs werden anschließend über das Plugin Datasmith [21] in die Unreal Engine importiert und anschließend mit realistischen Texturen versehen, wie in Abbildung 5 dargestellt. Abbildung 4: Brückenbauwerk in Autodesk Revit Drohnenbasierte Erfassung von as-built Modellen zur Automatisierung von Prozessen des digitalen Planens und Bauens im Brückenbau 372 1. Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur - Juni 2021 Abbildung 5: Brückenbauwerk mit Texturen Die Sensorsimulation erfolgt in AirSim mittels mobilen LiDAR Sensoren. Diese Sensoren werden von simulierten UAVs getragen, die einem im Vorfeld definierten Pfad folgen. Der LiDAR Sensor nimmt hierbei kontinuierlich Daten auf. Eine Registrierung entfällt, weil alle aufgenommenen Punkte entsprechend der Position des UAV transformiert und auf ein gemeinsames Koordinatensystem bezogen werden. Neben den realen Farbwerten werden auch die Labels entsprechend den Bauteilklassen aufgenommen (s. Abbildung 7). Die so erfassten Daten werden für die weitere Bearbeitung gespeichert. Im Rahmen des Machine Learnings wird SparseConvNet [18], eine Implementierung von Submanifold Sparse Convolutional Networks in Pytorch eingesetzt. Für die Trainings müssen die Trainingsdaten entsprechend aufbereitet und in einem geeigneten, von SparseConvNet interpretierbaren Dateiformat gespeichert werden. Das Training erfolgt epochenweise, wobei in jeder Epoche die kompletten Trainingsdaten mindestens einmal prozessiert werden. Hierbei gibt die Batch size an, wie häufig das Dataset pro Epoche prozessiert wird. Wie groß die Batch size gewählt werden kann, hängt vom verfügbaren Arbeitsspeicher und von der Anzahl der freien Parameter des Netzes ab. Die Effizienz des Trainings hängt maßgeblich vom Laden der Daten ab, weil die im Training erforderlichen Matrixoperationen auf spezialisierter Hardware sehr effizient durchgeführt werden können. In anderen Forschungsarbeiten der Autoren beträgt die Rechenzeit für eine Trainingsepoche auf dem Hochleistungsrechner Elwetritsch der Allianz für Hochleistungsrechnen Rheinland-Pfalz bei einem ca. 26 GB großen Dataset, das in 18 GB Trainings- und 8 GB großes Validierungssets aufgeteilt wird, mit einer Nvidia Volta V 100 GPU (16 GB RAM), 8 CPU-Kernen und 40 GB RAM ca. 5 min. Die Batch size wurde hierbei mit 6 gewählt, die Anzahl der freien Parameter des neuronalen Netzwerks beträgt ca. 4,3 Mio. Alle fünf Epochen wird ein Validierungsschritt durchgeführt, bei dem in einer Rückwärtsrechnung mit bislang nicht prozessierten Daten der Trainingserfolg evaluiert und die Vorhersagegenauigkeit verbessert werden kann. Die Genauigkeit wird als Intersection over Union (IoU) ausgedrückt. Hierbei wird für jede Klasse die Schnittmenge aus der vorgegebenen Klassifizierung (engl. ground truth) und den vom Algorithmus klassifizierten Punkten (engl. predicted labels) durch die Vereinigungsmenge aus der vorgegebenen Klassifizierung und den vom Algorithmus klassifizierten Punkten geteilt. Formel 1 Intersection over Union Auf dem Scannet Dataset konnte SparseConvNet eine Genauigkeit von 72,5 % über alle Klassen erreichen [17]. Von den Autoren konnte im Rahmen anderer Forschungsarbeiten eine noch höhere Genauigkeit auf synthetischen Daten erreicht werden. Ein wichtiges Kriterium für den Erfolg eines Trainings im Machine Learning ist die Eigenschaft des neuronalen Netzes zu generalisieren. Generalisierung heißt in diesem Zusammenhang, dass eine Vorhersage auf unbekannte Daten möglich ist. Unbekannt bedeutet in diesem Zusammenhang, dass die Daten im Rahmen des Trainings nicht verwendet wurden. Über die Generalisierung des neuronalen Netzes ist eine Vorhersage auch auf Daten möglich, die sich hinsichtlich ihrer Merkmale wesentlich von den Trainingsdaten unterscheiden. Nach erfolgtem Training kann das trainierte Netz für die semantische Segmentierung unbekannter Daten genutzt werden. Im Rahmen dieser Vorhersagen wird jeder Punkt der Punktwolke klassifiziert und schließlich die Klasse mit der höchsten Wahrscheinlichkeit als Label für jeden Punkt ausgegeben. Nach erfolgter semantischer Segmentierung wird die Punktwolke nach einzelnen Bauteilklassen gefiltert und zu einzelnen Bauteilen geclustert. Anschließend erfolgt die iterative Einpassung parametrischer BIM-Objekte in die Punktwolke, wobei nach jedem Iterationsschritt der Abstand der Punktwolke zum Objekt berechnet wird (s. Abbildung 6). Die Iteration erfolgt hierbei bis zu einem definierten Schwellenwert. Abbildung 6: Berechnung des Abstandes von BIM-Objekt und Punktwolke 3.4 Auswertung Nach Verarbeitung der erfassten Punktwolke zum Wiegebaut BIM findet die Auswertung statt. Die Auswertung umfasst die Schritte 7-8 der Abbildung 3. Drohnenbasierte Erfassung von as-built Modellen zur Automatisierung von Prozessen des digitalen Planens und Bauens im Brückenbau 1. Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur - Juni 2021 373 Schritt 7: Das erzeugte Wie-gebaut BIM kann nun mit dem Wie-geplant bzw. Wie-terminiert BIM abgeglichen werden. Für den Abgleich können am Markt verfügbare BIMKoordinationstools verwendet werden. Eine Prüfung auf koinzidente Objekte gibt Aufschluss, ob die Wie-gebaut Objekte den Wie-geplant-Objekten entsprechen. Bei negativem Ergebnis werden die Wie-gebaut Objekte in das Erhaltungsmodell nach Bauausführung übernommen. Hierbei werden die semantischen Informationen der Wie-geplant-Objekten übernommen. Schritt 8: Das Wie-Gebaut BIM wird nach Abschluss der Bauausführung für die Betriebs- und Erhaltungsphase übergeben. Für diese Phase steht dem Betriebs- und Erhaltungsmanager nun ein Wie-Gebaut BIM zur Verfügung, welches die tatsächliche Bauausführung widerspiegelt. Abbildung 7: Simulation der drohnenbasierten Erfassung am Projekt Verfügbarkeitsmodell A 10/ A 24 4. Zusammenfassung und Ausblick Im vorliegenden Beitrag wird ein Konzept vorgestellt, mit dem Prozesse der BIM-basierten Projektabwicklung, insbesondere die Qualitäts- und Baufortschrittserfassung automatisiert werden können. Hierfür werden zunächst Daten mittels UAV am Bauwerk autonom erfasst, wobei die Befliegungsmission im Vorfeld anhand des Wie-geplant BIMs geplant und in einer Simulation validiert wird. Die erfassten Daten werden zu Wie-gebaut-BIMs umgesetzt, wobei zunächst Bauteile in der Punktwolke mittels Machine Learning Verfahren erkannt und anschließend iterativ parametrische BIM-Objekte eingepasst werden. Mit den Wie-gebaut BIMs erfolgt der Abgleich zur Planung (Wie-geplant / terminiert). Das vorgestellte Konzept wird momentan sukzessiv umgesetzt, wobei aktuell der Fokus im Bereich Drohnensimulation und Erzeugung synthetischer Trainingsdaten liegt. Literatur [1] BMVI: Stufenplan Digitales Planen und Bauen: Einführung moderner, IT-gestützter Prozesse und Technologienbei Planung, Bau und Betrieb von Bauwerken. URL https: / / www.bmvi.de/ Shared- Docs/ DE/ Publikationen/ DG/ stufenplan-digitalesbauen.pdf? __blob=publicationFile. [2] Glock, Christian: Digitalisierung im konstruktiven Bauwesen. In: Beton- und Stahlbetonbau 113 (2018), Nr. 8, S. 614-622. [3] buildingSMART International Ltd.: Industry Foundation Classes, 2020. URL https: / / standards. buildingsmart.org/ IFC/ DEV/ IFC4_2/ FINAL/ HTML/ - Überprüfungsdatum 23.04.2021. [4] Glock, C.; Kaufmann, F.: Ready for BIM - Digitizing capturing and assessment of existing structures. In: FBF Betondienst GmbH (Hrsg.): Proceedings 65th BetonTage : Concrete Solutions, 2021, S. 63. [5] Aryan, Afrooz; Bosché, Frédéric; Tang, Pingbo: Planning for terrestrial laser scanning in construction: A review. In: Automation in Construction 125 (2021), W2, S. 103551. [6] Bolourian, Neshat; Hammad, Amin: LiDARequipped UAV path planning considering potential locations of defects for bridge inspection. In: Automation in Construction 117 (2020), S. 103250. [7] Freimuth, Henk; König, Markus: Generation of waypoints for UAV-assisted progress monitoring and acceptance of construction work. In: Proceedings of the 15th International Conference on Construction Applications of Virtual Reality (CONVR 2015), 2015. Drohnenbasierte Erfassung von as-built Modellen zur Automatisierung von Prozessen des digitalen Planens und Bauens im Brückenbau 374 1. Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur - Juni 2021 [8] Freimuth, Henk; Müller, Jan; König, Markus: Planning UAV-Assisted Visual Inspections of Construction Sites. In: Lean and Computing in Construction Congress - Volume 1: Proceedings of the Joint Conference on Computing in Construction. Edinburgh : Heriot-Watt University, 2017, S. 161-168. [9] Hamledari, Hesam; Sajedi, Seyedomid; McCabe, Brenda; Fischer, Martin: Automation of Inspection Mission Planning Using 4D BIMs and in Support of Unmanned Aerial Vehicle-Based Data Collection. In: Journal of Construction Engineering and Management 147 (2021), Nr. 3, S. 4020179. [10] Bundesministerium für Verkehr und digitale Infrastruktur: Luftverkehrs-Ordnung (idF v. Zuletzt geändert durch Art. 2 V v. 11. 6. 2017 I 1617) (2015- 10-29). URL https: / / www.gesetze-im-internet.de/ luftvo_2015/ BJNR189410015.html#BJNR189410 015BJNG001200116. [11] Paszke, Adam; Gross, Sam; Massa, Francisco; Lerer, Adam; Bradbury, James; Chanan, Gregory; Killeen, Trevor; Lin, Zeming; Gimelshein, Natalia; Antiga, Luca; Desmaison, Alban; Kopf, Andreas; Yang, Edward; DeVito, Zachary; Raison, Martin; Tejani, Alykhan; Chilamkurthy, Sasank; Steiner, Benoit; Fang, Lu; Bai, Junjie; Chintala, Soumith: PyTorch: An Imperative Style, High-Performance Deep Learning Library. In: H. Wallach; H. Larochelle; A. Beygelzimer; F. d\textquotesingle Alché- Buc; E. Fox; R. Garnett (Hrsg.): Advances in Neural Information Processing Systems 32 : Curran Associates, Inc, 2019, S. 8024-8035. [12] Chollet, François; others: Keras. 2015. URL https: / / keras.io. [13] Qi, Charles R.; Su, Hao; Mo, Kaichun; Guibas, Leonidas J.: Pointnet: Deep learning on point sets for 3d classification and segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, S. 652-660. [14] Qi, Charles R.; Yi, Li; Su, Hao; Guibas, Leonidas J.: PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space. 08.06.2017. URL http: / / arxiv.org/ pdf/ 1706.02413v1. [15] Rethage, Dario; Wald, Johanna; Sturm, Jürgen; Navab, Nassir; Tombari, Federico: Fully-Convolutional Point Networks for Large-Scale Point Clouds. 2018. URL https: / / arxiv.org/ pdf/ 1808.06840.pdf. [16] Riegler, Gernot; Ulusoy, Ali Osman; Geiger, Andreas: OctNet: Learning Deep 3D Representations at High Resolutions. 15.11.2016. URL http: / / arxiv. org/ pdf/ 1611.05009v4. [17] Dai, Angela; Chang, Angel X.; Savva, Manolis; Halber, Maciej; Funkhouser, Thomas; Nießner, Matthias: ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes. 14.02.2017. URL http: / / arxiv.org/ pdf/ 1702.04405v2. [18] Graham, Benjamin; Engelcke, Martin; van der Maaten, Laurens: 3D Semantic Segmentation with Submanifold Sparse Convolutional Networks. In: CVPR (2018). [19] Girardeau-Montaut, Daniel: CloudCompare: 3D point cloud and mesh processing software, 2020. URL http: / / www.cloudcompare.org/ - Überprüfungsdatum 06.10.2020. [20] Autodesk: Visuelle Programmierung mit Dynamo. URL https: / / blogs.autodesk.com/ bimblog/ visuelle-programmierung-mit-dynamo/ - Überprüfungsdatum 29.08.2020. [21] Epic Games: Unreal Engine. URL https: / / www.unrealengine.com. [22] Haas, John K.: A history of the unity game engine (2014). [23] Gschwandtner, Michael; Kwitt, Roland; Uhl, Andreas; Pree, Wolfgang: BlenSor: Blender Sensor Simulation Toolbox. In: Bebis, George; Boyle, Richard; Parvin, Bahram; Koracin, Darko; Wang, Song; Kyungnam, Kim; Benes, Bedrich; Moreland, Kenneth; Borst, Christoph; DiVerdi, Stephen; Yi-Jen, Chiang; Ming, Jiang (Hrsg.): Advances in Visual Computing. Berlin, Heidelberg : Springer Berlin Heidelberg, 2011 (6939), S. 199-208. [24] Shah, Shital; Dey, Debadeepta; Lovett, Chris; Kapoor, Ashish: AirSim: High-Fidelity Visual and Physical Simulation for Autonomous Vehicles. 15.05.2017. URL http: / / arxiv.org/ pdf/ 1705.05065v2.