1. Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur - Juni 2021 125 ACE: Anomalieerkennung auf Brückensensordaten mit Auto- CorrelationEncodern Benedikt Böing Technische Universität Dortmund, Deutschland Emmanuel Müller Technische Universität Dortmund, Deutschland Zusammenfassung Dieser Aufsatz stellt das ACE Modell vor, um Sensordaten von Brücken zu analysieren und somit kritische Infrastruktur kontinuierlich zu überwachen. Durch das Modell sollen strukturelle Schäden am Bauwerk frühzeitig erkannt werden, sodass Sicherheitsstandards gewährleistet sind und eventuelle Mängel kostengünstig behoben werden können. Das ACE Modell ist ein Machine Learning Ansatz, der das Anomalieerkennungsproblem auf multivariaten Zeitreihen löst. Er basiert auf Autoencodern, die die Verteilung gegebener Daten lernen und daraufhin Abweichungen von dieser Verteilung - dem normalen Zustand der Brücke finden können. Das ACE Modell ist effizient, skalierbar und nicht von der Anzahl oder Art der Sensoren abhängig, die zur Bauwerksüberwachung eingesetzt werden. Die Evaluation des vorgestellten Modells basiert auf Daten des OSIMAB Projekts. Einerseits wird gezeigt, dass das Modell fähig ist, die im Projekt verwendeten Sensoren zu rekonstruieren und andererseits wird die Eignung, strukturelle Schäden zu erkennen, geprüft. 1. Einleitung Brücken bilden einen unverzichtbaren Teil der Verkehrsinfrastruktur mit herausragender wirtschaftlicher und gesellschaftlicher Bedeutung. Um eine verlässliche Nutzung zu gewährleisten muss durch sensorgestütztes, kontinuierliches Structural Health Monitoring [2] sichergestellt werden, dass sie hohen Sicherheitsstandards genügen und belastbar bleiben. Dieser Aufsatz schlägt den AutoCorrelationEncoder (ACE Modell) für die Analyse der Brückensensordaten vor. Es erlaubt die ständige Überwachung einer Brücke anhand der sensorgenerierten Messwerte und fungiert somit als Frühwarnsystem für strukturelle Schäden. Dazu wird das Problem, den baulichen Zustand der Brücke anhand seiner Messwerte zu bestimmen, als unüberwachtes Anomalieerkennungsproblem auf multivariaten Zeitreihen definiert (vgl. [3]). Der AutoCorrelationEncoder lernt dann ein zweistufiges Modell: Es werden sowohl das Verhalten eines einzelnen Sensors, als auch die Wechselwirkungen zwischen verschiedenen Sensoren beschrieben. Damit ist es möglich, sowohl Anomalien innerhalb eines Sensors, als auch relative Anomalien zu anderen Sensoren zu erkennen. Darüber hinaus ist das ACE Modell für verschiedene Arten von Sensoren (inklusive Beschleunigungsaufnehmer, Neigungssensoren, Wegaufnehmer, und Dehnungsmessstreifen) ohne weitere physikalische Modellierung verwendbar und skaliert in hohem Maße in der Messfrequenz und der Anzahl verwendeter Sensoren. Die Evaluation des beschriebenen Modells wird auf Daten des OSIMAB [1] Projekts durchgeführt. Einerseits wird dargestellt, dass die Verteilungen der Sensoren mithilfe des ACE Modells gut abgebildet werden. Dazu werden die Sensordaten durch das Modell komprimiert und wieder rekonstruiert. Anhand der Qualität der Rekonstruktion im Vergleich zu den Orginaldaten lässt sich erkennen, ob das ACE Modell das Verhalten eines einzelnen Sensors gelernt hat. Zusätzlich wird durch Hinzufügen künstlicher Anomalien [5] gezeigt, dass das ACE Modell auf strukturelle Abweichungen mit einer erhöhten Anzahl an Anomalien reagiert. Somit ist ein solches Modell geeignet, strukturelle Schäden an Brücken zu erkennen. 126 1. Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur - Juni 2021 ACE: Anomalieerkennung auf Brückensensordaten mit AutoCorrelationEncodern Abbildung 1: Zeitlich verschobene Sensoren. Jeder Sensor zeigt für sich genommen normales Verhalten. Abbildung 2: Schematische Darstellung des ACE Modells. 2. Problemstellung Dieser Abschnitt beschreibt wie das Erkennen strukturelle Schäden an Brücken, mithilfe eines Machine Learning Problem modelliert wird. Basierend auf den Sensordaten des Bauwerks, wird das Problem als Anomalieerkennung auf multivariaten Zeitreihen betrachtet. Formal wird also jedem Zeitpunkt x i ∈ R K einer gegebenen Zeitreihe X = (x 1 ,…, x T ) ein binärer Wert Y = (y 1 ,…, y T ) (im y i ∈ {0,1} folgenden ‘Label’) mit zugewiesen, der angibt ob der jeweilige Zeitpunkt ein anomaler (y i = 1) oder ein normaler, nicht-anomaler (y i = 0) Zeitpunkt ist. Da die Trainingsdaten nicht über Label verfügen, behandeln wir das Problem als ‘Unsupervised Machine Learning Problem’. Darüber hinaus ist unsere Lösung besonders für hochkorrelierte Sensordaten geeignet. Diese Korrelation bezieht sich auf die Wechselwirkungen zwischen verschiedenen Sensoren und nicht auf Abhängigkeiten verschiedener Zeitpunkte innerhalb eines Sensors (oft als Autokorrelation bezeichnet). Es wird jedoch auf eine genaue Definition zum Beispiel einen Korrelationskoeffizienten zwischen zwei Zeitreihen verzichtet, um das Problem möglichst allgemein zu halten und es nicht auf beispielsweise lineare Korrelationen einzuschränken. Durch die starke Abhängigkeit zwischen verschiedenen Sensoren können zwei Arten von Anomalien auftreten. Einerseits können die üblichen, univariaten Anomalien innerhalb eines Sensors entstehen. Andererseits kann sich die gemeinsame Struktur der Sensordaten verändern, sodass die Daten verschiedener Sensoren nicht mehr zu- 1. Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur - Juni 2021 127 ACE: Anomalieerkennung auf Brückensensordaten mit AutoCorrelationEncodern einander passen. Beispielsweise könnten die Daten eines Sensors verzögert eintreffen, sodass sie zeitlich gegeneinander verschoben werden (vgl. Abbildung 1). In diesem Fall folgt jeder Sensor für sich genommen noch seiner Verteilung, sodass diese Art von Anomalie nur bei gleichzeitiger Betrachtung mehrerer Sensoren entdeckt werden kann. Abschließend muss die Lösung für das Problem in hohem Maße skalierbar sein, da die Echtdaten, an denen die Lösung erprobt wird, aus ca. 230 Mrd. Messwerten von ca. 74 Sensoren besteht. 3. Lösungsansatz Dieser Abschnitt stellt die entwickelte Methode zur Erkennung von Anomalien in multivariaten Daten dar. 3.1 Grundlagen - Autoencoder Zunächst wird ein Grundmodell - der Autoencoder [6] - eingeführt, auf dem die entwickelte Methode basiert. Dabei handelt es sich um ein vorwärtsgerichtetes neuronales Netz mit mehreren Schichten, welches darauf trainiert wird seinen Input zu rekonstruieren. Die mittlere Schicht, der sogenannte ‘Latent Space’ ist deutlich niedrigdimensionaler als die Inputschicht, sodass der Autoencoder gezwungen ist, eine kompakte Darstellung für jeden Input zu finden. Abbildung 3: Testdaten, Rekonstruktionen durch das ACE Modell und Anomaliescore. Bei künstlich hinzugefügten Anomalien ist der Score maximal. 128 1. Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur - Juni 2021 ACE: Anomalieerkennung auf Brückensensordaten mit AutoCorrelationEncodern Desweiteren teilt der Latent Space den Autoencoder in den sogenannten Encoder (Inputschicht bis Latent Space) und Decoder (Latent Space bis Outputschicht). Formal ist der Autoencoder also eine Funktion f : R N → R N bestehend aus einem Encoder enc R N → R H und einem Decoder dec: R N → R H mit f (x) = dec (enc(x)) Der Autoencoder wird mithilfe des quadratischen Abstands loss = ( x f (x)) 2 zwischen Input und Output trainiert. Die Dimensionsreduktion (H << N ) sorgt dafür, dass der Autoencoder die Verteilung der Trainingsdaten lernt und somit für das Anomalieerkennungsproblem anwendbar wird: Für Trainingsdaten (und somit für Punkte aus dieser Verteilung) wird der Rekonstruktionsfehler klein, während er für alle anderen Punkte groß bleibt. Somit kann anhand des Rekonstruktionsfehlers zwischen anomalen und normalen Inputs unterschieden werden. 3.2 Das ACE Modell Der Lösungsansatz dieses Aufsatzes basiert auf zweifacher Anwendung von Autoencodern. Zunächst wird separat für jeden Sensor ein Autoencoder trainiert, sodass anschließend deren Encodings aus dem Latent Space zusammengefügt und als Input für einen weiteren Autoencoder verwendet werden. Dieses Verfahren ist schematisch in Abbildung 2 dargestellt. Abbildung 4: Vergleich der prozentualen Anteile von anomalen Zeitpunkten vor und nach künstlichem Hinzufügen von Anomalien. Um einen Autoencoder auf die Daten eines Sensors anzuwenden wird jede der K Zeitreihen in T - W + 1 viele Zeitfenster der Länge W unterteilt. Dieses Zeitfenster gibt die Länge des zeitlichen Kontexts, innerhalb dessen Anomalien erkannt werden können. Die Unterteilung erlaubt es, die Struktur des Autoencoders festzulegen und gleichzeitig auf Zeitreihen beliebiger Länge trainieren zu können. Im Folgenden werden diese einzelnen Autoencoder als SensorEncoder bezeichnet. Nachdem wir für jedes Zeitfenster und jede Zeitreihe mithilfe der SensorEncoder die Encodings, das heißt deren Aktivierungen im Latent Space, extrahiert haben, werden diese zusammengefügt, um den Input für den darauf folgenden Autoencoder, den sogenannten CorrelationEncoder, zu generieren. Dementsprechend ist die Input-/ Outputdimension des CorrelationEncoders durch das Produkt K × H, also das Produkt der Anzahl an Sensoren und der Dimension der Encodings gegeben. Das gesamte Modell wird im Folgenden als ACE (AutoCorrelationEncoder) Modell bezeichnet. Die beiden Arten von Autoencodern erfüllen unterschiedliche Zwecke: Die SensorEncoder codieren die Information aus einem Sensor und bilden über den Fehler bei dessen Rekonstruktion ab, ob innerhalb des Sensors eine Anomalie auftritt. Der CorrelationEncoder hingegen misst die Interaktion zwischen den verschiedenen Sensoren. Wenn der Rekonstruktionsfehler des CorrelationEncoders zu groß ist, weist dies auf eine Anomalie hin, die nur in mehreren Sensoren sichtbar ist. Darüber hinaus erlaubt dieser zweistufige Ansatz verschiedene Variationen, wie beispielsweise unterschiedliche Fehlerfunktionen für die verschiedenen Autoencoder oder die Rekonstruktion der Zeitfenster, basierend auf der Rekonstruktion des CorrelationEncoders. Solche Va- 1. Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur - Juni 2021 129 ACE: Anomalieerkennung auf Brückensensordaten mit AutoCorrelationEncodern riationen sollen in zukünftigen Arbeiten weiter erforscht werden. Möglicherweise erlaubt die Unterscheidung zwischen den beiden Fehlertypen auch eine genauere Erklärung, was zur Anomalie geführt hat. Um die Fehlerfunktionen beider Stufen des ACE Modells vergleichbar zu machen, werden jeweils beide Fehler durch eine Gaußverteilung modelliert (vgl [3]). Als Anomaliescore wird dann die Summe der negativen loglikelihood eines bestimmten Input unter den jeweiligen Verteilungen verwendet. 4. Experimente In diesem Abschnitt werden die Ergebnisse auf dem OSI- MAB Datensatz dargestellt. 4.1 Beschreibung OSIMAB Datensatz Der von uns verwendete OSIMAB Datensatz [1] besteht aus insgesamt 74 Sensoren, die jeweils mit einer Frequenz von 100 kontinuierlich über ein Jahr gemessen wurden. Dabei gibt es vier verschiedene Arten von Sensoren: Beschleunigungsaufnehmer, Neigungssensoren, Wegaufnehmer und Dehnungsmessstreifen. Da sich die verschiedenen Sensorarten qualitativ anders verhalten, ist es notwendig ein Modell zu verwenden, was dieses Verhalten implizit, also ohne physikalische Modellierung, beschreibt. Darüber hinaus verfügt der Datensatz nicht über Label. Im Folgenden wird die qualitative Analyse auf Beschleunigungsaufnehmer beschränkt; die Ergebnisse für die anderen Sensorarten sind jedoch ähnlich. 4.2 Trainingsmethode Das ACE Modell wird auf den gesammelten Daten des Jahres 2020 trainiert. Es besteht aus mehrere Teilmodellen, die jeweils nach Sensorart und Position auf der Brücke gruppiert sind. Das Zeitfenster What eine Länge von 100 Zeitschritten, die durch die SensorEncoder auf 5 Dimensionen reduziert werden. Die Wechselwirkung zwischen den Sensoren wird ebenfalls in 5 Dimensionen repräsentiert. 4.3 Ergebnisse Zunächst wird dargestellt, dass die Rekonstruktion anhand des ACE Modells funktioniert. Abbildung 3 zeigt einerseits Inputdaten von Beschleunigungsaufnehmern und andererseits deren Rekonstruktion durch das ACE Modell. Es wird deutlich, dass das Modell gelernt hat, den qualitativen Verlauf der Sensoren wiederzugeben obwohl es keinerlei explizite physikalische Modellierung gab. Das Modell lernt den typischen Verlauf der Sensoren ausschließlich anhand der ihm zur Verfügung gestellten Daten. Dementsprechend ist es auch fähig, die verschiedenen Arten von Sensoren abzudecken. Allerdings muss beachtet werden, dass das Modell nicht die gleiche Skalierung aufweist wie die Testdaten. Dies scheint jedoch für die Anomalieerkennung unerheblich zu sein wie nachfolgend gezeigt wird. Anhand der Anomaliescores auf Abbildung 3 wird klar, dass unser Ansatz in der Lage ist Anomalien zu erkennen. Der Score verändert sich im Laufe der Zeit je nach Schwingungsverhalten und er wird insbesondere dann größer, wenn künstlich Anomalien hinzugefügt worden sind. Gleichzeitig muss eingeräumt werden, dass man anhand des Modells nicht erkennen kann, warum ein gewisser Zeitpunkt als Anomalie gewertet wird. Diese fehlende Erklärbarkeit ist der Preis für das flexible und dementsprechend komplexe, implizite Modell, welches durch den AutoCorrelationEncoder beschrieben wird. Neben der qualitativen Analyse wird nun gezeigt, dass durch eine Änderung der Verteilung der Inputdaten auch eine Veränderung der Anomaliehäufigkeit erreicht wird. Dies ist von besonderer Bedeutung, da angenommen wird, dass ein Brückenschaden die Verteilung der Inputdaten ändert. Somit ist der Algorithmus in der Lage, strukturelle Schäden zu erkennen. Zu diesem Zweck wurden fünf Arten von Anomalien in die Testdaten eingefügt [5]: 1. Extremwerte gegeben durch kurze Ausreißer nach oben. 2. Erhöhte Varianz über einen definierten Zeitraum 3. Trend durch Addition einer linearen Funktion 4. Shift durch Addition einer konstanten Funktion 5. Timeshift durch zeitliches Versetzen eines Sensors Durch diese Anomalien lässt sich überprüfen, ob Anomalien sowohl innerhalb eines Sensors als auch zwischen verschiedenen Sensoren gefunden werden. Abbildung 4 zeigt, wie sich die Häufigkeit der gefundenen Anomalien gegenüber dem Normalzustand verändert. Um vom Gesamtfehler auf einzelne Sensoranomalien zu schließen werden dabei die Rekonstruktionsfehler der SensorEncoder und die Rekonstruktionsfehler der jeweiligen Latent Spaces aus dem CorrelationEncoder addiert. Bei allen Sensoren mit künstlich eingefügten Anomalien wird ein starker Zuwachs in der Häufigkeit verzeichnet. Somit wird anhand der Häufigkeit der Anomalien erkannt, ob sich der Zustand der Brücke (und somit die Verteilung ihrer Sensordaten) verändert hat. 5. Schlussfolgerungen und weitere Forschung In diesem Aufsatz wird das ACE Modell zur kontinuierlichen, automatisierten Bauwerksüberwachung anhand von Sensordaten vorgestellt. Das ACE Modell ist dabei sowohl sehr skalierbar als auch flexibel anwendbar. Es wird anhand von echten Bauwerksdaten überprüft und liefert vielversprechende Ergebnisse. In zukünftigen Arbeiten können folgende Aspekte verbessert werden: • Erklärbarkeit der Anomalien: Es ist zurzeit nicht möglich, eine Erklärung für das Verhalten des Mo- 130 1. Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur - Juni 2021 ACE: Anomalieerkennung auf Brückensensordaten mit AutoCorrelationEncodern dells bei einem bestimmten Input zu erhalten. Es ist ein Black-Box Modell. • Verifizierbarkeit: Durch die fehlende Erklärbarkeit und die hohe Komplexität des Modells kann bisher keine Garantie abgegeben werden, dass das ACE Modell alle Arten von Anomalien findet. Ebenso kann das Modell bisher nur durch Hinzufügen künstlicher Anomalien überprüft werden, da der OSIMAB Datensatz nicht über Label verfügt. • Testen verschiedener Variationen: Das ACE Modell lässt verschiedene Varianten zu, indem die Fehlerfunktionen angepasst werden oder die Rekonstruktion auf dem Output des CorrelationEncoders erfolgt. Literatur [1] BaST: The OSIMAB Sample Dataset, https: / / www. bmvi.de/ SharedDocs/ DE/ Artikel/ DG/ mfund-projekte/ online-sicherheits-managementsystem-bruecken-osimab.html, 2020 [2] Farrar, C. R.; Worden, K.: Structural Health Monitoring A Machine Learning Perspective, John Wiley & Sons, 2012 [3] Malhotra, P.; Ramakrishnan, A.; Anand, G.; Vig, L.; Agarwal, P.; Shroff, G.; LSTM-based Encoder-Decoder for Multi-sensor Anomaly Detection, ICML 2016 [4] Malhotra, P.; Vig, L.; Shroff, G.; Agarwal, P.: Long Short Term Memory Networks for Anomaly Detection in Time Series, ESANN, 2015 [5] Ruff, L.; Geier, F.; Gierke W.; Stebner A.; Thevessen, D.; Fischer, M.; Kellermeier, T.; Kesar, D.; Müller, E.: A Systematic Evaluation of Deep Anomaly Detection Methods for Time Series, Under Review [6] Sakurada, M.; Yairi, T.: Anomaly Detection Using Autoencoders with Nonlinear Dimensionality Reduction, MLSDA, 2014