Internationales Verkehrswesen (68) 1 | 2016 80 Assistenzbasierte Spracherkennung für Fluglotsen Synergien aus der Kombination von Assistenzsystemen mit Spracherkennern Arrival-Management, Assistenzsystem, Fluglotse, Spracherkennung, Sprachkontext Assistenzsysteme unterstützen Nutzer in unterschiedlichsten Domänen bei komplexen Aufgaben. Weicht ein Nutzer von Systemvorschlägen ab, vergeht oft ein längerer Zeitraum, bis das System angemessen reagiert. Grund dafür ist die fehlende Kenntnis des Systems bzgl. der Motive des Nutzers abzuweichen. Diesem Problem begegnet der hier vorgestellte Arrival-Manager AcListant durch „Zuhören“ bei der Kommunikation zwischen Lotse und Piloten. Im Folgenden wird das neue Konzept der assistenzbasierten Spracherkennung eingeführt und seine Leistungsfähigkeit am Beispiel des Arrival- Managements dargelegt. Autoren: Hartmut Helmke, Jürgen Rataj, Jörg Buxbaum I n vielen Lebensbereichen unterstützen Assistenzsysteme Nutzer bei der Bewältigung komplexer, zeitkritischer Aufgaben. So werden an hochfrequentierten Flughäfen die Fluglotsen vermehrt- durch Anflugassistenzsysteme (Arrival-Manager, AMAN) bei der Erzeugung einer maximalen Landerate unterstützt. Weicht ein Nutzer von Vorschlägen des Systems ab, vergeht längere Zeit, bis das System angemessen auf die Entscheidung des Operateurs, den Vorschlägen des Systems nicht zu folgen, reagiert und die Unterstützung anpasst. Grund dafür ist häufig die fehlende Kenntnis des Systems bzgl. der Motive des Nutzers für eine Abweichung von Systemvorschlägen. Diesem Problem begegnet der vorgestellte Arrival-Manager AcListant durch „Zuhören“. Beim Verfolgen der Kommunikation zwischen Lotse und Piloten erhält das System Informationen zum zukünftigen Vorgehen der Beteiligten. In Validierungsläufen mit Lotsen unterschiedlicher Nationalitäten erreichte der spezielle Spracherkenner Erkennungsraten oberhalb von 95 % - eine entsprechend schnelle und exakte Anpassung der Assistenz wurde damit möglich. Foto: Pixabay TECHNOLOGIE Wissenschaft Internationales Verkehrswesen (68) 1 | 2016 81 Wissenschaft TECHNOLOGIE Problemstellung Wie beschrieben haben Unterstützungssysteme Probleme, wenn sie den Menschen in seinen Handlungen nicht verstehen. Jedermann kennt die Situation beim Autofahren, vom Navigationssystem zum „Wenden“ aufgefordert zu werden, weil man entgegen des Systemvorschlages nicht in die vorgesehene Straße einfährt. In ähnlicher Art und Weise entstehen auch Abweichungen zwischen den vom Lotsen gegebenen Anweisungen und den Anweisungen, die das Assistenzsystem dem Lotsen vorschlägt. So wird ein Flugzeug mit einem medizinischen Notfall an Bord an anderen Flugzeugen vorbei auf kürzestem Weg zur Piste geleitet, ohne sich in die bestehende Anflugreihenfolge einordnen zu müssen. Solche Anpassungen an eine sich plötzlich veränderte Situation werden in der Luftfahrt zwischen dem Lotsen und dem betroffenen Piloten über Sprechfunk verabredet. Im Fall des Flugzeuges mit dem Notfall verändert sich die Strategie, mit der der Lotse den Verkehr nun führt, erheblich. Heutige Arrival-Manager nutzen das im System hinterlegte „Wissen“ zur Bildung von Anflugreihenfolgen, um dem Lotsen optimale Vorschläge zum Aufbau einer Anflugreihenfolge zu liefern. Bei Abweichungen zwischen der Strategie des Lotsen und der Strategie des Systems nutzen konventionelle Arrival-Manger die „Beobachtung“ des Luftverkehrs mittels Radardaten zur Anpassung an die realen Flugbewegungen. Somit basiert die Unterstützung des Lotsen auf Annahmen des Assistenzsystems bezüglich der zukünftigen Situationen unter Verwendung von historischen Daten. Da sich in diesen Daten eine Veränderung der Strategie in der Führung erst bei der Ausführung vereinbarter Manöver zeigt, werden über einen gewissen Zeitraum Anweisungsvorschläge vom Assistenzsystem basierend auf einer unzutreffenden Strategie geliefert. Diese Vorschläge sind für den Lotsen nicht brauchbar. Die durch die Sondersituation wachsend komplexe Aufgabe wird nicht mehr unterstützt. Dieser Umstand führt zu erheblichen Akzeptanzproblemen bei derartigen Systemen. Damit liegt wie oben beschrieben die große Herausforderung bei Assistenzsystemen darin, die Unkenntnis bezüglich der Intention des Lotsen zu überwinden. Lösungsansatz In der Flugverkehrskontrolle (Air Traffic Control, ATC) basieren die Handlungen der Beteiligten auf dem Situationsbild, das sich aus den Radardaten und der Kommunikation der Beteiligten aufbaut. Diese Kombination aus einem sensorbasierten Lagebild verbunden mit kommunikationsbasierter Handlungsplanung findet sich in verschiedenen Domänen. Gemeinsam ist in diesen Umfeldern, dass die Absichten der Beteiligten durch Kommunikation untereinander vereinbart und anschließend so umgesetzt werden. Im ATC-Umfeld gibt der Fluglotse Anweisungen und Freigaben, die im Normalfall von den Piloten so umgesetzt werden. Ausgehend von der Problembeschreibung und der beschriebenen Arbeitssituation besteht der Lösungsansatz des hier vorgestellten neuen Konzeptes im Mithören, Verstehen und Nutzen der Kommunikation zwischen den Beteiligten im ATC-Umfeld. Damit wird es für das Assistenzsystem möglich, seine Vorschläge zur Problemlösung auf den aktuell getroffenen Entscheidungen zwischen den Beteiligten und somit auf die gemeinsame Intention auszurichten. Mit diesem Vorgehen basiert die Unterstützung nicht mehr auf Annahmen des Systems, sondern auf einem abgesprochenen gemeinsamen Vorgehen. Dieses Konzept erfordert einen Spracherkenner zum Mithören der Kommunikation zwischen Piloten und Lotsen. Der Spracherkenner muss eine Fehlerrate im unteren einstelligen Prozentbereich besitzen, um eine zuverlässige Unterstützung zu ermöglichen. Möglich wird dies mit einem Kontextbezug der Spracherkennung. Bei diesem Konzept wird das aktuelle Wissen des Assistenzsystems bzgl. der weiteren situativen Entwicklung genutzt, um den Sprachraum des Erkenners dynamisch einzuschränken. Der Spracherkenner verbessert somit nicht nur das Assistenzsystem, sondern das Assistenzsystem verbessert auch den Spracherkenner. Basierend auf der erkannten Kommunikation zwischen Lotse und Pilot ist das Assistenzsystem wiederum in der Lage, passendes aktuelles Wissen über die zukünftige Situation zu erzeugen und dem Spracherkenner zur Reduktion des Sprachraumes zur Verfügung zu stellen. Bild 1: Systemarchitektur der assistenzbasierten Spracherkennung Internationales Verkehrswesen (68) 1 | 2016 82 TECHNOLOGIE Wissenschaft Dieser allgemeine Ansatz wurde genutzt, um den Arrival-Manager AcListant (Active Listening Assistant) aufzubauen. Aus der Kommunikation zwischen dem Lotsen und den beteiligten Piloten wird die Strategie des Lotsen zum Aufbau einer Anflugreihenfolge ermittelt und vom Assistenzsystem im Folgenden bei seiner unterstützenden Planung berücksichtigt. Der konkrete Aufbau beruht auf einem allgemeinen Ansatz und somit kann dieses Vorgehen auch auf andere Domänen übertragen werden. Assistenzbasierte Spracherkennung Die folgende Abbildung beschreibt das Konzept der assistenzbasierten Spracherkennung, das gemeinsam vom DLR und der Universität des Saarlandes entwickelt wurde. Ein Assistenzsystem (hier der Arrival-Manager 4D- CARMA des DLR) analysiert die aktuelle Situation im Luftraum und sagt zukünftige Zustände voraus. Die Ausgaben des Assistenzsystems, Kontext genannt, werden vom „Hypothesen-Generator“ verwendet, um zukünftige mögliche Kommandos des Lotsen vorherzusagen (Bild 1). Die Hypothesen sind Eingang in den Spracherkenner-Teil (rechter Teil in Bild 1). Sie werden zum dynamischen Aufbau des aktuellen Sprachsuchraums verwendet. Das Sprachsignal der Sprachaufzeichnung wird in einen Merkmalsvektor umgewandelt. Davon ausgehend wird vom Worterkenner die Folge von Wörtern geliefert, die im aktuellen Suchraum liegt und bei gegebenem Merkmalsvektor am wahrscheinlichsten ist. Die wahrscheinlichste Wortfolge könnte z. B. lauten: “Lufthansa four nine six thank you normal speed however maintain one seven zero knots or greater to six miles final descend altitude three thousand …”. Hierbei interessiert nicht jedes einzelne Wort. Benötigt werden lediglich die im Fettdruck dargestellten relevanten Konzepte. Die Aufgabe, die Konzepte zu extrahieren, übernimmt die „Kommandoextraktion“, die z. B. die Kommandos „DLH496 SPEED_OR_ABOVE 170, DLH496 DESCEND 3000“ erzeugt. Die erkannten Kommandos gehen zurück an die Plausibilitätsprüfung, die nochmals prüft, ob die erkannten Kommandos in der aktuellen Situation sinnvoll sind. Ist das der Fall, werden sie zur Anpassung der Situation an das Assistenzsystem weitergeben. Weitere Details können [1] entnommen werden. Systemvalidierung Die Abschlussvalidierung des entwickelten Prototypen AcListant fand von Februar bis März 2015 im Simulator des DLR in Braunschweig mit elf Fluglotsen aus Deutschland, Österreich und Tschechien statt. Der Basisaufbau für die Validierung bestand aus einem Lotsenarbeitsplatz für das Anflugmanagement und zwei Pseudopiloten-Stationen. Als Luftraum wurde der Flughafennahbereich von Düsseldorf ausgewählt. Auf dem Bildschirm links oben in Bild 2 werden dem Lotsen die vom Spracherkenner erkannten Kommandos angezeigt. Die Eingaben des Spracherkenners werden sofort für eine mögliche Plananpassung vom Arrival Manager genutzt und die aktuell geplante Trajektorie dem Lotsen für ein an- Bild 2: Validierung des AcListant-Systems im Februar 2015 im ATMOS Bild 3: Subjektive Lotsenbewertung von Sequenz- und Trajektorien-Übereinstimmung bei unterschiedlichen Unterstützungsgraden Bild 4: Manuelle Eingabe aller Anweisungen mit Maus und Tastatur Internationales Verkehrswesen (68) 1 | 2016 83 Wissenschaft TECHNOLOGIE gesprochenes Flugzeug auf dem Haupt-Radarschirm in der Bildmitte in Gelb angezeigt. Der Bildschirm ganz rechts dient zur Abfrage der Arbeitsbelastung. In den Versuchen wurden zwei unterschiedliche Hypothesen geprüft: 1. Der AcListant-AMAN unterstützt den Lotsen besser als ein Standard-AMAN. 2. Der AcListant-AMAN unterstützt den Lotsen auch besser als ein AMAN, der anstelle der Spracheingabe eine Eingabe per Maus und Tastatur besitzt. Zur Prüfung beider Hypothesen wird jeweils das Vergleichsszenario (Baseline) Standard-Arrival-Manager-Unterstützung mit der aktuellen Arbeitsweise der Düsseldorfer Lotsen verwendet. Der AMAN ermittelt somit die Intension des Lotsen lediglich aus den Radardaten. Die gegebenen Lotsenkommandos stehen dem AMAN nicht zur Verfügung. Bei Hypothese 1 wird diese Basis-Unterstützungsleistung gegenüber der Unterstützung durch Spracherkennung als zusätzlichen Eingabekanal verglichen. Bei Hypothese 2 werden Maus und Tastatur für zusätzlichen Input gewählt. Auf diese Weise lässt sich der spezifische Einfluss der Spracherkennungserweiterung beim AMAN untersuchen. Insgesamt bearbeitete jeder der elf Lotsen nach einem Training sechs verschiedene Szenarien mit den unterschiedlichen Unterstützungsgraden und Eingabemöglichkeiten (siehe [1]). Ergebnisse Die Unterstützungsleistung des Assistenzsystems wird in diesem Fall über die Betrachtung der Zeitdauer der Abweichung zwischen der vom AMAN geplanten Trajektorie des Flugzeugs und der tatsächlich geflogenen Trajektorie bestimmt. Je geringer diese Abweichung ist, desto geringer ist die Zeit, in der das Assistenzsystem mit einer vom Lotsen abweichenden Strategie Vorschläge zur Führung des Luftverkehrs unterbreitet. Diese Zeitdauer konnte nahezu um den Faktor 3 reduziert werden. Beim AcListant-System gab es nur während 5,0 % der Zeitdauer des Versuchslaufs eine Abweichung der beiden Trajektorien gegenüber 14,8 % mit der Baseline. Geplante und tatsächliche Sequenz stimmten beim AcListant- AMAN im Durchschnitt zwei Minuten früher überein. Eine zügige Übereinstimmung bei der Strategie zwischen Lotse und Assistenzsystems ist vor allem bei Strategiewechseln für die Akzeptanz durch die Nutzer von hoher Bedeutung. Beim Strategiewechsel muss für alle Flugzeuge geklärt werden, ob eine Anpassung an die neue Strategie erforderlich ist, womit eine hohe Arbeitslast verbunden ist. Speziell diese Arbeitslastspitzen werden durch den AcListant-AMAN aufgefangen. Die objektiven Messwerte stimmen mit den subjektiven Lotsenfeedbacks überein. Die Lotsen wurden alle fünf Minuten aufgefordert, Schulnoten für die Sequenz- und Trajektorienplanung zu vergeben. Bild 3 zeigt in Blau die Lotsenbewertung der Übereinstimmung der Sequenzplanung und in Rot die der geplanten und geflogenen Trajektorien. Bei der Baseline bewerten die Lotsen die Überstimmung zwischen System und ihrem mentalen Modell bei der Sequenzplanung mit 1,9 und bei der Trajektorien- Übereinstimmung mit 2,5. Im Fall des AcListant-Systems ist die Zufriedenheit der Lotsen bei der Sequenzplanung mit 1,7 und bei der Trajektorien-Übereinstimmung mit 2,2 deutlich besser. Entsprechende Ergebnisse zeigt der Vergleich zwischen AcListant und dem mausunterstützten AMAN in der Bildmitte. Dies liegt an der zusätzlichen Arbeitsbelastung und daran, dass die Eingabe per Maus nicht so zuverlässig erfolgte. So wurden 91,9% der gegebenen Kommandos vom Spracherkenner bei einer Fehlerrate von 2,2 % erkannt. Mit der Maus wurden lediglich 77,6 % der Kommandos korrekt eingeben, der Rest wurde entweder falsch oder gar nicht eingegeben. Weitere Details können [2] entnommen werden. Im November und Dezember 2015 fand eine erneute Versuchskampagne zur Quantifizierung der Reduktion der Lotsenarbeitsbelastung mittels Spracherkennerunterstützung statt. Hierbei wurden von acht Lotsen über 11 000 Kommandos gegeben. Die Erkennungsrate konnte weiter auf 95 %, bei 1,7 % Fehlerrate, gesteigert werden. Zusammenfassung In diesem Artikel wurde die assistenzbasierte Spracherkennung am Beispiel eines Lotsenunterstützungssystems präsentiert. Diese ermöglicht eine Verbesserung der Assistenzleistung, indem das Assistenzsystem neben den Radardaten die Kommunikation zwischen Lotse und Piloten nutzt. Die Kombination von Assistenzsystem mit Spracherkennung führt nur durch die vom Assistenzsystem dynamisch bereit gestellten Kontextinformationen zu den erforderlichen Kommandoerkennungsraten von 95% und mehr. Auch in vielen anderen Domänen sind solch signifikante Verbesserungen von Assistenzleistungen durch die Verwendung von Assistenzbasierter Spracherkennung aus Sicht der Autoren möglich. ■ liTERATuR [1] Helmke, H., Rataj, J. et al.: Assistant-Based Speech Recognition for ATM Applications; in: 11th ATM R&D Seminar (ATM2015), Lissabon, Portugal, Juni 2015 [2] Gürlük, H., Helmke, H. et al.: Assistant Based Speech Recognition - Another Pair of eyes for the Arrival Manager; 34th Digital Avionics Systems Conference (DASC), Prag, Tschechien, Sep. 2015 Jürgen Rataj, Dipl.-Ing. Abteilungsleiter Lotsenassistenz, Deutsches Zentrum für Luft- und Raumfahrt e.V., Braunschweig juergen.rataj@dlr.de Hartmut Helmke, Hon. Prof. Dr.-Ing. Projektleiter AcListant, Deutsches Zentrum für Luft- und Raumfahrt e.V., Braunschweig hartmut.helmke@dlr.de Jörg Buxbaum, Dipl.-Ing. Leiter R&D-Team Air Traffic Management, DFS Deutsche Flugsicherung GmbH, Bereich Planung und Innovation, Langen joerg.buxbaum@dfs.de