eJournals Fachkongress Konstruktiver Ingenieurbau 1/1

Fachkongress Konstruktiver Ingenieurbau
fki
expert verlag Tübingen
051
2022
11

Ganzheitliche Raumregelungen mit maschinellem Lernen individuell gedacht

051
2022
Silas Kalmbach
Walter Haase
Lucio Blandini
In diesem Beitrag wird eine sich selbst optimierende Raumregelung präsentiert, welche möglichst viele Einflussparameter berücksichtigt, um den steigenden Anforderungen, an eine Raum- und Gebäuderegelung wie der Reduzierung von klimaschädlichen Emissionen und der Optimierung des Energieverbrauchs bei Sicherstellung eines hohen Nutzerkopforts, gerecht zu werden. Anwendung in der Regelung finden Methoden des bestärkenden Lernens unter Einbindung eines künstlichen neuronalen Netzes. Beim bestärkenden Lernen werden Lernvorgänge der belebten Natur in technischen Abläufen nachgeahmt. Anhand der Interaktion mit einer Simulation, durch das Steuern der Heizung, Kühlung, künstlichen Beleuchtung und einer in der Transmission schaltbaren Fassade, erfährt die Regelung in Abhängigkeit der Güte der erzielten Beleuchtungsstärke- und Temperaturwerte im Innenraum sowie dem dafür nötigen Energieaufwand eine Bewertung. Diese Bewertung wird herangezogen, um eine sukzessive Anpassung und Optimierung des Regelverhaltens im zugrundeliegenden neuronalen Netz der Regelung zu erreichen. Durch die Interaktion mit der Simulation konnte gezeigt werden, dass eine Regelung auf Grundlage von Methoden des bestärkenden Lernens in der Lage ist, einen Raum auf eine geforderte Temperatur und auf eine geforderte Beleuchtungsstärke wirkungsvoll zu regeln. Eine besondere Effizienz zeigte das neuronale Netz bei der Regelung der künstlichen Beleuchtung durch das Deaktivieren ineffizienter Leuchtmittel zum Einhalten der Anforderungen an die Beleuchtungsstärken bei gleichzeitiger Minimierung des Energiebedarfs.
fki110087
1. Fachkongress Konstruktiver Ingenieurbau - Mai 2022 87 Ganzheitliche Raumregelungen mit maschinellem Lernen individuell gedacht Silas Kalmbach, M. Sc. Institut für Leichtbau Entwerfen und Konstruieren/ Universität Stuttgart, Stuttgart, Deutschland Dr.-Ing. Walter Haase Institut für Leichtbau Entwerfen und Konstruieren/ Universität Stuttgart, Stuttgart, Deutschland Prof. Dr.-Ing. M. Arch. Lucio Blandini Institut für Leichtbau Entwerfen und Konstruieren/ Universität Stuttgart, Stuttgart, Deutschland Werner Sobek AG, Stuttgart, Deutschland Zusammenfassung In diesem Beitrag wird eine sich selbst optimierende Raumregelung präsentiert, welche möglichst viele Einflussparameter berücksichtigt, um den steigenden Anforderungen, an eine Raum- und Gebäuderegelung wie der Reduzierung von klimaschädlichen Emissionen und der Optimierung des Energieverbrauchs bei Sicherstellung eines hohen Nutzerkopforts, gerecht zu werden. Anwendung in der Regelung finden Methoden des bestärkenden Lernens unter Einbindung eines künstlichen neuronalen Netzes. Beim bestärkenden Lernen werden Lernvorgänge der belebten Natur in technischen Abläufen nachgeahmt. Anhand der Interaktion mit einer Simulation, durch das Steuern der Heizung, Kühlung, künstlichen Beleuchtung und einer in der Transmission schaltbaren Fassade, erfährt die Regelung in Abhängigkeit der Güte der erzielten Beleuchtungsstärke- und Temperaturwerte im Innenraum sowie dem dafür nötigen Energieaufwand eine Bewertung. Diese Bewertung wird herangezogen, um eine sukzessive Anpassung und Optimierung des Regelverhaltens im zugrundeliegenden neuronalen Netz der Regelung zu erreichen. Durch die Interaktion mit der Simulation konnte gezeigt werden, dass eine Regelung auf Grundlage von Methoden des bestärkenden Lernens in der Lage ist, einen Raum auf eine geforderte Temperatur und auf eine geforderte Beleuchtungsstärke wirkungsvoll zu regeln. Eine besondere Effizienz zeigte das neuronale Netz bei der Regelung der künstlichen Beleuchtung durch das Deaktivieren ineffizienter Leuchtmittel zum Einhalten der Anforderungen an die Beleuchtungsstärken bei gleichzeitiger Minimierung des Energiebedarfs. 1. Einführung Mit dem Klimaschutzgesetz 2021 „Generationenvertrag für das Klima“ setzt sich die Bundesregierung zum Ziel ihre Treibhausgasemissionen gegenüber dem Stand von 1990 bis 2040 um 88 % zu senken und bis 2045 Klimaneutral zu werden. Als Etappenziel wird eine Verringerung der Emissionen um 65 % bis 2030 angestrebt (Bundesregierung, 2021). Hierfür müssen alle Wirtschaftszweige im Rahmen ihrer technologischen und wirtschaftlichen Potenziale zum Übergang zu einer CO²-armen Wirtschaft beitragen. Um dieses Ziel zu erreichen, müssen in den kommenden Jahrzehnten tiefgreifende technologische Innovationen gefördert sowie weitreichende wirtschaftliche Umstrukturierungen durchgeführt werden. Neben dem Energiesektor und der Automobilbranche ist vor allem in der Baubranche eine Umorientierung zu ökonomisch sowie ökologisch lukrativen Konzepten dringend erforderlich. So entfällt heute ein Drittel der CO ² -Emissionen in Deutschland auf den Betrieb des derzeitigen Immobilienbestands (BMWi, 2019). In Deutschland werden 32 % des gesamten Endenergiebedarf für das Heizen, Kühlen und Beleuchten aufgewendet (BMWi, 2019). Ein Teilaspekt zur Reduzierung der CO ² -Emissionen ist es daher den Energiebedarf für den Betrieb eines Gebäudes, welches das Lüften, das Beleuchten, das Heizen oder das Kühlen beinhaltet, zu minimieren. 88 1. Fachkongress Konstruktiver Ingenieurbau - Mai 2022 Ganzheitliche Raumregelungen mit maschinellem Lernen individuell gedacht Abbildung 1: Anteile der Anwendungsbereiche am Endenergiebedarf 2008 und 2017 (BMWi, 2019) Mit ca. 64 % sind über die Hälfte der gebauten Bestandsgebäude in Deutschland noch vor der ersten Wärmschutzverordnung gebaut worden. Diese hohe Zahl an, besonders im Hinblick auf ihre Gebäudekonditionierung, ineffizienten Bestandsgebäuden benötigen ein Vielfaches an Energie eines Neubaus (BMWi, 2014). Zudem nutzen deren Heizsysteme überwiegend Öl und Gas (BMWi, 2014), was zu hohen Treibhausemissionen führt. Eine energetische Ertüchtigung ist für diese Gebäude dringend notwendig, jedoch nicht immer ohne weiteres umsetzbar. Denkmalschutz, die aufzuwenden Kosten einer Sanierung oder schlichtweg die Inkompatibilität verschiedener Systeme der Gebäudetechnik stellen hier Hindernisse dar. Zudem verschärft der aktuelle Handwerkermangel diese Problematiken weiter. Daher müssen günstige sowie umsetzbare Alternativen und Ergänzungen zu der konventionellen Dämmung geschaffen werden. Intelligente Raum- und Gebäuderegelungen sind nicht nur bei fehlender Modernisierung im Altbau sinnvoll, sondern auch als Ergänzungsmaßnahme sowie bei der Optimierung im Neubau. Um die Energiebilanz im Hinblick auf das Heizen, Beleuchten, Lüften und Kühlen von Bauwerken signifikant zu verbessern, müssen besonders die Gebäuderegegelungen in Zukunft effizienter und funktionaler werden, um zur Senkung des Energieaufwands der Konditionierung beizutragen. Abbildung 2: Verteilung des Wohngebäudebestands gruppiert nach Baualter in Deutschland (BMWi, 2014). 1. Fachkongress Konstruktiver Ingenieurbau - Mai 2022 89 Ganzheitliche Raumregelungen mit maschinellem Lernen individuell gedacht Durch den Einsatz von lernfähigen Algorithmen (z.B. zur Bestimmung von Wahrscheinlichkeiten der Anwesenheit von Personen in Räumen oder dem Erlernen der Vorlaufzeiten von Heizkörper) in der Gebäudekonditionierung kann bereits zum jetzigen Zeitpunkt der Energiebedarf signifikant reduziert werden. Daher ist es wichtig, diese Techniken dahingehend weiterzuentwickeln, dass diese von der Montage bis zum Betrieb eine reibungslose Integration in Bestandsgebäude aber auch Neubauten ermöglicht. Zusätzlich wird in der Gebäudeverwaltung für öffentliche Gebäude, Bürogebäude, etc. eine leichtgewichtige und nachrüstbare Lösung benötigt zur Überwachung der Gebäudetechnik mit den Zielen einer Nachvollziehbarkeit der Energiekosten, einer Minimierung der Wartungskosten und des Energiebedarfs sowie die Vermeidung von Defekten und Ausfällen. Die zum 1. Januar 2022 gestiegene CO ² -Abgabe auf Heizöl und Gas von nun 30 Euro pro Tonne CO ² muss ab dem 1. Juni zwischen Vermieter und Mieter zu gleichen Teilen getragen werden. Zudem unterstützt die Ampelkoalition durch Zuschüsse energetische Sanierungen (Steinhauer, P., 2021). Durch diese politische Entscheidung ist in naher Zukunft damit zu rechnen, dass auch Vermieter verstärkt nach Möglichkeiten suchen, ihre Gebäude energetisch effizienter zu konditionieren. Um diesen Anforderungen gerecht zu werden, sind ganzheitliche Konzepte der Gebäuderegelung, welche möglichst viele Einflussparameter berücksichtigen, erforderlich. Die am Institut für Leichtbau Entwerfen und Konstruieren (ILEK) und im Sonderforschungsbereichs 1244 „Adaptive Hüllen und Strukturen für die gebaute Umwelt von morgen“ (SFB1244) der Universität Stuttgart entwickelten und in Entwicklung befindlichen Ansätze zur Adaptivität im Bauwesen bieten Potenziale für die Steigerung der Energieeffizienz sowie des Nutzerkomforts. Als adaptive Systeme werden gesteuerte oder selbstorganisierende Vorgänge, welche sich aktiv verändern, im Sinne einer Anpassungsfähigkeit verstanden (Sobek, W. et al., 2021). Ein relevantes Feld für die Effizienzsteigerung in Gebäuderegelungen stellt der Einsatz adaptiver Fassaden dar, welche durch gezielte Manipulation ihre bauphysikalischen Eigenschaften ändern. Der von den Autoren untersuchte Ansatz zur Lösung dieser Aufgabe basiert auf der Anwendung von Methoden des bestärkenden Lernens zur Regulierung der Innenraumtemperatur, zur Ansteuerung der Innenraumbeleuchtung sowie zum Dimmen einer adaptiven Verglasung, deren Transmissionsgrad einstellbar ist. Dies ist ein vielversprechender Ansatz, um Reibungen bei der Inbetriebnahme von Gebäudeleittechniken zu minimieren und die Energieeffizienz maßgebend zu steigern. Umgesetzt wurde die Regelung in Form einer realitätsnahen und instationären Gebäudesimulation mit der Kopplung von Gebäudeklima-, Tageslichtberechnungen und dem Algorithmus des bestärkenden Lernens. Simuliert wurde ein räumliches Gebäudemodell, welches sich in Geometrie und Topologie an einem Testgebäude, welches vom ILEK betrieben wird, orientiert. Abbildung 3 zeigt die am gesamten Testgebäude sowie die für den Testraum verfügbare Sensorik des Testgebäudes. Die mit Bezeichnungen gekennzeichneten Messpunkte wurden in die Simulation und Regelung mit aufgenommen. Abbildung 3: Sensorübersicht des Referenzraumes (Haase u. Husser 2018) Die Regelung sollte in der Lage sein, kontinuierlich, unter Einbeziehung von Informationen der Sensorik und anhand von beleuchtungstechnischen, thermischen und energetischen Bewertungskriterien ihre Regelungszustände der technischen Gebäudeausstattung anpassen und optimieren zu können. Als beleuchtungstechnisches Kriterium ist eine Beleuchtungsstärke von 500 lx auf Grundlage der DIN EN 12464- 1 einzuhalten. Die thermischen Randbedingungen beziehen sich auf einen einzuhaltenden Temperaturbereich im Innenraum, welcher von 20 °C bis 26 °C nach DIN EN 12831-1 definiert ist. Der Regelung stehen zur Konditionierung des Innenraums die in Abbildung 4 dargestellten Komponenten zur Verfügung. Diese sind an den Innenwänden angebrachte Kapillarrohrmatten zur flächigen Heizung und Kühlung, drei dimmbare Beleuchtungsmittel, welche zur Ansteuerung in zwei Gruppen eingeteilt sind, sowie eine in der Licht- und Energiedurchlässigkeit regelbare Verglasung. 90 1. Fachkongress Konstruktiver Ingenieurbau - Mai 2022 Ganzheitliche Raumregelungen mit maschinellem Lernen individuell gedacht Abbildung 4: Übersicht der regelbaren technischen Ausstattung des Referenzraumes Eine erwähnenswerte Besonderheit stellen die adaptiven Verglasungen dar. Hierbei handelt es sich unter anderem um Verglasungen des Unternehmens Merck Window Technologies B.V. einem Tochterunternehmen der Merck KGaA vom Typ Eyrise s350. Für die Entwicklung des Produktes wurden Flüssigkristallmoleküle verwendet, welche es ermöglicht schnelle Schaltgeschwindigkeiten zu realisieren und ein farbneutrales Erscheinungsbild zu wahren. Dies ermöglicht eine Regulierung des Licht- und Energieeintrags in den Raum (Merck KGaA). Für Langzeituntersuchungen und der Erprobung von Regelungskonzepten sind im, vom ILEK betriebenen, Testgebäude zwei Räume mit der Verglasung ausgestattet. Diese besitzen eine Strukturierung von je vier Elementen, welche sich individuell ansteuern lassen. Dies ermöglicht durch selektive Ansteuerung Effekte wie z.B. die Belendung zu berücksichtigen und gleichzeitige solare Gewinne nicht auszuschließen. Abbildung 5: Innen- und Außenansicht der eingebauten schaltbaren Verglasungen 2. Künstliche Neuronale Netzstruktur In dem Bestreben, das Verhalten von Neuronen und ihr Zusammenspiel in Nervensystemen nachzubilden, repräsentieren künstliche neuronale Netze eine vereinfachte, in mathematische Funktionen überführte Analogie eines biologischen Systems (Ertel 2016). Diese Netze sind in der Lage, Eingabedaten (Informationen) zu verarbeiten und daraus Ausgabedaten zu liefern. Eingabedaten im Sinne der Regelungsaufgabe sind beispielsweise die Innenraumtemperatur oder die relative Umgebungsluftfeuchtigkeit. Ausgabedaten hingegen sind beispielsweise Schaltvorgaben für den Transmissionsgrad der adaptiven Verglasung zur Regelung der Licht- und Energiedurchlässigkeit oder Einstellwerte für des Heiz- und Kühlsystems. Eine Vernetzung von mehreren künstlichen Neuronen bildet ein künstliches neuronales Netz. Diese Vernetzungen können unterschiedlichste Ausprägungen haben. Im Rahmen dieser Untersuchung wurde ein mehrschichtiges feedforward-Netz verwendet. Bei diesem ist jedes Neuron aus einer Schicht mit allen Neuronen der nächsten sowie der vorangegangenen Schicht verbunden. Um eine Ausgabe aus einer gegebenen Eingabe zu erhalten, werden die Informationen von Schicht zu Schicht weitergegeben. Jeder Eingabewert eines Neurons ist dabei mit einer Gewichtung (engl. Weigt) versehen, jedem Neuron wird ein Schwellwert (engl. Bias) addiert. Die Summe dieser Terme bildet die Eingabe einer Funktion, welche als Aktivierungsfunktion bezeichnet wird. Die Ausgabe eines Neurons ist somit das Ergebnis seiner Aktivierungsfunktion (Frochte 2019). In Abbildung 6 sind die Abhängigkeiten eines einzelnen künstlichen Neurons von dessen Eingabewerten ( i n ) , der Gewichte (w n ) sowie der Aktivierungsfunktion dargestellt. Abbildung 6: Mathematisches Modell eines künstlichen Neurons (nach: Frochte 2019) Ein mehrschichtiges Netz ist gegeben, sobald das neuronale Netz mehr als eine verborgene Neuronenschicht (engl. Hidden Layer) besitzt (Dutta 2018). 1. Fachkongress Konstruktiver Ingenieurbau - Mai 2022 91 Ganzheitliche Raumregelungen mit maschinellem Lernen individuell gedacht Die vorgestellte Regelung verwendet eine Netzstruktur mit 25 Eingangswerten (siehe Tabelle 1), zwei verborgenen Neuronenschichten mit jeweils 64 Neuronen sowie zehn Ausgabewerten, mit welchen fünf Regelzustände ermittelt werden. Abbildung 7 zeigt den schematischen Aufbau der Netzstruktur. Um eine zuverlässige Netzstruktur zu gewährleisten sind Untersuchungen zu verschiedenen Netzkonfigurationen vorausgegangen. Dabei wurde die Regelgüte bei einer Netzstruktur von 8 bis 256 Neuronen je verborgene Schicht untersucht. Die in Tabelle 2 dargestellten Regelzustände werden anhand einer Wahrscheinlichkeitsverteilung, der Gaußschen Normalverteilung, ermittelt. Für jeden Regelzustand repräsentieren zwei Ausgabewerte des neuronalen Netzes die Standardabweichung und den Erwartungswert der Normalverteilung. Dies ermöglicht die Ausgabe von kontinuierlichen Werten, welche zur Definition der Regelzustände herangezogen werden (Sutton u. Barto 2018). Abbildung 7: Schematischer Aufbau des untersuchten neuronalen Netzes Die Eingabewerte für das neuronale Netz sind in Tabelle 1 aufgelistet. Tabelle 1: Eingabeparameter des künstlichen neuronalen Netzes Bezeichnung Einheit Windgeschwindigkeit (AM) m/ s Windrichtung (WF) ° Beleuchtungsstärke auf horizontalen Messpunkt BAmb lx Beleuchtungsstärke auf horizontalen Messpunkt B01 lx Beleuchtungsstärke auf horizontalen Messpunkt B02 lx Beleuchtungsstärke auf horizontalen Messpunkt B03 lx Relative Umgebungsluftfeuchtigkeit außen (Famb) % Schwellwert der Temperatur zum Aktivieren der Heizung °C Schwellwert der Temperatur zum Aktivieren der Kühlung °C Schaltzustand der Leuchtmittelgruppe L01 - Schaltzustand der Leuchtmittelgruppe L02 - Unterer Sollwert der Beleuchtungsstärke lx Direktstrahlung auf das Pyrheliometer (PH) W/ m² Globalstrahlung auf horizontales Pyranometer (PNH) W/ m² Globalstrahlung auf vertikales Pyranometer (PNV) W/ m² Anwesenheit von Personen - Tag des aktuellen Jahres als Dezimalzahl d Stunde des aktuellen Tages h Kühlenergiebedarf kJ/ h Heizenergiebedarf kJ/ h Energiebedarf der Beleuchtung kW Relative Innenraumluftfeuchtigkeit (F01) % Verschattungszustand der adaptiven Verglasung - Innenraumlufttemperatur (T01) °C Umgebungslufttemperatur außen (TAmb) °C Tabelle 2 stellt die durch das neuronale Netz ermittelten Regelzustände zur Steuerung der technischen Ausstattung dar. Tabelle 2: Parameter zur Regelung der technischen Ausstattung Bezeichnung Einheit Schwellwert der Temperatur zum Aktivieren der Heizung °C Schwellwert der Temperatur zum Aktivieren der Kühlung °C Schaltzustand der adaptiven Verglasung - Schaltzustand der Leuchtmittelgruppe L01 - Schaltzustand der Leuchtmittelgruppe L02 - Die Anwendung von Methoden des maschinellen Lernens lässt sich in drei Bereiche unterteilen. Diese sind 92 1. Fachkongress Konstruktiver Ingenieurbau - Mai 2022 Ganzheitliche Raumregelungen mit maschinellem Lernen individuell gedacht das überwachte Lernen (Anwendung z.B. bei Klassifizierungsaufgaben und der Regressionsanalyse), das unüberwachte Lernen (Anwendung z.B. bei der Mustererkennung und der Bildsegmentierung) sowie das bestärkende Lernen (Dutta 2018). 3. Bestärkendes Lernen Bestärkendes Lernen (engl. Reinforcement Learning), beschreibt eine Klasse von Methoden, bei denen Programme, welche als Agenten bezeichnet werden, mit einer bekannten oder unbekannten Umgebung in Interaktion treten. Aktionen des Agenten, welche innerhalb der Umgebung als erfolgreich einzuordnen sind, werden durch Belohnungen (engl. Rewards) honoriert. Das Ziel des Agenten ist es, die Belohnungen durch Anpassungen der Aktionen zu maximieren (Sutton u. Barto 2018). Die zur Anwendung kommenden Theorien entstammen unter anderem dem Darwinismus, den Neurowissenschaften oder der Verhaltenspsychologie (Dutta 2018). Am Beispiel der Simulation des Testgebäudes zeigt Abbildung 8 den grundlegenden Aufbau bei der Anwendung von bestärkendem Lernen. Die Simulation repräsentiert das Umfeld, mit welchem der Agent interagiert. Die in Tabelle 1 dargestellten Eingabeparameter, welche unter anderem aus der Simulation zum Innenraumklima und zu den Beleuchtungsstärken stammen, liefern dem Agenten die Informationen über die Umwelt. Die Umwelt besitzt hierbei eine Menge von Zuständen S. Auf der Grundlage dieser Zustände kann der Agent abhängig vom Status st ∈ S eine Aktion (Regelzustand) at ∈ A(st) für die Komponenten Heizung, Kühlung, Beleuchtung und Verschattung aus den verfügbaren Aktionen auswählen. Im gewählten Aufbau wird die Aktion durch das trainierte neuronale Netz vorgegeben. Dies führt zu einem Folgezustand st+1 ∈ S, in welchem er anhand einer Bewertung des erzeugten Zustandes eine Belohnung rt+1 ∈ R erhält (Frochte 2019). Abbildung 8: Grundlegende Architektur des bestärkenden Lernens Aus den zur Verfügung stehenden Methoden des bestärkenden Lernens findet der Proximal Policy Optimization (PPO) Algorithmus Anwendung in der Regelung. Dieser zeichnet sich durch einen effektiven Trainingsprozess aus und hat Mechanismen implementiert, welche für eine stabile und robuste Optimierung sorgen (Schulman et al. 2017). Der Algorithmus wurde 2017 von der Forschungseinrichtung OpenAI vorgestellt und konnte sich seither in einer Vielzahl von Aufgabenbereichen bewähren. Für die Evaluation der durch den Agenten ausgeführten Aktionen wurde eine Bewertungsfunktion definiert, welche durch zwei Komponenten beschrieben wird. Die erste Komponente bewertet die Innenraumtemperatur in Zusammenhang mit der benötigten Heiz- oder Kühlenergie. Die zweite Komponente analysiert die Beleuchtungsstärke am Messpunkt B01 (siehe Abbildung 3) in Abhängigkeit des Energiebedarfs der Leuchtmittel. Die Summe beider Komponenten bildet die Bewertungsfunktion, welche zu jedem Zeitschritt des Simulationsdurchlaufes für den Agenten eine Belohnung ermittelt. Abbildung 9: Belohnungskomponente abhängig vom Heiz- und Kühlenergiebedarf (Q) sowie der Innenraumtemperatur (T01) Abbildung 10: Belohnungskomponente abhängig vom Leuchtmittelenergiebedarf (Q) und der Beleuchtungsstärke an der Position B01 1. Fachkongress Konstruktiver Ingenieurbau - Mai 2022 93 Ganzheitliche Raumregelungen mit maschinellem Lernen individuell gedacht 4. Simulation Die für das bestärkende Lernen notwendige Interaktion mit dem Innen- und Außenraum wurde durch eine bauphysikalische Simulation zum Innenraumklima und den Beleuchtungsstärken abgebildet. Die von dem neuronalen Netz ermittelten Ausgaben (Regelungsvorgaben) für die Regelung der Raumheizung/ kühlung, der künstlichen Beleuchtung, sowie des Transmissionszustandes der adaptiven Verglasung werden in der angewandten bauphysikalischen Simulation berücksichtigt und führen zu einer Veränderung der Raumtemperatur, der Helligkeit und des Bedarfs an Energie für die Konditionierung. Über die Beurteilung der erzielten Raumklima und -beleuchtungszustände nach jedem Regelungsschritt durch die Bewertungsfunktion erfolgt eine sukzessive Verbesserung des Regelverhaltens des Netzes. Das Zusammenwirken von neuronalem Netz und der bauphysikalischen Simulation folgt dem in Abbildung 8 gezeigten Schema des bestärkenden Lernens. Um dem Agenten die Möglichkeit zu bieten, ausreichende Informationen über das Umfeld zu erlangen, ist es notwendig, die definierte Simulation fortlaufend auszuführen und zu wiederholen. Die Simulationsaufrufe wurden in Längen von je einem Monat eingeteilt. Dieser Simulationszeitraum wird weiterführend als Episode bezeichnet. Die für die Simulation verwendeten Klimadaten stammen von der Messdatenerfassung des Testgebäudes für das Jahr 2018. Verwendet wurde die Simulationssoftware TRNSYS 18, welche neben der Betrachtung des Innenraumklimas und des Energieaufwands auch eine Berechnung der tageslichtabhängigen Beleuchtungsstärken durch die Verknüpfung mit der Software DaySIM ermöglicht. 5. Simulationsergebnisse Das in Abbildung 11 dargestellte Zeitintervall, vom 01. bis 07. Januar 2019, befindet sich außerhalb der für das Einlernen des neuronalen Netzes verwendeten Klimadaten des Jahrs 2018. Im Vergleich zu den Ergebnissen der Simulation für das Jahr 2018 konnten keine gravierenden Verhaltensänderungen festgestellt werden, womit gezeigt werden kann, dass die erlernte Strategie nicht nur auf den in der Simulation verwendeten Klimadatensatz anwendbar ist, sondern im Rahmen der Untersuchung einer generalisierten Regelung entspricht. Abbildung 11: Außentemperatur (T Amb ) und Globalstrahlung (PNV) im Zeitraum vom 01. bis 07. Januar 2019 Abbildung 12 zeigen die Resultate der vom Agenten durchgeführten Regelung für das Zeitintervall im Januar 2019. Dargestellt sind die Innenraumtemperatur (T01), die Beleuchtungsstärke im Innenraum (B01), die Regelung der Heizung (HT Setpoint ) und Kühlung (CL Setpoint ), die Regelung der Leuchtmittelgruppen L01 und L02, der Schaltzustand der adaptiven Verglasung (Shadestep), der gesamte benötigte Energiebedarf (Q HE- AT + Q COOL + Q LIGHT ) und die resultierende Belohnung. Abbildung 12: Regelung nach 500 Episoden, für den Zeitraum vom 01. bis 07. Januar 2019 94 1. Fachkongress Konstruktiver Ingenieurbau - Mai 2022 Ganzheitliche Raumregelungen mit maschinellem Lernen individuell gedacht 5.1 Heizung und Kühlung Die Regelung der Heizung (HT Setpoint ) und Kühlung (CL Setpoint ) erfolgt über das Definieren der Schwellwerte der Temperatur zum Aktivieren der Heizung (bei Unterschreitung des Schwellwertes) und Kühlung (bei Überschreitung des Schwellwertes). Die Ergebnisse der Simulation zeigen, dass der Schwellwert der Heizung, mit vereinzelten Abweichungen, auf den geforderten Mindestwert von 20 °C eingestellt ist. Dies zeigt, dass es der Regelung gelungen ist, anhand des gegebenen Umfelds eine effiziente Einstellung zu definieren. Für die Regelung des Schwellwertes der Kühlung treten hingegen Schwankungen von 23 °C bis 28 °C auf. 5.2 Künstliche Beleuchtung Für die Regelung der künstlichen Beleuchtung können die zwei Leuchtmittelgruppen L01 und L02 über je sieben Zustände der Intensität angesteuert werden. Bei der Steuerung des Leuchtmittels L01 ist zu erkennen, dass dieses bei geringer Globalstrahlung eingeschaltet und bei hoher Globalstrahlung ausgeschaltet wird. Damit gelingt es der Regelung, die geforderten 500 lx Beleuchtungsstärke am Messpunkt B01 einzuhalten. Die Leuchtmittelgruppe L02 wurde hingegen durch die Regelung dauerhaft ausgeschaltet. Nachvollziehbar ist dies bei der Betrachtung der Beleuchtungsstärkenverteilung und des Energiebedarfs der Leuchtmittelgruppen (Siehe Abbildung 4). Bei maximaler Beleuchtungsstärke aller Leuchtmittel liegt der Beitrag der Leuchtmittelgruppe L02 auf den für die Bewertung herangezogenen Messpunkt B01 gerade einmal bei 12 %. Mit einem Energiebedarf von 13 W benötigt die Gruppe L02 allerdings 35 % der Energie am Gesamtanteil der künstlichen Beleuchtung. Die Verwendung der Leuchtmittelgruppe L02 ist daher ineffizient für das Einhalten des Sollwertes am Messpunkt B01. Dies hat die Regelung erkannt und vermeidet daher das Zuschalten der Leuchtmittelgruppe L02. 5.3 Adaptive Verglasung Die adaptive Verglasung bietet die Möglichkeit, durch eine stufenweise Einstellung der Transmission sowohl auf die belichtungstechnischen als auch thermischen Anforderungen im Innenraum Einfluss zu nehmen. Bei Betrachtung der Regelung der adaptiven Verglasung ist feststellbar, dass die Schaltstufe im Januar vermehrt auf den Wert Null geschaltet wird, was einer maximalen Transmission entspricht. Hierdurch lässt sich die Notwendigkeit der Benutzung der Leuchtmittel reduzieren. Beeinflusst wird dieses Resultat durch die unterschiedliche Einflussnahme des Schaltzustandes der Verglasung auf das sichtbare Licht und die gesamte in den Raum eingetragene Strahlungsleistung. Eine Einflussnahme auf die belichtungsabhängigen Parameter ist bei dem Verglasungstyp größer als der Einfluss auf die Innenraumtemperatur bzw. die Energieeinträge. 6. Ausblick Die präsentierten Untersuchungen konnten aufzeigen, dass die Verwendung von bestärkendem Lernen ein vielversprechender Ansatz zu Erzeugung individueller und energieeffizienter Gebäuderegelungen darstellt. Neben den ökologischen Aspekten der Reduzierung des Energiebedarfs spielen auch die ökonomischen Aspekte eine wichtige Rolle, welche adaptive und ganzheitliche Gebäuderegelungen gleichermaßen gerecht werden. Ein zu erwartender Vorteil der selbstlernenden Gebäuderegelungen ist eine Reduzierung der Wartungskosten für die Regelung durch eine Anpassung an sich geänderte Bedingungen, wie z.B. hervorgerufen anhand von Sensorausfällen, baulichen Änderungen am Gebäude, der Umgebungsbebauung oder Veränderungen der Vegetation im Gebäudeumfeld. Die grundlegende Struktur der selbstlernenden Regelung ist zudem auf beliebige Gebäudetypen und Gebäudeausstattungsvarianten adaptierbar. Damit diese Technik ihre Anwendung in die Regelungskonzepte der Raum und Gebäuderegelungen der Praxis findet, sind maßgebende Weiterentwicklungen notwendig. Um eine effiziente Regelung zu erhalten, tritt das neuronale Netz mittels des Agenten in eine Interaktion mit dem Gebäude und den Einflussparametern der Umgebung. Es ist dabei notwendig Sicherheitsmechanismen in das System der Regelung zu implementieren, die verhindern, dass es zu großen Abweichungen der Soll- Werte der Regelgrößen kommt, da eine Unterscheidung zwischen Kausalität und Korrelation dem Algorithmus grundlegend fremd ist. Diese benötigt weitere kritische Betrachtungen und Implementierung gezielter Abfragen, um die Güte und Zuverlässigkeit der Regelung automatisiert beurteilen zu können. Ein wichtiger weiterer Schritt wird es sein, die Regelung unter realen Bedingungen zu untersuchen. Besonders beim Transfer von der Simulation in ein reales Umfeld sind Unsicherheiten zu erwarten, welche ermittelt und beseitigt werden müssen. Diese können eine zu lange und damit unwirtschaftliche Einlernphase oder eine unzureichende Regelgüte sein. Hierfür ist angedacht mit Partnern aus Forschung und Wirtschaft die Reglung weiterzuentwickeln und auf realen Bedingungen anzuwenden und anzupassen. Zur Verfügung stehen hierfür an der Universität Stuttgart das vom ILEK betriebene Testgebäude sowie das Demonstrator-Hochhaus D1244 des SFB1244. Kern der Validierung des Konzepts zur Regelung stellt das in Leichtbauweise realisierte Demonstrator-Hochhaus D1244 dar. Dieses Gebäude weist eine Grundfläche von ca. fünf mal fünf Metern und eine Höhe von 36,5 Metern auf. Ausgestattet mit Aktoren im Tragwerk (Stützen und Diagonalen) ist das Gebäude in der Lage einwirkenden Belastungen entgegenzuwirken, wodurch 1. Fachkongress Konstruktiver Ingenieurbau - Mai 2022 95 Ganzheitliche Raumregelungen mit maschinellem Lernen individuell gedacht z.B. Verformungen und Beschleunigungen des Gesamttragwerks reduziert werden können und eine Bauweise im Sinne des Ultraleichtbus ermöglicht wird (Sobek, W. et al., 2021). Das Demonstrator-Hochhaus ist zunächst mit einer sogenannten Primärfassade ausgestattet, die aus auf Rahmen gespannte PES/ PVC-Membranen besteht, um den Witterungsschutz des Tragwerks, der Geschossdecken und der Aktoren zu gewährleisten. In Zusammenarbeit mit Partnern aus der Industrie bzw. als Ergebnisse der Forschungsarbeiten in einigen Teilprojekten des SFB1244 werden innovative und neuartige Fassadensysteme entwickelt, die etagenweise die Primärfassade ersetzen werden. Abbildung 13: Das Demonstrator-Hochhaus D1244 ausgestattet mit der Primärfassade sowie der Treppenturm (links) des SFB1244. Zur Weiterentwicklung und Erprobung der selbstlernenden Regelung unter realen Bedingungen bietet das Demonstrator-Hochhaus hervorragende Bedingungen. Eine Anwendung, der auf bestärkendes Lernen basierenden Reglung, auf die vielseitigen in Entwicklung befindlichen adaptiven Fassaden des SFB1244 bietet die Möglichkeit den Energiebedarf bei steigender Behaglichkeit der Nutzer weiter zu reduzieren. Für die Evaluation der adaptiven Fassaden wird jeder Raum des Demonstrator-Hochhauses mit einer Vielzahl an Sensoren (Thermoelemente, Helligkeitssensoren, Hygrometer, Pyranometer, etc.) ausgestattet werden. Die entwickelte Regelung soll aufbauend auf den Erfragungen der Regelungsentwicklung am ILEK und aus Erfragungen aus dem Forschungsprojekt DigitalTWIN weiterentwickelt und eingehend evaluiert sowie optimiert werden. Die ScaleIT-Plattform ist vorgesehen die Messdaten für die Regelung und die Partner zugänglich zu machen. Bei ScaleIT handelt es sich um eine Offline wie Online ansteuerbare Plattform mit Weboberfläche zur Ausführung von containerisierten Softwarediensten. Unter Container versteht man hier eine virtualisierte Abkapslung einzelner Softwareanwendungen von dem Host-System. Dadurch wird das Gesamtsystem robuster, da beim Ausfall einzelner Dienste die Verfügbarkeit des Gesamtsystems stets gewahrt bleibt. Zudem wird eine effiziente Skalierung der Anwendungen bei erhöhter Nachfrage ermöglicht. Durch eine für jeden Container individuelle Konfiguration seiner Abhängigkeiten kann eine flexible und effiziente Entwicklung und Implementierung neuer Anwendungen erfolgen. Dies soll die Basis bieten für die Erstellung der erforderlichen Datenbanken, Schnittstellen und Softwaredienste. Literatur [1] BMWi, 2014. „Sanierungsbedarf im Gebäudebestand: Ein Beitrag zur Energieeffizienzstrategie Gebäude“ [2] BMWi, 2019. „Energieeffizienz in Zahlen 2019: Entwicklungen und Trends in Deutschland 2019“ [3] DIN EN 12464-1, 2011. Licht und Beleuchtung - Beleuchtung von Arbeitsstätten, Teil 1: Arbeitsstätten in Innenräumen. [4] DIN EN 12831-1, 2017. Energetische Bewertung von Gebäuden - Verfahren zur Berechnung der Norm-Heizlast, Teil 1: Raumheizlast, Modul M3-3. [5] DigitalTWIN, 2021. Digitale Werkzeuge im Bauwesen mit dem Forschungsprojekt DigitalTWIN. Online verfügbar unter https: / / d-twin.eu/ , zuletzt geprüft am 09.08.2021. [6] Bundesregierung, 2021. Klimaschutzgesetz: Klimaneutralität bis 2045. Online verfügbar unter https: / / www.bundesregierung.de/ breg-de/ themen/ klimaschutz/ klimaschutzgesetz-2021-1913672, zuletzt geprüft am 16.08.2021 [7] Dutta, S., 2018. Reinforcement Learning with TensorFlow. Packt Publishing, Birmingham. [8] Ertel, W., 2016. Grundkurs Künstliche Intelligenz. 4., überarbeitete Auflage, Springer Vieweg, Wiesbaden. [9] Frochte, J., 2019. Maschinelles Lernen: Grundlagen und Algorithmen in Python. 2., aktualisierte Auflage, Hanser Verlag, München. [10] Haase, W. und Husser, M., 2018. Adaptive Verglasungssysteme: Einsatzbereiche, energetische und tageslichttechnische Evaluierung, Regelungsstra- 96 1. Fachkongress Konstruktiver Ingenieurbau - Mai 2022 Ganzheitliche Raumregelungen mit maschinellem Lernen individuell gedacht tegien. Abschlussbericht, Forschungsinitiative Zukunft Bau, Fraunhofer IRB Verlag, Stuttgart. [11] Kalmbach, S., 2020. W. Haase und W. Sobek, „Anwendung von Methoden des maschinellen Lernens zur ganzheitlichen Raumregelung“ in BauSIM 2020, S. 307-314. [12] Kalmbach, S., 2019. Entwicklung, Implementierung und Evaluation eines über Reinforcement Learning trainierten künstlichen neuronalen Netzes zur Raumkonditionierung, Masterarbeit, Universität Stuttgart. [13] Schulman, J. et al., 2017. Proximal Policy Optimization Algorithms, arXiv: 1707.06347v2 [cs.LG]. [14] ScaleIT - Industrie 4.0, 2021. ScaleIT - Industrie 4.0. Online verfügbar unter https: / / scaleit-i40.de/ , zuletzt geprüft am 09.08.2021. [15] Sutton, R. S. und Barto, A. G., 2018. Reinforcement learning: an introduction. 2nd edition, MIT Press, Cambridge, Mass. [16] Sobek, W. et al., 2021. „Adaptive Hüllen und Strukturen: Aus den Arbeiten des Sonderforschungsbereichs 1244“, Bautechnik, Bd. 98, Nr. 3, S. 208- 221, März, doi: 10.1002/ bate.202000107. [17] Steinhauer, P., 2021. „Was Vermieter in 2022 wissen müssen“, Online verfügbar unter https: / / www. vermietet.de/ magazin/ was-vermieter-in-2022-wissen-muessen/ , zuletzt geprüft am 26.01.2022 [18] Merck KGaA. eyrise™, 2021. Dynamische Flüssigkristallfenster. Hrsg. von Merck KGaA.