Komplexe Dynamische Evaluation (KDE): Ein Instrument zur Optimierung des universitären Fremdsprachenunterrichts Waldhaus Komplexe Dynamische Evaluation (KDE) Christoph Waldhaus Die Komplexe Dynamische Evaluation (KDE) generiert Daten zur Verbesserung des universitären Fremdsprachenunterrichts und fördert die selbstreflexiven Kompetenzen der Lehrenden und Studierenden. Durch den Einsatz dieses Evaluationsmodells rücken die Studierenden nicht nur verstärkt ins Zentrum des Unterrichtsgeschehens, sondern beteiligen sich auch aktiv an dessen Optimierung. KDE stärkt die Autonomie der Lernerinnen und Lerner und verdeutlicht ihre zentrale Rolle am Gelingen von gutem Unterricht. Für die Lehrenden stellen die gewonnenen Informationen eine wichtige Quelle bei der Optimierung der Lehre und der Entwicklung ihrer eigenen Lehrkompetenz dar. KDE ermöglicht ein umfassendes Verständnis von Evaluation im Unterricht und schöpft bisher ungenutztes Potential bei Lehrveranstaltungsevaluationen aus. ISBN 978-3-8233-8012-2 Die theoretischen Grundlagen Komplexe Dynamische Evaluation (KDE): Ein Instrument zur Optimierung des universitären Fremdsprachenunterrichts Christoph Waldhaus Komplexe Dynamische Evaluation (KDE): Ein Instrument zur Optimierung des universitären Fremdsprachenunterrichts Die theoretischen Grundlagen Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http: / / dnb.dnb.de abrufbar. © 2017 · Narr Francke Attempto Verlag GmbH + Co. KG Dischingerweg 5 · D-72070 Tübingen Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlages unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Gedruckt auf säurefreiem und alterungsbeständigem Werkdruckpapier. Internet: www.narr.de E-Mail: info@narr.de Printed in Germany ISBN 978-3-8233- 9012-1 Meinen Eltern. 1 15 1.1 17 1.2 19 1.2.1 20 1.2.2 21 1.3 22 1.4 29 1.5 30 1.5.1 30 1.5.2 31 1.5.3 32 2 34 2.1 35 2.1.1 36 2.1.2 38 2.1.3 39 2.1.4 40 2.2 42 2.3 45 2.3.1 46 2.3.2 52 2.4 59 3 61 3.1 61 3.1.1 62 3.1.2 64 3.2 65 3.2.1 65 Inhalt Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Problemstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Evaluationsstandards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Inhalte der Evaluationsstandards . . . . . . . . . . . . . . . . . . Evaluationsstandards im Detail . . . . . . . . . . . . . . . . . . . . Optimierungspotential bei Evaluationsmodellen . . . . . . . . . . . Zielsetzung des vorliegenden Buches . . . . . . . . . . . . . . . . . . . . Forschungsdesign . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Ableitung der Forschungsfragen . . . . . . . . . . . . . . . . . . . Beantwortung der Forschungsfragen . . . . . . . . . . . . . . . Gliederung und Aufbau des Buches . . . . . . . . . . . . . . . . Qualität, Evaluation, Hochschule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Dynamik von Qualität und Evaluation . . . . . . . . . . . . . . . . . . . Bildung als »Ware« und Lehre als »Dienstleistung« . . Normen, Zertifizierungen, Ratings . . . . . . . . . . . . . . . . . QM-Begriffe im Hochschulkontext . . . . . . . . . . . . . . . . . Zwischenresümee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Qualitätsoptimierende Maßnahmen an Hochschulen . . . . . . . Zentrale Maßnahmen im Detail . . . . . . . . . . . . . . . . . . . . . . . . . Standards und Leitlinien (ESG) . . . . . . . . . . . . . . . . . . . . Methoden aus dem Qualitätsmanagement . . . . . . . . . . . Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Evaluation und Fremdsprachenunterricht . . . . . . . . . . . . . . . . . . . . . . . . . Der Begriff »Evaluation« . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Drei Referenzebenen von Evaluation . . . . . . . . . . . . . . . Unterschiedliche Kontexte von Evaluation . . . . . . . . . . Abgrenzung zu anderen Begriffen . . . . . . . . . . . . . . . . . . . . . . . Evaluation vs. Evaluationsforschung, Programmevaluation und Evaluierung . . . . . . . . . . . . . . 3.2.2 67 3.2.3 69 3.2.4 72 3.2.5 75 3.3 77 3.3.1 77 3.3.2 78 3.3.3 119 3.4 120 3.5 121 4 123 4.1 124 4.1.1 125 4.1.2 132 4.2 151 4.3 155 4.3.1 155 4.3.2 156 4.3.3 158 4.4 165 4.4.1 165 4.4.2 166 4.5 167 4.5.1 168 4.5.2 170 4.5.3 171 4.5.4 176 4.5.5 178 4.5.6 180 4.5.7 183 4.6 185 Evaluation vs. Lehrveranstaltungsevaluation, Evaluation der Lehre, Lehrevaluation, Feedback und Rückmeldung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Evaluation vs. Qualitätsmanagement . . . . . . . . . . . . . . . Evaluationsvs. Grundlagenforschung . . . . . . . . . . . . . Allgemeinsprachliche vs. wissenschaftliche Evaluation Evaluationsmodelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Allgemeine Evaluationsmodelle . . . . . . . . . . . . . . . . . . . Lehrveranstaltungsbezogene Modelle . . . . . . . . . . . . . . Evaluationsmodelle als Basis für die KDE . . . . . . . . . . . Anforderungen an ein umfassendes und wirkungsvolles Evaluationsmodell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Qualität und QM im universitären Fremdsprachenunterricht . . . . . . . . . . Der Begriff »Qualität« . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Blicke auf Qualität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Unterschiedliche Qualitätsdimensionen . . . . . . . . . . . . . Qualität im Fremdsprachenunterricht . . . . . . . . . . . . . . . . . . . . TQM im Fremdsprachenunterricht . . . . . . . . . . . . . . . . . . . . . . . Bedeutung von TQM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Universität und TQM . . . . . . . . . . . . . . . . . . . . . . . . . . . . Elemente des TQM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Qualitätsverbesserung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Verbesserung vs. Optimierung . . . . . . . . . . . . . . . . . . . . . Verbesserung im Unterricht . . . . . . . . . . . . . . . . . . . . . . . KAIZEN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Grundannahme und Zielsetzung . . . . . . . . . . . . . . . . . . . Axiome . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . KAIZEN und Verbesserung . . . . . . . . . . . . . . . . . . . . . . . Prozessorientierung, Produktorientierung . . . . . . . . . . . KAIZEN in der Praxis . . . . . . . . . . . . . . . . . . . . . . . . . . . . KAIZEN im Unterricht . . . . . . . . . . . . . . . . . . . . . . . . . . . Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Inhalt 8 5 187 5.1 188 5.1.1 189 5.1.2 196 5.1.3 201 5.2 202 5.2.1 203 5.2.2 207 5.2.3 215 5.2.4 223 5.2.5 226 5.2.6 226 5.3 229 5.3.1 230 5.3.2 230 5.4 241 6 244 6.1 245 6.1.1 246 6.1.2 264 6.2 269 6.2.1 269 6.2.2 274 6.2.3 277 6.2.4 288 6.3 289 6.3.1 289 6.3.2 291 6.3.3 295 6.3.4 297 6.3.5 300 6.3.6 302 6.4 308 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren . . . . . . . . . . . Lernen und Lehren an Hochschulen . . . . . . . . . . . . . . . . . . . . . Didaktisches Dreieck und „shift from teaching to learning“ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Faktoren im Fremdsprachenunterricht . . . . . . . . . . . . . . Evaluation »neu« . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . CDST und Fremdsprachenunterricht . . . . . . . . . . . . . . . . . . . . . Grundbegriffe der CDST . . . . . . . . . . . . . . . . . . . . . . . . . . Komplexe dynamische Systeme . . . . . . . . . . . . . . . . . . . Funktionsweise von Systemen . . . . . . . . . . . . . . . . . . . . . Anwendung der CDST im Unterricht . . . . . . . . . . . . . . . Evaluation im komplexen dynamischen Fremdsprachenunterricht . . . . . . . . . . . . . . . . . . . . . . . . . Erfassen der Dynamiken durch die KDE . . . . . . . . . . . . Sprachentwicklung im komplexen dynamischen Unterricht . Wachstum und Ressourcen . . . . . . . . . . . . . . . . . . . . . . . Haupteigenschaften von Ressourcen . . . . . . . . . . . . . . . Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . KDE im Fremdsprachenunterricht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Sammeln und Auswerten von Daten . . . . . . . . . . . . . . . . . . . . . Grundfragen beim Evaluieren . . . . . . . . . . . . . . . . . . . . . Didaktisch-methodische Grundfragen . . . . . . . . . . . . . . KDE im Detail . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Form und Aufbau der KDE . . . . . . . . . . . . . . . . . . . . . . . . Rahmen und Kontext der KDE . . . . . . . . . . . . . . . . . . . . Funktionsweise der KDE . . . . . . . . . . . . . . . . . . . . . . . . . Aufbau der Fragebögen der KDE . . . . . . . . . . . . . . . . . . . Lehrerfolg und Lernerfolg im komplexen dynamischen FSU . Das Multifaktorielle Modell der LV-Qualität . . . . . . . . . Lehrende als komplexe dynamische Systeme . . . . . . . . LernerInnen als komplexe dynamische Systeme . . . . . . Rahmenbedingungen als komplexe dynamische Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Lehrbzw. Lernerfolg als komplexes dynamisches System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Fazit und Einbindung in die KDE . . . . . . . . . . . . . . . . . . Beantwortung der Forschungsfragen . . . . . . . . . . . . . . . . . . . . . Inhalt 9 7 315 7.1 315 7.2 319 8 321 337 339 341 Resümee und Ausblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Resümee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Ausblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Abkürzungsverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Abbildungsverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Tabellenverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Inhalt 10 Geleitwort Als Universitätslehrender beobachtete ich jahrelang am Semesterende meine Studierenden beim Ausfüllen eines von meiner Universität vorgelegten Frage‐ bogens, in dem sie über meine Lehrveranstaltung, meine fachliche Kompetenz und über meine Fähigkeit, Lehrstoff zu vermitteln, befragt wurden. Ob ich in meinen (auf Englisch abgehaltenen) Kursen gendergerechte Formen verwen‐ dete, wollte die Universität auch wissen. Weder die Studierenden noch ich nahmen das Ankreuzen der Fragebogen-Kästchen besonders ernst; wir wussten ja, dass die Fragen sehr allgemein formuliert und daher wenig aussagekräftig waren, dass die Antworten zwar in eine statistische Auswertung konvertiert würden, diese aber weitgehend ungelesen oder unbeachtet im Papierkorb landen würde. In einer Zeit, in der im Zuge des Bologna-Prozesses die Betonung auf den Ausgangskompetenzen der Studierenden liegt, fand ich diese trivialisierte Form der Evaluierung äußerst bedenklich. Obwohl ich dieses Ritual zwangsläufig durchführte, schwirrte mir ständig die Frage im Kopf herum: cui bono? Oder um es etwas umgangssprachlicher zu formulieren: wozu der ganze Zirkus? Daher erwartete ich mit großer Spannung die Ergebnisse des von Christoph Waldhaus durchgeführten Forschungsprojektes, welches ich im Rahmen seiner Dissertation betreuen konnte. Erleichtert konnte ich feststellen, dass es ihm mit seinem Modell der Komplexen Dynamischen Evaluation gelungen war, die Eva‐ luierung aus dem Zirkuszelt zu befreien und sie in den Bereich der hohen Künste zu führen. LeserInnen dieses Buches werden in mehrfacher Hinsicht auf ihre Kosten kommen: Der erste Teil liefert einen äußerst umfassenden Überblick über vorhandene Theorien und Modelle der Qualitätssicherung und Evaluation. Vor einigen Jahren trug ein Film von Woody Allen den Titel »Everything you always wanted to know about sex but were afraid to ask«. Man könnte die ersten Kapitel dieses Buchs ähnlich titulieren: »Alles was Sie schon immer über Evaluation und Qua‐ lität wissen wollten, aber sich bisher nicht zu fragen trauten«. Denn Christoph Waldhaus informiert seine LeserInnen sowohl über die vielen Fragen, die die Qualitätsoptimierung auf Basis von Evaluation aufwirft, als auch über eine sehr breite Palette an Theorien und Modellen, die sich in den letzten Jahrzehnten der Evaluation im Kontext der europäischen Hochschulen widmeten, fasst sie zu‐ sammen und nimmt sie kritisch unter die Lupe bzw. nutzt Aspekte daraus für sein eigenes Modell. Den Höhepunkt des Buches bildet die Präsentation des eigens entwickelten Modells der Komplexen Dynamischen Evaluation ( KDE ). Diese besteht aus drei ineinanderfließenden Komponenten: eine Vor-, eine begleitende und eine En‐ devaluation. Von besonderem Interesse ist der prozessorientierte Ansatz der Evaluation, der, im Gegensatz zu einer alleinigen Vor- und Endevaluation, das Potential hat, Erkenntnisse unmittelbar in den Lehr- und Lernprozess einfließen zu lassen und damit beide positiv zu beeinflussen. Sie ist also nicht nur sum‐ mativer, sondern auch formativer Natur. Eine prozessorientierte Evaluation im gegebenen Kontext setzt voraus, dass der / die Evaluierende selbst in der Lehre tätig ist; die Evaluation sieht ja eine Begleitung vor. Ein besonderer Vorzug dieses Buches besteht zudem darin, dass Christoph Waldhaus kein abgehobener unterrichtsferner Akademiker ist, sondern er und einige seiner KollegInnen die KDE in Sprachkursen an der Universität Graz an‐ gewendet haben. Das kontinuierliche Feedback von Studierenden über den Un‐ terricht und über das eigene Lernen, sowie die aus dem Einsatz der KDE ge‐ wonnenen Erkenntnisse ermöglichten es ihm in Folge, sein Modell ständig zu verbessern. Was die LeserInnen dieses Buches erwartet, ist daher ein Evaluie‐ rungsmodell, das auf einer Fülle theoretischer Erkenntnisse basiert, die im vor‐ liegenden Band behandelt werden und zusätzlich wertvolle Impulse und Ideen für praktizierende LehrerInnen liefert. Diese werden im Detail in den Folge‐ bänden gegeben. Vor allem zeigt sein Ansatz auch, welchen Stellenwert Evalu‐ ation im Rahmen eines aufgeklärten, modernen Unterrichtskonzepts haben kann. Graz, im April 2017 Ao. Univ-Prof. Dr. David Newby Geleitwort 12 Vorwort Das vorliegende Buch ist ein Teil meiner Dissertation, welche im Jahr 2014 an der Karl-Franzens-Universität Graz zugelassen wurde. Nach einigen Modifika‐ tionen und Aktualisierungen habe ich mich dazu entschlossen, die Idee, die hinter der Komplexen Dynamischen Evaluation ( KDE ) steht, aufgrund ihres Um‐ fangs in mehreren Bänden zu publizieren. Dieser erste Band soll die theoreti‐ schen Grundlagen schaffen und, auf diesen aufbauend, die Konzeption der KDE aufzeigen. Wenngleich die unterschiedlichen Inhalte auch für ForscherInnen in den Be‐ reichen Qualität und Evaluation interessant sein dürften, so richten sich die einzelnen Bände primär an universitäre Fremdsprachenlehrende, die das Modell in ihrem Unterricht einsetzen, oder eine andere Sichtweise auf Evaluation und Qualitätsverbesserung im Fremdsprachenunterricht kennen lernen möchten. Zudem wird eine Verknüpfung zwischen Fremdsprachendidaktik und der The‐ orie der komplexen dynamischen Systeme ( CDST ) hergestellt, was in Folge auch als Basis für die Komplexe Dynamische Evaluation dient. Nach Auseinanderset‐ zung mit den einzelnen theoretischen Komponenten wird gegen Ende dieses ersten Bandes die KDE auf Basis der vorangehenden theoretischen Ausfüh‐ rungen konzipiert und der Einsatz dieses Modells im universitären Fremdspra‐ chenunterricht skizziert. Band Eins dient daher als Grundlage für sämtliche spätere Publikationen zur KDE . Die zukünftigen Bände befassen sich in Folge mit der Konzeption und Testung der einzelnen Hauptkomponenten des Modells (Vorevaluation, Begleitende Eva‐ luation und Endevaluation) und seinen jeweiligen Bestandteilen. Zudem werden sowohl potentielle Herausforderungen wie auch mögliche Lösungen aufgezeigt und die LeserInnen finden Hinweise und Tipps bei der praktischen Anwendung der KDE oder ausgewählter Teilkomponenten im Fremdsprachenunterricht. Taipei, im April 2017 Assist. Prof. Dr. Christoph Waldhaus Danksagung Wie bereits Goethe feststellte, lässt sich wahrhafte Dankbarkeit mit Worten nicht ausdrücken. Dennoch möchte ich dies versuchen, weil das vorliegende Buch ohne die Unterstützung vieler Menschen in meinem Umfeld nicht möglich gewesen wäre. An erster Stelle sage ich meinen Eltern Danke, denn sie ermöglichten mir, diesen Weg einzuschlagen und unterstützten mich dabei, ihn bis zum Ende zu gehen. In Hinblick auf die Publikation bedanke ich mich dabei besonders herz‐ lich bei meiner Mutter, die die Mühe des Korrekturlesens auf sich nahm. In weiterer Folge danke ich meinem Doktorvater Prof. Dr. David Newby und meinem Zweitbetreuer Prof. Dr. Paul Portmann-Tselikas für ihre wertvollen Hinweise, kritischen Fragen, sowie auch für ihre aufmunternden Worte und die Gespräche zwischendurch, die mich auch in persönlicher Hinsicht bereicherten. Ebenso bedanke ich mich bei Prof. Dr. Stefan Schneider für seine hilfreichen Impulse und bei Prof. Dr. Tobias Wolbring sowie Ass.-Prof. Dr. Werner Stangl, die mir vor der Publikation ein Feedback gaben. Ein großes Dankeschön gilt DI Michael Spitzer, der mir bei technischen Fragen zur Seite stand und sämtliche Programmierarbeiten an der KDE in höch‐ ster Effizienz und Präzision und zumeist unter hohem Zeitdruck durchführte. Darüber hinaus möchte ich dem Team von treffpunkt sprachen meinen herz‐ lichen Dank aussprechen, in erster Linie der Leiterin, Dr. Daniela Unger- Ullmann, die mir nicht nur den einen oder anderen praxisbezogenen Tipp gab, sondern auch ermöglichte, das Projekt VorEval am treffpunkt sprachen zu testen und die finanziellen Voraussetzungen und organisatorischen Rahmenbedin‐ gungen hierfür schaffte. Natürlich wäre es auch ohne meine KollegInnen und alle an der Konzeptions- und Testphase teilnehmenden Studierenden nicht möglich gewesen, dieses Projekt durchzuführen, weswegen ich auch ihnen zu großem Dank verpflichtet bin. Zuletzt danke ich Frau Dr. Corinna Whyment für die Endkorrektur und ihre aufmunternden Kommentare. 1 Einleitung Probleme kann man niemals mit derselben Denkweise lösen, durch die sie entstanden sind. (Albert Einstein) Die Evaluation von Lehrveranstaltungen durch Studierende stellt ein mittler‐ weile in nahezu allen universitären Kursen, Seminaren und Vorlesungen ver‐ wendetes Mittel der Qualitätsoptimierung und -sicherung dar. Diese Methode wird in den USA bereits seit den 1920er Jahren (vgl. Marsh 1987: 257) eingesetzt und untersucht und hat sich inzwischen auch im deutschsprachigen Raum als wahrscheinlich die Methode zur Verbesserung der Lehre etabliert. Hier fand sie ihren Ursprung als Folge der 68er-Bewegung und den damit verbundenen Re‐ formen an den Hochschulen und »ergießt« sich seit Anfang der 1990er Jahre geradezu über die deutschsprachigen Universitäten, wie Rindermann (2009: 32f) dies treffend formuliert. Ihr Stellenwert im universitären Qualitätsmanagement wird auch durch ihre Verankerung in den jeweiligen Universitätsgesetzen untermauert, welche re‐ gelmäßige Evaluationen an deutschsprachigen Universitäten vor gut 20 Jahren zum fixen Bestandteil sämtlicher qualitätsverbessernder Bestrebungen machte (für Österreich siehe Kohler, 2009; für Deutschland siehe Schmidt, 2009 und für die Schweiz siehe Rhyn, 2009). Zudem werden die mit Evaluationen verbun‐ denen Ergebnisse vielfach nicht nur innerhalb der Universitäten, sondern auch von Geldgebenden, PolitikerInnen und in den Medien diskutiert (siehe z. B. Der Standard 9. Mai 2007). Darüber hinaus hat mittlerweile sowohl die Anzahl der einzelnen Evaluationsmodelle als auch die Literatur hierzu ein Ausmaß erreicht, das - wie auch Mittag / Mutz / Daniel (2012: 14) feststellen - »im Rahmen eines qualitativen Literaturreviews nicht mehr zu bewältigen ist«. Evaluation stellt demnach keine Modeerscheinung dar, sondern wird als wesentlicher Bestandteil der Qualitätsbestrebungen an Hochschulen gesehen. Trotz dieser langen Historie, der Fülle an Publikationen zu diesem Thema und trotz ihres vermeintlichen Stellenwertes in der Hochschulpolitik wird die Lehr‐ veranstaltungsevaluation dennoch nach wie vor von einigen kritisch betrachtet und ihre Effizienz im Hinblick auf die Optimierung der Lehre oftmals in Frage gestellt. Dies hat unterschiedliche Gründe und ist häufig auch darauf zurück‐ zuführen, dass viele Evaluationen mitunter relativ konzeptlos wirken bzw. sind und mehrheitlich nicht von EvaluationsexpertInnen konzipiert oder ohne klar ersichtliche theoretische Basis erstellt wurden, wie Spiel (vgl. 2001: 7) feststellt. Während die einen (siehe z. B. Alphei 2006: 7) in Bezug auf Lehrveranstal‐ tungsevaluation von einem der wichtigsten Verfahren zur Unterrichtsoptimie‐ rung sprechen, ist es für andere (siehe z. B. Liessmann 2005: 15ff) höchst um‐ stritten oder sogar eine Krankheit, »Evaluitis« (siehe z. B. Simon 2000, Frey 2007), die die Lehrveranstaltungen an Universitäten befällt und an welcher Stu‐ dierende und Lehrende gleichsam leiden, ohne wirklich nachhaltige Verbesse‐ rungen zu bemerken. Und in der Tat ist gerade jener Bereich der Evaluations‐ forschung rar, der sich konkret mit den durch Evaluation ausgelösten vermeintlichen Verbesserungen oder Verschlechterungen der Lehrqualität be‐ fasst, wie Rindermann (vgl. 2009: 227) feststellt. vgl. Spiel / Gössler (vgl. 2001: 13) weisen zudem darauf hin, dass die Konzentration der Evaluation im universi‐ tären Kontext primär auf Analyse und Bewertung liegt und nicht auf konkreten Änderungsmaßnahmen. Außerdem wird das »Wie« meist breit diskutiert, wäh‐ rend das »Wozu« fast immer ausgeklammert bleibt (vgl. ibid.). Welchen Standpunkt man in diesem mitunter subjektiv und oftmals emoti‐ onal geführten Krieg der (Evaluations-)Welten auch vertreten mag, es sind reich‐ lich Argumente für und auch gegen das Durchführen von Lehrveranstaltungs‐ evaluationen vorhanden, die für die jeweiligen Evaluationsprojekte sorgfältig abgewogen werden müssen. Eine detaillierte Abhandlung hierzu würde den Rahmen dieses Buches sprengen, es sei u. a. jedoch auf Rindermann (2009), Kromrey (1996), McKeachie (1997), Simon (2000) und Frey (2007) verwiesen. Während für mich die potentiellen Vorteile einer Evaluation in vielen Berei‐ chen der universitären Qualitätsoptimierung, ganz besonders auch im Bereich des Fremdsprachenunterrichts, klar auf der Hand liegen, so teile ich gleichzeitig auch den kritischen Zugang zur Lehrveranstaltungsevaluation als der Methode zur Qualitätsoptimierung der Lehre, denn das Durchführen einer Evaluation stellt per se noch lange keine hinreichende Bedingung für Qualität oder deren Optimierung dar, wie auch Schöch (vgl. 2005: 152) feststellt. Mindestens genauso wichtig wie die Evaluation selbst ist das, was darauf folgt. Nur wenn die mit Hilfe der Evaluation gewonnen Informationen genutzt und umgesetzt werden, lohnt sich der damit zwangsläufig verbundene Mehraufwand. Zwei Dinge müssen an dieser Stelle mit aller Deutlichkeit kommuniziert werden: Erstens, jede Evaluation ist mit einem gewissen (Mehr-)Aufwand ver‐ bunden und braucht daher Ressourcen. Zweitens, eine Evaluation ohne durch‐ dachtes Follow-Up bewirkt keine Qualitätsoptimierung. Nur wenn man sich dieser Tatsachen bewusst ist und den mit einer Evaluation bzw. dem daran an‐ 1 Einleitung 16 1 Evaluation einer Evaluation schließenden Follow-up verbundenen Mehraufwand in Kauf nimmt, kann eine Qualitätsverbesserung erfolgen. Evaluation wird im vorliegenden Ansatz - wenn richtig durchgeführt - als zentrale, vielschichtige und wirkungsvolle Methode zur Unterrichtsoptimie‐ rung gesehen, jedoch ist auch zu betonen, dass sie kein Allheilmittel darstellt und auch nicht alle Probleme und Defizite, die sie aufzeigt, im Rahmen des Hochschulkontextes beseitigt werden können. Vielfach fehlen hier die nötigen (monetären) Mittel und (zeitlichen) Ressourcen. Zudem muss darauf hinge‐ wiesen werden, dass nicht jede aktuell eingesetzte Evaluation jene Wirkung erzielt, die damit intendiert wird. Evaluiert man die an vielen Universitäten eingesetzten Evaluationsmodelle, kann man nicht selten feststellen, dass zahlreiche dieser Werkzeuge und Me‐ thoden in Hinblick auf deren Optimierungspotential oftmals fragwürdig sind und mitunter angezweifelt werden muss, ob damit tatsächlich eine wirksame Unterrichtsverbesserung möglich ist. Zentrale Probleme, die bei einer Metaeva‐ luation 1 im Vorfeld detektiert wurden, sollen in Folge kurz diskutiert werden, bevor im anschließenden Abschnitt der in diesem Buch konzipierte Lösungs‐ ansatz vorgestellt wird. 1.1 Problemstellung Die Motivation für diese Arbeit entstand primär aus einer Unzufriedenheit he‐ raus, die ich im Laufe meiner mittlerweile über zehnjährigen Lehrtätigkeit an unterschiedlichen universitären Fremdsprachenzentren und Instituten im In- und Ausland mit den jeweils eingesetzten Lehrveranstaltungsevaluationen ver‐ spürte. Diese sind in der Regel mit einem hohen Aufwand verbunden und bringen oftmals aber nur einen kleinen Ertrag. Sie werden z. B. vielfach nach wie vor mit Hilfe von Papierfragebögen durchgeführt, in welchen die Lern‐ erInnen den Lehrpersonen am Ende des Semesters ein Feedback zum Kurs geben. Dadurch soll zur Qualitätsverbesserung der betreffenden Lehrveranstal‐ tung beigetragen werden, was mit den jeweiligen Modellen meiner Erfahrung nach und nach Ansicht vieler meiner KollegInnen in den meisten Fällen jedoch nur eingeschränkt möglich ist. Eine vollständige Auflistung sämtlicher Aspekte, die mit vielen dieser und anderer aktuell eingesetzter Evaluationsmodelle und Methoden einhergehen, wäre verhältnismäßig lang und zu umfangreich, um ihr an dieser Stelle die 1.1 Problemstellung 17 nötige Aufmerksamkeit zu schenken. Dies hängt zum einen damit zusammen, dass die Zahl an Evaluationsmodellen und Fragebögen, wie bereits angeführt, mittlerweile nahezu unüberschaubar ist, und zum anderen damit, dass auch die Kriterien, nach welchen man die einzelnen Modelle untersuchen und bewerten könnte, vielfältig und umfangreich sind. Daher wird hier von einer detaillierten Analyse Abstand genommen und es sollen nur einige zentrale Punkte aufgezeigt und kurz diskutiert werden, die das effektive Optimieren des universitären Fremdsprachenunterrichts mit Hilfe der untersuchten Modelle erschweren. Um die Analyse auf einen für den Rahmen dieses Buches angemessenen Um‐ fang zu beschränken, konzentrierte ich mich auf die Lehrveranstaltungsevalua‐ tionen jener fünf österreichischen Fremdsprachenzentren, die zum Untersu‐ chungszeitpunkt (2012) dem Verband universitärer Sprachenzentren und -institutionen ( VUS ) angehören. Obwohl es sich hierbei um eine vergleichsweise kleine Stichprobe handelt, kann dennoch festgestellt werden, dass sie sehr repräsentativ ist und die hier angeführten zentralen Problematiken auf die Mehrheit der Sprachenzentren im europäischen Hochschulraum - und wahrscheinlich auch darüber hinaus - in der einen oder anderen Weise zutreffen, da viele Sprachenzentren ähnliche Ver‐ fahren zur Qualitätsoptimierung einsetzen. Eine Kollegin am treffpunkt sprachen, die in einem, der im Rahmen meiner Dissertation durchgeführten qualitativen Interviews befragt wurde, bringt ei‐ nige der zentralen Themen aktueller Lehrveranstaltungsevaluationen im Fremdsprachenunterricht wie folgt auf den Punkt: […] weil ich mich sowieso seit einiger Zeit schon über diese ständigen Evaluierungen ärgere, nicht weil sie schlecht sind, sind sie nicht, aber es interessiert mich auch nicht zum hundertsten Mal zu hören, dass ich so ein nice teacher bin und so. Irgendwann finde ich, reicht es. treffpunkt sprachen muss natürlich für Qualität sorgen, soll mich von mir aus ein Jahr beobachten und dann finde ich, ist es aus und ich habe einfach keine Lust mehr. Ich mag mich nicht mehr evaluieren lassen. [LP002, 224-230] Die Inhalte dieser Aussage sind zweifelsfrei auch als einige der Hauptgründe für die von Simon (2000) und Frey (2007) angeführte »Evaluitis« zu sehen, an der viele KollegInnen, vor allem, wenn sie schon mehrere Jahre unterrichten, leiden. Die meisten Lehrenden sind nicht mit einer Evaluation ihres Unterrichts per se unzufrieden und negieren auch nicht deren Wichtigkeit im Hinblick auf ihr Potential, essentielle Informationen zur Qualitätsoptimierung zu generieren. Sie erkennen in der Regel auch die allgemeine Notwendigkeit von Evaluationen in Hinblick auf die Präsentation der betreffenden Institute und Zentren nach 1 Einleitung 18 2 Ähnliche Standards wurden auch von der Deutschen Gesellschaft für Evaluation kon‐ zipiert (siehe DeGEval 2008). außen an, stellen jedoch, wie die Kollegin aus dem Interview, vielfach fest, dass die Art und Weise, mit der diese Evaluationen durchgeführt werden, also der Evaluationsansatz, und die Informationen, die sie zum Teil fördern, insuffizient sind, was oftmals zur Folge hat, dass Lehrende mit der Zeit eine Aversion gegen das Evaluieren entwickeln. In der Tat ist diese Abneigung auch bei vielen Stu‐ dierenden zu bemerken, denn es darf nicht vergessen werden, dass diese in der Regel viele Evaluationen pro Semester - in jedem der von ihnen besuchten Kurse zumindest eine - durchführen müssen. Hinzu kommen weitere Befragungen, die beispielsweise einen bestimmten Lehrgang oder die Universität und deren Einrichtungen etc. betreffen. Man kann also nicht behaupten, es würde zu wenig evaluiert. Auf der Suche nach den Gründen, warum es in Hinblick auf Lehrveranstal‐ tungsevaluationen überhaupt zu den oben genannten und anderen Problemen kommt, können unterschiedliche Ursachen ausfindig gemacht werden. Im We‐ sentlichen hängen sie jedoch damit zusammen, dass bei vielen Evaluationen oftmals gewisse Standards, wie sie etwa im Handbuch der Evaluationsstandards (siehe unten bzw. Sanders 2006) angeführt werden, keine oder eine zu geringe Berücksichtigung finden. Auch die Standards und Leitlinien für die Qualitätssi‐ cherung im europäischen Hochschulraum ( ESG ), die im folgenden Kapitel vor‐ gestellt werden und für die Qualitätsoptimierung bzw. -sicherung durch Evalu‐ ation zentral sind, werden in der Regel nicht in das Evaluationsprozedere integriert. Bevor ich nun einige der zentralen Stellen aufzeige, an welchen die einzelnen Evaluationsmodelle Raum für Optimierung haben, möchte ich einen kurzen Ex‐ kurs zu den Evaluationsstandards machen, damit die darauffolgenden Ausfüh‐ rungen für den Leser / die Leserin leichter nachvollziehbar sind. 1.2 Evaluationsstandards Damit sowohl die Anforderungen aus der Praxis als auch wissenschaftliche Standards und Richtlinien beim Durchführen von Evaluationen berücksichtigt bzw. die Qualität von Evaluationen optimiert und gesichert werden können, entwickelte das Joint Commitee on Standards for Educational Evaluation 2 Richt‐ linien, die beim Planen, Durchführen und Bewerten von Evaluationen als Ori‐ entierung dienen. 1.2 Evaluationsstandards 19 Diese Qualitätsmaßstäbe sind im Handbuch der Evaluationsstandards festge‐ halten und richten sich sowohl an EvaluatorInnen als auch an Auftraggebe‐ rInnen. Sie sind nicht als starre mechanische Regeln, sondern als Leitprinzipien zu verstehen und enthalten wichtige Hinweise und Warnungen zur Vermeidung von Fehlern, die bei der Konzeption bzw. der Durchführung von Evaluationen auftreten können. Zudem bezeichnen sie, welche Vorgehensweisen allgemein als akzeptabel bzw. inakzeptabel gehalten werden und zeigen die zurzeit beste Praxis auf (vgl. Sanders 2006: 35). Die aktuelle Version sieht folgende Standards für Evaluationen vor: 1.2.1 Inhalte der Evaluationsstandards Nützlichkeits‐ standards Nützlichkeitsstandards legen fest, ob eine Evaluation den tat‐ sächlichen Informationsbedürfnissen der jeweiligen Adressa‐ tInnen gerecht wird. Dazu werden die AdressatInnen und deren Evaluationsbedürfnisse genau ermittelt und die Evaluation dem‐ gemäß durchgeführt. Zudem müssen die gewonnenen Informa‐ tionen bedeutsam sein und rechtzeitig ermittelt werden. Durchführbar‐ keitsstandards Durchführbarkeitsstandards betonen die Praxisbezogenheit von Evaluationen. Diese werden in der Regel nicht in einem Labor, sondern in einem natürlichen Umfeld durchgeführt und ver‐ brauchen daher Ressourcen. Folglich müssen sie so konzipiert sein, dass sie nur so viel Material, Personal, Zeit etc. in Anspruch nehmen, wie erforderlich ist. Korrektheits‐ standards Die Korrektheitsstandards fordern, dass Evaluationen rechtlich und ethisch korrekt durchgeführt und die Rechte (Privatsphäre, Zugänglichkeit zu Informationen, Schutz der Persönlichkeit etc.) der an Evaluationen beteiligten Personen gewahrt und respek‐ tiert werden. Genauigkeits‐ standards Die Genauigkeitsstandards legen fest, ob eine Evaluation ange‐ messene Informationen hervorbringt. Es sollen die relevanten und als wichtig erachteten Daten erhoben und beurteilt werden. Die Daten sollen technisch angemessen sein und die Urteile müssen in einem logischen Zusammenhang mit den Daten stehen. Damit wird die Güte und Verwendbarkeit der Informa‐ tionen bestimmt. Tab. 1: Inhalte der Evaluationsstandards in Anlehnung an Sanders (vgl. 2006: 31f) Natürlich muss an dieser Stelle darauf hingewiesen werden, dass diese Standards ursprünglich in den USA entwickelt wurden und eine Eins-zu-eins-Übertragung nicht für alle Länder und alle Situationen möglich und sinnvoll ist. Es ist ratsam, zuerst den Evaluationskontext zu analysieren und dann eventuell nötige Adap‐ tionen durchzuführen. Insgesamt sind diese potentiellen Anpassungen jedoch, 1 Einleitung 20 wie auch Beywl / Widmer (2006: 261) festhalten, »eher geringfügiger Art«, wes‐ wegen sich die Evaluationsstandards als Basis für die meisten Evaluationen eignen. Dies trifft vor allem auf die Grundstruktur mit den vier genannten Hauptgruppen (Nützlichkeits-, Durchführbarkeits-, Korrektheits- und Genauig‐ keitsstandards) zu. Im Bereich des universitären Fremdsprachenunterrichts können diese Stan‐ dards meiner Erfahrung nach weitgehend unverändert übernommen werden, wenngleich der oben angesprochene Kontext durch die Ausführungen in den Theoriekapiteln (Kapitel 3, 4, 5) zuerst genau analysiert und bestimmt werden sollte. Dies ist nötig, um festzustellen, welche der einzelnen Standards für die Evaluation von Fremdsprachenkursen, wie sie hier vorgestellt wird, in welcher Form und in welchem Umfang sinnvoll und plausibel sind. Neben diesen bereits erwähnten sind auch noch weitere Standards wie z. B. die genannten ESG sowie andere Qualitäts- und Bildungsstandards zu beachten. 1.2.2 Evaluationsstandards im Detail Nützlichkeits‐ standards 1. Ermittlung der Beteiligten und Betroffenen 2. Glaubwürdigkeit der EvaluatorInnen 3. Umfang und Auswahl der Informationen 4. Feststellung von Werten 5. Klarheit des Berichts 6. Rechtzeitigkeit der Verbreitung des Berichts 7. Wirkung der Evaluation Durchführbar‐ keitsstandards 1. Praktische Verfahren 2. Politische Tragfähigkeit 3. Kostenwirksamkeit Korrektheits‐ standards 1. Unterstützung der Dienstleistungsorientierung 2. Formale Vereinbarungen 3. Schutz individueller Menschenrechte 4. Human gestaltete Interaktion 5. Vollständige und faire Einschätzung 6. Offenlegung der Ergebnisse 7. Deklaration von Interessenskonflikten 8. Finanzielle Verantwortlichkeit Genauigkeitss‐ tandards 1. Programmdokumentation 2. Kontextanalyse 3. Beschreibung von Zielen und Vorgehensweisen 4. Verlässliche Informationsquellen 5. Valide Informationen 6. Reliable Informationen 7. Systematische Informationsüberprüfung 1.2 Evaluationsstandards 21 8. Analyse quantitativer Informationen 9. Analyse qualitativer Informationen 10. Begründete Schlussfolgerungen 11. Unparteiische Berichterstattung 12. Meta-Evaluation Tab. 2: Evaluationsstandards im Detail (vgl. Sanders 2006) Um die im folgenden Abschnitt diskutierten Probleme bei den untersuchten Lehrveranstaltungsevaluationen beim Entwurf des in diesem Band vorgestellten Modells weitgehend zu vermeiden, werden sämtliche der hier genannten Stan‐ dards bei dessen Konzeption berücksichtigt. 1.3 Optimierungspotential bei Evaluationsmodellen Um nun wieder auf jene Aspekte zurückzukommen, die bei vielen Lehrverans‐ taltungsevaluationen optimiert werden können, werden, ausgehend von den Evaluationsstandards, in Folge einige zentrale Punkte angeführt, die vor allem mit den Nützlichkeitsstandards, Durchführbarkeitsstandards und Genauigkeitss‐ tandards in Konflikt stehen. Die Korrektheitsstandards wurden in den analy‐ sierten Lehrveranstaltungsevaluationen meiner Ansicht nach nicht verletzt, da alle, soweit von außen nachvollziehbar, zum Zeitpunkt der Analyse rechtlich und ethisch korrekt durchgeführt wurden. Als ein Hauptkriterium für das erfolgreiche Durchführen von Evaluationen wird im Handbuch der Evaluationsstandards unter den Nützlichkeitsstandards festgehalten, dass Evaluationen »informativ, zeitgerecht und wirksam« sein sollen (vgl. Sanders 2006: 31). Dies ist eine zentrale Forderung, denn mit jeglicher Evaluation stehen gewisse Ziele in Verbindung. Werden Nützlichkeitsstandards nicht erfüllt, sind die Ergebnisse der Evaluation für bestimmte Absichten, wie etwa die Qualitätsoptimierung des Fremdsprachenunterrichts, kaum relevant und der Aufwand steht in keiner vertretbaren Relation zum Informationsgehalt. Wenngleich der Informationsgehalt, den die untersuchten Evaluationsfrage‐ bögen generieren, den Lehrenden bei der Optimierung der Lehre in der einen oder anderen Form durchaus behilflich sein könnte, so ist bei den analysierten Modellen der Zeitpunkt sehr ungünstig, zu welchem die Lehrenden an die je‐ weiligen Informationen gelangen. Ausnahmslos alle analysierten Evaluationen wurden zum Untersuchungszeitpunkt in Form einer summativen Evaluation am Ende des Kurses / Semesters durchgeführt. 1 Einleitung 22 Summative Evaluationen werden im Gegensatz zu formativen Evaluationen nach der Durchführung eines Programms (z. B. Fremdsprachenkurs) oder ein‐ zelner Maßnahmen eingesetzt und sollen zusammenfassende Aussagen über deren Wirksamkeit tätigen (vgl. Gollwitzer / Jäger 2009: 16). Das bedeutet, sie sollen in Erfahrung bringen, wie wirksam bestimmte Maßnahmen / Programme waren. Das Ziel formativer Evaluationen hingegen besteht darin, Maßnahmen zu optimieren bzw. Rahmenbedingungen zu schaffen, die die Wirksamkeit einer Maßnahme eher wahrscheinlich machen (vgl. ibid.). Bei formativen Evaluati‐ onen werden somit in regelmäßigen Intervallen Zwischenergebnisse erstellt, die das Ziel verfolgen, laufende Interventionen zu modifizieren oder zu verbessern (vgl. Bortz / Döring 2006: 110). Im konkreten Fall der Lehrveranstaltungsevaluationen bedeutet dies, dass die betreffenden Lehrpersonen mit den eingesetzten Methoden jene Informationen, die ihnen beim Optimieren des Unterrichts behilflich sein könnten, zu einem Zeitpunkt erhalten, zu welchem es ihnen nicht mehr möglich ist, auf diese In‐ formationen einzugehen und eventuell notwendige Veränderungen durchzu‐ führen, die potentielle Verbesserungen für den jeweiligen Kurs nach sich ziehen könnten, ein Suboptimum, welches u. a. auch von Stieger / Burger (vgl. 2010: 163) in einer ähnlichen Analyse kritisiert wird. Wenngleich nicht negiert werden kann, dass einige Informationen durchaus auch für kommende Semester bzw. für die Optimierung der Lehre einzelner Lehrpersonen generell von Relevanz sein können, so ist die Unterrichtsoptimierung für die betreffende Gruppe, die an der Evaluation teilnahm, nicht mehr möglich und es stellt sich die Frage, ob durch diese Herangehensweise nicht das eigentliche Ziel verfehlt wird, welches man mit der Evaluation initial intendierte. Ein weiterer Grund, warum Evaluationen nicht ihr volles Wirkungspotential ausschöpfen können, wenn sie ausschließlich am Ende des Kurses / Semesters durchgeführt werden, ist, dass die Lehrenden auch nicht mehr direkt zum Han‐ deln angehalten werden, da sie ja im darauffolgenden Semester oftmals mit einer völlig neuen Gruppe konfrontiert sind und eventuell auch bei gleichen Unter‐ richtsmethoden unterschiedliche Evaluationsergebnisse erwarten können. Da‐ durch ist fraglich, wie sinnvoll die Lehrenden diese Art der Evaluation einstufen und wie ernst sie die Ergebnisse nehmen bzw. wie motiviert sie sind, Dinge zu verändern. Dies trifft natürlich umgekehrt auch auf die Studierenden zu. Mit welcher Ernsthaftigkeit werden sie die Fragebögen ausfüllen, wenn sich für sie keine unmittelbaren Verbesserungen mehr abzeichnen? Vielfach resultiert diese Methode daher rein in einer Bewertung, die wenige bis keine Konsequenzen in Form einer Optimierung nach sich zieht. 1.3 Optimierungspotential bei Evaluationsmodellen 23 Ein dritter Grund, warum sich die Wirkung der analysierten Evaluationen in einigen Bereichen in Grenzen hält, ist vielfach der Aufbau der Fragebögen selbst, der zwar für eine statistische Auswertung hervorragend geeignet ist, jedoch genau jene Informationen nicht erhebt, die für die Lehrenden in Hinblick auf eine weitreichende Verbesserung der Lehre interessant und notwendig wären. Die in den Bögen gestellten Fragen analysieren vielfach einen von den Studier‐ enden empfundenen Zustand, regen die LernerInnen jedoch nicht dazu an, sich an der Verbesserung aktiv zu beteiligen bzw. konkrete Informationen Preis zu geben oder hilfreiche Vorschläge zu unterbreiten, die zu einer Optimierung führen würden, wie dies auch in den ESG explizit vorgeschlagen wird. Ein Beispiel stellt etwa folgende Frage aus einem der untersuchten Frage‐ bögen dar: Hat der / die Lehrende die Lern- und Prüfungsziele klar dargelegt? Ab‐ gesehen von der Tatsache, dass das Explizieren der Lern- und Prüfungsziele, wenn überhaupt dezidiert, dann zu Beginn des Semesters erfolgt, kann bezwei‐ felt werden, dass sich alle LernerInnen mehrere Monate danach noch im Detail daran erinnern können, was genau die Lehrperson wie mitteilte. Des Weiteren waren u. U. in der Lehrveranstaltungseinheit, in welcher die Lern- und Prü‐ fungsziele expliziert wurden, nicht alle LernerInnen anwesend und werden nun dennoch zu einer Antwort gezwungen, da alle Fragen zu beantworten sind, damit die Evaluation gültig ist. Darüber hinaus gibt diese geschlossene Frage lediglich Auskunft darüber, wie einzelne LernerInnen diesen Sachverhalt in der jewei‐ ligen Gruppe empfanden, wie die Analyse der Fragebögen zeigt. Während es für manche auf der Likert-Skala nicht klar war, war es für andere LernerInnen sehr klar. Sie offeriert der Lehrperson jedoch keine Anhaltspunkte darüber, wo genau die Probleme lagen, wenn diese Frage etwa mit nicht klar beantwortet wurde. Auch bietet der Fragebogen den Studierenden keine Möglichkeit, Vorschläge zu unterbreiten, die für sie eine Verbesserung der Situation bewirken würden. Das bedeutet, die Lehrperson weiß zwar Bescheid darüber, dass für einige Lern‐ erInnen in diesem Bereich ein Problem war bzw. dass einige dies rückwirkend so empfanden, sie kann jedoch aufgrund fehlender Information, wo genau das Problem lag und wie dies für die LernerInnen gelöst werden könnte, verhält‐ nismäßig wenig verändern. Diese Tatsache bewahrheitet sich bei sämtlichen Fragen in allen untersuchten Fragebögen. Man könnte dies nun mit der Sektion der offenen Fragen am Ende des Frage‐ bogens rechtfertigen, wo die LernerInnen angeben können, was ihnen am Kurs gut / weniger gut gefallen hat. Jedoch zeigte eine Analyse der Lehrveranstal‐ tungsevaluationen, die von mir in den letzten sechs Jahren in den eigenen Kursen durchgeführt wurden, dass diese Sektion von den Studierenden kaum bis nicht genutzt wird, um davor getätigte Angaben zu verdeutlichen oder um 1 Einleitung 24 3 Die betreffende Lehrperson ist keine Muttersprachlerin in Deutsch, das Gesagte wurde unverändert transkribiert. Verbesserungsvorschläge zu unterbreiten. Es bleibt zu bezweifeln, dass sich dieser Sachverhalt in anderen Kursen bzw. an anderen Instituten / Zentren in dieser Hinsicht markant unterscheidet. Darüber hinaus ist auch das Stellen der betreffenden Frage nach der Darle‐ gung der Prüfungsziele an sich problematisch. Einerseits, weil diese Art der Fragestellung generell sehr differenzierte Ergebnisse fördert, die in der Praxis schwer nutzbar gemacht werden können, ein Phänomen, auf welches bereits Kromrey (vgl. 1996) hinweist, und andererseits, weil das Verstehen der Erklä‐ rung der Lehr- und Prüfungsziele zu sehr auf die Lehrperson zentriert wird. Dies bedeutet im konkreten Kontext bei ersterem, dass einige LernerInnen die be‐ treffende Frage positiv und andere negativ beantworten werden, wie dies oben bereits angeführt wurde, und diese Inkonsistenz nicht nur zwischen verschie‐ denen Lehrveranstaltungen zu bemerken ist, sondern ebenso innerhalb jeder (oder fast jeder) Veranstaltung, die eine bestimmte TeilnehmerInnenzahl von ca. 20 überschreitet, wie Kromrey (vgl. ibid.) expliziert. Dieser Umstand wurde auch in meinen eigenen Lehrveranstaltungen mehr‐ fach beobachtet, wenn von mir exakt der gleiche Unterrichtsstoff anhand identer Lehrmethoden in Parallelgruppen vermittelt, aber von diesen unterschiedlich aufgenommen bzw. evaluiert wurde. Das bestätigt die Annahme, dass es folglich nicht nur an der Art und Weise liegen kann, wie die jeweilige Lehrperson Inhalte vermittelt, sondern auch daran, wie die LernerInnen diese aufnehmen und ver‐ arbeiten. Dies wiederum verdeutlicht die unterschiedliche Auffassung der Stu‐ dierenden über gutes Lehrverhalten und man sieht sich als Lehrperson mit der Tatsache konfrontiert, dass, wenn man verstärkt auf Vorschläge einer Interes‐ sensgruppe eingeht, bei dieser Pluspunkte sammelt, während man u. U. bei an‐ deren mit derselben Methode für Unmut sorgt - eine Feststellung, auf die auch eine Lehrende 3 in den im Rahmen dieser Arbeit durchgeführten qualitativen Interviews hinwies: Weil da ist ein Mensch, schreibt das und will über Bolivien reden, aber das ist wirk‐ lich … so extrem individuell. Und das ist eben wo manchmal die Evaluierungen vom Ende vom Kurs … ist ein bisschen dieses … gleicher Punkt, komplett auseinander. […] Also komplett die Meinung. Ich hätte lieber mehr davon, ich hätte lieber mehr davon. Und der andere sagt, ich hätte lieber weniger davon. Und es ist schwer irgendwie … [LP007: 230-236] 1.3 Optimierungspotential bei Evaluationsmodellen 25 Ein weiteres Problem ist im Bereich der Auswertung der Fragen zu finden. Kromrey (vgl. 1996) expliziert, dass bei vielen Evaluationen lediglich die Mit‐ telwerte aus den Angaben aller Befragten betrachtet werden, was oftmals ein für die Lehrperson durchaus zufriedenstellendes Resultat liefern kann, jedoch im Endeffekt ein »statistisches Artefakt« (ibid.) darstellt. Konkret ist damit ge‐ meint, dass, wenn die Lehrleistung einer Lehrperson in einer bestimmten Lehr‐ veranstaltung beispielsweise als durchschnittlich bewertet wurde (also die Leis‐ tung der Lehrperson auf fast allen Items ungefähr mit »3« bewertet wird) und man in dieser Kursgruppe danach sucht, wie groß die Anzahl der Studierenden ist, die die betreffende Lehrveranstaltung mit »3« bewertet hat, dann zeigt sich, dass eine solche Gruppe in diesem Kurs vielfach nicht vorhanden ist. Vielmehr gibt es Studierende, die die Lehrleistung besser beurteilen, schlechter beurteilen, und andere, die teils positiv, teils negativ bewerten. Dadurch ergibt sich, wie Kromrey (1996) folgert, kein statistisch befriedigendes Ergebnis mit ausreichend homogenen Clustern, welches »hinreichend große Gleichartigkeit der Urteile innerhalb der jeweiligen Gruppen von Befragten bei zeitgleich möglichst deut‐ lichen Unterschieden zwischen den Gruppen« erlaubt. Für die unmittelbare Praxis des Fremdsprachenunterrichts im Rahmen von universitären Sprachenzentren sind für die meisten Lehrenden viele statistische Auswertungen meiner Erfahrung nach ohnehin eher sekundär. Zweifelsfrei kann man sich ein ungefähres Bild über die Qualität des Unterrichts machen, wenn z. B. 20 von 25 LernerInnen einen Kurs mit »sehr gut« bewerten, die Frage, die für mich als Lehrperson jedoch brennender scheint, ist, zu erfahren, warum die verbleibenden 20 % diesen Kurs z. B. mit »eher gut« oder vielleicht sogar »weniger gut« bis »nicht gut« bewertet haben. Dies kann aus den untersuchten Fragebögen nicht erfahren werden. Ein weiterer Kritikpunkt, der zwar nur auf eines der untersuchten Fremd‐ sprachenzentren zutrifft, aber dennoch Brisanz aufweist, ist die Tatsache, dass an einer Universität die Fremdsprachenkurse zum Untersuchungszeitpunkt aus‐ schließlich mit dem universitätsweiten Evaluationsbogen evaluiert wurden. Dies ist auf die Tatsache zurückzuführen, dass die Fremdsprachenkurse dort fix in den Rahmen der Lehrveranstaltungen fielen und die Studierenden für diese nicht bezahlten, wie dies an den externen Sprachenzentren der Fall war. Die primäre Kritik an Globalfragebögen ist, dass diese per se üblicherweise, und allem Anschein nach auch im konkreten Fall, für einen Lehrveranstaltungstyp wie etwa eine Vorlesung oder Übung konzipiert wurden und in der Regel sehr allgemein gehalten sind, damit sie für möglichst viele Veranstaltungen ver‐ wendet werden können. Daher wird in derartigen Evaluationsfragebögen kaum auf die Besonderheiten des Sprachenunterrichts eingegangen, was eine wirk‐ 1 Einleitung 26 liche Optimierung desselben mit diesen Mitteln somit eher unwahrscheinlich macht. Darüber hinaus wurde im besagten Fragebogen auch die fachlich-inhaltliche Qualität der Lehrveranstaltung erfragt, die die fachliche Kompetenz der Lehr‐ enden beurteilen soll, was, wie bereits Marques et al. (vgl. 1979: 848) konsta‐ tieren, nicht durch Studierende beurteilt werden kann, denn wenn sie dies könnten, besuchten sie, wie Rindermann (2009: 71) folgert, »aufgrund der Re‐ dundanz die falsche Veranstaltung«. Ähnlich verhält es sich mit Fragen, ob die Lehrperson nach Ansicht der Stu‐ dierenden gut vorbereitet wirke bzw. die Lerninhalte sicher vortrage, wie dies im Fragebogen einer anderen Universität erfragt wurde. Aus der Perspektive der Lehrperson stellt sich nun die Frage, wie die Studierenden beurteilen wollen, wie intensiv man sich als Lehrperson auf die einzelnen Unterrichteinheiten vorbereitet bzw. was dies letztendlich über das tatsächliche Gelingen und über die Qualität der Veranstaltungen aussagt. Viele KollegInnen werden mir an dieser Stelle wahrscheinlich zustimmen, dass sie schon oft sehr genau und gut vorbereitet waren und eine bestimmte Einheit dennoch nicht oder weniger zu‐ friedenstellend verlief, während man an anderen Tagen vom vorbereiteten Kon‐ zept vielleicht völlig abwich, spontan handelte, und der Unterricht sehr erfolg‐ reich war. Erfahrene Lehrende werden zudem in vielen Fällen weniger Vorbereitungszeit benötigen als DebütantInnen. Dies bedeutet jedoch nicht, dass ihr Unterricht dadurch weniger Qualität aufweist. Des Weiteren generiert die besagte Frage keine wirklich brauchbare Information für die Optimierung des Unterrichts, sondern stiftet meiner Ansicht nach bei den Studierenden eher zu Spekulationen an und sorgt bei den Lehrenden nicht selten für Unmut. Ein weiterer Punkt, der im Zusammenhang mit Evaluationsmodellen genannt werden muss, die nur am Ende des Kurses evaluieren, ist, wie im Kapitel zur Qualität noch im Detail erörtert wird, die Tatsache, dass man sich, bevor man irgendetwas (beispielsweise eine Lehrveranstaltung) hinsichtlich der Qualität beurteilen möchte, zu Beginn Beurteilungskriterien festlegen muss, nach denen man im Endeffekt evaluiert. Nur wenn unter allen Beteiligten ein gewisser Kon‐ sens herrscht, was für diese Gruppe unter Qualität, also unter gutem Unterricht zu verstehen ist, und man sich darauf einigt, in welche Richtung während des Kurses gesteuert werden soll, kann man am Ende beurteilen, ob und wie gut man dort angekommen ist. Um es frei nach Seneca (vgl. epist. 71: 3) zu sagen: Kein Wind ist demjenigen günstig, der nicht weiß, welchen Hafen er anstrebt. Diese initiale Bestimmung der Ziele und Festlegung der Beurteilungskriterien stellt einen zentralen Standard qualitativ hochwertiger Evaluationen dar und wurde 1.3 Optimierungspotential bei Evaluationsmodellen 27 zum Untersuchungszeitpunkt von keinem der analysierten Evaluationsansätze berücksichtigt. Auch hinsichtlich der Distribution bzw. Auswertung der Fragebögen ist bei einigen Instituten / Zentren leise Kritik gerechtfertigt, vor allem bei jenen, an welchen die Fragebögen von den Lehrenden in Papierform während einer Un‐ terrichtseinheit (üblicherweise gegen Ende des Kurses / Semesters) an die Lern‐ erInnen ausgeteilt, danach eingesammelt und im Anschluss daran mühsam aus‐ gewertet werden. Dies kann im 21. Jahrhundert aus zumindest drei Gründen nicht mehr gerechtfertigt sein: Erstens bedeutet die Auswertung für die Lehr‐ enden einen erheblichen zeitlichen Zusatzaufwand, der in der Regel nicht extra vergütet wird und bei der vielfach schlechten Bezahlung der LektorInnen meiner Ansicht nach nicht zu legitimieren ist. Zweitens kann es durch die manuelle Auswertung vor allem aufgrund des Zeitfaktors zu Fehlern kommen, die die (statistischen) Ergebnisse verfälschen. Drittens sind mittlerweile viele On‐ line-Evaluationsprogramme vorhanden, die nicht nur gratis genutzt werden können, sondern die zudem die Ergebnisse auch mehr oder weniger automatisch und in digitaler Form generieren, sollten vermehrte Kosten als Argument gegen eine computergestützte Evaluation sprechen. Dadurch können Ergebnisse in Folge nicht nur schnell und platzsparend gespeichert, sondern auch leicht mit‐ einander verglichen und weiter genutzt werden, was auch bei der Beantwortung zukünftiger Forschungsfragen nützlich sein könnte. Ein weiterer und für mich vielleicht der zentrale Punkt im Hinblick auf Lehr‐ veranstaltungsevaluationen wird von Nowakowski et. al. (2012: 255) angeführt, die zu dem Schluss kommen, dass »das Potential, das Lehrevaluationen für die Qualitätsentwicklung der Lehre bergen, bisher nicht wirklich verstanden und ausgeschöpft« wird. Dies ist zum einen darauf zurück zu führen, dass sie aktuell, wie oben bereits angeführt, primär als retrospektives Verfahren zur Analyse von Lehrveranstaltungen eingesetzt werden, wobei es sich bei dieser Art des Feed‐ backs um keinen dialogischen Austausch zwischen Lehrenden und Studier‐ enden handelt, sondern überwiegend um eine einseitige Darstellung von Sicht‐ weisen, die ein weiteres Diskutieren der darin angegebenen Punkte üblicherweise nicht ermöglicht und somit eine Optimierung des Unterrichts nur begrenzt erlaubt. Zudem werden wesentliche Faktoren, die mit Evaluationen einhergehen können, kaum berücksichtigt, wie z. B. die Förderung der Reflexion bzw. Selbstreflexion auf beiden Seiten, wesentliche Vorgänge beim Sprachlehren und -lernen (siehe z. B. Anderson 2008) sowie die daraus möglicherweise resul‐ tierende Bildung, Bestätigung oder Veränderung des Selbstbildes der am Unter‐ richtsgeschehen Beteiligten. Dass dies für das erfolgreiche Sprachenlernen we‐ sentlich ist, darauf wird in der Literatur vielfach hingewiesen (siehe z. B. 1 Einleitung 28 Jerusalem 1993). Zudem kann Evaluation, die im Wesentlichen auch eine spe‐ zielle Art des Feedbacks ist, ebenso zur Optimierung der Kommunikation zwi‐ schen Lehrenden und Studierenden beitragen. Alle diese essentiellen Punkte werden in den untersuchten Evaluationen zum Zeitpunkt der Analyse kaum bis nicht beachtet. Die hier angeführte Auflistung ist nur ein kurzer Ausschnitt und könnte noch weiter fortgesetzt werden, was jedoch nicht Intention dieses Buches ist. Viel‐ mehr wird versucht, Lösungen aufzuzeigen, die zur Verbesserung der aktuell eingesetzten Evaluationsmethoden und Werkzeuge beitragen sollen bzw. über‐ haupt einen neuen Zugang zur Evaluation als wichtige Hilfestellung bei der Qualitätsoptimierung aufzuzeigen. 1.4 Zielsetzung des vorliegenden Buches Da die einzelnen Themenbereiche des vorliegenden Buches (Evaluation, Qua‐ lität und universitärer Fremdsprachenunterricht) per se bereits sehr umfang‐ reich sind, ist es notwendig, bei der Zielsetzung eine klare Ab- und Eingrenzung vorzunehmen, damit die realistische Umsetzung einiger ausgewählter Teile des gesamten Vorhabens ermöglicht werden kann. In diesem ersten Band werden daher im Wesentlichen zwei Ziele verfolgt: Erstens, der Leser / die Leserin soll einen differenzierten (für ihn / sie vielleicht neuen) Zugang zum Thema Lehrveranstaltungsevaluation bekommen. Das Buch richtet sich in erster Linie an Fremdsprachenlehrende und versteht sich daher als Einführung in die einzelnen damit in Verbindung stehenden Themen‐ bereiche. Durch die mitunter detaillierten Ausführungen soll Laien auf den Ge‐ bieten der Qualitäts- und Evaluationsforschung jene Basis zugänglich gemacht werden, die sie benötigen, um für sich selbst und auch im Unterricht eine Qua‐ litäts- und Evaluationskultur zu schaffen. Nur wenn Lehrende und Studierende dieses Verständnis haben, kann Evaluation so eingesetzt werden, dass damit ein besserer Unterricht gelingen kann. Zweitens wird auf Basis der theoretischen Ausführungen in Kapitel 6 ein umfassendes theoriebasiertes Evaluationsmodell (Komplexe Dynamische Evalu‐ ation, KDE ) konzipiert, welches 1. auf Evaluations- und Qualitätsstandards basiert, 2. explizit der Optimierung des universitären Fremdsprachenunterrichts für die evaluierende Gruppe dient und 3. sich durch Effektivität und Effizienz (vor allem auch in Hinblick auf Res‐ sourcen) auszeichnet. 1.4 Zielsetzung des vorliegenden Buches 29 Das bedeutet zum einen, dass das hier vorgestellte Modell intendiert, jene In‐ formationen zum nötigen, d. h. zum für die Optimierung richtigen Zeitpunkt zu generieren, die erforderlich sind, um den universitären Fremdsprachenunter‐ richt für die evaluierende LernerInnengruppe wirksam und umfassend zu ver‐ bessern. Zum anderen bedeutet es auch, dass dies auf eine möglichst effiziente Weise geschieht, damit das Prozedere den mit qualitätsoptimierenden Maß‐ nahmen verbundenen Mehraufwand für die daran beteiligten AktantInnen in einem überschaubaren Rahmen hält. 1.5 Forschungsdesign Die Forderungen, die mit den oben angeführten Zielen dieses Ansatzes einher‐ gehen, haben für die Konzeption der KDE weitreichende Folgen, weil viele der in der Zielsetzung angeführten Ansprüche und Begriffe mit weiteren Fragen in Verbindung stehen, die beantwortet werden müssen, bevor die eigentliche Kon‐ zeption der KDE in Angriff genommen werden kann. Dies erklärt, warum der Konzeption des Modells ein derart umfangreicher Theorieteil vorangeht. 1.5.1 Ableitung der Forschungsfragen Die Hauptforschungsfrage in diesem ersten Band ergibt sich aus der Zielsetzung und lautet wie folgt: Wie kann ein Evaluationsmodell aussehen, damit es den uni‐ versitären Fremdsprachenunterricht für die evaluierende LernerInnengruppe wirksam und umfassend verbessert? Mit dieser Frage stehen folgende Unterfragen in direktem Zusammenhang: 1. Was bedeutet Qualität im universitären Fremdsprachenunterricht? 2. Was bedeutet Verbesserung des universitären Fremdsprachenunterrichts? 3. Welche Evaluationsmethoden können zur Optimierung des Fremdspra‐ chenunterrichts beitragen? 4. Was bedeuten wirksam und umfassend in Zusammenhang mit Qualitäts‐ optimierung auf Basis von Lehrveranstaltungsevaluation? 5. Welche Informationen werden im Detail für die Qualitätsverbesserung benötigt? 6. Wann ist der richtige Zeitpunkt, um die benötigten Informationen zu ge‐ nerieren bzw. allfällige Verbesserungsmaßnahmen einzuleiten? 7. Auf welche Weise (wie) müssen die Informationen generiert werden, damit sie zur Qualitätsoptimierung genutzt werden können? 1 Einleitung 30 1.5.2 Beantwortung der Forschungsfragen Die Beantwortung der primären Forschungsfrage ergibt sich im Wesentlichen aus der Beantwortung der sieben Unterfragen, was implizit im Verlauf des The‐ orieteils erfolgt, der die drei Hauptthemen (1) Evaluation, (2) Qualität und (3) universitärer Fremdsprachenunterricht zum Gegenstand hat. Zudem werden die gewonnenen Erkenntnisse explizit in Abschnitt 6.4 rekapituliert. Gemäß den Evaluationsstandards (vgl. Sanders 2006) reicht es für ein Eva‐ luationsinstrument, welches auf umfassende Weise dazu beitragen soll, den uni‐ versitären Fremdsprachenunterricht zu verbessern, nicht aus, wenn dieses nur eine solide theoretische Basis aufweist. Vielmehr muss auch der direkte Praxis‐ bezug hergestellt werden, was bedeutet, dass neben theoretischen Überlegungen auch die am Unterrichtsgeschehen Beteiligten - die Lehrenden und Studier‐ enden - bei der Konzeption miteinbezogen werden müssen. Vereinfacht kann diese Annäherung an das Evaluationsinstrument ( KDE ) wie folgt skizziert werden: Abb. 1: Annäherung an die KDE 1.5 Forschungsdesign 31 Der praxisbezogene Aspekt bei der Konzeption der KDE kann aus Gründen des Umfangs im Rahmen dieses Bandes nicht berücksichtigt werden und wird für den jeweiligen Teilaspekt in den folgenden Bänden dargestellt. 1.5.3 Gliederung und Aufbau des Buches Kapitel 2: Dieses Kapitel versteht sich als Einführung in die Themenbereiche Qualität und Evaluation im Kontext von Hochschulen. Zu Beginn wird dargestellt, welchem Wandel die zentralen Begriffe mit der Zeit unterworfen waren, bevor die Diskussion um Qualitätssiche‐ rung auf Basis von Evaluation im universitären Kontext und ganz besonders auch im Fremdsprachenunterricht Einzug gefunden hat. Im Anschluss daran werden zentrale Begriffe wie Norm, Zertifi‐ zierung, Rating und andere Termini aus dem Qualitätsmanagement erklärt und zentrale qualitätsoptimierende Verfahren vorgestellt, die im Hochschulkontext eingesetzt werden, um Qualität zu si‐ chern. Kapitel 3: In diesem Kapitel sollen die wesentlichen Grundzüge der Evalua‐ tion bzw. Evaluationsforschung expliziert werden. Nach einer kurzen allgemeinen Einführung in das Thema wird auf die Kom‐ plexität des Begriffs Evaluation eingegangen und dessen Abgren‐ zung von inhaltsähnlichen Begriffen, wie beispielsweise dem Qua‐ litätsmanagement, erklärt. Im Anschluss daran werden zentrale Evaluationsmodelle aus der Evaluationsforschung vorgestellt, die häufig in Lehrveranstaltungsevaluationen Verwendung finden, und ihr potentieller Einsatz im universitären Fremdsprachenun‐ terricht wird diskutiert. Diese Ausführungen sollen im Detail die unterschiedlichen Evaluationsansätze aufzeigen, da diese in der einen oder anderen Form auch bei der KDE zum Einsatz kommen, und außerdem darlegen, welches Potential Evaluation in Bezug auf Qualitätsoptimierung haben kann. Kapitel 4: Kapitel 4 nähert sich an das zweite Kernthema der Arbeit, Qua‐ lität, an und versucht, die unterschiedlichen Aspekte, Dimensi‐ onen und Perspektiven zu diesem Begriff zu erörtern, bevor der Versuch unternommen wird, Qualität für den universitären Fremdsprachenunterricht zu definieren. Im Anschluss daran wird expliziert, warum Qualitätsverbesserung mit Hilfe von Evaluation nur erfolgen kann, wenn diese als Bestandteil eines übergeord‐ neten Qualitätsmanagementsystems gesehen wird. Daran an‐ 1 Einleitung 32 schließend werden Total Quality Management ( TQM ) und KAIZEN , zwei sehr geeignete Ansätze aus dem Qualitätsmanage‐ ment, eingeführt und ihre Anwendung für die Qualitätsverbesse‐ rung des universitären Fremdsprachenunterrichts diskutiert. Kapitel 5: Hier wirft man zu Beginn einen hochschuldidaktischen Blick auf das Lehren und Lernen von Sprachen, bevor im Anschluss daran die Complex Dynamic System Theory vorgestellt wird, die die kom‐ plexen Dynamiken beschreibt, die beim Lernen, Lehren und Eva‐ luieren im universitären Fremdsprachenunterricht festgestellt werden können. Im Anschluss daran werden Anforderungen an ein Evaluationsmodell herausgearbeitet, die im Kontext eines komplexen dynamischen Unterrichtsgeschehens notwendig sind, um für dessen Verbesserung relevante Informationen zu gene‐ rieren. Die Umsetzung durch die KDE wird im Anschluss daran beschrieben. Kapitel 6: In Kapitel 6 wird zuerst aufgezeigt, wie die für die Optimierung relevanten Daten gesammelt werden und welche Grundfragen dabei zu stellen sind, bevor im Anschluss daran die theoretischen Erkenntnisse der vorangehenden Abschnitte kurz rekapituliert werden, um den theoretischen Entwurf der Komplexen Dynami‐ schen Evaluation auszuführen, die sich aus den Komponenten Vor‐ evaluation, Begleitende Evaluation, Endevaluation und Selektive Evaluation zusammensetzt. Danach wird das Multifaktorielle Mo‐ dell der Lehrveranstaltungsqualität (Rindermann 2009) skizziert, welches den Lehrerfolg aus dem Zusammenspiel von Dozent, Stu‐ dierenden und Rahmenbedingungen herleitet und als ein Aspekt bei der theoretischen Grundlage zur Itemsgenerierung der KDE he‐ rangezogen wird, bevor das Kapitel mit der Beantwortung der Forschungsfragen endet. Kapitel 7: Dieser Abschnitt rekapituliert die zentralen Themen der Arbeit erneut und die daraus gewonnen Erkenntnisse werden diskutiert, bevor aufgezeigt wird, welche weiteren Schritte für die Fertigstel‐ lung der KDE noch unternommen werden müssen. 1.5 Forschungsdesign 33 1 Originaltitel: Zen and the Art of Motorcycle Maintenance 2 Qualität, Evaluation, Hochschule Was aber gut ist, Phaidros, und was nicht müssen wir danach erst andere fragen? (Sokrates) Die im vorangehenden Zitat durchaus berechtigte und zugleich rhetorische Frage stammt aus Robert M. Pirsigs Buch Zen und die Kunst, ein Motorrad zu warten, welches in seiner Originalfassung 1 erstmals 1974 erschien und sich seitdem nicht nur zu einem Welt-Bestseller entwickelte, sondern geradezu den Status eines wahren Kultbuches genießt (vgl. auch Simon 2000: 15). In seiner ursprünglichen Form ist diese Aussage jedoch wesentlich älter und stammt aus dem Platon-Dialog Phaidros, in welchem der griechische Philosoph Sokrates und sein Schüler Phaidros unter anderem über das Schöne, das Wahre, das Gute phi‐ losophieren. Auf das 21. Jahrhundert umgemünzt, unterhielten sich die beiden an dieser Stelle im Wesentlichen über Qualität und indirekt auch über Evalua‐ tion, zwei Begriffe, die - damals wie heute - in enger Verbindung zueinander stehen und in fast allen Bereichen des täglichen Lebens in der einen oder anderen Weise vorkommen - nimmt man dies nun bewusst wahr oder nicht. Im Alltag bewertet bzw. evaluiert man z. B. die Qualität eines bestimmten Produktes, wie etwa die eines PKW s oder eines Mobiltelefons, spricht über die zusehends sinkende Qualität des Fernsehprogramms, lobt das gute Essen in einem renommierten Restaurant oder entscheidet sich beim Einkauf für einen Qualitätswein aus einer bestimmten Region. Die Aufzählung solcher Beispiele ließe sich beliebig fortsetzen. Ähnlich verhält es sich mit vergleichbaren Wer‐ tungen im universitären Kontext, wenn etwa Lehrpersonen oder Studierende von guten oder schlechten Kursen, nützlichen Lehrmaterialien, ansprechenden Übungen etc. sprechen oder man in der Forschung versucht zu ergründen, was guter Fremdsprachenunterricht ist bzw. ob - und wenn - wie dieser durch Eva‐ luation verbessert werden kann. Für die Beantwortung dieser und anderer zentraler Fragen sind nicht nur die Kapitel 3, 4 und 5 des vorliegenden Buches relevant, in welchen die einzelnen Themenbereiche Qualität, Evaluation und Fremdsprachenunterricht im Detail behandelt werden, sondern auch ein gewisses Kontextwissen, welches die Zu‐ sammenhänge zwischen diesen Begriffen herstellt und Qualität und Evaluation in den Rahmen des universitären Fremdsprachenunterrichts einbettet. Dieses Kontextwissen wird im vorliegenden Kapitel aufbereitet. 2.1 Dynamik von Qualität und Evaluation Das Philosophieren über, das Streben nach und das Evaluieren von Qualität sind, wie oben genanntes Platon-Zitat verdeutlicht, keine neuen Phänomene, sondern in der einen oder anderen Form vermutlich so alt wie die Menschheit selbst. Zahlreiche Gelehrte setzten sich im Laufe der Geschichte in ihren Schriften immer wieder mit diesen Begriffen auseinander und waren darum bemüht, ein konkretes Verständnis davon zu erlangen, was letztendlich die Qualität einer Sache bestimmt (für eine detaillierte Abhandlung siehe z. B. Zollondz 2011: 8-19, Küpers 2001, Ritter et al 1971-2007) und wie man diese messen oder evaluieren kann. Was jedoch ein vergleichsweise neues Phänomen zu sein scheint - mög‐ licherweise auch ein Zeitgeist der letzten 25 Jahre - ist, dass zur üblichen Re‐ flexion bzw. zum Diskurs über Qualität und dem eigentlichen Bestreben, eine Sache möglichst gut bzw. kontinuierlich besser machen zu wollen, gegenwärtig auch ein stärkeres Nach-Außen-Hin-Sichtbarmachen dieser Bestrebungen zu beobachten ist. Manchmal hat es sogar den Anschein, als wäre dieses Aufzeigen sämtlicher qualitätsverbessernder Maßnahmen, die in Verbindung mit einem Produkt oder einer Dienstleistung durchgeführt werden, beinahe noch wichtiger als die tat‐ sächliche Qualitätsverbesserung an sich. Es geht primär nicht nur darum, da‐ nach zu streben, ein Produkt bzw. eine Dienstleistung zu verbessern oder die Herstellung des besten Produktes und eine optimale Dienstleistung zu gewähr‐ leisten, sondern (oftmals vor allem auch) darum, potentielle KundInnen, Käuf‐ erInnen oder InvestorInnen davon zu überzeugen, dass eine bestimmte Ware nicht nur besser ist als eine andere und wert ist, produziert bzw. gekauft zu werden, sondern auch darum, darauf hinzuweisen, dass der jeweilige Be‐ trieb / das Produkt / die Dienstleistung etc. von externen ExpertInnen evaluiert wurde und eine gute Platzierung in einem nationalen oder gar internationalen Vergleich (Rating) erhielt oder mit einem bestimmten Gütesiegel ausgezeichnet wurde. Es geht darum, aufzuzeigen, dass die Ware Qualität hat. Qualität wird in dieser Hinsicht oft synonym zu Exzellenz gesehen. Ähnliche Tendenzen sind auch im Hochschulbereich längst kein Novum mehr, vor allem dann, wenn es um das Akquirieren von finanziellen Mitteln geht, sei dies für den regulären Betrieb oder für die Finanzierung von (Drittmittel-)Projekten. 2.1 Dynamik von Qualität und Evaluation 35 2 http: / / www.no-cuts-on-research.eu/ , letzter Zugriff: 23. 04. 2017 Die Motive für dieses explizite Hinweisen auf qualitätsoptimierende Prozesse sind in großer Zahl vorhanden. Während sich in der Wirtschaft z. B. durch die Globalisierung generell ein stärkerer Konkurrenzdruck bemerkbar macht(e), hat auch das Internet in den letzten zwei Jahrzehnten zu einer völlig neuen Markt‐ situation geführt. Die bequeme Bestellung von nahezu allen nur erdenklichen Produkten von zu Hause aus, deren schnelle und weltweite Verfügbarkeit bzw. (oftmals kostenlose) Lieferung und die von KundInnen und HerstellerInnen vielfach gleichermaßen in Kauf genommene Kurzlebigkeit diverser Produkte (e.g. Mobiltelefone, PC s, Betriebsprogramme etc.) zugunsten noch schnellerer und besserer Modelle bzw. Updates, hat viele kleine und mittelgroße Betriebe zum Vorteil von Großkonzernen vor scheinbar unlösbare Herausforderungen gestellt und in weiterer Folge oftmals zur Aufgabe ihrer Produktion getrieben. Auch bei den Universitäten sind ähnliche Veränderungen zu spüren. Sie müssen sich, wie Landfried (vgl. 1999: 5) festhält, »zunehmend im nationalen und internationalen Wettbewerb behaupten« und »müssen sich auf internatio‐ nalen Bildungsmärkten positionieren und ihre Leistungsfähigkeit mehr als bisher öffentlich darstellen«. Neben diesem verstärkten Wettbewerbsdruck wurden und werden vielfach auch die finanziellen Mittel auf nationaler und auch auf europäischer Ebene für die Forschung und Wissenschaft gekürzt, was in Folge nicht nur zu personellen Einsparungen führt(e), sondern auch Ein‐ schränkungen bzw. sogar das potentielle Ende gewisser Studienrichtungen oder Institute bedeuten kann. Eine Petition 2 gegen die Kürzung der Forschungsmittel wurde etwa von der Initiative for Science in Europe (ise) im Oktober 2012 gestartet und aktuell (Stand 23. 04. 2017) von über 154 500 Personen unterzeichnet. Mit der Kürzung der Forschungsmittel geht aber auch ein verstärkter Recht‐ fertigungsdruck der Hochschulen nach außen einher und es wird von der Öf‐ fentlichkeit zusehends mehr Transparenz und Rechenschaftslegung über die Verwendung knapper öffentlicher Mittel gefordert (vgl. Landfried 1999: 5). Zudem sehen sich Universitäten vermehrt dazu gezwungen, darauf hinzu‐ weisen, dass sie kontinuierlich darum bemüht sind, akademische Standards zu sichern und die Lehre zu verbessern, wie Dill (vgl. 2000: 212) anführt. 2.1.1 Bildung als Ware und Lehre als Dienstleistung In der Wirtschaft kann generell beobachtet werden, dass sich der Markt in den letzten Jahrzehnten sehr stark verändert hat und überwiegend von einem Her‐ stellerInnenmarkt zu einem KundInnenmarkt geworden ist. Daraus resultieren 2 Qualität, Evaluation, Hochschule 36 vor allem für die KundInnen Vorteile, es gibt aber auch negative Begleiterschei‐ nungen. Der Käufer / die Käuferin hat nun in der Regel nicht nur eine fast un‐ überblickbare Auswahl an weltweit hergestellten und beziehbaren Produkten und eventuell sogar Preisvergleiche, die von diversen Firmen (nicht selten gegen eine versteckte Gebühr) angeboten werden und dem Kunden / der Kundin das gewünschte Produkt beim günstigsten Anbieter / der günstigsten Anbieterin herausfiltern, sondern er / sie muss nun vielfach auch vermehrt auf das Klein‐ gedruckte bei den angepriesenen Waren achten. Neben Betrügereien klagen immer mehr KäuferInnen über eine scheinbar sinkende Qualität bzw. Kurzle‐ bigkeit vieler Produkte. Diese Veränderungen haben u. a. dazu geführt, dass sich mittlerweile zahl‐ reiche Unternehmen der Tatsache bewusst sind, in einer Marktwirtschaft im Zeitalter der Globalisierung und des ständig zunehmenden Konkurrenzdrucks, bei scheinbar kontinuierlich sinkenden Preisen vieler Produkte nur mehr dann langfristig bestehen zu können, wenn sie die KundInnen durch die Qualität der von ihnen angebotenen Waren überzeugen. Während manche HerstellerInnen weiterhin auf den niedrigen Preis ihrer Produkte und Dienstleistungen bauen und dies oftmals nur durch verminderte Qualität bzw. durch das Produzieren der Ware in Billiglohnländern erreichen können, versuchen andere verstärkt auf die Wichtigkeit von Nachhaltigkeit, Service und Qualität hinzuweisen. Das Kriterium Qualität hat somit nicht nur wieder an Bedeutung gewonnen, sondern muss auch vor einem anderen Hintergrund als bisher betrachtet werden. Laut Timischl (vgl. 2007: 1) ist gegenwärtig sogar die Tendenz fest‐ stellbar, dass der Kunde / die Kundin eine Qualität auf einem ihm / ihr ansprech‐ enden Niveau fordert und dass zukünftig hochentwickelte Technologien we‐ niger entscheidend sein werden als die Einstellung eines Unternehmens, die Erwartungen der KundInnen erfüllen zu wollen. In einem derart kundInnenori‐ entierten Ansatz (user-based-approach) ist Qualität folglich weitgehend davon abhängig, was der Kunde / die Kundin darunter versteht. Dieser Aspekt ist auch im Kontext des vorliegenden Ansatzes wesentlich, da durch diverse Umstruk‐ turierungen an den Hochschulen - wie z. B. die Auslagerung von Fremdspra‐ chenkursen an universitäre Sprachenzentren - der Sicherung und Verbesserung von Qualität eine ganz neue Wichtigkeit zugekommen ist. Zudem werden an vielen Universitäten bzw. Fachhochschulen Studierende verstärkt als KundInnen wahrgenommen, bzw. fühlen sie sich selbst als Kund‐ Innen, die für eine Ware Bildung bzw. eine Dienstleistung Lehre bezahlen und demgemäß gewisse Forderungen damit verbinden. Dass diese Sichtweise nicht nur bei vielen Lehrenden für Ablehnung sorgt und auch hinsichtlich der aka‐ 2.1 Dynamik von Qualität und Evaluation 37 3 European Association for Quality Assurance in Higher Education demischen (Aus-)Bildung der Studierenden zu hinterfragen ist, muss an dieser Stelle nicht expliziert werden. Während mit dieser Wahrnehmung mancher Studierenden, KundInnen zu sein bzw. dem Umstand, dass viele von ihnen an den Universitäten für eine gewisse Leistung in Form von Studiengebühren bezahlen müssen, oftmals von ihrer Seite stärkere Forderungen nach Qualität bzw. Service einhergehen, ist gleichzeitig in vielen universitären Kursen auch ein von innen heraus entste‐ hendes Bestreben zu beobachten, verstärkt teilnehmerInnenorientiert zu lehren. Dies steht mitunter vielleicht zum einen mit der Forderung der ENQA 3 (vgl. 2012: 6) in Zusammenhang, dass bei sämtlichen qualitätssichernden Maß‐ nahmen im Bereich des Lehrens und Lernens an den europäischen Hochschulen die Studierenden im Zentrum der Aufmerksamkeit stehen sollen, und zum an‐ deren mit dem Paradigmenwechsel shift from teaching to learning, welcher das Lernen gegenüber dem Lehren explizit hervorhebt. Zweifelsfrei sind derartige Strömungen nicht neu, sondern finden ihre Ur‐ sprünge im deutschsprachigen Raum - vor allem auch in Zusammenhang mit Evaluation - bereits in der 68er-Bewegung und den Protesten an Hochschulen, die, wie Rindermann (vgl. 2009: 31) anführt, die Reformen an deutschen Univer‐ sitäten einleiteten. Was jedoch als Novum der letzten Jahre gesehen werden kann, ist, dass Evaluationsergebnisse mitunter online gestellt werden und da‐ durch verhältnismäßig leicht zugänglich sind. Demzufolge werden diverse Fragen, Probleme, Erwartungen bzw. Forderungen den einzelnen am Unter‐ richtsgeschehen Beteiligten aktuell vielleicht deutlicher als bisher vor Augen geführt. Qualität bzw. fehlende Qualität wird sichtbar (gemacht) und steht auf Lehrendenseite auch vielfach in direkter Verbindung mit Vertragsverlänge‐ rungen oder eben der Nichtverlängerung von Lehraufträgen. Evaluation, besser gesagt, deren Ergebnisse können dadurch nolens volens auch als Druckmittel fungieren. 2.1.2 Normen, Zertifizierungen, Ratings Zu diesen bisher genannten Gründen für Veränderungen muss auch die Veröf‐ fentlichung zahlreicher Normen und Zertifizierungen gezählt werden, die seit den 1980er Jahren verstärkt zum Einsatz kommen und auch explizit das Thema Qualität zum Gegenstand haben. Allen voran seien hier die DIN - EN - ISO Normen 8402 und 9000-9004 ge‐ nannt. In diesen Qualitätsmanagementnormen, die von internationalen Exper‐ 2 Qualität, Evaluation, Hochschule 38 tInnen erarbeitet wurden und erstmals die KundInnen in den Mittelpunkt rü‐ cken, werden jene Kriterien beschrieben, die ein Unternehmen erfüllen muss, um einem bestimmten Standard bei der Umsetzung des Qualitätsmanagements zu entsprechen. Anders formuliert: Sie definieren auf eine allgemeine Weise jene Maßnahmen, die der Optimierung von Prozessen, Produkten oder Leistungen jeglicher Art dienen. Werden die betriebsinternen Abläufe und in weiterer Folge auch das hergestellte Produkt diesen bestimmten, festgelegten Qualitätskrite‐ rien gerecht, dann spricht man von einem ISO -zertifizierten Unternehmen und einem Qualitätsprodukt. Normen und Standards haben mittlerweile in fast allen Bereichen des täglichen Lebens Einzug gefunden. Alles scheint genormt zu sein, selbst der Begriff Qualität. 2.1.3 QM-Begriffe im Hochschulkontext Auch Universitäten im deutschsprachigen Raum wurden von diesen oben an‐ geführten Strömungen nicht verschont und diverse Begriffe und Termini, die ursprünglich der Wirtschaft bzw. dem Qualitätsmanagement zugeordnet waren, sind mittlerweile ebenfalls im Hochschulkontext längst salonfähig geworden und prägen ferner seit gut zwanzig Jahren verstärkt den wissenschaftlichen Diskurs. Dies inkludiert interessanterweise auch jene Disziplinen, deren pri‐ märe Forschungsschwerpunkte üblicherweise a priori nicht unbedingt mit Qua‐ litätsmanagement, Qualitätssicherung, Ratings und dergleichen assoziiert werden, aber mit den Themen dieses Buches in direkter Verbindung stehen, wie z. B. die Sprachlehrforschung oder die Fremdsprachendidaktik. Hätte man beispielsweise Qualitätsverbesserung, Qualitätssicherung, Evalua‐ tion, Audit, Akkreditierung, Sicherung von Standards, KundInnenzufriedenheit etc. vor etwa 25 Jahren an den Universitäten noch hauptsächlich mit Wirtschafts-, Unternehmens- und Managementwissenschaften assoziiert, oder generell mit Produktion, Produkten und Dienstleistungen etc. in Verbindung gebracht, so haben sich diese heute in fast allen wissenschaftlichen Bereichen etabliert und auch im Bildungssektor bzw. im Bereich des Fremdsprachenunterrichts Einzug gefunden. Hier spricht man u. a. von pädagogischer Qualität, didaktischer Qua‐ lität, Bildungsstandards oder diskutiert z. B. die Anwendung diverser Normen auf die Hochschule (siehe z. B. Knoll 2005). Während der Impuls der Qualitätssicherung und -entwicklung in Wirt‐ schaftsunternehmen überwiegend von innen heraus entstand und in vielen Be‐ reichen eine unabdingbare Voraussetzung darstellte, um erfolgreich am natio‐ nalen und internationalen Wettbewerb teilnehmen zu können, so waren bei den Bildungseinrichtungen zu Beginn vor allem externe Faktoren, wie zum Beispiel 2.1 Dynamik von Qualität und Evaluation 39 4 Einen Überblick bieten z. B. die Publikationssammlung der Hochschulrektorenkonfe‐ renz (HRK), sowie Rindermann (2009), Zollondz (2001, 2011) und Stockmann / Meyer (2010). Impulse aus der Politik ausschlaggebend, um das Rad in Sachen Qualität ins Rollen zu bringen (vgl. Kaufmann 2009: 9). Spätestens seit Ende der 1990er Jahre findet man jedoch auch im Hochschulbereich vermehrt ein von innen gesteu‐ ertes Bestreben, nicht nur qualitativ hochwertige Forschung, sondern auch Qualität in der Aus- und Weiterbildung zu forcieren. Qualität ist folglich »zu einem zentralen Fokus der theoretischen, forschungsmethodischen und gestal‐ terischen Bemühungen geworden« (Helmke / Hornstein / Terhart 2000: 7). Das‐ selbe trifft auf Evaluation zu. Dies zeigt auch die nahezu unüberschaubar gewordene Zahl 4 an Publikati‐ onen, Projekten, Tagungen und Kongressen zu diesen Themen, die allein in den vergangenen Jahren zu beobachten war. So finden beispielsweise seit Anfang der 1990er Jahre von der Hochschulrektorenkonferenz ( HRK ) in regelmäßigen Abständen initiierte Tagungen und Kongresse zu den Themen Qualität und Qualitätsmanagement bzw. Evaluation an Hochschulen statt, und es wurden auch bereits einige mehrjährige Projekte von der HRK zu diesen Themen ins Leben gerufen. Auch in Österreich rückte das Thema der Qualitätssicherung und -entwick‐ lung in der Bildung in den Fokus vermehrter Aufmerksamkeit. Eine erste Ta‐ gung zum Thema Qualitätsentwicklung in der Erwachsenenbildung wurde zum Beispiel im Jahr 2000 am Bundesinstitut für Erwachsenenbildung durchgeführt. Hierzu erschien ebenso die gleichnamige Publikation. Im Bereich der Hoch‐ schulen wurden nicht nur zahlreiche Forschungsprojekte zu diesen Themen ins Leben gerufen, sondern 2012 auch die Agentur für Qualitätssicherung und Ak‐ kreditierung Austria ( AQ Austria) gegründet, die, wie auf der Homepage dekla‐ riert, als unabhängige Einrichtung für Qualitätssicherung, Evaluierung und Zertifizierung im Hochschulbereich u. a. externe Qualitätssicherungsverfahren und Audits durchführt, um die Qualitätsentwicklung an den österreichischen Hochschulen zu fördern. 2.1.4 Zwischenresümee Resümierend kann somit festgehalten werden, dass sowohl Qualität als auch Evaluation in der heutigen Zeit weder aus dem Alltag noch aus der Wissenschaft wegzudenken, sondern - ganz im Gegenteil - auch im Bildungsbereich in aller Munde sind. Selbst wenn die beiden Termini nicht immer explizit die Themen eines Werkes oder einer Veranstaltung darstellen, so muss man sich in der Regel 2 Qualität, Evaluation, Hochschule 40 5 Diese Bezeichnung ist nicht unproblematisch, weil Evaluation Teil eines Qualitätsma‐ nagements sein kann, jedoch per se nichts optimiert. Sie kann lediglich Informationen zu Tage fördern, die Verbesserungsprozesse initiieren. nicht allzu lange in Geduld üben, bis einer dieser Begriffe in der einen oder anderen Art Erwähnung findet - und sei es nur in Form eines Feedbacks zur Qualitätsoptimierung oder -sicherung, um das man als Lehrperson das Audito‐ rium am Ende einer Lehrveranstaltung bzw. die TeilnehmerInnen einer Fortbil‐ dung oder Tagung bittet, oder um welches man selbst vom / von der Vortra‐ genden gebeten wird. Im Bereich der Hochschulen werden die beiden Begriffe auch vielfach mitei‐ nander kombiniert, was dann als Qualitätsoptimierung durch Evaluation 5 be‐ zeichnet wird und das Herzstück dieser Arbeit bildet. Zahlreiche Verfahren, allen voran das Evaluieren von Lehrveranstaltungen (siehe Kapitel 3), haben sich hierzu mittlerweile auch im Bildungsbereich auf allen Ebenen etabliert. Obwohl das Evaluieren, spätestens seit es in den Hochschulgesetzen im deutsch‐ sprachigen Raum gesetzlich verankert ist (für Österreich siehe Kohler, 2009, für Deutschland siehe Schmidt, 2009 und für die Schweiz siehe Rhyn, 2009), einen fixen Bestandteil des universitären Qualitätsmanagements darstellt, ist es nach wie vor heftig umstritten und wird von manchen sogar als Evaluitis (Simon 2000, Frey 2007) bezeichnet. Dies hat unterschiedliche Ursachen, die in den folgenden Kapiteln im Detail diskutiert werden. Es sei jedoch bereits an dieser Stelle vorweggenommen, dass nach Analyse der Sachlage die Hauptgründe für eine Evaluitis in vielen Fällen relativ einfach auf den Punkt gebracht werden können: Sie entsteht vor allem dann, wenn Maßnahmen, die der Qualitätsverbesserung dienen sollen, mit wenig durchdachten Methoden durchgeführt werden, mit einem erheblichen Aufwand von Seiten der Beteiligten verbunden sind und gleichzeitig kaum ein sinnvolles und nachhaltiges Follow-up in Form von Verbesserungen nach sich ziehen. Natürlich impliziert das hier Gesagte auch, dass Veränderungen, ganz beson‐ ders dann, wenn sie der Verbesserung dienen sollen, immer mit einem gewissen Aufwand verbunden sind. Dieser Umstand lässt sich nicht negieren. Es ist jedoch anzunehmen, dass Methoden der Verbesserung auf weniger Widerstand bzw. auf bessere Akzeptanz stoßen, wenn sie sich durch Effizienz und Effektivität auszeichnen und sich mit dem damit verbundenen Mehr an Arbeit für die Be‐ teiligten auch eine tatsächliche Verbesserung einer suboptimalen Situation ein‐ stellt. Ein zentrales Anliegen dieses Buches stellt daher auch die Entwicklung eines Evaluationsmodells dar, welches diesen Forderungen gerecht zu werden ver‐ 2.1 Dynamik von Qualität und Evaluation 41 6 In den USA gibt es bereits seit Ende des 19. Jahrhunderts qualitätssichernde Bestre‐ bungen an Universitäten, die sich jedoch von jenen in Europa unterscheiden (siehe Huisman / Currie 2004: 521). 7 Nachfolger der Lissabon-Strategie ist die Strategie »Europa 2020«, die 2010 verab‐ schiedet wurde. sucht und dadurch einer übermäßigen Evaluitis weitgehend entgegenwirken soll. Völlig verhindern kann man den mit qualitätsoptimierenden Maßnahmen verbundenen Mehraufwand jedoch nie, denn wie schon eine philosophische Beobachtung verdeutlicht: Ex nihilo nihil fit. Bevor in den folgenden Kapiteln ausgeführt wird, welche Komponenten und Rahmenbedingungen ein Evaluationsmodell im Detail benötigt, damit es sich durch Effektivität und Effizienz auszeichnet, soll an dieser Stelle kurz auf die zentralen qualitätsoptimierenden Maßnahmen an Hochschulen eingegangen werden, da diese eine wichtige Basis für sämtliche weitere Ausführungen dar‐ stellen und ein Grundverständnis derselben für das Nachvollziehen vieler in diesem Buch beschriebenen Schritte essentiell ist. 2.2 Qualitätsoptimierende Maßnahmen an Hochschulen An europäischen 6 Universitäten wird seit gut zwei Jahrzehnten verstärkte Auf‐ merksamkeit auf qualitätsoptimierende Maßnahmen gerichtet, die auch nach außen transparent gemacht werden (müssen). Die Gründe hierfür sind vielfältig und hängen mit unterschiedlichen Faktoren zusammen, die seit Ende des zweiten Weltkrieges zu beobachten sind: Neave (vgl. 2012: 3) nennt in diesem Zusammenhang die grundsätzlichen Veränderungen, die das Dreieck Regie‐ rung, Gesellschaft und Universität betreffen, und Weingart (vgl. 2003) spricht von einer generell stärkeren Bindung der Hochschulen an Politik, Wirtschaft und Medien. Zudem kommen zu den traditionellen Aufgaben der Universitäten, die sich im Bereich der Forschung und Lehre befinden, neue Pflichten hinzu, die den Hoch‐ schulen im Interesse der Gesellschaft und / oder der Wirtschaft unter dem Deck‐ mantel der Wettbewerbsfähigkeit auferlegt werden (vgl. Neave 2012: 3). Weingart (vgl. 2003: 110) bezeichnet diese sogenannte »dritte Mission« als kommerziell orientierten Innovationsmotor für die Industrie. Der damit in Verbindung ste‐ hende Druck auf Universitäten vergrößerte sich besonders auch in Europa durch die Lissabon-Strategie 7 , die darauf abzielte, die Europäische Union bis zum Jahr 2010 »zum wettbewerbsfähigsten und dynamischsten wissensbasierten Wirt‐ schaftsraum« der Welt zu machen. 2 Qualität, Evaluation, Hochschule 42 Trotz dieser hier angeführten Veränderungen und dem damit vielfach ein‐ hergehenden Wandel hinsichtlich der Finanzierung der Universitäten beziehen öffentliche Hochschulen nach wie vor einen Großteil ihrer finanziellen Mittel aus staatlichen Ressourcenzuwendungen, wenngleich diese heute nicht mehr so bedingungslos sind wie etwa noch vor 30 Jahren. Als Ausnahmebeispiel für Finanzierung wäre hier das britische Hochschulsystem vor den 1980er Jahren zu nennen, welches sich, wie Pechar (2006: 59) konstatiert, durch einen einzig‐ artigen »Vertrauensvorschuss der Gesellschaft in ihr Hochschulsystem« aus‐ zeichnete, der den Hochschulen zum einen eine überwiegend öffentliche Fi‐ nanzierung sicherte, sie dadurch vom Markt unabhängig machte und zum anderen diese öffentliche Basisfinanzierung nicht an staatliche Auflagen und Eingriffe knüpfte. Im Vergleich dazu sieht die Finanzierung der Hochschulen heute völlig anders aus. In der Regel sind die staatlichen Ressourcenzuwen‐ dungen mit den Hochschulen vertraglich vereinbart und die Universitäten müssen darlegen, wie sie die jeweiligen Gelder einsetzen. Pechar (2006) spricht in diesem Zusammenhang von einem Kurswechsel »vom Vertrauensvorschuss zur Rechenschaftspflicht«. Zudem haben Krisen in staatlichen Haushalten in Europa seit den 1980er Jahren oftmals dazu geführt, dass die staatlichen Mittel für Bildungseinrich‐ tungen gekürzt wurden (vgl. Mittag 2006: 1). Diese Mittelkürzung ist aktuell auch im Zusammenhang mit der Eurokrise zu beobachten und schließt dabei auch Länder ein, die von der Krise bisher weitgehend verschont wurden. An dieser Stelle sei auch auf das Stichwort »Bildungsmilliarde« und die Abschaffung des eigenständigen Wissenschaftsministeriums in Österreich (2013) hingewiesen. Mit den Kürzungen bei den öffentlichen Ressourcenzuwendungen geht auch die bereits genannte stärkere Bindung der Universitäten an die Wirtschaft einher. Kaum eine Universität kann aktuell auf Gelder aus Drittmittelprojekten oder auf die Zusammenarbeit mit Unternehmen aus der Wirtschaft verzichten. Zwar pflegen in der Regel überwiegend technische Universitäten und Fach‐ hochschulen einen sehr engen Kontakt zu Firmen, jedoch ist dies auch in vielen anderen Wissenschaftszweigen mittlerweile Usus geworden. Nicht nur, dass wissenschaftliches Wissen zusehends zu einem »begehrten Gut« wird, »das die Privatwirtschaft zu kontrollieren sucht, um damit Profite zu machen«, wie Weingart (2003: 103) feststellt, die »Wissenschaftspolitik drängt die Universitäten, sich enger an den Bedürfnissen der Wirtschaft zu orientieren« (ibid. 2003: 104), was sich aller Voraussicht nach auch durch die in Österreich durchgeführte Integration des Wissenschaftsministeriums in das Wirtschafts‐ ministerium noch verstärken könnte. Dass dies nicht nur (negative) Auswir‐ kungen auf viele Universitäten per se hat, sondern auch dramatische Konse‐ 2.2 Qualitätsoptimierende Maßnahmen an Hochschulen 43 quenzen für einige Forschungsbereiche nach sich ziehen kann, die wenig bis keinen Nutzen für die Wirtschaft haben, leuchtet ein. Ein weiterer Grund für das knappe Budget vieler (öffentlicher) Universitäten ist ein starker Zuwachs an Studierenden, der unter anderem mit dem raschen Wachstum des Wissenschaftssystems in Verbindung steht, welches seit dem zweiten Weltkrieg in den Industrienationen zu verzeichnen ist und zum einen dazu führte, dass es zu einer Ausweitung der Eliteuniversitäten kam und zum anderen zu einer Verlagerung des Hochschulsystems der Eliteuniversitäten hin zu Massenuniversitäten, wie Trow (vgl. 2005: 6) vermerkt. Ermöglichte letztere Entwicklung im Prinzip allen Bildungsschichten den Hochschulzugang, so er‐ schwerte sie die finanzielle Situation vieler Universitäten dramatisch, da bei steigender Zahl der Studierenden die Finanzierung vielfach bestenfalls gleich‐ blieb. Die in manchen Ländern immer wieder entfachte (politisch geführte) Dis‐ kussion hinsichtlich der Abschaffung, Beibehaltung oder (Wieder-)Einführung von Studiengebühren ist in dieser Hinsicht auch nicht besonders hilfreich. Die Rechenschaftspflicht, die die Universitäten bzw. die Wissenschaft gegen‐ über ihren Geldgebern haben, gibt es zusehends auch gegenüber der Öffent‐ lichkeit. Dies ist, wie Weingart (vgl. 2003: 113) bemerkt, u. a. darauf zurückzu‐ führen, dass die Universitäten bzw. die Wissenschaft zwar öffentlicher Gelder bedürfen, aber ihre Gegenleistungen für die Gesellschaft aufgrund der Ausdif‐ ferenzierung und Spezialisierung oft unverständlich bleiben. Demgemäß suchen die Hochschulen vermehrt die öffentliche Akzeptanz, wobei die Medien eine besonders wichtige, wenn auch nicht immer unumstrittene Funktion ein‐ nehmen. Unter dem Stichwort der Qualität bzw. der Qualitätsoptimierung, -ver‐ besserung und -sicherung werden die Universitäten auch in der Öffentlichkeit in regelmäßigen Abständen evaluiert. So gibt es beispielsweise Universitätsrankings, wie sie etwa vom Magazin Times Higher Education seit 2004 veröffentlicht werden, die die Qualität von Forschung und Lehre bewerten und in weiterer Folge die Hochschulen in ver‐ schiedene Ranggruppen einteilen. Die Ergebnisse werden dann üblicherweise in den Medien diskutiert, was den Druck und den Wettbewerb unter den Uni‐ versitäten erneut verstärkt. Zweifelsohne wurde durch diese Rankings der Wett‐ bewerb der Hochschulen untereinander bewusster und hat auch die Bedeutung dieser »Hitlisten«, wie sie Hommelhoff (vgl. 2008: 9) bezeichnete, gesteigert, je‐ doch ist auch zu erwähnen, dass die Kriterien und Methoden bei der Erstellung der Rankings in der öffentlichkeitswirksamen Auswertung oft im Hintergrund stehen (vgl. ibid.). Das Resümee, welches daraus gezogen werden kann, lässt sich aus Sicht der Hochschulen subsumieren unter monetärem Ressourcenrückgang von öffent‐ 2 Qualität, Evaluation, Hochschule 44 licher Seite, vielfach steigender Zahl der Studierenden, erhöhtem Wettbewerbs‐ druck, zunehmender Autonomie, stärkerer Bindung der Hochschulen an die Wirtschaft und vermehrtem Rechtfertigungsdruck gegenüber den Geldgebe‐ rInnen, der Gesellschaft und den Studierenden. Neben diesen bisher genannten externen Faktoren, die die Universitäten von außen förmlich dazu zwangen, sich mit der Frage der Qualitätsverbesserung und -sicherung auseinanderzusetzen, ist auch ein Umdenken an den Universitäten selbst zu beobachten, eine Wandlung von innen. Waren viele Lehrende vor Jahren noch der Ansicht, dass Qualitätsmanagement, Evaluation, Akkreditie‐ rung etc. an Universitäten »unnötig« wären, oder etwa das »Tun« an Hoch‐ schulen in Frage stellen würden, wie Gaethgens dies in der Herbsttagung der HRK 2008 bereits feststellte, so wurde mittlerweile erkannt, dass man, will man im internationalen Wettstreit um Studierende bestehen, auf Qualitätssiche‐ rungsaktivitäten nicht verzichten könne. Ganz im Gegenteil, man muss aktiv Methoden und Einrichtungen schaffen, die sich mit Qualität an der Hochschule in ihrer Mannigfaltigkeit auseinandersetzen und diese auch sichtbar machen. Nicht zuletzt hängt vielfach davon das Budget - und bei kleineren Instituten sogar deren Überleben ab. Stangl (o. J.) resümiert diesbezüglich treffend: »Wer zur Elite der Universi‐ täten zählen will, unterwirft sich den Anforderungen des Qualitätsmanage‐ ments und dokumentiert diese für die Öffentlichkeit und vor allem für die Sta‐ keholder gut sichtbar auf der Homepage der Universität«. Dabei müssen sich sämtliche dieser Qualitätssicherungsaktivitäten auf die gesamte Universität be‐ ziehen, sowohl auf die Verwaltung als auch auf die Forschung und die Lehre. Als Konsequenz wurden in den vergangenen Jahren unterschiedlichste Ver‐ fahren der Qualitätssicherung und -verbesserung an europäischen Hochschulen ein- und durchgeführt, die in Folge kurz besprochen werden, bevor im Anschluss daran konkret auf Qualitätsverbesserung auf Basis von Lehrveranstaltungseva‐ luation eingegangen wird. 2.3 Zentrale Maßnahmen im Detail Qualitätssichernde Maßnahmen an Hochschulen im europäischen Raum waren zu Beginn vielfach wenig systematisch und wurden anfangs nur von einigen ExpertInnen thematisiert. Zudem waren diese von Staat zu Staat mitunter sehr verschieden, was nicht zuletzt auch auf die unterschiedliche Organisation der Universitäten zurückzuführen ist (vgl. The Danish Evaluation Institute 2003: 7). Ein wesentlicher Schritt zu einer einheitlichen europäischen Lösung wurde in 2.3 Zentrale Maßnahmen im Detail 45 8 European University Association 9 European Association of Institutions in Higher Education 10 European Student Information Bureau, seit 2007: ESU (European Students’ Union) 11 Begutachtung durch FachkollegInnen 12 Das Akronym ESG (European Standards and Guidelines) hat sich auch im deutsch‐ sprachigen Raum weitgehend durchgesetzt. Zusammenhang mit der Schaffung des gemeinsamen europäischen Hochschul‐ raums (siehe Bologna-Prozess) gesetzt. Im »Kommuniqué der Konferenz der europäischen Hochschulministerinnen und -minister am 19. September 2003 in Berlin« (2003: 4) beauftragten die Mi‐ nisterInnen jener Staaten, die den Bologna-Prozess unterzeichnet hatten, das »European Network for Quality Assurance in Higher Education ( ENQA )« »über seine Mitglieder und in Zusammenarbeit mit der EUA 8 , EURASHE 9 und ESIB 10 ein vereinbartes System von Normen, Verfahren und Richtlinien zur Qualitäts‐ sicherung zu entwickeln, Möglichkeiten zur Gewährleistung eines geeigneten Begutachtungsprozesses (peer review 11 ) für Agenturen und Einrichtungen zur Qualitätssicherung und / oder Akkreditierung zu prüfen und durch die Follow-up-Gruppe den Ministerinnen und Ministern bis 2005 darüber Bericht zu erstatten«. Zudem sollte die ENQA dabei »die Fachkenntnis anderer Ver‐ bände und Netzwerke für Qualitätssicherung« gebührend berücksichtigen (vgl. ibid.). Im Zuge dessen erarbeitete die ENQA Standards und Leitlinien für die Quali‐ tätssicherung im Europäischen Hochschulraum ( ESG 12 ) in Form interner und ex‐ terner Qualitätssicherungsstandards für Hochschulen und externer Standards für Qualitätssicherungsagenturen, die zusätzlich zum bereits 1998 vorgeschla‐ genen »Vier-Phasen-Modell« (four-stage model) des Rates zum Einsatz kommen sollten. Das Vier-Phasen-Modell sieht im Wesentlichen vor, dass die qualitäts‐ sichernden Maßnahmen an den Universitäten intern (durch Selbstevaluation) und extern (durch unabhängige Agenturen und ExpertInnen) evaluiert werden und in Folge ein Bericht hierzu veröffentlicht wird. 2.3.1 Standards und Leitlinien (ESG) Die ESG (Standards und Leitlinien für die Qualitätssicherung im Europäischen Hochschulraum), die primär entwickelt wurden, um den Bedarf für ein gemein‐ sames Verständnis von Qualitätssicherung in Europa zu decken (vgl. The Danish Evaluation Institute 2009: 6) bzw. einen gemeinsamen Referenzrahmen für Qua‐ litätssicherung im europäischen Hochschulraum bereitzustellen (vgl. HRK 2015: 10), bestehen sowohl in ihrer ursprünglichen Fassung aus dem Jahr 2005 2 Qualität, Evaluation, Hochschule 46 (Originalfassung in Englisch, siehe ENQA 2005 bzw. Übersetzung ins Deutsche, siehe Alphei / Michalk 2006) als auch in ihrer überarbeiteten Fassung aus dem Jahr 2015 (siehe ENQA 2015 bzw. HRK 2015) inhaltlich aus folgenden drei Teilen: 1. Standards und Leitlinien für interne Qualitätssicherung; 2. Standards und Leitlinien für externe Qualitätssicherung; 3. Standards und Leitlinien für externe Qualitätssicherungsagenturen. Erstere richten sich dabei an die universitätsinternen Maßnahmen der Quali‐ tätssicherung, zweitere befassen sich mit jenen, die von den Qualitätssiche‐ rungsagenturen durchgeführt werden. Diese sollen überprüfen, wie wirksam die einzelnen Institutionen die Standards für die interne Qualitätssicherung umsetzen. Letztere stellen sozusagen eine Meta-Qualitätssicherung der Agen‐ turen dar, damit gewährleistet wird, dass diese nach denselben Richtlinien prüfen. »Diese drei Teile sind inhaltlich aufeinander bezogen und bilden zu‐ sammen die Basis eines europäischen Referenzrahmens für die Qualitätssiche‐ rung« (vgl. HRK 2015: 15) und stellen daher auch einen wichtigen Bezugspunkt bei der Evaluation der Lehrqualität dar. Für den Kontext der KDE sind primär die Standards und Leitlinien der internen Qualitätssicherung wichtig, weswegen an dieser Stelle näher auf diese eingegangen wird. 2.3.1.1 ESG für interne Qualitätssicherung Während die ESG 2005 generell allgemeiner und vielfach auch freier formuliert wurden, sind bei der Version aus dem Jahr 2015 für die interne Qualitätssiche‐ rung konkret folgende zehn Standards definiert (siehe: HRK 2015: 41-43): (1) Strategie für die Qualitätssicherung, (2) Gestaltung und Genehmigung von Studiengängen, (3) Studierendenzentriertes Lernen, Lehren und Prüfen, (4) Zu‐ lassung, Studienverlauf, Anerkennung und Studienabschluss, (5) Lehrende, (6) Lernumgebung, (7) Informationsmanagement, (8) Öffentliche Informationen, (9) Fortlaufende Beobachtung und regelmäßige Überprüfung der Studiengänge und (10) Regelmäßige externe Qualitätssicherung. Nach Analyse der einzelnen Punkte gestalten sich folgende acht Standards als besonders wichtig in Hinblick auf Qualitätsoptimierung des universitären Fremdsprachenunterrichts durch Lehrveranstaltungsevaluation: 2.3.1.1.1 Strategie für die Qualitätssicherung Das Qualitätssicherungssystem fördert eine kontinuierliche Verbesserung. Ent‐ scheidend ist somit, dass Qualitätsverbesserung im Unterricht nicht etwas Punktuelles ist, sondern ein Prozess, der kontinuierlich erfolgen soll. Zudem trägt dieses System »zur Bildung einer Qualitätskultur bei, in der alle internen 2.3 Zentrale Maßnahmen im Detail 47 InteressensvertreterInnen für die Qualität verantwortlich sind und auf allen Ebenen der Institution Verantwortung für die Qualitätssicherung übernehmen ( HRK 2015: 17)«. Dies schließt Lehrende und Studierende mit ein. Alle am Un‐ terrichtsgeschehen haben daher nicht nur das Recht auf Qualität, sondern auch die Pflicht, sich aktiv an der Schaffung und Verbesserung von Qualität zu be‐ teiligen und müssen ihre dementsprechenden Aufgaben wahrnehmen (vgl. ibid.). 2.3.1.1.2 Gestaltung und Genehmigung von Studiengängen Den Studierenden sollen nicht nur akademisches Wissen und Fähigkeiten ver‐ mittelt werden, sondern auch Schlüsselkompetenzen, »die die persönliche Ent‐ wicklung der Studierenden beeinflussen und für ihre spätere Berufslaufbahn nützlich sein können« ( HRK 2015: 19). Hierzu ist, wie im Kapitel zur Evaluation noch detailliert angeführt wird, auch die Selbstreflexionskompetenz zu zählen, da die Fähigkeit, über das eigene LernerInnenselbst zu reflektieren, als ein we‐ sentlicher Aspekt der persönlichen Entwicklung von Studierenden anzusehen ist. Des Weiteren wird gefordert, dass die Studiengänge und daher auch die ein‐ zelnen Kurse so zu gestalten sind, dass die gewünschten Lernziele klar definiert werden und sowohl die Studierenden aktiv an der Mitgestaltung beteiligt sind als auch andere externe Referenzpunkte genutzt werden. 2.3.1.1.3 Studierendenzentriertes Lernen, Lehren und Prüfen Ein besonders wichtiger Punkt, der unter diesem Standard angeführt wird, be‐ trifft die Durchführung der Studiengänge in der Form, dass die Studierenden ermutigt werden, »eine aktive Rolle in der Gestaltung des Lernprozesses zu übernehmen ( HRK 2015: 20)«. Somit wird ein verstärkter Wert auf studieren‐ denzentriertes Lernen und Lehren gelegt, was, wie in den Leitlinien expliziert, »eine große Bedeutung für die Motivation, die Selbstreflexion und das Engage‐ ment der Studierenden während des Lernprozesses (ibid.)« hat. Als wichtige Punkte hierbei werden folgende genannt ( HRK 2015: 20): • »die Diversität der Studierenden und ihrer Bedürfnisse zu respektieren und ihnen durch flexible Lernwege Rechnung zu tragen; • wo es angebracht ist, unterschiedliche Vermittlungsweisen in Betracht zu ziehen und zu nutzen; • unterschiedliche pädagogische Methoden flexibel einzusetzen; • regelmäßige Evaluierungen und Anpassungen der Vermittlungsweisen und pädagogischen Methoden vorzusehen; 2 Qualität, Evaluation, Hochschule 48 • die Studierenden zu selbstständigem Lernen zu ermutigen und ihnen als Lehrer gleichzeitig angemessene Orientierung und Unterstützung zu bieten; • gegenseitigen Respekt in der Beziehung zwischen Lernenden und Lehr‐ enden zu fördern; • ein angemessenes Verfahren für den Umgang mit studentischen Be‐ schwerden bereitzustellen«. Dieser Standard ist zentral in Hinblick auf Qualitätssicherung und darf daher in einem Evaluationsmodell, welches Daten zur Qualitätsoptimierung generieren soll, nicht fehlen. Wenn das Modell richtig konzipiert und eingesetzt wird und die Lehrenden die Rückmeldungen der Studierenden ernst nehmen und diese bei ihrer Unterrichtsgestaltung bzw. eventuell nötigen Adaption berücksich‐ tigen, kann damit auch das Ausmaß an Beschwerden gering gehalten werden, denn Beschwerden kommen überwiegend dann zustande, wenn Probleme, auf die hingewiesen wurde, nicht gelöst werden bzw. die Studierenden überhaupt keine Möglichkeit haben, auf ein eventuell vorhandenes Suboptimum hinzu‐ weisen. Das bedeutet auch, dass in einem qualitativ hochwertigen Unterrichts‐ geschehen Probleme gezielt zu Tage gefördert und bearbeitet werden müssen. 2.3.1.1.4 Zulassung, Studienverlauf, Anerkennung und Abschluss Ein wichtiger Aspekt dieses Standards ist, dass Hochschulen Verfahren und In‐ strumente benötigen, »die es ihnen ermöglichen, Informationen zu den Studi‐ enverläufen zu erfassen, zu beobachten und diesbezügliche Maßnahmen zu er‐ greifen ( HRK 2015: 22). Dies zielt bei Fremdsprachenkursen - die sich vielfach durch Heterogenität der KursteilnehmerInnen auszeichnen - u. a. auch darauf ab, die Vorkenntnisse der LernerInnen zu ermitteln. Welche Kurse haben sie bereits besucht? Wie schätzen sie ihre eigenen Kenntnisse ein? Welche Lehr- und Lernmethoden sind ihnen geläufig und für sie besonders geeignet? etc. 2.3.1.1.5 Lehrende Dieser Standard ist - zusammen mit jenem der Studierendenzentriertheit - meiner Lehrerfahrung nach besonders wichtig, denn viele Evaluationsmodelle berücksichtigen die veränderte Rolle der Lehrenden kaum oder gar nicht bzw. wird viel zu häufig nach wie vor die Lehrperson als Wissensvermittlungsinstanz evaluiert und dem Lernen der Studierenden zu wenig Aufmerksamkeit ge‐ schenkt. Darüber hinaus kann ein Evaluationsmodell auch so gestaltet sein, dass es den Lehrenden als didaktisches Hilfsmittel dient und sie - durch die richtige Art des Feedbacks - auch dabei unterstützt werden, ihre eigenen Lehrmethoden 2.3 Zentrale Maßnahmen im Detail 49 zu verbessern. Dadurch kann letztendlich auch die Lehrkompetenz gefördert werden, die auch eine zentrale Forderung der ESG darstellt. 2.3.1.1.6 Lernumgebung Eine besonders wichtige Leitlinie dieses Standards wird wie folgt definiert: »Die Bedürfnisse einer heterogenen Studierendenschaft (u. a. ältere, ausländische, be‐ rufstätige oder in Teilzeit Studierende sowie Studierende mit Behinderungen oder Beeinträchtigungen) und die Ausrichtung auf studierendenzentriertes Lernen sowie flexible Lern- und Lehrmethoden werden bei der Zuteilung, Planung und Bereitstel‐ lung des Lernmittel- und Betreuungsangebots berücksichtigt« (HRK 2015: 24). Dies kann in Hinblick auf Qualitätssicherung so interpretiert werden, dass die Voraussetzungen der Studierenden bereits zu Beginn des Kurses in Erfahrung gebracht werden sollten, damit man diese als LehrendeR von Anfang an gezielt bei der Planung bzw. eventuell nötigen Adaption des Kurses berücksichtigen kann. Wer seine Gruppe kennt, kann einen für sie passenden Unterricht konzi‐ pieren. 2.3.1.1.7 Informationsmanagement Zentraler Punkt dieses Standards ist, dass Universitäten relevante Daten er‐ heben, analysieren und nutzen (vgl. HRK 2015: 25). Evaluationsinstrumente können dabei eine wesentliche, vielleicht - wenn richtig konzipiert - die ent‐ scheidende Rolle spielen. Für mich ist an dieser Stelle zentral, dass relevante Daten erhoben und diese nach deren Analyse auch genutzt werden, um Opti‐ mierungen zu erzielen, oder wie in den Leitlinien formuliert, um »fundierte Entscheidungen treffen zu können und zu erkennen, was gut funktioniert und was verändert werden sollte (ibid.)«. Hierbei spielt natürlich auch der Erhe‐ bungszeitpunkt eine wesentliche Rolle, denn wenn die relevanten Daten zu spät erhoben werden, können sie für eine Optimierung nicht mehr genutzt werden. Darüber hinaus wird bei diesem Punkt Wert auf die Verwendung »effektiver Verfahren (ibid.)« zur Informationsgenerierung gelegt, was mitunter bedeutet, dass nicht nur möglichst viele für die Qualitätsoptimierung relevante Informa‐ tionen gefördert werden, sondern auch in einer Weise, die möglichst wenig Ressourcen benötigt. Daten, die unter anderen als relevant angesehen werden können, sind laut ESG (siehe HRK 2015: 25): • »Leistungsindikatoren ( KPI ); • das Profil der Studierendenschaft; • Studienverläufe, Erfolgs- und Abbruchquoten; 2 Qualität, Evaluation, Hochschule 50 • die Zufriedenheit der Studierenden mit den Studiengängen; • die verfügbare Ausstattung und Betreuung; • Berufswege der Absolventinnen und Absolventen«. Die Daten können laut ESG auf unterschiedliche Weise erhoben werden, jedoch spielt das Miteinbeziehen aller am Lehr- und Lernprozess Beteiligten eine we‐ sentliche Rolle - nicht nur beim Generieren der Daten, sondern auch bei deren Auswertung und bei sämtlichen Folgeaktivitäten (vgl. ibid.). 2.3.1.1.8 Fortlaufende Beobachtung und Überprüfung der Studiengänge Zentral bei diesem Standard ist (siehe HRK 2015: 26), dass Universitäten ihre Studiengänge kontinuierlich beobachten und sie - unter Einbeziehung der Stu‐ dierenden - regelmäßig überprüfen und überarbeiten, damit gewährleistet werden kann, dass »sie die gesteckten Ziele erreichen und die Bedürfnisse der Studierenden und der Gesellschaft erfüllen«. Dies führt zu einer »kontinuierli‐ chen Verbesserung der Studiengänge«. Ein besonders wichtiger Aspekt, der hier angeführt wird, ist, dass »die Erwartungen und Bedürfnisse sowie die Zufrie‐ denheit der Studierenden mit den Studiengängen« berücksichtigt werden. 2.3.1.2 Fazit Vergleicht man die ursprünglichen ESG mit jenen aus dem Jahr 2015, kann fest‐ gestellt werden, dass sich diese inhaltlich kaum verändert haben, dass sie jedoch an manchen Stellen detaillierter und mit stärkerem Nachdruck formuliert wurden. In beiden Fällen können sie zweifellos einen wesentlichen Beitrag zur Qualitätsoptimierung liefern und sollten daher auch in Modellen zur Qualitäts‐ verbesserung berücksichtigt werden. Hinsichtlich ihres Umfangs wurden bei den ESG 2015 jene Veränderungen berücksichtigt, die im Europäischen Hochschulraum in den Jahren 2005 bis 2015 stattgefunden haben. Damit einhergehend und besonders wichtig im Hinblick auf die vorliegende Arbeit ist, dass in den ESG 2015 der studierendenfokussierte Lernansatz stärker als davor im Vordergrund steht. Darüber hinaus sollen fle‐ xible Bildungswege vermehrt berücksichtigt werden und Kompetenzen stärkere Anerkennung finden, die außerhalb formaler Bildung erworben werden. Zudem wird neben dem bisherigen Fokus auf Qualitätssicherung beim Lehren und Lernen ein Bezug zur Lernumgebung sowie zur Forschung und Innovation her‐ gestellt (vgl. BFUG 2015). 2.3 Zentrale Maßnahmen im Detail 51 13 In der einen oder anderen Form kommen diese vier Leitsätze auch in den ESG 2005 vor, jedoch nicht mit diesem Nachdruck (vgl. BFUG 2015: 2) 14 2003, 2008, 2012 Neben zahlreichen weiteren und eher kleineren Veränderungen sind folgende Grundsätze der ESG 2015 13 für Qualitätssicherung von immenser Wichtigkeit: die Forderung, dass Qualitätssicherung keine Formsache sein darf, sondern eine Qualitätskultur fördern soll und, dass Qualitätssicherung die Bedürfnisse und Erwartungen der Studierenden, der übrigen Interessengruppen und der Gesell‐ schaft berücksichtigt. Entscheidend ist in diesem Zusammenhang auch die Fest‐ stellung, dass Studierende zu den institutionellen Akteuren zählen und eine Verantwortung bei der Qualitätssicherung haben und diese auch wahrnehmen müssen, dass sie vielmehr noch, in den Qualitätssicherungsprozess aktiv mi‐ teinbezogen werden müssen. Eine weitere Schlüsselpassage ist die Forderung, dass Qualitätssicherung kontinuierlich und nicht punktuell erfolgen soll. Sämtliche dieser Forderungen decken sich auch mit Ansätzen aus dem Qua‐ litätsmanagement, der Evaluationsforschung und der Fremdsprachendidaktik, wie in den folgenden Kapiteln noch ausgeführt wird. 2.3.2 Methoden aus dem Qualitätsmanagement In den vergangenen 15 Jahren wurden von der ENQA drei 14 umfangreiche Er‐ hebungen zum Thema qualitätssichernde Maßnahmen an europäischen Hoch‐ schulen durchgeführt. Die erste aus dem Jahr 2003 (siehe The Danish Evaluation Institute 2003) untersuchte die einzelnen Verfahren, die diesbezüglich an den Universitäten der 23 partizipierenden Länder zum Einsatz kamen und versuchte neben den Ebenen und dem Umfang auch Ähnlichkeiten bzw. Unterschiede bei diesen Verfahren festzustellen. Die primären Ergebnisse dieser Befragung waren u. a., dass die unterschiedlichen Maßnahmen sowohl im Umfang als auch vom Typus seit den späten 1990er Jahren komplexer wurden, dass eine Zunahme von Qualitätssicherungsagenturen in Europa zu verzeichnen war und dass die Maß‐ nahmen der einzelnen Länder im Wesentlichen auf den gleichen methodologi‐ schen Prinzipien aufbauen. Gleichzeitig wurde auch festgestellt, dass es mit‐ unter nach wie vor erhebliche Unterschiede bei der Implementierung der einzelnen Methoden in den verschiedenen Ländern gab, wenngleich im Allge‐ meinen den Empfehlungen des Rates der Europäischen Union (Vier-Phasen-Mo‐ dell) aus dem Jahr 1998 (siehe Amtsblatt L 270 / 59 vom 7. 10. 1998) Folge geleistet wird. Die Untersuchung zeigte zudem, dass an den europäischen Hochschulen hauptsächlich vier - zumeist mehrstufige - Methoden der Qualitätssicherung 2 Qualität, Evaluation, Hochschule 52 eingesetzt werden. Diese sind - geordnet nach Häufigkeit des Einsatzes - in aufsteigender Reihenfolge: (1) Benchmarking, (2) Audit, (3) Akkreditierung und als wichtigstes Verfahren (4) Evaluation (siehe The Danish Evaluation Institute 2003: 17ff). Da die ersten drei nicht direkte Bestandteile dieses Buches sind, werden sie nur in aller Kürze behandelt. Auf Evaluation soll jedoch in weiterer Folge - vor allem in Kapitel 3 - im Detail eingegangen werden. 2.3.2.1 Benchmarking Im Qualitätsmanagement versteht man unter Benchmarking, wie Ka‐ miske / Brauer (2008: 10ff) ausführen, den »Prozess des Vergleichens und Mes‐ sens der eigenen Produkte und Prozesse mit den besten Wettbewerbern oder mit den anerkannten Marktführern«. Dabei werden jene Unternehmen bzw. Organisationen, die einen zu untersuchenden Prozess, ein Produkt oder eine Dienstleistung hervorragend beherrschen, als sogenannte Klassenbeste (Best in Class) bezeichnet, und im Vergleich zu diesen sollen Unterschiede zum eigenen Unternehmen erkannt und Möglichkeiten zur Verbesserung aufgezeigt werden. Das bedeutet: Primäres Ziel eines Benchmarkings im herkömmlichen Sinn ist, aus dem Vergleich mit den Besten zu lernen, die wirkungsvollsten Methoden (Best Practice) herauszufinden, zu adaptieren und dadurch die eigene Leis‐ tungsfähigkeit zu steigern, um selbst die Spitzenposition (Best of the Best) zu erreichen (vgl. ibid.). Als Orientierungspunkte hierfür dienen sogenannte Benchmarks, also Normen bzw. Referenzgrößen, die als Bezugspunkte herange‐ zogen werden. Auch im Hochschulkontext wird diese Methode in den unterschiedlichsten Bereichen - von der Forschung bis zur Lehre - eingesetzt und funktioniert im Prinzip ähnlich wie im Qualitätsmanagement in der Wirtschaft: Eine Universität sucht bei anderen Hochschulen nach Vorbildern in bestimmten Bereichen, die dann übernommen werden können, orientiert sich somit an dieser Hochschule, oder es wird gemeinsam nach Lösungen für ähnliche Probleme gesucht. Das zentrale Anliegen ist in jedem Fall, durch Vergleiche voneinander zu lernen (vgl. HRK 2007: 21). Während Benchmarking im Jahr 2003 von keiner, an der ENQA -Befragung teilnehmenden Hochschulen als primäre Methode der Qualitätssicherung an‐ geführt wurde und im Wesentlichen nur im Bereich der Bewertung von Studi‐ engängen (programme benchmarking) bzw. Fachgebieten (subject benchmar‐ king) einen kleinen Prozentsatz ausmachte, aber im Allgemeinen bei der überwiegenden Mehrheit der Universitäten überhaupt nicht als qualitätssi‐ 2.3 Zentrale Maßnahmen im Detail 53 15 mit Ausnahme der Niederlande 16 EN ISO 9000: 2005 (3.4.1): Satz von in Wechselbeziehung oder Wechselwirkung ste‐ henden Tätigkeiten, der Eingaben in Ergebnisse umwandelt. Eingaben für einen Prozess sind üblicherweise Ergebnisse anderer Prozesse. Prozesse in einer Organisation werden üblicherweise geplant und unter beherrschten Bedingungen durchgeführt, um Mehr‐ wert zu schaffen. 17 EN ISO 9000: 2005 (3.9.4): Aufzeichnungen, Tatsachenfeststellungen oder andere Infor‐ mationen, die für die Auditkriterien zutreffen und verifizierbar sind. 18 EN ISO 9000: 2005 (3.9.3): Satz von Vorgehensweisen, Verfahren oder Anforderungen, Auditkriterien werden als Bezugsgrundlage angewendet, mit der ein Auditnachweis verglichen wird. chernde Maßnahme angeführt wurde 15 (vgl. The Danish Evaluation Institute 2003: 21), schien diese Methode in den letzten Jahren an Bedeutung zu gewinnen. So wurden zahlreiche Projekte und Workshops zum Thema Benchmarking an europäischen Hochschulen ins Leben gerufen (siehe z. B. European Centre for Strategic Management of Universities, esmu und ENQA ) und 2010 ein Hand‐ buch zu diesem Thema publiziert (siehe van Vught et al. 2010). Zudem ent‐ standen sogenannte Benchmarking-Clubs, denen zahlreiche Universitäten an‐ gehören und die gemeinsam an neuen Projekten arbeiten bzw. als Orientierung für andere Universitäten fungieren. Trotz all dieser Initiativen und Prozesse ist in diesem Bereich im Hochschul‐ kontext noch erheblicher Handlungsspielraum gegeben und die Zahl der Pub‐ likationen bzw. die Zahl der dokumentierten Verfahren in diesem Bereich ist überschaubar, wie auch Schröder / Sehl (vgl. 2010: 1) festhalten. Dies zeigt auch die ENQA -Umfrage aus dem Jahr 2012 (vgl. 2012: 18), aus welcher hervorgeht, dass ein Großteil der befragten Qualitätssicherungsagenturen auf den noch er‐ heblichen Bedarf an Weiterentwicklung der aktuellen internationalen Bench‐ marks für Qualitätssicherung hinweist. 2.3.2.2 Audit Die DIN ISO 9000: 2005 (3.9.1) definiert Audit als einen systematischen, unab‐ hängigen und dokumentierten Prozess 16 zur Erlangung von Auditnachweisen 17 und zu deren objektiver Auswertung, um zu ermitteln, inwieweit Auditkrite‐ rien 18 erfüllt sind«. Dem Prinzip nach ist ein Audit somit »eine besondere Form einer Prüfung, bei der festgestellt wird, inwieweit eine betrachtete Einheit die Forderungen erfüllt, die an sie gestellt werden« (Herrmann 2007: 332). Geiger (1994: 79) weist diesbezüglich darauf hin, dass man ein Audit nicht mit einer herkömmlichen Qualitätsprüfung verwechseln darf, da es sich bei einem Audit ausdrücklich um »Tätigkeiten und nur auf die damit zusammenhängenden Er‐ 2 Qualität, Evaluation, Hochschule 54 19 QM steht für Qualitätsmanagement gebnisse« handelt, es somit »um das QM 19 -System und um das ›ob‹ geht« und nicht »um das ›inwieweit‹ und um beliebige Einheiten«, wie dies bei einer »Qualitätsprüfung« der Fall ist. Demgemäß sollen mit einem Audit »Schwach‐ stellen aufgezeigt, Verbesserungsmaßnahmen angeregt und deren Wirkung überwacht werden. Damit ist das Audit auch als Führungsinstrument zu sehen, das zur Vorgabe von Zielen und zur Information des Managements über die Zielerreichung eingesetzt werden kann« (Kamiske / Brauer 2008: 5). Audits werden von unabhängigen AuditorInnen durchgeführt und können unterschieden werden hinsichtlich der zu untersuchenden Einheit (Produkt, Verfahren, System) oder hinsichtlich der Durchführungsart (intern oder extern). Demgemäß spricht man von »Produktaudit«, »Verfahrensaudit« und »Syste‐ maudit«, bzw. deren Hyperonym, dem »Qualitätsaudit«, oder von einem in‐ ternen bzw. externen Audit. Die Informationen, die man mit Hilfe eines Audits gewinnt, zeigen z. B. der Leitung eines Unternehmens den Verbesserungsbedarf auf und weisen auf jene Bereiche der Organisation hin, in denen sich noch nicht ausgeschöpfte Potentiale befinden. Die Ergebnisse dienen somit als Ausgangs‐ punkt eines kontinuierlichen Verbesserungsprozesses (vgl. Herrmann 2007: 332). An europäischen Universitäten wurden Audits in Großbritannien in den 1990er Jahren eingeführt (vgl. Mittag 2006: 5) und zählen daher, vergleicht man sie beispielsweise mit Evaluationen, eher zu jüngeren Verfahren der Qualitäts‐ sicherung. Das Audit richtet sich an die Hochschule als Ganzes (vgl. HRK 2007: 14) und ist »ein partnerschaftlicher Prozess, an dem sich die Hochschule und kompetente Gutachter / innen beteiligen« ( AQ 2013: 3). Die AQ definiert Audit als »ein periodisch wiederkehrendes Peer-Verfahren, in dem Organisation und Umsetzung des internen Qualitätsmanagementsystems einer Hochschule durch externe Gutachter / innen beurteilt werden« (ibid.). Es handelt sich um eine Art »kollegiales Feedback« (ibid.) bei welchem man sich an Auditstandards orientiert und zwei primäre Ziele verfolgt: Erstens bestätigt das Audit, »dass eine Hochschule ihr Qualitätsmanagementsystem gemäß den gesetzlichen Be‐ stimmungen eingerichtet hat« und zweitens fördert es die Hochschule »bei der Weiterentwicklung ihres internen Qualitätsmanagementsystems« (ibid.). In‐ folge kann die Universität, wenn sie die nötigen Standards erfüllt, zertifiziert werden (siehe unten). Laut The Danish Evaluation Institute (vgl. 2003: 8) sind Audits die drittmeist verwendete Methode der Qualitätssicherung an europäischen Universitäten und erfreuen sich besonders im englischsprachigen Raum großer Beliebtheit. Auch im deutschsprachigen Raum, in welchem sie sich anfangs vergleichsweise we‐ 2.3 Zentrale Maßnahmen im Detail 55 20 »Konformität« wird in der EN ISO 9000: 2005 (3.6.1) definiert als »Erfüllung einer An‐ forderung«. 21 »Anforderung« wird in der EN ISO 9000: 2005 (3.1.2) definiert als »Erfordernis oder Erwartung, das oder die festgelegt, üblicherweise vorausgesetzt oder verpflichtend ist«. Dabei kann es sich um eine Produktanforderung, eine Qualitätsmanagementanforde‐ rung, eine Kundenanforderung etc. handeln. niger durchsetzten (vgl. Mittag 2006: 5), finden Audits zusehends Eingang. In Österreich beispielsweise wurden Audits mit dem Hochschul-Qualitätssiche‐ rungsgesetz 2011 zum fixen Bestandteil der externen Qualitätssicherung. 2.3.2.3 Akkreditierung und Zertifizierung Im Qualitätsmanagement werden die beiden Begriffe Zertifizierung und Akkre‐ ditierung sehr oft in Verbindung miteinander verwendet. Bei der Zertifizierung handelt es sich laut Wirtschaftslexikon24.com um die »Prüfung eines Unternehmens durch einen unabhängigen Dritten zum Erhalt eines Zertifikats, das die Übereinstimmung (Konformität) der Leistungserstel‐ lung […] mit bestimmten Anforderungen und Normen ausdrückt«. Die Zertifi‐ zierung stellt somit eine Bewertung und Bestätigung des Qualitätsmanage‐ mentsystems durch eine kompetente und unabhängige Stelle dar, und das Zertifikat dient als Nachweis der Qualitätsfähigkeit der Organisation (vgl. Drechsel 2007: 344), wobei als Prüfungsgrundlage für die Zertifizierung Normen (z. B. ISO 9000) oder Standards (z. B. ESG ) herangezogen werden. Laut ISO / IEC 17 011: 2004 (zit. nach Drechsel 2007: 345) versteht man unter Akkreditierung »die Bestätigung durch eine dritte Stelle, die formal darlegt, dass eine Konformitätsbewertungsstelle 20 die Kompetenz besitzt, bestimmte Konfor‐ mitätsbewertungsaufgaben durchzuführen«. Mit anderen Worten: Eine allge‐ mein anerkannte Instanz (Akkreditierungsstelle) bescheinigt einer anderen (Zertifizierungsstelle), dass sie gemäß nationaler oder internationaler Normen bestimmte Anforderungen 21 in einem bestimmten Bereich erfüllt. Bei einem Akkreditierungsverfahren handelt es sich somit um eine »Prüfung der Prüfer«, (Drechsel 2007: 345) wobei die Zertifizierungsstelle nachweisen muss, »dass sie die einschlägigen Regeln befolgt und über kompetentes Personal verfügt«. Das wird von der Akkreditierungsstelle überprüft, »die Audits beim Zertifizierer durchführt und ihn bei ausgewählten Audits begleitet, um sich von dessen Kompetenz zu überzeugen« (ibid.). Vereinfacht gesagt bedeutet dies, dass die Zertifizierungsstelle ein Unternehmen oder eine Organisation prüft und selbst wiederum von einer Akkreditierungsstelle geprüft wird. Die Zertifizie‐ rung bestätigt z. B., dass die Produkte oder Dienstleistungen eines Unterneh‐ 2 Qualität, Evaluation, Hochschule 56 mens qualitativ hochwertig sind, und die Akkreditierung der Zertifizierungs‐ stelle ist dabei wichtig für die Glaubwürdigkeit und Akzeptanz dieses Zertifikats. Obwohl der Terminus »Akkreditierung« im Kontext der Universitäten nicht immer eindeutig definiert wurde und oftmals doppeldeutig verwendet wird (vgl. The Danish Evaluation Institute 2003: 19), gewinnt diese Methode im Rahmen der Qualitätssicherung an Hochschulen auch durch die Schaffung des europä‐ ischen Hochschulraums an Bedeutung. Sie dient vor allem der Sicherung von Mindeststandards, der Herstellung von Transparenz, der Förderung der Studie‐ rendenmobilität und der internationalen Vergleichbarkeit und Anerkennung der Studienabschlüsse (vgl. Mittag 2006: 3). Die AQ definiert Akkreditierung als »ein formales und transparentes Qualitätsprüfverfahren anhand definierter Kri‐ terien und Standards, das zu einer staatlichen Anerkennung einer hochschuli‐ schen Bildungseinrichtung und / oder Studien führt« ( AQ 2014: 3). Demnach handelt es sich bei Akkreditierung um eine summative Betrachtung von Qualität (vgl. HRK 2007: 11). Die erste ENQA -Erhebung (vgl. The Danish Evaluation Institute 2003: 19) ergab, dass Akkreditierung vor allem im Zusammenhang mit Studiengängen (accreditation of programme) Anwendung findet. Demgemäß wurde sie 2003 an über 50 % der befragten Institutionen durchgeführt, allen voran an Hochschulen im deutschsprachigen Raum. Auch im Bereich der Institute wurde Akkreditie‐ rung von über 20 % der Beteiligten angewandt. Um die oben angesprochene Diffusität des Begriffs »Akkreditierung« zu klären, wurde der Terminus in der ENQA -Erhebung (The Danish Evaluation Institute 2003: 20) durch folgende Charakteristika definiert: 1. Akkreditierung erkennt an (oder nicht), dass ein universitärer Kurs, ein Studium oder eine Institution einen gewissen Standard (Minimalstandard oder Exzellenzstandard) erfüllt. 2. Akkreditierung beinhaltet daher immer ein Benchmarking. 3. Die Ergebnisse einer Akkreditierung werden immer auf Basis von Qua‐ litätskriterien und niemals aufgrund politischer Überlegungen getroffen. 4. Akkreditierung beinhaltet ein binäres Element, welches entweder positiv oder negativ ist. Ganz wesentlich bei der Unterscheidung zwischen Akkreditierung und anderen qualitätssichernden Maßnahmen ist der vierte Punkt, denn am Ende jeder Ak‐ kreditierung wird von der durchführenden Agentur ein Zertifikat (Qualitäts‐ siegel) ausgestellt (oder nicht), das darlegt, ob die untersuchte Institution die jeweiligen Standards erfüllt oder nicht, wobei theoretisch die Möglichkeit be‐ steht, dass dies auch mit Auflagen erfolgt und die betreffende Institution die 2.3 Zentrale Maßnahmen im Detail 57 geforderten Nachbesserungen innerhalb einer bestimmten Zeit durchzuführen hat (vgl. HRK 2007: 11). 2.3.2.4 Evaluation Neben den drei bereits genannten Maßnahmen zur Qualitätsoptimierung setzte sich an europäischen Hochschulen seit den 1980er Jahren vor allem eine weitere Methode durch: die Evaluation. Der Terminus Evaluation wird in der Literatur, wie u. a. Gollwitzer / Jäger (vgl. 2009: XI ) und Stockmann (vgl. 2010: 9) feststellen, geradezu »inflationär« verwendet, und es ist daher in jedem Fall ratsam, darauf zu achten, in welchem Kontext er jeweils wie verwendet wird, bzw. explizit darzulegen, was man selbst meint, wenn man von Evaluation spricht (siehe Ka‐ pitel 3). Im Kontext der universitären Qualitätsverbesserung und -sicherung spricht man verwirrenderweise in zumindest zweierlei Hinsicht von Evaluation: Einer‐ seits als Hyperonym für sämtliche qualitätssichernden Maßnahmen wie Audit, Akkreditierung und Benchmarking, die alle unterschiedliche Evaluationsver‐ fahren sind. Zum anderen wird Evaluation selbst auch als spezielle Methode dieser Verfahren gesehen, was die exakte Unterscheidung oft erschwert. Bei letzterem handelt es sich im Wesentlichen um die Evaluation von Studium, Lehre, Forschung, Verwaltung und Dienstleistungen (vgl. Mittag 2006: 2), und man spricht beispielsweise von der Evaluation eines (Studien-)Faches (evalua‐ tion of a subject), eines Studienganges / Programms (programme evaluation) oder eines Institutes (institutional evaluation) etc. Obwohl es in der Evaluationsforschung unterschiedlichste Evaluationstheo‐ rien, -ansätze und Modelle gibt (einen Überblick bieten Balzer 2005: Kapitel 4 bzw. Rindermann 2009: 12ff), spricht man im Zusammenhang mit Evaluations‐ verfahren an Hochschulen zumeist von einem sogenannten mehrstufigen Ver‐ fahren, welches aus einer internen und einer externen Evaluation, der Veröf‐ fentlichung eines Evaluationsberichts und dem sogenannten Follow-up besteht, welches als die Phase der Umsetzung der Evaluationsergebnisse betrachtet werden kann. Die interne Evaluation ist ihrem Wesen nach eine Selbstevaluation, eine »kri‐ tische Bestandsaufnahme durch ein Fach / einen Fachbereich bezüglich des Ge‐ leisteten« und in der »externen Evaluation wird dies durch Gutachter (Peers) überprüft« ( HRK 2007: 7). Die interne Evaluation wird mit einem Bericht (Selbst‐ report) abgeschlossen, welcher den externen EvaluatorInnen als Basis für ihre Untersuchung dient. Nach einer - üblicherweise zweitägigen - Vor-Ort-Bege‐ hung fassen die Peers ihre Empfehlungen und Anregungen in einem schriftli‐ chen Gutachten zusammen (vgl. HRK 2007: 7f), welches in der Regel veröffent‐ 2 Qualität, Evaluation, Hochschule 58 licht wird und den eigentlichen Evaluationsprozess beendet. Im Anschluss daran folgt das Follow-up, welches, wie Mittag (vgl. 2006: 9) festhält, in den Händen der evaluierten Hochschule liegt und bis dato wenig untersucht wurde (vgl. ibid.: 24). Wie oben bereits kurz angeführt, kann Evaluation als Methode der Quali‐ tätsverbesserung und Qualitätssicherung nicht nur in den verschiedensten Be‐ reichen der Hochschule eingesetzt, sondern auch auf unterschiedliche Weise durchgeführt werden. So kann sie beispielsweise summativ, zur Bewertung von Ergebnissen oder formativ, zur Begleitung und Beratung Verwendung finden. Je nachdem, welche Ziele mit einer Evaluation verfolgt werden, sind unter‐ schiedliche Evaluationstypen und Abläufe zu nennen. Evaluiert kann grundsätzlich alles werden, von einzelnen Lehrveranstal‐ tungen, Studienrichtungen, über Lehrgänge bis hin zur Universität als Ganzes. Ergebnisse sind dann neben Evaluationsberichten und eventuellen Verände‐ rungen z. B. auch Universitätsrankings, wie etwa die oben genannten vom Ma‐ gazin Times Higher Education. Die Bandbreite, wie, was und wann evaluiert wird, ist dabei sehr unterschiedlich, ebenso wie potenzielle Schritte und Entschei‐ dungen, die nach der Evaluation getroffen werden. Nachdem die Institution Universität primär der Gewinnung und Bewahrung von Erkenntnis und der akademischen Bildung und Ausbildung von Studier‐ enden dient (vgl. Rindermann 2009: 24), wird neben der Forschung in erster Linie auch die Qualität der Lehre evaluiert. Obwohl allein die Nennung von Evalua‐ tion, Qualität und Lehre in einem Atemzug an sich bereits oftmals für explosiven Diskussionsstoff sorgt, der mehrere Bände füllen könnte, so haben sich dennoch Methoden etabliert, die darauf abzielen, die Qualität der Lehre zu messen bzw. zu optimieren. Als eines der wichtigsten (vgl. Alphei 2006: 7) aber zugleich auch eines der umstrittensten Verfahren (vgl. z. B. McKeachie 1997), welches hierzu eingesetzt wird, gilt die Evaluation von Lehrveranstaltungen durch Studierende (student ratings), die das Herzstück dieses Buches darstellt. Dass bei der Messung von Lehrqualität auch immer wieder Fallstricke zu finden sind, darauf weist Wolbring (2013) im Detail hin. 2.4 Zusammenfassung Dieses einführende Kapitel verfolgte primär die Intention, den Leser / die Leserin auf die Wichtigkeit qualitätsoptimierender Maßnahmen hinzuweisen, wie diese nicht nur im Alltag und in der Wirtschaft, sondern auch im universitären Kon‐ text zusehends an Bedeutung gewinnen. Darüber hinaus wurde versucht, einen Überblick über die gängigsten Verfahren der Qualitätsoptimierung zu geben, die 2.4 Zusammenfassung 59 im Hochschulbereich aktuell zum Einsatz kommen und auch für den Inhalt und weiteren Aufbau dieses Buches entscheidend sind. Dazu zählen zum einen Stan‐ dards und Leitlinien, die vor allem der Orientierung dienen, und zum anderen explizite Verfahren wie Benchmarking, Audit, Akkreditierung / Zertifizierung und Evaluation. Ein weiteres Ziel dieses Kapitels war auch, auf die komplexe Verknüpfung von Universität, Wirtschaft und Politik hinzuweisen und auf den Eindruck, den man diesbezüglich in Verbindung mit einigen Modellen quali‐ tätsoptimierender Maßnahmen gewinnen kann, dass nämlich manche eher der Rechtfertigung nach Außen dienen bzw. formalen Status haben als tatsächlich Verbesserungen zu bewirken, was bei vielen Beteiligten nicht selten zur bereits genannten Evaluitis führt. 2 Qualität, Evaluation, Hochschule 60 3 Evaluation und Fremdsprachenunterricht »Evaluation is like a lock and key, if you have the right key you can open the lock and make it work. If you have the right information you can make the thing work« Patton (1997: 36). In Kapitel 1 wurden die Evaluationsstandards angeführt, die vom Joint Com‐ mitee on Standards for Educational Evaluation konzipiert wurden und beim Planen, Durchführen und Bewerten von Evaluationen als Orientierung dienen sollen. Darüber hinaus wurden die Evaluationsmodelle von fünf österreichi‐ schen Sprachenzentren in aller Kürze auf Basis dieser Standards analysiert und einige Bedenken geäußert, die daraus resultierend, mit diesen und ähnlichen Lehrveranstaltungsevaluationen in Hinblick auf die Qualitätsoptimierung des universitären Fremdsprachenunterrichts einhergehen. In Folge wurde die primäre Zielsetzung dieser Arbeit angeführt, der Entwurf eines theoriebasierten Evaluationsmodells, KDE (Komplexe Dynamische Evalu‐ ation), welches zum einen auf den ESG und den Evaluationsstandards basiert, und zum anderen intendiert, den universitären Fremdsprachenunterricht in einer umfassenderen als der bisher durchgeführten Weise zu optimieren, indem auch Lehrende und Studierende in die Konzeption miteingebunden werden. Um dies zu realisieren, werden im aktuellen Kapitel zentrale Evaluationsan‐ sätze angeführt und vor dem Hintergrund des universitären Fremdsprachen‐ unterrichts diskutiert, da diese - bzw. Aspekte davon - in Folge bei der Kon‐ zeption der KDE zum Einsatz kommen (siehe Kapitel 6). Davor wird jedoch erörtert, was im vorliegenden Ansatz genau unter Evaluation verstanden wird und wie sich der Terminus von anderen ähnlichen Konzepten unterscheidet. Dies ist unabdingbar, da sonst Missverständnisse nicht auszuschließen sind. 3.1 Der Begriff »Evaluation« Evaluation ist ein »außerordentlich vielfältiger Begriff« (Wottawa / Thierau 1998: 13), ein schillerndes »Allerweltswort« (Kromrey 2005: 33), dem »unter‐ 1 Im Original: »But what is evaluation really? « schiedliche Verständnisse« (Götz 1999: 9) zugrunde liegen. Bereits Suchman (vgl. 1967: 27) stellte vor 50 Jahren fest, dass dieser Terminus - abgesehen von seiner verbreiteten Beliebtheit - mangelhaft definiert und oftmals unpassend ver‐ wendet wird, geradezu »inflationär«, wie u. a. Spiel / Gössler (2001: 9) und Stock‐ mann (2010: 9) dies bezeichnen. Das hat sich seither kaum verändert und es ist in der Tat schwer, in wenigen Worten exakt zu definieren, was Evaluation ist bzw. nicht ist, vor allem auch deshalb, weil je nach Kontext, in welchem der Terminus verwendet werden kann, Unterschiedliches damit verbunden scheint. Daher ist man »gut beraten, genau zu prüfen, ob dort, wo Evaluation draufsteht auch Evaluation drin ist« (Stockmann 2010: 9), denn dieser Begriff gehört, wie es Liessmann (vgl. 2005: 17) ausdrückt, zu jenen »Zauberwörtern«, die nie das bezeichnen, was die Wortbedeutung nahelegt, und das verbergen, was durch sie tatsächlich indiziert wird. Während Guba / Lincoln (vgl. 1989: 21) überhaupt die Ansicht vertreten, dass es keinen »richtigen« Weg gibt, Evaluation zu definieren, und sie meinen, dass die Frage »Was ist denn nun Evaluation wirklich? 1 « nicht nur nicht beantwortet werden kann, sondern es auch keinen Sinn macht, diese Frage überhaupt zu stellen, versucht Kromrey (vgl. 2005: 33-36) sich diesem Begriff von zwei Rich‐ tungen aus anzunähern: Zum einen unterscheidet er die Verwendung von Eva‐ luation hinsichtlich der unterschiedlichen Referenzebenen und zum anderen hinsichtlich der verschiedenen Kontexte, in welchen der Terminus Verwendung findet. Diese Unterscheidung ist plausibel und notwendig, denn selbst wenn man die Frage, was Evaluation letztendlich ist, nicht im Allgemeinen, sondern nur in der jeweiligen Situation und dem gegebenen Kontext beantworten kann, benötigt man einen Signifikanten, um über dieses Phänomen sprechen zu können, denn sonst befindet man sich schnell in jenem Dilemma, auf welches bereits Suchman (1967: 27) hinwies: »For the most part, its meaning is taken for granted and very few attempts have been made, even by those most concerned, to formulate any conceptually rigorous defini‐ tion or to analyze the main principles of its use. The result is wide disagreement, with many other terms such as ’assessment’, ’appraisal’ and ’judgment’ often being used interchangeably with evaluation«. 3.1.1 Drei Referenzebenen von Evaluation Die erste Gruppe von Referenzobjekten befindet sich, Kromreys Einteilung nach, auf der symbolischen und gedanklichen Ebene, wo Evaluation zum einen 3 Evaluation und Fremdsprachenunterricht 62 2 Wenngleich Liessmann (vgl. 2005: 18) die Ansicht vertritt, dass Evaluation nicht aus dem Lateinischen, sondern aus dem Französischen stammt und erst über die englische Va‐ riante in den 80er Jahren des 20. Jahrhunderts ins Deutsche importiert wurde, und damit höchstwahrscheinlich darauf hinweisen will, dass es keinen lateinischen Begriff »eva‐ luatio« o. Ä. gibt, so kann nicht bestritten werden, dass das französische Wort évalua‐ tion, aufgrund der Zugehörigkeit zu den romanischen Sprachen, seine Wurzeln im La‐ teinischen findet. synonym mit Bewerten bzw. Bewertung verwendet wird und zum anderen für ein spezifisches […] Denkmodell eines nachprüfbaren Verfahrens des Bewertens steht (vgl. Kromrey 2005: 33). Diese Verwendung kann man aller Voraussicht nach etymologisch erklären, denn der deutsche Terminus Evaluation lässt sich auf lateinische 2 Wurzeln zu‐ rückführen. Evaluation kann, wie u. a. bereits Stockmann (vgl. 2004: 2) und Balzer (vgl. 2005: 9f) feststellen, vom lateinischen Nomen »valor« (Wert) und der Vor‐ silbe »e / ex« (aus, heraus) hergeleitet werden, was man in weiterer Folge mit »einen Wert aus etwas ziehen« übersetzen kann, oder vom lateinischen Verb »valere« (wert sein). Ähnlich führen Gollwitzer / Jäger (vgl. 2009: XI ) Evaluation auf das lateinische Verb »valuere« zurück, was auch dem deutschen Verb »wert sein« entspricht. In diesem Kontext wird folglich z. B. der Wert bzw. die Qualität oder Güte von etwas vor dem Hintergrund bestimmter Vergleichswerte (Standards) beurteilt. Das beurteilte Etwas kann dabei ein Produkt, ein Prozess, ein Projekt, Programm etc. sein. Voraussetzung für die Beurteilung ist zum einen das Vorhandensein bestimmter Kriterien, die zur Bewertung herangezogen werden und zum an‐ deren das Einholen von Informationen hinsichtlich des zu bewertenden Gegen‐ standes. Die gewonnene Information wird mit den vorhandenen Kriterien ver‐ glichen, was in weiterer Folge zu einer Bewertung bzw. Beurteilung führt. Der Terminus Evaluation stellt folglich ein Fremdwort im Deutschen dar, wenngleich das, was damit gemeint ist, alltäglich ist und überall stattfindet (vgl. Nuissl 2013: 9). Die zweite Begriffsebene bezieht Kromrey (vgl. 2005: 33) auf ein spezifisches Handeln, auf die Durchführung eines Evaluationsprojektes, auf zielorientiertes Informationsmanagement. Evaluationsprojekte können auf unterschiedlichste Art durchgeführt werden und verschiedenste Intentionen verfolgen (siehe unten). So können z. B. die Lehrenden, die Studierenden, die Universität, ein‐ zelne Studienrichtungen oder Lehrveranstaltungen evaluiert werden. Dabei kann man das Augenmerk auf bestimmte Prozesse, Ergebnisse, Materialien u. Ä. richten. 3.1 Der Begriff »Evaluation« 63 Als dritte Begriffsebene versteht Kromrey (vgl. 2005: 34) das Ergebnis des oben angeführten spezifischen Handelns, also das Resultat eines Evaluationsproz‐ esses, etwas Punktuelles, welches z. B. in einem Evaluationsbericht oder Evalua‐ tionsgutachten dargestellt werden kann und für das Nachvollziehen des Eva‐ luationsvorgangs besonders wichtig ist. Resümierend kann Evaluation demnach für ein spezifisches Handeln stehen, welches sowohl die Gewinnung als auch die Bewertung von Informationen zum Ziel hat. Zudem kann sie auch das Ergebnis dieses Prozesses bezeichnen (vgl. Stockmann 2006: 65). Diese Vielschichtigkeit führt mitunter zu Missverständ‐ nissen, wenn nicht genau expliziert wird, worauf man sich in einem bestimmten Kontext bezieht. Um dies zu vermeiden, werden in Folge verschiedene Kontexte von Evaluation diskutiert und festgestellt, was im vorliegenden Buch explizit darunter verstanden wird. Im Anschluss daran wird der Begriff von anderen, ähnlich wirkenden Konzepten abgegrenzt, um Unklarheiten zu vermeiden. 3.1.2 Unterschiedliche Kontexte von Evaluation Im Hinblick auf die unterschiedlichen Kontexte, in welchen Evaluation ver‐ wendet werden kann, führt Kromrey (vgl. 2005: 34) (1) den alltäglichen Sprach‐ gebrauch, (2) die politische Argumentation, (3) die empirische Methodologie und (4) ihre Verwendung im Zusammenhang mit »gewöhnlicher« Umfragefor‐ schung an. Das alleinige Vorhandensein dieser unterschiedlichen Kontexte wäre, wie er ausführt, grundsätzlich nicht problematisch, wenn sich nicht - je nach Zusammenhang - mitunter völlig unterschiedliche Konzepte hinter dem Terminus verbergen würden. Er expliziert (vgl. Kromrey 2005: 34f), dass Evaluation im alltäglichen Sprach‐ gebrauch »ausgesprochen unspezifisch« ist und im Wesentlichen nicht mehr ausdrückt, als dass irgendetwas von irgendjemandem nach irgendwelchen Krite‐ rien in irgendeiner Weise bewertet wird. Das führt zur Problematik, dass derselbe Sachverhalt von unterschiedlichen Individuen sehr unterschiedlich bis gegen‐ sätzlich eingeschätzt und beurteilt werden kann, wie er fortführt. Im Kontrast hierzu wird der Begriff in politischen Argumentationen Kromreys Ansicht nach wesentlich spezifischer, wenngleich auch vielfältiger verwendet, und erstreckt sich z. B. von Effizienzmessungen in ökonomischen Zusammenhängen über von Sachverständigen durchgeführten Analysen der Funktionsfähigkeit von Orga‐ nisationen bis hin zur beratenden Funktion im Bereich der Entwicklung und Optimierung von Handlungsprogrammen etc. In der empirischen Methodologie versteht man hingegen das Design für einen spezifischen Typ von Sozialfor‐ schung, der die Informationsbeschaffung mit expliziten Zielen und Instru‐ 3 Evaluation und Fremdsprachenunterricht 64 menten zum Gegenstand hat, während Evaluation im Zusammenhang mit Um‐ frageforschung die Erhebung und Auswertung bewertender (evaluierender) Aussagen von Befragten meint, die in einem bestimmten Verhältnis zum eva‐ luierenden Gegenstand stehen (vgl. Kromrey 2005: 35). Diese Ausführungen Kromreys verdeutlichen die Komplexität, die mit der Verwendung des Terminus Evaluation einhergeht. Auf eine ähnliche Vielschichtigkeit des Begriffs im Hochschulkontext wurde auch in diesem Buch bereits hingewiesen, weil Evaluation in diesem Zusam‐ menhang einerseits oft als Oberbegriff für sämtliche qualitätssichernde Maß‐ nahmen wie Audit, Akkreditierung und Benchmarking verwendet wird, und an‐ dererseits, weil Evaluation i.e.S. auch eine spezielle Methode dieser Verfahren ist - z. B. die Evaluation von Lehrveranstaltungen. Zudem kann man feststellen, wenn man die Literatur zu diesem Begriff ana‐ lysiert, dass er häufig nicht korrekt oder nicht explizit genug von anderen Be‐ griffen, wie Evaluationsforschung, Qualitätsmanagement, Grundlagenforschung etc. abgegrenzt wird, was die Problematik, eine exakte Definition zu finden, erschwert, wie in Folge erläutert wird. 3.2 Abgrenzung zu anderen Begriffen Eine detaillierte Abgrenzung des Begriffs Evaluation von Begriffen wie Evalua‐ tionsforschung, Qualitätsmanagement, Grundlagenforschung etc. stellt nicht nur eine große Herausforderung dar, sondern kann nicht in wenigen Worten er‐ folgen. Da dies auch nicht die Intention dieses Buches ist, genügt für den gege‐ benen Kontext eine überblicksartige Skizze, wenngleich auf die jeweiligen Werke, die diese Analyse in größerem Umfang ermöglichen, in den einzelnen Abschnitten verwiesen wird. 3.2.1 Evaluation vs. Evaluationsforschung, Programmevaluation und Evaluierung Ein Grund, warum die Verwendung des Begriffes Evaluation oftmals unklar er‐ scheint, ist, weil dieser in der Literatur nicht selten synonym zu anderen Be‐ griffen wie Evaluationsforschung, Programmevaluation, Evaluierung etc. ver‐ wendet wird. Obwohl bereits Suchman (vgl. 1967) versuchte, eine klare Abgrenzung zwischen Evaluation und Evaluationsforschung herzustellen, konnte sich diese Bemühung in der scientific community bis dato nicht durch‐ setzen und auch in neueren Auflagen von Standardwerken (siehe z. B. 3.2 Abgrenzung zu anderen Begriffen 65 Rossi / Lipsey / Freeman, 2004: 6) werden diese Begriffe nach wie vor bzw. wieder weitgehend synonym verwendet. Suchman (vgl. 1976) verstand unter Evaluation im Wesentlichen den Prozess der Beurteilung des Wertes eines Produktes, Prozesses oder Programms. Dabei sind seiner Ansicht nach keine systematischen und wissenschaftlichen Ver‐ fahren oder datengestützten Beweise zur Untermauerung einer Beurteilung nötig. Unter Evaluationsforschung hingegen verstand er die explizite Verwen‐ dung dieser wissenschaftlichen Methoden bzw. Verfahren bei einer Beurteilung. Auf diese Weise ist seiner Ansicht nach die Trennung zwischen einer reinen Behauptung und einer auf Beweisen basierenden Bewertung möglich. Für mich kommt diese erste Unterscheidung der Abgrenzung zwischen allgemeiner und wissenschaftlicher Evaluation gleich, auf die noch näher eingegangen wird (siehe 3.2.5). Wenngleich der Ansatz von Suchman zweifelsfrei seine Berechtigung hat und ein erneuter allgemeiner Versuch sämtliche, mit Evaluation in Verbindung ste‐ henden Termini klar zu definieren und voneinander abzugrenzen auch heute noch sehr sinnvoll ist, so kann bezweifelt werden, dass dieser Versuch aktuell mehr Erfolg hätte als jener von 1967. Daher wird dies im vorliegenden Buch nicht intendiert, sondern lediglich expliziert, was hier konkret unter den jewei‐ ligen Begriffen im jeweiligen Kontext verstanden wird: Evaluation wird in diesem Buch im Allgemeinen und in ihrer simpelsten Form als das Sammeln, Analysieren und Bewerten von Informationen gesehen und ist synonym zu Evaluierung. Letzteres wird als Nomen von evaluieren ver‐ standen und wird dann verwendet, wenn explizit der Prozess des Bewertens vor dem Hintergrund bestimmter Kriterien betont werden soll. Dies kann bei einer allgemeinen Evaluation ohne wissenschaftliche Methoden erfolgen oder bei einer wissenschaftlichen Evaluation auf Basis dieser. Im Zusammenhang mit dem Kontext dieses Buches muss bereits hier darauf hingewiesen werden, dass im erweiterten Rahmen des pädagogischen Handelns bzw. der Optimierung von Lehrbzw. Lernsituationen etc. weitere Definitionen von Evaluation folgen, sie jedoch im gegebenen Kontext erörtert und demgemäß an den jeweiligen Stellen angeführt und besprochen werden. Das Ergebnis einer Evaluation wird hier nicht als Evaluation bezeichnet, son‐ dern als Evaluationsergebnis bzw. Ergebnis der Evaluation. Unter Programmeva‐ luation wird eine konkrete Form der Evaluation verstanden, die sich auf das Evaluieren eines Programms (z. B. eines Fremdsprachenkurses) bezieht. Evaluationsforschung betont nicht nur den wissenschaftlichen Kontext einer Evaluation, sondern sie ist als eine eigenständige Wissenschaftsdisziplin zu ver‐ stehen (wenngleich sie in der Regel nur als Teildisziplin der Sozialforschung 3 Evaluation und Fremdsprachenunterricht 66 betrachtet wird), die sich der üblichen wissenschaftlichen Methoden und Tech‐ niken bedient, um wissenschaftliche Evaluationen zu beschreiben und durch‐ zuführen. Sie stellt das theoretische Grundgerüst für professionelle Evaluati‐ onen zur Verfügung bzw. zieht sie aus den Ergebnissen von Evaluationen Rückschlüsse, auf deren Basis erneut Erkenntnisse gewonnen und verallgemei‐ nert werden können, die in Folge eine Weiterentwicklung von Evaluation(-sfor‐ schung) ermöglichen. Daher wird dieser Begriff im vorliegenden Buch explizit nicht synonym zu Evaluation gesehen. 3.2.2 Evaluation vs. Lehrveranstaltungsevaluation, Evaluation der Lehre, Lehrevaluation, Feedback und Rückmeldung Im Kontext dieses Buches ist auch explizit zwischen Evaluation, Lehrveranstal‐ tungsevaluation, Evaluation der Lehre, Lehrevaluation, Feedback und Rückmel‐ dung zu unterscheiden. Evaluation kann, wie bereits unter Abschnitt 2.3.2.4 angeführt, zum einen als Hyperonym zu diesen Begriffen gesehen werden und stellt zum anderen das Generieren, Analysieren und Bewerten - das Evalu‐ ieren - von Informationen dar. Unter Lehrveranstaltungsevaluation wird das Evaluieren einer expliziten Lehrveranstaltung (in der Regel) durch die Studier‐ enden verstanden. Alternativ bzw. zusätzlich zur Lehrveranstaltungsevaluation durch Studierende könnte diese auch von KollegInnen evaluiert werden, was dann als Peer-Evaluation bezeichnet wird (siehe Abschnitt 3.3.2.4.2). Wird die gesamte Lehre eines Studiums oder eine Universität evaluiert, spricht man von Lehrevaluation oder Evaluation der Lehre. Feedback wird als Synonym zu Rückmeldung gesehen und stellt nicht nur einen wichtigen Bestandteil herkömmlicher Kommunikationssituationen dar (siehe z. B. Watzlawick et. al. 2007: 29ff), sondern ist auch essentiell im Unter‐ richt - in der Kommunikation zwischen Lehrenden und Studierenden. In diesem Zusammenhang können Feedbacks / Rückmeldungen im Rahmen der Lehrver‐ anstaltungsevaluation oder auf andere Weise gegeben und demnach auch als Teil eines Evaluationsvorgangs bzw. -prozesses aufgefasst werden, weil jedem Feedback / jeder Rückmeldung in der Regel eine Evaluation vorangeht und / oder eine weitere daran anschließt, wie die folgende Grafik verdeutlicht. 3.2 Abgrenzung zu anderen Begriffen 67 Abb. 2: Beispiel einer Kommunikationssituation im Unterricht mit Feedback Allgemein versteht man unter Feedbacks Rückübermittlungen von Informati‐ onen, die vom Empfänger / von der Empfängerin einer Nachricht an den Sender / die Senderin der Nachricht übertragen werden. Diese Rückmeldungen können zum einen Informationen enthalten, ob - und wenn - wie und was von der jeweils gesendeten Nachricht der Empfänger / die Empfängerin wahrge‐ nommen bzw. verstanden hat und welche Reaktionen dies bei ihm / ihr auslöste. Durch diese Information ist es dem Sender / der Senderin möglich, in geeigneter Weise auf diese Rückmeldungen zu reagieren. Rückmeldungen können die unterschiedlichsten Formen aufweisen, indirekt oder direkt sein und im Unterrichtsgeschehen von der Lehrperson oder von den Studierenden ausgehen. Indirekte Feedbacks wären z. B. körpersprachlicher Natur, könnten durch Gestik oder Mimik zum Ausdruck gebracht werden und sind oft schwieriger zu deuten als direkte Feedbacks, da sie vielfach nur unbe‐ wusst wahrgenommen werden und oftmals eher zu Vermutungen anregen als zu konkreten Rückschlüssen zu führen. Direkte Feedbacks können, ausgehend von der Lehrperson, zum Beispiel durch mündliche oder schriftliche Korrekt‐ uren erfolgen oder durch Stellungnahmen zu diversen Arbeiten, die von den Studierenden abgegeben wurden. Die Lehrperson evaluiert die Performanz der 3 Evaluation und Fremdsprachenunterricht 68 Studierenden in den unterschiedlichsten Situationen und gibt ihnen Rückmel‐ dung. Von den LernerInnen ausgehend sind direkte Feedbacks z. B. konkrete Äußerungen zu einzelnen Themen im Unterricht, wie beispielsweise Aufforde‐ rungen an die Lehrperson, etwas erneut zu erklären bzw. zu wiederholen oder Fragen, die sie während oder nach dem Unterricht stellen. Gerade diese direkten Feedbacks sind für mich als Lehrender im Hinblick auf gute Lehre und damit den Lehrbzw. Lernerfolg von größter Bedeutung, da man als LehrendeR ohne diese Rückmeldungen von den Studierenden keine (akkurate) oder nur sehr wenig Auskunft darüber hat, ob und wie das vermeintliche input aufgenommen bzw. was davon zum tatsächlichen intake wurde. 3.2.3 Evaluation vs. Qualitätsmanagement Für weitere Verwirrung sorgt die oftmals unzureichende terminologische Tren‐ nung von Evaluation und Qualitätsmanagement bzw. Total Quality Management ( TQM ). Wenngleich Evaluation und Qualitätsmanagement Gemeinsamkeiten aufweisen und die beiden Termini oft in einem Atemzug genannt werden, sind zwischen diesen beiden Begriffen zahlreiche Unterschiede zu verzeichnen, die für eine exakte Unterscheidung und gegen eine potentiell synonyme Verwen‐ dung der Termini sprechen. Einen detaillierten Überblick zu diesem Thema geben Stockmann (2006: Kap. 2.4), Ernst (2008: Kap. 2.1) und Ditton (2010), deren Ausführungen als Basis für die untenstehenden Tabellen dienen, in welchen Gemeinsamkeiten und Unterschiede in aller Kürze aufgezeigt werden sollen: 3.2.3.1 Gemeinsamkeiten Qualitätsmanagement Evaluation Ziele zur Qualitätsoptimierung eines Produktes bzw. einer Dienstleistung beitragen Ursprung USA (1950er Jahre) USA (frühes 19. bis Mitte 20. Jh.) Einsatz in moderner, rationaler Unternehmensführung als Entscheidungs‐ hilfe und zur nachvollziehbaren Begründung von Entscheidungen Probleme bei Akzeptanz und Umsetzung; oftmals sind Verfahren sehr auf‐ wendig und wenig beliebt und die aus den Untersuchungen abgelei‐ teten Empfehlungen werden aus unterschiedlichsten Gründen (Wille, Organisation, Bürokratie etc.) nicht umgesetzt. Tab. 3: Gemeinsamkeiten zwischen Qualitätsmanagement und Evaluation 3.2 Abgrenzung zu anderen Begriffen 69 3 Ansprüche der Kapitaleigentümer 4 Ansprüche aller am Prozess Beteiligten 3.2.3.2 Unterschiede Qualitätsmanagement Evaluation Herkunft • Betriebswirtschaft • privatwirtschaftlicher Sektor • Sozialwissenschaften • öffentlicher Sektor Anwendungsfelder • Unternehmen • Gewinnorientierung • Wettbewerb • Nonprofit-Organisationen • keine Gewinnorientierung • kaum Wettbewerb Orientierung • KundInnen • Zielgruppen • Beteiligte, Betroffene • Zielgruppen Ausrichtung • total, komplex, klärend • umfassend • berücksichtigt alle Mit‐ glieder einer Organisation, interne Strukturen, Abläufe und das Organisationsfeld • Managementaufgabe • top-down • intern • partiell, fokussiert • nicht umfassend, weil Ent‐ scheidungskomponente fehlt; es werden nur Infor‐ mationen geliefert und be‐ wertet bzw. Empfehlungen definiert; die Umsetzungs‐ entscheidung bleibt beim Management • selbstbestimmte Methode • top-down, bottom-up • intern und / oder extern Beteiligung der Mitarbeiter • i. d. R. alle MitarbeiterInnen • MitarbeiterInnen sollen von TQM überzeugt sein und dies in täglicher Arbeit um‐ setzen • Einbindung v. a. bei Umset‐ zung • je nach Typ stärkere bis schwächere Einbindung • keine Einbindung bei wis‐ senschaftl. Evaluation • wenn Einbindung: dann vor allem bei Design-, Bewer‐ tungs-, und Verwertungs‐ phase Funktion • Kontrollinstrument der Lei‐ tung • Beratung, Unterstützung, Überwachung Primäre Intention • Optimierung der Qualität zur Steigerung der Nach‐ frage und des Gewinns • shareholder value 3 • Evaluationsziele frei be‐ stimmbar • stakeholder value 4 Bewertungs‐ kriterien • festgelegt (z. B. ISO) Ände‐ rungen nicht vorgesehen • frei bestimmbar • Änderungen möglich 3 Evaluation und Fremdsprachenunterricht 70 Qualitätsmanagement Evaluation • Orientierung an Standards • Definiert durch: • Entscheidungsträger‐ Innen bzw. Auftraggeber‐ Innen (direktiv) • EvaluatorInnen (wissen‐ schafts-/ erfahrungsba‐ siert) • Zielgruppen / Stakehol‐ derInnen (emanzipativ) • alle zusammen (partizi‐ pativ) Aktivität • kontinuierlich • zumeist periodisch und be‐ fristet • kann kontinuierlich sein Reichweite/ Tiefe des Un‐ tersuchungs‐ feldes • schmal, auf KundInnen be‐ zogen (Kosten-Nutzen) • Effizienz / Effektivität von Programmen • Ursache-Wirkungszusam‐ menhänge auf Unternehmen begrenzt • breit • Beschaffung/ Bewertung von Informationen, Transpa‐ renz • Effizienz / Effektivität, Nach‐ haltigkeit • bezieht gesamten gesell‐ schaftlichen Kontext mit ein (Kausalanalyse) Tab. 4: Unterschiede zwischen Qualitätsmanagement und Evaluation Wie die vorangehenden Tabellen verdeutlichen, sind die Unterschiede zwischen Qualitätsmanagement und Evaluation somit gravierender als die Gemeinsam‐ keiten. Wenngleich beide grundsätzlich dasselbe Ziel verfolgen, zur Qualitäts‐ verbesserung beizutragen, so sind die dahinterstehenden Konzepte und Heran‐ gehensweisen doch sehr verschieden voneinander. TQM kann als ein umfassendes und kontinuierliches System der Qualitätssicherung gesehen werden, welches von der Informationsbeschaffung bis zur Umsetzung der Er‐ gebnisse sämtliche Bereiche abdeckt, während bei der Evaluation vor allem die Informationsbeschaffung und deren Bewertung im Vordergrund steht. Die Um‐ setzung der Ergebnisse ist explizit nicht mehr Bestandteil einer Evaluation, die zudem hinsichtlich der Durchführungsart in der Regel zeitlich befristet bzw. periodisch ist. Wichtiger als die einzelnen Unterschiede detailliert zu diskutieren, scheint, wie Stockmann (2006: 93) ausführt, die Erkenntnis, dass diese beiden Verfahren keine sich gegenseitig ausschließenden Konzepte sind, sondern sich ergänzen, 3.2 Abgrenzung zu anderen Begriffen 71 und dass die Evaluation von TQM -Konzepten lernen kann, damit sie effektiver und effizienter gestaltbar ist. Ein Hauptpunkt, der in diesem Zusammenhang von Stockmann (ibid.) genannt wird und auch ganz besonders vor dem Kontext des universitären Fremdsprachenunterrichts hervorzuheben wäre, ist die For‐ derung, dass Evaluation nicht als periodische Aktivität gesehen werden soll, sondern als prozessbegleitender, kontinuierlicher Vorgang. Diese Überlegung ist zentral bei der Konzeption der KDE , wie in Kapitel 6 im Detail ausgeführt wird. 3.2.4 Evaluationsvs. Grundlagenforschung Neben den bisher genannten Gründen, warum der Terminus Evaluation oft missverständlich verwendet wird, kommt ein weiterer hinzu: Evaluationsfor‐ schung wird nicht immer korrekt von Grundlagenforschung unterschieden. Dies liegt darin begründet, dass, obwohl die meisten Unterschiede zwischen den beiden in der Regel relativ eindeutig sind, auch ein Graubereich vorhanden ist, der eine exakte Unterscheidung in manchen Bereichen erschwert. Keine prinzipiellen Unterschiede zwischen Evaluations- und Grundlagenfor‐ schung sind, wie auch Stockmann (vgl. 2010: 58) feststellt, in Hinblick auf (1) die Auswahl des Untersuchungsgegenstandes sowie (2) die Verwendung von Da‐ tenerhebungs- und Analysemethoden zur Identifizierung von Wirkungen und der Bearbeitung der Kausalitätsfrage (Ursache-Wirkungszusammenhänge) zu erkennen. In beiden Bereichen können und werden sowohl quantitative als auch qualitative Forschungsmethoden eingesetzt. Hinsichtlich des Untersuchungs‐ gegenstandes ist jedoch zu vermerken, dass im Bereich der Evaluationsfor‐ schung die Fragestellung oftmals von einem Auftraggeber bzw. einer Auftrag‐ geberin kommt, während diese in der Grundlagenforschung in der Regel von den WissenschaftlerInnen selbst formuliert wird. In beiden Fällen ist aber auch das Gegenteil möglich. Untersucht können somit in beiden Fällen prinzipiell die gleichen Gegenstände werden. Im Hinblick auf die Unterschiede zwischen Evaluations- und Grundlagen‐ forschung gibt Balzer (vgl. 2005: 17ff) einen guten Überblick, der - zusammen mit Analysen von Stockmann (vgl. 2010: 57ff) - die Basis für untenstehende Ta‐ belle bildet, die Gemeinsamkeiten und Unterschiede zwischen Evaluation- und Grundlagenforschung aufzeigen soll. 3 Evaluation und Fremdsprachenunterricht 72 Evaluationsforschung Grundlagenforschung Methoden • qualitativ, quantitativ, ge‐ mischt • qualitativ, quantitativ, ge‐ mischt Gegenstand • theoretisch frei, in d. Praxis meist definiert • zumeist frei, kann definiert sein Ziele • Wissensgenerierung als Basis für Entscheidungen • verwertungsorientiert • Verbesserung v. Praxis • Wissensgenerierung als Basis für Theoriebildung • theorieorientiert • Verifizieren, Falsifizieren v. Theorien Zweck • zweckbestimmt • zweckfrei Ergebnisse • Nützlichkeit für konkretes Projekt • müssen stimmen • sollten handlungsrelevant sein • Generalisierbarkeit • dürfen falsch sein • sollten wertvoll für Wahr‐ heitsfindung sein; Basis für weitere Forschung Bewertung • Vergleich Ist-Sollzustand • Differenz = Grundlage für Bewertung • Interpretation und Bewer‐ tung • untersucht, beschreibt, er‐ klärt aktuellen Ist-Zustand (kein Vergleich) • nur Interpretation, keine Be‐ wertung Urteilskrite‐ rien • davor festgelegt • nötig für Vergleich • keine Fragestellung • in der Regel von Auftragge‐ berIn festgelegt (fremdbe‐ stimmt) • von Zielsetzung geleitet • in der Regel durch For‐ scherIn bestimmt (selbstbe‐ stimmt) • von Suche nach Erkenntnis‐ gewinn geleitet Erkenntnis‐ gewinn • zum Treffen konkr. Entschei‐ dungen • für die Gesellschaft Rolle • potentielle Eingebundenheit in ein System • kontrollierter, fester Rahmen • oft in politische Settings ein‐ gebunden • nach rechtsverbindlichem Auftrag abgewickelt • dem Erkenntnisgewinn ver‐ pflichtet • freier Rahmen • der scientific community verpflichtet • kann an Verträge gebunden sein Zeitrahmen • Deadline (zeitgebunden) • Verspätete Ergebnisse für z. B. Entscheidungen sind nach Entscheidungstermin nicht mehr verwertbar • i.d.R zeitungebunden • bei Bedarf mehr Zeit bzw. Deklarieren weiteren For‐ schungsbedarfs 3.2 Abgrenzung zu anderen Begriffen 73 Evaluationsforschung Grundlagenforschung • neue Erkenntnisse lassen sich nicht mit Terminka‐ lender erzwingen Empfänger von Ergeb‐ nissen • Programmverantwortliche • konkretes Publikum • Beteiligte • andere ForscherInnen • interessiertes Fachpublikum • für alle Interessierten Veröffentli‐ chung • zumeist keine (freie) Veröf‐ fentlichung • Publikation ist ein zentrales Anliegen Ergebnisnut‐ zung • ist ein Hauptanliegen • nicht zwingend; Ergebnisse können aber nützlich sein Ressourcen • i.d.R AuftraggeberInnen • i. d. R. öffentlich Kontext • eher politisch sensibel • zumeist pol. unproblema‐ tisch Tab. 5: Gemeinsamkeiten und Unterschiede zw. Evaluation und Grundlagenforschung Während die Grundlagenforschung demnach überwiegend zweckfrei nach (neuen) Erkenntnissen sucht und die Frage nach ihrer Nützlichkeit in der Regel kaum gestellt wird, zeichnet sich die Evaluationsforschung gerade dadurch aus, dass sie, wenngleich sie sich auch der Methoden und Theorien der Sozialfor‐ schung bedient, nützlich sein soll und Informationen zur Verfügung stellt, auf Basis welcher Entscheidungen getroffen werden. Diese Gratwanderung zwi‐ schen Wissenschaft und Nützlichkeit bezeichnet Stockmann (2010: 59) als die »besondere Dualität« der Evaluationsforschung. Die Tatsache, dass Evaluationsforschung im Gegensatz zur Grundlagenfor‐ schung praxisorientiert ist (vgl. Rindermann 2009: 14) und auch der Nützlich‐ keitsaspekt von Evaluationen im Vordergrund steht bzw. eine enge Verknüpfung zwischen den Evaluationsergebnissen und (politischen) Entscheidungen nicht immer negiert werden kann, hat nicht selten zur Folge, dass Evaluationsfor‐ schung von grundlagenbzw. disziplinorientierten ForscherInnen nicht immer als vollwertige Wissenschaft anerkannt wird, wie Stockmann (vgl. 2010: 57) an‐ führt. Dies geht auch mit oft konträren Anforderungen einher, mit welchen sich viele EvaluatorInnen in der Praxis konfrontiert sehen. Evaluation, wie sie im Rahmen der KDE gesehen wird, schafft gewissermaßen eine Gratwanderung, weil sie zum einen Informationen generiert, auf Basis welcher Optimierungen im Fremdsprachenunterricht erwirkt werden können, und weil diese Informationen bzw. Veränderungen zugleich als Ausgangspunkt 3 Evaluation und Fremdsprachenunterricht 74 für neue Theorien und fremdsprachen-didaktische Überlegungen genutzt werden können. 3.2.5 Allgemeinsprachliche vs. wissenschaftliche Evaluation Ein weiterer wichtiger Aspekt, der im Hinblick auf die Verwendung des Begriffs Evaluation Klarheit schaffen soll, ist die Abgrenzung der allgemeinsprachlichen Evaluation von der wissenschaftlichen Evaluation. Spricht man von einer all‐ gemeinsprachlichen Evaluation, wie etwa jener im oben angeführten Zitat von Kromrey (vgl. 2001: 21) bei welcher irgendetwas von irgendjemandem nach ir‐ gendwelchen Kriterien in irgendeiner Weise bewertet wird, oder handelt es sich um eine Evaluation im wissenschaftlichen Kontext, die auch wissenschaftlichen Kriterien und Standards gerecht werden muss? Für letztere sind, wie Stockmann (2004: 2) ausführt, »empirische Methoden zur Informationsgewinnung und sys‐ tematische Verfahren zu Informationsbewertung anhand offengelegter Krite‐ rien« erforderlich, »die eine intersubjektive Nachprüfbarkeit möglich machen«. Kromrey (2001: 22) verdeutlicht diesbezüglich, dass bei einer wissenschaftli‐ chen Evaluation nicht irgendetwas beurteilt werden soll, sondern »ein eindeutig zu definierender und empirisch abgrenzbarer Gegenstand oder Sachverhalt«. Zudem ist nicht irgendjemand für die Informationssammlung und Analyse zu‐ ständig, sondern »eine mit der notwendigen Kompetenz versehene Evalua‐ tions-Instanz«. Darüber hinaus soll nicht nach irgendwelchen Kriterien und nicht in irgendeiner Weise evaluiert werden, sondern »nach explizit auf den Sachver‐ halt bezogenen und begründeten Beurteilungskriterien und Standards, sowie in einem objektivierten Verfahren im Rahmen eines im Detail geplanten Evalua‐ tionsdesigns«. Demgemäß müssen, wenn es sich bei einer Evaluation nicht nur um die ein‐ fache Abgabe eines subjektiven Werturteils handeln soll, wie dies bei den in 1.3 analysierten Evaluationsmodellen vielfach der Fall war, sondern wenn es sich um eine Evaluation im wissenschaftlichen Kontext handelt, wesentliche Kenn‐ zeichen und Kriterien erfüllt bzw. Standards berücksichtigt werden, die eine empirisch-wissenschaftliche Evaluation von einer Alltagsbewertung unter‐ scheiden. 3.2.5.1 Kennzeichen wissenschaftlicher Evaluation Wottawa / Thierau (vgl. 1998: 14) führen folgende Kennzeichen für eine wissen‐ schaftliche Evaluation an: 1. Evaluation dient als Planungs- und Entscheidungshilfe und hat daher etwas mit der Bewertung von Handlungsalternativen zu tun. 3.2 Abgrenzung zu anderen Begriffen 75 2. Evaluation ist ziel- und zweckorientiert. Ihr primäres Ziel besteht darin, praktische Maßnahmen zu überprüfen, zu verbessern oder über sie zu entscheiden. 3. Evaluationsmaßnahmen sollten dem aktuellen Stand wissenschaftlicher Techniken und Forschungsmethoden angepasst sein. Neben den drei genannten Kennzeichen führen sie (ibid.) zudem an, dass ethisch-moralische Überlegungen nicht vernachlässigt werden dürfen, denn EvaluatorInnen »verändern durch ihre Arbeit beratend (manchmal sogar als Entscheider) die Lebensumstände anderer Menschen gezielt und erheben dabei den Anspruch, aufgrund ihrer ›Wissenschaftlichkeit‹ über Kompetenzen zu verfügen, die dem ›Laien‹ fehlen«. 3.2.5.2 Kriterien wissenschaftlicher Evaluation Für Stockmann (vgl. 2010: 66) zeichnet sich eine wissenschaftliche Evaluation durch folgende Kriterien aus: 1. Die Evaluation ist auf einen klar definierten Gegenstand bezogen. 2. Für die Informationsgenerierung werden objektivierende empirische Da‐ tenerhebungsmethoden eingesetzt. 3. Die Bewertung erfolgt explizit auf den zu evaluierenden Sachverhalt und anhand präzise festgelegter und offengelegter Kriterien. 4. Die Bewertung wird mit Hilfe systematischer Verfahren vorgenommen. 5. Die Evaluation wird von dafür besonders befähigten Personen (Evalua‐ torInnen) durchgeführt. 6. Ziel der Evaluation ist, auf den Evaluationsgegenstand bezogene Ent‐ scheidungen zu treffen. Zudem stellen Evaluationen keinen Selbstzweck dar und sind nicht nur dem puren Erkenntnisinteresse verpflichtet, sondern sollen einen Nutzen stiften und dazu beitragen, Prozesse transparent zu machen, Wirkungen zu dokumentieren und Zusammenhänge aufzuzeigen, um dadurch Entscheidungen treffen zu können, die dazu beitragen, die Qualität einer Maßnahme, eines Programms oder einer Dienstleistung zu optimieren (vgl. Stockmann 2006: 65). Ist im wissenschaftlichen Kontext der systematische Zugang essentiell, stellt dieser im Alltag keine Notwendigkeit dar. In beiden Fällen verfolgt die Evalua‐ tion jedoch ein bestimmtes Ziel oder einen bestimmten Zweck, wie z. B. auf Basis der aus der Evaluation gewonnenen Erkenntnisse eine Entscheidung zu treffen, die zu einer Optimierung eines Prozesses oder Produktes - im konkreten Fall, des universitären Fremdsprachenunterrichts - führt. 3 Evaluation und Fremdsprachenunterricht 76 Damit eine wissenschaftliche Evaluation auch die für jede andere wissen‐ schaftliche Untersuchung geforderten Kriterien der Neutralität, Objektivität, Validität und Reliabilität erfüllt, ist eine Herangehensweise zu wählen, die man auch für andere wissenschaftliche Untersuchungen anwenden würde: Zuerst ist eine Fragestellung zu formulieren, dann muss eine Methode gewählt und be‐ schrieben werden, die jene Daten erhebt, die zur Beantwortung der Frage führen. Der bewertende Aspekt, der bei einer Evaluation besonders stark im Vorder‐ grund steht, darf jedoch nicht mit der Abgabe eines subjektiven Werturteils verwechselt werden. Hier ist von eminenter Wichtigkeit, dass die Kriterien, an‐ hand welcher der Ist-Soll-Vergleich durchgeführt wird, sich auf wissenschaft‐ liche Erkenntnisse stützen, exakt festgelegt werden und nicht nur für alle nach‐ vollziehbar sind, sondern sich auch auf etablierte Standards beziehen, wie beispielsweise die Evaluationsstandards und die ESG . 3.3 Evaluationsmodelle Neben dem jeweiligen Kontext, der bei jeder Evaluation zu berücksichtigen ist, ist stets auch eine konkrete Fragestellung zu formulieren. Diese beinhaltet nicht nur, was evaluiert werden soll, sondern auch, warum man dies tut und welche Ergebnisse man erwartet bzw. welche Methoden sich für eine bestimmte Eva‐ luation am besten eignen. Je nachdem, welcher Kontext gegeben ist und wie die Frage(n) beantwortet wird / werden, ergibt sich ein Evaluationsansatz (oder mehrere), der für die bestimmte Situation besser geeignet ist als andere. 3.3.1 Allgemeine Evaluationsmodelle Nachdem WissenschaftlerInnen zu bestimmten Fragestellungen unterschied‐ liche Zugänge haben bzw. aus unterschiedlichen Disziplinen kommen und zudem die Absichten, die sie mit einer Evaluation verbinden, höchst verschieden sein können, hat sich im Laufe der letzten 60 Jahre eine Vielzahl an Evaluati‐ onszugängen und -ansätzen entwickelt (für eine Übersicht siehe z. B. Balzer 2005, Kapitel 4), die die Basis jeglicher Evaluationsforschung bilden - oder um es in den Worten von Gollwitzer / Jäger (vgl. 2009: 32) zu sagen: Evaluationsfor‐ schung kommt ohne Evaluationsmodelle bzw. Theorien nicht aus. Ihr würde dann der Begründungszusammenhang fehlen. Mittlerweile zeichnen sich die Evaluationsansätze bzw. -modelle jedoch durch eine »immense Vielfalt« aus, wie auch Meyer / Stockmann (2010: 101) feststellen, und das, obwohl die Evaluationsforschung als eigenes Forschungsgebiet im 3.3 Evaluationsmodelle 77 Vergleich zu anderen wissenschaftlichen Disziplinen eine relativ kurze Ge‐ schichte hat, wie Rindermann (vgl. 2009: 11) festhält. Zudem differieren die ein‐ zelnen Evaluationsansätze mitunter relativ stark voneinander, verfügen aber zugleich auch über einige Gemeinsamkeiten und Überschneidungen, was eine einwandfreie Abgrenzung bzw. Klassifizierung erschwert. Nicht nur, dass die einzelnen Evaluationsansätze sehr zahlreich sind - Stock‐ mann (vgl. 2010: 11) spricht sogar davon, dass es wahrscheinlich so viele Eva‐ luationsansätze wie EvaluatorInnen gibt, auch die Zugänge hinsichtlich deren Klassifizierungen in bestimmte Gruppen sind aufgrund ihrer Anzahl mittler‐ weile nur mehr schwer zu überblicken. Analysiert man die Literatur zu den einzelnen Evaluationsmodellen bzw. den Klassifizierungen, so lässt sich fest‐ stellen, dass sich im Laufe der Zeit unterschiedlichste Systematisierungsvor‐ schläge etablierten, die jedoch aufgrund der Komplexität und Menge an Eva‐ luationsmodellen vielfach nicht unproblematisch sind und die eigentlichen Herausforderungen, die mit Evaluationen einhergehen, nicht erleichtern. Aufgrund dessen, des Umfangs der Evaluationstheorien und Ansätze und der Tatsache, dass das zentrale Thema dieses Buches das Evaluieren von Lehrver‐ anstaltungen durch Studierende darstellt, wird an dieser Stelle nicht näher auf die allgemeinen Evaluationsmodelle eingegangen, sondern der Fokus auf die unterschiedlichsten Ansätze bei Lehrveranstaltungsevaluationen gelegt, von denen in Folge einige der wichtigsten diskutiert werden. 3.3.2 Lehrveranstaltungsbezogene Modelle Der exakte Typ der Evaluation, der bei Lehrveranstaltungsevaluationen zum Einsatz kommt, kann von Institut zu Institut unterschiedlich sein und je nach gewähltem inhaltlichen Schwerpunkt unterschiedlichen Modellen zugeordnet werden (vgl. Rindermann 2009: 27). Vielfach ist es auch nicht zu 100 Prozent möglich, einen bestimmten Ansatz festzulegen, weil es sich oftmals um eine Kombination mehrerer Evaluationsansätze, um sogenannte Mischtypen, han‐ delt. Lehrveranstaltungsevaluationen haben daher in der Regel keinen fixen Typus und könnten, wenn man dies so will, u. U. sogar als eigener Evaluationstyp be‐ trachtet werden. Dies kann auch durch die Tatsache begründet werden, dass sie sich von herkömmlichen Evaluationen in einigen Belangen unterscheiden und in der Weise, wie sie in den in Kapitel 1 analysierten universitären Fremdspra‐ chenzentren zum Einsatz kommen, eher eine Rückmeldung, ein Feedback an die Lehrpersonen darstellen, als eine Evaluation im eigentlichen Sinne. 3 Evaluation und Fremdsprachenunterricht 78 Rindermann (vgl. 2009: 27) stellt fest, dass hauptsächlich folgende Evaluati‐ onstypen bei Lehrveranstaltungsevaluationen zum Einsatz kommen: 1. Lernzielgesteuerte Evaluation, 2. Entscheidungsgesteuerte Evaluation, 3. Nutzenorientierte Evaluation, 4. Kennerschaftsgesteuerte Evaluation, 5. Beteiligteninteressensgesteuerte Evaluation, 6. Qualitätsentwickelnde Evaluation. Auf diese Evaluationstypen soll nun detailliert eingegangen werden, weil sie bzw. einzelne ihrer Elemente auch als Basis für das in diesem Buch konzipierte Modell der Komplexen Dynamischen Evaluation zu sehen sind. In diesem Kapitel werden zuerst die einzelnen Modelle und Ansätze vorgestellt und deren poten‐ tielle Anwendung auf den universitären Fremdsprachenunterricht diskutiert, bevor im Anschluss daran (siehe Abschnitt 3.4) jene Aspekte angeführt werden, die im Rahmen der KDE zum Einsatz kommen. 3.3.2.1 Lernzielgesteuerte Evaluation Die lernzielgesteuerte oder auch programmzielorientierte Evaluation kann als der klassische Evaluationsansatz gesehen werden, anhand welcher die Resultate eines bestimmten Programms mit konkreten, zuvor bestimmten Zielen vergli‐ chen werden. Einer der ersten und vielleicht wichtigsten Vertreter der zielorien‐ tierten / zielgesteuerten Evaluation war Ralph Tyler, dessen Forschungsschwer‐ punkt in der Curriculumforschung bzw. in der Entwicklung der lernzielorien‐ tierten Evaluation lag. Da das Curriculum auch im modernen universitären Fremdsprachenunterricht vor allem auch beim Planen von Lehrbzw. Lernzielen und beim Organisieren des Unterrichtsgeschehens zentral ist, muss dieser Eva‐ luationstyp im Zusammenhang mit der Konzeption der KDE etwas detaillierter vorgestellt werden. Tyler (vgl. 1942: 492ff) nennt folgende Ziele, die mit Evalua‐ tionen im Bildungskontext in Verbindung stehen: 3.3.2.1.1 Ziele 1. Periodische Überprüfung der Effektivität einer Bildungseinrichtung und damit in Zusammenhang das Aufzeigen jener Bereiche, die Verbesse‐ rungspotential aufweisen. 2. Validieren der Hypothesen, auf Basis welcher die Bildungseinrichtung arbeitet. Dies beinhaltet vor allem den Plan, nach welchem das Curri‐ culum an einem Institut erstellt wird und fußt in der Regel auf Überle‐ 3.3 Evaluationsmodelle 79 gungen der Lehrenden und ist, wie er festhält, in manchen Fällen nicht optimal begründet, was in Folge zu einem schlecht konzipierten Curri‐ culum führen kann, das über viele Jahre hinweg Verwendung findet. 3. Informationsgenerierung zur effektiven Begleitung der einzelnen Stu‐ dierenden. Dies beinhaltet eine möglichst genaue Bewertung der Leis‐ tungen und Entwicklung der Studierenden. Je genauer man als Lehr‐ person über die Studierenden Bescheid weiß, desto effektiver sind die Hilfestellungen, die man ihnen geben kann, besonders, wenn man die Schwierigkeiten kennt, mit denen sie zu kämpfen haben. 4. Bereitstellen psychologischer Sicherheit für Lehrpersonen und Studie‐ rende. Dieser Aspekt würde heute als Coaching bezeichnet werden und begleitet Lehrende und Studierende in und auch außerhalb des Unter‐ richts. Für (unerfahrene) Lehrende kann dies z. B. im Rahmen von Ge‐ sprächen mit anderen (erfahrenen) Lehrenden oder SupervisorInnen stattfinden und für Studierende in der Form einer Sprachlernbegleitung, wie dies beispielsweise seit dem Sommersemester 2014 am treffpunkt sprachen angeboten wird. 5. Öffentlichkeitsarbeit. Hier meint Tyler das Informieren über bzw. die Of‐ fenlegung der Tätigkeiten eines Institutes und deren Begründung, damit die Öffentlichkeit darüber informiert wird, was das Institut leistet und warum es eine bestimmte Herangehensweise wählt. 6. Evaluation als Hilfestellung für Lehrende und Studierende bei der Klä‐ rung der Lehr/ -Lernziele und der Richtungsbestimmung, die z. B. im Rahmen eines Fremdsprachenkurses eingeschlagen wird. Hier spielt die Kollaboration der beiden am Unterrichtgeschehen Hauptbeteiligten eine zentrale Rolle. Die von Tyler vor über 70 Jahren angeführten Punkte sind in Verbindung mit qualitativ hochwertigem Unterricht und bei der Erstellung von Lehrplänen auch heute noch genauso wichtig und müssen, wie Tyler dies (1942: 495) darlegt, beim Planen und Entwickeln eines Programms »kontinuierlich vor Augen geführt werden«. Nur so ist ein fortlaufendes Optimieren der eigenen Handlungen möglich, was als Basis für Qualitätsverbesserung und -sicherung anzusehen ist. 3.3.2.1.2 Annahmen bzw. Voraussetzungen Tyler (vgl. 1942: 495ff) basiert seinen Evaluationsansatz auf sechs Annahmen bzw. Voraussetzungen, die mit Evaluation im Unterricht in Zusammenhang stehen: 3 Evaluation und Fremdsprachenunterricht 80 1. Lernen ist ein Prozess, der eine Verhaltensänderung bei Menschen nach sich zieht. 2. Die Verhaltensänderungen, die durch Bildungseinrichtungen hervorge‐ rufen werden, stehen mit Bildungszielen in Verbindung. Diese Ziele sind vor Kursbeginn zu definieren und richten sich nicht nur nach dem Inhalt des Programms oder den Methoden der Lehrenden, sondern ganz we‐ sentlich auch nach den Studierenden. 3. Ein Lehrprogramm wird anhand des tatsächlichen Erreichens der ge‐ steckten Ziele bewertet. Hier kommt es zu einer Gegenüberstellung von intendierten und erreichten Zielen. 4. Die Art und Weise, wie LernerInnen ihr Verhalten organisieren, ist zentral. Dabei darf nicht vergessen werden, dass eine Verhaltensverän‐ derung holistisch erfolgt. Die einzelnen Ziele dürfen nicht nur isoliert voneinander gesehen, sondern müssen ganzheitlich betrachtet werden. 5. Die Methoden der Evaluation sind nicht auf paper-and-pencil-Verfahren beschränkt. 6. Das Miteinbeziehen aller am Lehr-/ Lernprozess Beteiligten an der Eva‐ luation führt zu einer Nutzenmaximierung. 3.3.2.1.3 Anwendung auf den Fremdsprachenunterricht Punkt eins trifft im Kontext des universitären Fremdsprachenunterrichts defi‐ nitiv zu, nicht nur weil die Tatsache, dass das Erlernen einer neuen Sprache bzw. das Verbessern bereits vorhandener Kompetenzen beim Fremdsprachenunter‐ richt auch mit dem (intensiveren) Kennenlernen anderer Kulturen und Denk‐ weisen, die sich auch in der Sprachbildung widerspiegeln, einhergeht, sondern auch, weil das Lernen bzw. Lehren einen (Weiter-)Entwicklungsprozess auslöst. Durch das Lernen und Lehren werden auch andere Kompetenzen entwickelt und geschult, die vorher nicht vorhanden waren. Dies trifft auf LernerInnen auf gleiche Weise zu wie auf Lehrende. Punkt zwei ist ganz besonders wichtig, da neben den verobjektivierten Lehr‐ zielen und den Methoden, die Lehrpersonen im Laufe ihrer Unterrichtsjahre entwickelt haben, die individuellen Lernziele der Studierenden berücksichtigt werden müssen. Die LernerInnen sollten im Unterricht im Zentrum des Ge‐ schehens sein, wie dies VertreterInnen der teilnehmerorientierten Didaktik (siehe z. B. Breloer et. al. 1980, Luchte 2001) fordern. Diese Forderung wird auch durch den shift from teaching to learning und die ESG (ganz besonders 2015) gestützt. Punkt drei scheint so trivial wie essentiell. Die Tatsache, dass kein Weg der richtige ist, wenn man den Hafen nicht kennt, in den man segeln will, war bereits 3.3 Evaluationsmodelle 81 Seneca (epist. 71: 3) bekannt. Dennoch wird diese Trivialität bei vielen Lehrver‐ anstaltungsevaluationen aktuell nicht berücksichtigt. In den analysierten Mo‐ dellen wird in der Regel nur evaluiert, ob und wie man angekommen bzw. gereist ist. Nie wurde jedoch davor explizit der Ort festgelegt, wohin die Reise gehen soll bzw. welche Transportmittel hierfür als geeignet erscheinen. Daher ist eine sinnvolle Evaluation am Ende des Semesters auch nicht möglich, wenn nicht zu Beginn des Kurses gemeinsam die Ziele bzw. Methoden zum Erreichen dieser Ziele definiert wurden. Punkt vier kann z. B. so interpretiert werden - wie dies der modernen Fremd‐ sprachendidaktik durchaus bekannt ist - dass die einzelnen sprachlichen Fer‐ tigkeiten der LernerInnen nicht getrennt voneinander behandelt werden sollen, sondern dass z. B. bei der Vermittlung von Grammatik gleichzeitig auch andere Kompetenzen, Fähigkeiten und Fertigkeiten trainiert, und dass diese auch aktiv in Kommunikationssituationen integriert werden können (siehe z. B. Newby 2008). Hier ist auf jeden Fall auch zu berücksichtigen, welche Unterrichtsme‐ thoden angewandt werden, denn diese sollten auch - soweit wie möglich - auf die jeweiligen LernerInnen abgestimmt werden. Punkt fünf scheint, wenn von Tyler auch im Hinblick auf Leistungsbeurtei‐ lung von Studierenden verwendet, im Kontext mit aktuell durchgeführten Lehr‐ veranstaltungsevaluationen ebenso wesentlich, denn die überwiegende Mehr‐ heit der Evaluationen, ganz besonders jener, die an den im Vorfeld für diese Arbeit untersuchten Fremdsprachenzentren durchgeführt wurden, fanden zum Untersuchungszeitpunkt nach wie vor mit Papier und Bleistift statt. Während vor 70 Jahren die Methoden und Mittel nicht so vielfältig waren wie heute, und diese Methode damals wahrscheinlich vor allem aus Mangel an Alternativen zu den beliebtesten zählte, muss dies heute, im PC - und Internetzeitalter, überdacht werden. Punkt sechs scheint nicht nur im Zusammenhang mit Lehrveranstaltungse‐ valuation wesentlich, er würde auch neueren Ansätzen der Didaktik (z. B. ko‐ operatives Lernen; siehe z. B. Konrad / Traub 2005) entsprechen und mit den ESG harmonieren. Wenn sich alle AktantInnen an der Konzeption des Unterrichts‐ geschehens beteiligen, könnten vor allem auch die Studierenden mehr Gefühl für ihre Schlüsselrolle im Lerngeschehen und ihre Verantwortung im Unterricht entwickeln. Evaluation, wenn geschickt ausgeführt, kann diesen Prozess unter‐ stützen. Dies würde auch Selbstevaluation einschließen, wie Tyler (vgl. 1942: 497) betont. Letztere wird auch im vorliegenden Ansatz als wesentlicher Bestandteil eines umfassenden Evaluationsinstrumentes verstanden. Die zentrale Idee von Tyler, der mit seinem Ansatz als Begründer der mo‐ dernen Programm-Evaluation gesehen werden kann, war »der Vergleich von 3 Evaluation und Fremdsprachenunterricht 82 gut begründeten Bildungszielen (educational objects) mit den tatsächlich er‐ zielten Ergebnissen«, wie Balzer (2005: 29) resümiert und auch das gemeinsame Gestalten bzw. die kooperative Verantwortung des Unterrichtsgeschehens, die damit einhergehen. Eine Evaluation nach seinen Überlegungen ist aktuell ge‐ nauso zielführend wie vor 70 Jahren. Zusätzlich gibt es heute ein viel größeres Potential an Durchführungsmöglichkeiten, was wiederum den Prozess der Be‐ werkstelligung der von Tyler geforderten Maßnahmen heute leichter ablaufen lässt als in den dreißiger und vierziger Jahren des 20. Jahrhunderts. 3.3.2.1.4 Methode Eine Evaluation nach Tylers Ansatz gliedert sich in folgende Schritte, wie er (vgl. 1942: 498ff) ausführt: 1. Formulierung der Bildungsziele, 2. Klassifizierung der Bildungsziele in Hauptkategorien, 3. Definieren der Hauptkategorien bezogen auf ihr Verhalten, 4. Identifikation von Situationen, in welchen Studierende dieses Verhalten zeigen können, 5. Auswahl und Prüfung bzw. Modifikation von vorhandenen oder Ent‐ wicklung und Testung von neuen Methoden zum Beweis der Wirkungen der Ziele, 6. Datensammlung und aufbauend auf der Voruntersuchung: Optimierung des Evaluationsinstrumentes hinsichtlich der Methoden bzw. ihrer Per‐ fektionierung, 7. Entwicklung von Instrumenten zur Interpretation und Nutzung der Eva‐ luationsergebnisse, 8. Vergleich der Ergebnisse mit den zu Beginn definierten Zielen - aber auch mit anderen vergleichbaren Situationen wie z. B. andere Kurse der glei‐ chen Konstellation. Bei Unterschieden könnten Veränderungen durchge‐ führt und erneut evaluiert werden. 3.3.2.1.5 Umsetzung im Fremdsprachenunterricht Auf den universitären Fremdsprachenunterricht umgemünzt bedeutet dies, dass zuerst (gemeinsam) Lehr- und Lernziele formuliert werden, die in einem wei‐ teren Schritt in Kategorien einzuteilen sind. Diese sollten nicht abstrakt, sondern möglichst exakt für die jeweilige Situation definiert werden. Beispiele wären etwa das Verbessern der mündlichen Kompetenzen durch Diskussionsrunden, Erweiterung des Wortschatzes durch Arbeit mit Kollokationen, verbessertes Hörverstehen durch den Einsatz von Radiosendungen etc. 3.3 Evaluationsmodelle 83 Die wesentlichen Punkte, die Tylers Ansatz beschreiben, können auch für den Fremdsprachenunterricht wie folgt zusammengefasst werden: 1. Evaluation bedeutet kontinuierliche Programmverbesserung. Sie soll In‐ formation zu Tage fördern, auf Basis welcher Hypothesen aufgestellt werden können, die zur Verbesserung des Curriculums beitragen, was in weiterer Folge zu einer Optimierung des Lehrprogramms und der ver‐ besserten Betreuung bzw. einem umfassenden Verständnis der Studier‐ enden führt. 2. Evaluation ist ein zyklischer und kooperativer Prozess. Sie ist nicht als einmaliges (summatives) Ereignis zu sehen, sondern als integraler und immer wiederkehrender Bestandteil des Lehrprozesses. Bei Bedarf bein‐ haltet dies auch, dass es gegebenenfalls zu einer Neuformulierung der anfangs festgelegten Ziele kommen kann. 3. Evaluation kann als mächtiges Instrument für eine kontinuierliche Leh‐ rerInnenweiterbildung gesehen werden. Dies hängt mit unterschiedli‐ chen Faktoren zusammen, wie z. B. mit der Tatsache, dass mit Evaluati‐ onen ständig neue und auf das Unterrichtsgeschehen bezogene Informationen generiert werden können. Die Lehrenden können bei‐ spielsweise die Reaktionen der LernerInnen auf bestimmte Unterricht‐ methoden direkt erfragen und aus dem Feedback lernen, was einen Re‐ flexionsprozess auslösen kann, der aller Voraussicht nach eine Verbesserung der Lehrkompetenzen nach sich zieht. Auch dieser Aspekt wird in der KDE umgesetzt (siehe Kapitel 6). 3.3.2.1.6 Fazit Wie u. a. bereits Balzer (vgl. 2005: 30) feststellt, lieferte Tylers Ansatz zum ersten Mal eine Struktur für ein erfolgreiches Evaluationsprojekt, indem er den Eva‐ luationsprozess definiert, die Ziele systematisch herausarbeitet und klare Regeln aufgestellt werden. Zudem ist er dem wissenschaftlichen Grundgedanken un‐ terworfen, einfach nachzuvollziehen und führt zu praktisch verwendbaren Er‐ gebnissen, weswegen sich dieses Modell auch 70 Jahre nach dessen Konzeption besonders für den universitären Fremdsprachenunterricht eignet. Dies trifft vor allem deswegen zu, weil Tylers Ansatz mit modernen Technologien verhältnis‐ mäßig einfach und ressourcenschonend eingesetzt und durchgeführt werden kann. Problematisch kann diese Art der Evaluation jedoch werden, wenn, wie Stockmann (vgl. 2010: 69) hinweist, Programmziele nicht klar formuliert sind oder sogar ganz fehlen, wenn neben den offiziell deklarierten Zielen andere, konkurrierende Vorgaben existieren oder wenn nicht alle AktantInnen die glei‐ chen Ziele verfolgen und nicht-intendierte Effekte, die jedoch als wichtig und 3 Evaluation und Fremdsprachenunterricht 84 interessant gelten, systematisch ausgeblendet werden. Diese Punkte sind zu be‐ achten und von den Lehrenden, die die Evaluation und darauffolgende Schritte managen, zu berücksichtigen. 3.3.2.2 Entscheidungsgesteuerte Evaluation Eine Form der entscheidungsgesteuerten Evaluation im Bildungsbereich geht im Wesentlichen auf Daniel L. Stufflebeam zurück, der bereits Anfang der 1970er Jahre auf die speziellen Bedürfnisse und Probleme hinwies, die mit Evaluationen im Bildungsbereich einhergehen. Damals betonte er (vgl. Stufflebeam, 1972: 114) nicht nur die zentrale Rolle von Evaluationen für PädagogInnen, die auf Basis der gewonnen Informationen Entscheidungen über alternative Pläne und Ver‐ fahren treffen können, sondern bemängelte auch massiv die Wirksamkeit (vgl. 1972: 114) und Qualität, mit welcher Evaluationen in diesem Bereich bis dato durchgeführt wurden und resümierte (vgl. 1972: 116), dass keine von den unter‐ suchten und zu diesem Zeitpunkt eingesetzten Evaluationen die evaluierten Programme verbesserten. Als Gründe hierfür nannte er u. a. das Fehlen ausge‐ bildeter EvaluatorInnen, adäquater Evaluationsinstrumente bzw. Evaluations‐ verfahren und einer angemessenen Theorie (vgl. Stufflebeam 1972: 117). Diese Probleme sind im Hinblick auf den universitären Fremdsprachenunterricht - wenn auch in leicht abgeschwächter Form - nach wie vor präsent, wie die Ana‐ lyse in Abschnitt 1.3 zeigte. 3.3.2.2.1 Ziele Für Stufflebeam (vgl. 1972: 124) hängt die Qualität von Programmen prinzipiell von der Qualität der Entscheidungen in den Programmen und über die Pro‐ gramme ab. Die Qualität der Entscheidungen wird dabei durch die Fähigkeit der Entscheidungsträger bestimmt, die Alternativen zu identifizieren, die in Ent‐ scheidungssituationen auftreten, und entsprechend vernünftige und begründete Urteile über sie zu fällen. Die Basis vernünftiger Entscheidungen sind, wie er festhält, valide und reliable Informationen über die Alternativen, die man mit‐ hilfe systematischer Verfahren gewinnt. Die Prozesse, mit denen die für die Entscheidungen erforderlichen Informationen gewonnen werden, müssen dabei Teil des Evaluationskonzepts sein. Aus dem bisher Gesagten resultiert, dass man unter einer entscheidungsge‐ steuerten Evaluation die Gewinnung von Informationen durch formale Mittel wie Kriterien, Messungen und statistische Verfahren verstehen kann, die das Ziel hat, eine rationale Grundlage für das Fällen von Urteilen in Entscheidungs‐ situationen bereitzustellen, oder um es in Stufflebeams Worten (vgl. 1972: 125) 3.3 Evaluationsmodelle 85 zu sagen: Evaluation ist die Wissenschaft, mit deren Hilfe Informationen für Entscheidungsprozesse zu Verfügung gestellt werden. 3.3.2.2.2 Anwendung auf den Fremdsprachenunterricht Im universitären Fremdsprachenunterricht sind sowohl auf Lehrendenseite als auch bei den Studierenden kontinuierlich Entscheidungen in unterschied‐ lichsten Situationen zu treffen. Auf Makroebene beginnt dies bereits zu Beginn des Kurses, wenn sich die LernerInnen Lernziele setzen und die Lehrenden diese mit Lehrzielen in Verbindung bringen, um daraus die Unterrichtsziele für einen bestimmten Kurs zu generieren. Weitere Entscheidungen, die mit diesen in Folge zusammenhängen, können z. B. auf Mikroebene angesiedelt werden, wenn es beispielsweise darum geht, für bestimmte Ziele geeignete Methoden zu wählen, mit Hilfe welcher die LernerInnen diese Ziele erreichen können etc. 3.3.2.2.3 Methode Für Stufflebeam (vgl. 1972: 125) hat eine Evaluation prinzipiell vier Funktionen: 1. Sammlung von Informationen, 2. Organisation der Informationen, 3. Analyse der Informationen, 4. Bericht über Informationen. Hinsichtlich der Kriterien für die Einschätzung der Angemessenheit einer Eva‐ luation gibt er folgende Punkte an (vgl. ibid.): 1. Validität (Ist die Information diejenige, die der / die Entscheidungsträ‐ gerIn benötigt? ), 2. Reliabilität (Ist die Information reproduzierbar? ), 3. Rechtzeitigkeit (Steht die benötigte Information rechtzeitig zur Verfü‐ gung? ), 4. Verfügbarkeit (Erreicht die Information alle EntscheidungsträgerInnen, die sie benötigen? ), 5. Zuverlässigkeit (Vertrauen die EntscheidungsträgerInnen der Informa‐ tion? ). Auf den universitären Fremdsprachenunterricht angewandt, können diese Punkte wie folgt übernommen werden: Validität: Die Validität, also die Gültigkeit von Lehrveranstaltungsevaluationen wurde in der Vergangenheit vielfach angezweifelt (für einen Überblick siehe z. B. Rinder‐ 3 Evaluation und Fremdsprachenunterricht 86 mann 2009: 165ff). Das Problem mit vielen Fragebögen ist in der Tat, dass mit ihnen oftmals nicht wirklich das erfragt wird, was zu erfragen intendiert wurde. In diesem Fall kann man auch nicht von Validität i.e.S. sprechen. Validität, wie sie von Stufflebeam aufgefasst wird, hängt jedoch mit der Frage zusammen, ob die Information, die der / die EntscheidungsträgerIn bekommt, auch jene ist, die er / sie benötigt. Dies hängt im Wesentlichen von der Perspektive und der je‐ weiligen Fragestellung ab. Im universitären Fremdsprachenunterricht können Evaluationen aus der Per‐ spektive der Studierenden - z. B. in Form eines Lerntagebuches, einer Selbst‐ einschätzung ihrer Kompetenzen, eines Reflektierens über die Lernziele etc. durchgeführt werden, und aus Sicht der Lehrperson beispielsweise im Hinblick auf Methoden, die er / sie einsetzt, im Hinblick auf die Lehrziele, die Rückmel‐ dung von Seiten der Studierenden o. Ä. Was mit einer Evaluation intendiert wird, kann somit erfragt werden. Wichtig ist dabei, darauf zu achten, dass man die richtige Frage richtig stellt, sonst werden Informationen gesammelt, die für die Fragestellung nicht benötigt werden. Reliabilität Unter Reliabilität wird zumeist die Messgenauigkeit von Evaluationsinstru‐ menten verstanden. Je höher der Grad an Reliabilität ist, desto präziser ist das Messergebnis. Ist ein Messinstrument sehr reliabel, können Zufallsfehler weit‐ gehend ausgeschlossen werden und eine wiederholte Messung unter gleichen Rahmenbedingungen würde das gleiche Ergebnis erzielen. Die Reliabilität von Lehrveranstaltungsevaluationen durch Studierende wurde in der Vergangenheit immer wieder in Frage gestellt. Rindermann (vgl. 2009: 145) kommt zu dem Schluss, dass studentische Veranstaltungsbeurteilungen ab einer Stichproben‐ größe von 15 Personen als messgenau bezeichnet werden können. Zudem ex‐ pliziert er, dass Werte aus verschiedenen Veranstaltungen eines Dozenten die Reliabilität fördern. Universitäre Fremdsprachenkurse und die in diesem Kon‐ text durchgeführten Evaluationen haben in der Regel zwischen 20 und 25 Teil‐ nehmerInnen (oder mehr), was gemäß Rindermann Reliabilitätszweifel ent‐ kräftet. Stufflebeam versteht unter Reliabilität, ob die Informationen, die eine Eva‐ luation ergibt, reproduzierbar sind. Dies ist im Kontext des Unterrichts in vielen Bereichen durchaus wichtig. Reproduzierbarkeit kann im Kontext dieses Buches z. B. bedeuten, dass die Rückmeldungen unterschiedlicher Studierender eines Kurses ähnliche Kritikpunkte oder Verbesserungsvorschläge ergeben. Wenn man beispielsweise als Lehrperson im Rahmen von Lehrveranstaltungsevalua‐ tionen immer wieder ähnliche Rückmeldungen erhält, dann sollte man diesbe‐ 3.3 Evaluationsmodelle 87 züglich - sofern sie sich tatsächlich auf Aspekte beziehen, die von der Lehr‐ person geändert werden können - Strategien entwickeln, wie man in den angesprochenen Bereichen Änderungen durchführen kann. Rechtzeitigkeit Die Frage der Rechtzeitigkeit ist im universitären Fremdsprachenunterricht in vielerlei Hinsicht relevant. Ganz besonders wichtig ist sie auch in Hinblick auf Evaluationen, vor allem dann, wenn Veränderungen auf Basis einer Evaluation erfolgen sollen. Handelt es sich um das Bestreben aufgrund der Evaluationser‐ gebnisse eine Optimierung des Unterrichtsgeschehens zu erwirken, so muss die Lehrperson jene Informationen dann erhalten, wenn sie benötigt werden. Lehren und Lernen sind Prozesse und daher dynamisch. In dieser Dynamik er‐ geben sich immer wieder Situationen, die a priori nicht eingeplant werden können. Sind Veränderungen notwendig, müssen diese geschehen, wenn sie die Situation verlangt. Evaluationen, die zur Optimierung beitragen, müssen dem‐ nach auch dynamisch sein und rechtzeitig zum Einsatz kommen. Verfügbarkeit Unter Verfügbarkeit versteht Stufflebeam, ob die Information alle Entschei‐ dungsträgerInnen erreicht, die sie benötigen. Evaluationen sollten demnach für die primär Beteiligten gedacht und sichtbar sein. Im Unterricht sind dies die Lehrenden und Studierenden. Während erstere die Ergebnisse in der Regel er‐ halten, trifft dies auf letztere nicht immer zu. Je nach Art und Weise, wie Eva‐ luationen gedacht und durchgeführt werden, kann es durchaus sinnvoll sein, wenn im Unterricht über die Ergebnisse gesprochen wird. Dadurch können nicht nur Missverständnisse aus dem Weg geräumt, sondern gemeinsam an po‐ tentiellen Lösungen gearbeitet werden. Dieser Punkt steht somit auch in Zu‐ sammenhang mit der Rechtzeitigkeit. Wenn Evaluationen nur am Ende des Se‐ mesters durchgeführt werden, ist damit weder der Punkt der Rechtzeitigkeit gegeben, noch hat man die Möglichkeit, mit den Studierenden über die Ergeb‐ nisse zu sprechen. Zuverlässigkeit Stufflebeam versteht unter dem Aspekt der Zuverlässigkeit, ob die Entschei‐ dungsträgerInnen der Information vertrauen. Die Beantwortung dieser Frage steht meiner Auffassung nach auch sehr stark mit den oben genannten Punkten in Verbindung. Wenn die Evaluation valide und reliable Ergebnisse liefert und diese der Lehrperson rechtzeitig zur Verfügung stehen, sodass sie angemessen darauf reagieren kann, ist der Aspekt der Zuverlässigkeit in den meisten Fällen 3 Evaluation und Fremdsprachenunterricht 88 gegeben. Voraussetzung für das Gelingen jeglicher Evaluation ist jedoch, wie auch Patton (vgl. 1997: 382) expliziert, die Bereitschaft der AktantInnen, daran teilzunehmen und die Ergebnisse zu nutzen. Dazu müssen die Ergebnisse allen AktantInnen zur Verfügung stehen und im Dialog besprochen werden. 3.3.2.2.4 Unterschiedliche Entscheidungssituationen Stufflebeam (vgl. 1972: 131) betont, dass sich im Bildungswesen verschiedene Entscheidungssituationen identifizieren lassen, die zur Folge haben, dass meh‐ rere Arten von Evaluationen zu unterscheiden sind, die er aus der Perspektive der Entscheidungen wie folgt klassifiziert: 1. Planung, 2. Programmgestaltung, 3. Implementation, 4. Modifizierte Programmwiederholung. Planungsentscheidungen beziehen sich seiner Ansicht nach auf erforderliche Reformen und präzisieren ihren Bereich und ihre allgemeinen und spezifischen Ziele. Programmentscheidungen hingegen richten sich auf die jeweiligen Ver‐ fahren, die beteiligten Personen und die zeitlichen und finanziellen Bedin‐ gungen für die Implementation der geplanten Aktivitäten. Implementations‐ entscheidungen wiederum zielen auf die im Programm intendierten Handlungen und Entscheidungen, die mit der Frage der wiederholten bzw. mo‐ difizierten Verwendung des Programms zusammenhängen, stehen in Zusam‐ menhang mit der Beendigung, Weiterführung, Entwicklung oder Veränderung des Programms. Daraus leitet Stufflebeam (1972: 132ff) vier Arten von Evaluationen ab, die im Bildungskontext ihren Einzug finden und als das sogenannte CIPP -Modell be‐ zeichnet werden, welches im Laufe der Jahre immer wieder erweitert wurde: 1. Kontextevaluation (Context), 2. Inputevaluation (Input), 3. Prozessevaluation (Process), 4. Produktevaluation (Product). 3.3.2.2.5 Kontextevaluation Der Kontext eines Programms wird von dessen Umwelt, sprich dessen Rah‐ menbedingungen bestimmt. Hierzu zählen neben den AuftraggeberInnen und den Beteiligten auch gesetzliche, wirtschaftliche und gesellschaftliche Faktoren (vgl. Balzer 2005: 65). All diese können mit der Kontextevaluation erforscht werden. Ihr Hauptaugenmerk liegt für Stufflebeam (1972: 132) darin, »die Vo‐ 3.3 Evaluationsmodelle 89 raussetzungen unter denen eine Reform erfolgt, und die unbefriedigten Bedürf‐ nisse der Umwelt und die mit ihnen verbundenen Probleme zu bestimmen«. Im Kontext einer Unterrichtssituation kann hierzu z. B. die Erforschung der Kompetenzen sowie der Schwierigkeiten zählen, die LernerInnen einer be‐ stimmten Gruppe in der Fremdsprache haben. Die jeweiligen Bildungsinstitu‐ tionen eruieren diese und analysieren in weiterer Folge, ob z. B. der jeweils ge‐ plante Unterricht dem Niveau der LernerInnen angemessen bzw. ob das Unterrichtsmaterial für eine bestimmte Gruppe geeignet ist. Zudem ist festzu‐ stellen, ob die jeweilige Bildungseinrichtung die Erwartungen der LernerInnen überhaupt erfüllen kann. Sämtliche Probleme und Ziele, die dabei identifiziert werden können, werden auf dieser Ebene analysiert und bewertet und im Anschluss daran wird ent‐ schieden, ob gegebenenfalls Änderungen nötig sind oder nicht, bzw. ob es bereits Lösungen für diese Probleme gibt. Das bedeutet, dass mit der Kontextevaluation Diskrepanzen zwischen intendierten und realen Situationen aufgezeigt werden, damit die benötigten Reformen identifiziert werden können. Ein wichtiger As‐ pekt dabei ist auch die Bewertung der jeweiligen Situation durch eine Auto‐ rität, die die vorhandenen Probleme auf Basis von Analysen und unter Berück‐ sichtigung ihrer fachlichen Kompetenz beurteilt. Die Entscheidungen, für welche die Kontextevaluation Daten generieren soll, sind primär Entschei‐ dungen über die Ziele, die sich aus den jeweiligen Bedürfnissen ergeben und mit deren Hilfe Probleme gelöst werden sollen, wie Stufflebeam (vgl. 1972: 134) ausführt. Auf den universitären Fremdsprachenunterricht angewandt kann bei dieser Evaluation somit beispielsweise die Analyse der LernerInnenbedürfnisse im Fokus stehen, welche in weiterer Folge mit den Zielsetzungen des Programms verglichen werden. Darunter kann zum einen eine Einteilung der jeweiligen Studierenden in eine bestimmte Niveaustufe verstanden werden, wie dies z. B. durch eine Selbsteinstufung der LernerInnen oder einen Einstufungstest ge‐ schieht, oder zum anderen eine Analyse der sich in einer bestimmten Gruppe befindenden Studierenden. Analysiert werden können z. B. die jeweils selbst gesetzten Lernziele, bevorzugte Lernmethoden, Interessensgebiete etc. Diese Informationen werden in weiterer Folge z. B. mit den Lehrzielen und themati‐ schen Vorgaben für eine bestimmte Niveaustufe bzw. den potentiell eingesetzten Lehrmethoden verglichen, und es wird nach bereits bestehenden Lösungen für eventuelle Probleme gesucht bzw. - wenn vorhanden - kann eine Anpassung innerhalb eines für das Lehr- / Lerngeschehen vernünftigen Rahmens erfolgen. Bei den damit in Verbindung stehenden Entscheidungen kommt die Expertise der jeweiligen Lehrperson zum Einsatz. 3 Evaluation und Fremdsprachenunterricht 90 3.3.2.2.6 Inputevaluation Die Inputevaluation dient der Entscheidung über die »Verteilung von Res‐ sourcen zur Realisierung von Programmzielen« (Stufflebeam 1972: 134). Das be‐ deutet, ihr Ziel besteht darin, »die relevanten Möglichkeiten des Antragstellers, die Strategien und Pläne zur Realisierung der Programmziele und der ent‐ sprechenden Lernziele zu identifizieren und zu beurteilen«, wie er (ibid.) aus‐ führt. Ergeben die Analysen aus der Kontextevaluation beispielsweise, dass für die erhobenen Probleme keine bereits etablierten Lösungen vorhanden sind, müssen neue Lösungen im Sinne von alternativen Verfahrensplänen unter Be‐ rücksichtigung der vorhandenen Möglichkeiten (Ressourcen) erörtert werden. Die nötigen Informationen hierzu werden mit der Inputevaluation gewonnen. Laut Stufflebeam (ibid.) liefert die Inputevaluation »Informationen für eine Ent‐ scheidung darüber, ob für die Realisierung der Ziele äußere Hilfe in Anspruch genommen werden soll und welche Strategien dabei gewählt werden müssen«. Für den universitären Fremdsprachenunterricht können die mit einer Inpu‐ tevaluation in Verbindung stehenden Entscheidungen unterschiedlicher Natur sein. Ein mögliches Szenario wäre beispielsweise, dass sich eine bestimmte LernerInnengruppe in einer Befragung einen besonders starken Einsatz von neuen Medien im Unterricht wünscht. Die Lehrperson müsste nun erörtern, inwieweit dies z. B. dem Erreichen der Lern- / Lehrziele in diesem Kurs dienlich ist und zudem in Erfahrung bringen, ob der für den Unterricht initial gedachte Raum dies ermöglicht bzw. wenn nicht, ob ein Raum zur Verfügung steht, der diese Kriterien erfüllt. Ist die Benutzung dieses Raumes von den Ressourcen her möglich und für die Erreichung der Lernziele dienlich, würde die Kontexteva‐ luation ergeben, dass eine Lösung vorhanden ist und diese könnte relativ leicht umgesetzt werden. Ergibt die Evaluation jedoch, dass z. B. am besagten Institut zum betreffenden Zeitpunkt kein derartiger Raum vorhanden / frei ist, müsste in der Inputevalua‐ tion erörtert werden, ob ein äquivalenter Raum unter Berücksichtigung der vor‐ handenen Ressourcen an einem anderen Institut angemietet werden könnte bzw. ob, wenn ein Raum vorhanden ist, dieser zu einem anderen Zeitpunkt zur Verfügung stünde. Welche die bessere der beiden Alternativen wäre, würde in der Inputevaluation erhoben werden, weswegen sie als Art Kosten-Nutzenrech‐ nung gesehen werden kann. Auf Basis der Forderungen und vorhandenen Res‐ sourcen werden neue Lösungsvorschläge erarbeitet. 3.3.2.2.7 Prozessevaluation Die Prozessevaluation ermöglicht die systematische und kontinuierliche Kon‐ trolle und Optimierung der jeweils gesetzten Maßnahmen. Ihr Ziel ist, »während 3.3 Evaluationsmodelle 91 5 Deutsch als Fremdsprache der einzelnen Stadien der Implementation Unzulänglichkeiten im Verfahrens‐ plan oder in seiner Durchführung zu entdecken oder vorauszusagen« (Stuffle‐ beam 1972: 135). Dies ermöglicht, den laufenden Prozess zu bewerten, zu steuern und gegebenenfalls zu optimieren. Die Ursachen möglicher Fehler können dabei auf sämtlichen Ebenen detektiert und auf Probleme bei interpersonellen Bezie‐ hungen, Kommunikationsstörungen und Ressourcen etc. zurückgeführt werden. Im universitären Fremdsprachenunterricht wäre diese Art der Evaluation auf unterschiedliche Weise denkbar. Die Studierenden könnten der Lehrperson schriftlich oder mündlich, individuell oder in Gruppen Rückmeldungen zu kon‐ kreten oder frei gewählten Aspekten des Unterrichts geben, wobei die Häufig‐ keit dieser Rückmeldungen auch je nach Kontext zu bestimmen wäre. So könnte diese beispielsweise nach jeder Einheit, einmal pro Woche, einmal pro Monat, nach Beendigung bestimmter Segmente etc. durchgeführt werden. Eine sinn‐ volle Lösung ist hier nur in Zusammenarbeit zwischen Lehrenden und Studier‐ enden und unter Berücksichtigung der vorhandenen Ressourcen denkbar. Zudem ist die Voraussetzung für den erfolgreichen Einsatz einer Prozesseva‐ luation die Bereitschaft der am Prozess beteiligten Personen. Im Fremdspra‐ chenunterricht ist dies zum einen die Bereitschaft der Studierenden, der Lehr‐ person in bestimmten Abständen konstruktives Feedback zu geben und zum anderen die Bereitschaft der Lehrperson, die Rückmeldungen anzunehmen und, darauf aufbauend, gegebenenfalls Veränderungen durchzuführen, die im Rahmen der vorhandenen Ressourcen möglich sind. Gerade der Einsatz dieser Evaluation scheint im universitären Fremdspra‐ chenunterricht sehr sinnvoll, da viele Kompetenzen in einer Fremdsprache auf Vorangehendem aufbauen. Wird beispielsweise im DaF-Unterricht 5 der Kon‐ junktiv 2 erarbeitet, ist es sinnvoll, wenn die LernerInnen zuvor das Präteritum beherrschen, da an die Stammform des Präteritums die Endungen des Konjunk‐ tivs angehängt werden. Wird daher in einer Einheit X das Präteritum erarbeitet und eine anschließende Prozessevaluation ergibt, dass die von der Lehrperson gewählte Methode bei den LernerInnen nicht den gewünschten Lernerfolg aus‐ lösen konnte, und für einen Großteil der LernerInnen das Präteritum nach wie vor große Schwierigkeiten mit sich bringt, wäre es wenig sinnvoll, auf diesem Wissen aufbauend, in der anschließenden Einheit (x+1) gleich mit dem Kon‐ junktiv zu beginnen. Die Lehrperson sollte demnach zuerst allfällige und für das Bilden des Konjunktivs 2 relevante Schwierigkeiten, die die Gruppe mit dem Präteritum hat, lösen und erst im Anschluss daran den Konjunktiv 2 erarbeiten. 3 Evaluation und Fremdsprachenunterricht 92 3.3.2.2.8 Produktevaluation Die Produktevaluation kommt nach Beendigung eines Projektes oder Pro‐ gramms zum Einsatz und stellt dessen Wirkung fest. Ihre Aufgabe besteht dem‐ nach darin, »die Ergebnisse auf die Ziele, den Kontext, den Input und den Prozess zu beziehen, d. h. die Ergebnisse zu messen und entsprechend zu interpretieren« (Stufflebeam 1972: 136). Darauf aufbauend kann dann eruiert werden, ob be‐ stimmte Veränderungen zielführend waren bzw. ob diese in Zukunft anders oder gegebenenfalls nicht durchzuführen sind. All dies setzt, wie Stufflebeam fest‐ hält, das Festlegen und Messen von Kriterien fest, die zu den Intentionen einer Handlung gehören. Die Messwerte müssen in weiterer Folge mit den im Voraus bestimmten Normen verglichen und die jeweiligen Ergebnisse mit Hilfe der In‐ formationen aus der Kontext-, Input- und Prozessevaluation interpretiert werden. Im universitären Fremdsprachenunterricht findet diese Form der Evaluation am häufigsten statt und wird üblicherweise in Form der hinlänglich bekannten Befragung der Studierenden am Ende eines Kurses / Semesters durchgeführt, kann jedoch jegliche Art der summativen Evaluation sein und beispielsweise auch nach Abschließen eines bestimmten Themenbereiches mehrmals pro Kurs stattfinden. 3.3.2.2.9 Fazit Die von Stufflebeam eingeführte entscheidungsgesteuerte Evaluation ( CIPP ) kann im universitären Fremdsprachenunterricht auf unterschiedliche Weise eingesetzt werden und orientiert sich sehr stark an den Bedürfnissen der Betei‐ ligten. Daher kann sie sowohl für die LernerInnen als auch die Lehrperson wichtige Informationen generieren, die die Basis für sinnvolle und lehrbzw. lernoptimierende Entscheidungen darstellen. Da Stufflebeam keine bestimmte Methode für den Einsatz des CIPP -Modells vorschlägt, kann diese je nach Situ‐ ation und Kontext selbst bestimmt werden. Der Einsatz dieser Evaluation scheint aufgrund ihres Umfangs mit herkömmlichen paper-pencil-Verfahren sehr zeit- und ressourcenaufwendig, kann jedoch mit den Methoden des 21. Jahr‐ hunderts, vor allem durch den Einsatz von Online-Fragebögen, verhältnismäßig einfach und schnell umgesetzt werden, was sie zu einem sehr wirkungsvollen Werkzeug macht. Voraussetzung für deren erfolgreichen Einsatz stellt in jedem Fall die beidseitige Bereitschaft der am Unterrichtsgeschehen Beteiligten dar, an der gemeinsamen Optimierung mitzuwirken, weswegen es durchaus sinnvoll erscheint, alle AktantInnen bereits im Vorfeld dahingehend zu sensibilisieren und das kooperative Zusammenarbeiten für das erfolgreiche Umsetzen von Op‐ timierungsprozessen zu unterstreichen. 3.3 Evaluationsmodelle 93 3.3.2.3 Nutzenorientierte Evaluation Im Fokus der nutzenorientierten oder auch nutzenfokussierten Evaluation steht, wie der Name bereits impliziert, dass die Evaluation bzw. die Daten, die sie er‐ hebt, für die Praxis nützlich sein sollen. Wenngleich mehrere Evaluationsmo‐ delle unter dem Begriff »Nutzungsorientierte Ansätze« zusammengefasst werden können (siehe z. B. Balzer 2005, Kapitel 4.3), so wird in dieser Arbeit darunter in erster Linie das von Patton 1978 entwickelte Modell der Utiliza‐ tion-Focused Evaluation verstanden. Wie Patton (vgl. 1997: 3ff) erklärt, entwarf er seinen Evaluationsansatz als Antwort auf die Problematik, dass viele Evaluationen bis zu diesem Zeitpunkt zwar eine Menge an Informationen sammelten, diese jedoch oft nicht bis wenig brauchbar waren, um z. B. intendierte Verbesserungen bei Programmen zu er‐ wirken. Zudem wurden die Daten in der Regel auch nicht zum benötigten Zeit‐ punkt gefördert, sodass man damit die eventuell nötigen Änderungen nicht rechtzeitig durchführen konnte. Kurzum: Die Informationen waren für die Praxis nicht oder nur begrenzt nützlich. 3.3.2.3.1 Ziele Die primäre Intention, die Patton (vgl. 1997: 6) mit seinem Modell verfolgt, ist, die Diskrepanz zwischen dem Generieren von Evaluationsergebnissen und dem tatsächlichen Verwenden derselben für das Treffen von Entscheidungen bzw. das Verbessern von Programmen zu verkleinern. Wichtig ist in diesem Zusam‐ menhang auch, dass die Evaluation nicht nur für Entscheidungsträger, sondern auch für andere Beteiligte und Interessensgruppen relevante und verwertbare Ergebnisse liefern soll, wie Balzer (vgl. 2005: 61) festhält. Im Kontext des Fremd‐ sprachenunterrichts wäre es durchaus denkbar, dass diese Art der Evaluation auch Daten fördert, die für die Fremdsprachendidaktik sowie Methodik von großem Wert sind, wie dies auch mit der KDE intendiert wird. In Hinblick darauf ist vor allem große Bedeutung auf die Fragestellung bzw. die Art der Fragen zu legen, die nicht nur auf geschlossene Fragen begrenzt werden dürfen, wie dies zurzeit in den für dieses Buch analysierten Modellen überwiegend der Fall ist. Offene Fragen regen nicht nur zur Reflexion an, sondern sie erzielen Antworten, deren Inhalte den EvaluatorInnen eine Fülle an zusätzlichen Informationen preisgeben. 3.3.2.3.2 Überlegungen und Forderungen Die unter 3.3.2.3.1 angeführten Ziele Pattons sollen im Wesentlichen durch fol‐ gende Überlegungen bzw. Forderungen erreicht werden (siehe Patton 1997: 20ff bzw. Patton 2000: 425ff): 3 Evaluation und Fremdsprachenunterricht 94 1. Evaluation soll anhand ihrer Brauchbarkeit und ihrem tatsächlichen Nutzen gemessen werden. Diese sollen jedoch nicht im Anschluss an deren Durchführung bestimmt werden, sondern müssen bereits bei ihrer Planung feststehen. EvaluatorInnen sollten den Evaluationsprozess er‐ möglichen und jede Evaluation mit größter Sorgfalt konzipieren und vom Beginn bis zum Ende genauestens darüber Bescheid wissen, welche Ef‐ fekte die einzelnen Phasen des Evaluationsvorgangs haben. 2. Der primäre Nutzen einer Evaluation sollte nicht abstrakt, sondern real und spezifisch sein. Evaluation sollte nicht an möglichen Zielgruppen und einem potentiellen Nutzen gemessen werden, sondern daran, wie reale Menschen in der realen Welt den Evaluationsprozess empfinden und die Evaluationsergebnisse nutzen. Nutzenorientierte Evaluation entfernt sich daher von generellen und abstrakten Situationen bzw. potentiellen Nut‐ zern und bewegt sich hin zu konkreten und realen Situationen mit in‐ tendiertem Nutzen für intendierte NutzerInnen. 3. Da Evaluationen meist viele und unterschiedliche NutzerInnen haben und keine Evaluation völlig wertfrei sein kann, muss bestimmt werden, welche Werte bei einer konkreten Evaluation im Vordergrund stehen sollen. Daher steht im primären Fokus auch das Festlegen der jeweiligen NutzerInnen einer Evaluation. 4. Nutzenorientierte Evaluation ist eine höchst persönliche und situationelle Angelegenheit. Die EvaluatorInnen sollten daher eine gute Arbeitsbezie‐ hung zu den NutzerInnen der Evaluation herstellen, damit eruiert werden kann, welche Art der Evaluation diese benötigen. Hierfür sollten die Eva‐ luatorInnen den NutzerInnen die unterschiedlichen Evaluationsprinzi‐ pien und Evaluationsstandards aufzeigen und dann sollte man sich ge‐ meinsam auf die jeweils benötigte Evaluation einigen. 5. Darüber hinaus müssen EvaluatorInnen • die Standards erfüllen, wie sie im Handbuch der Evaluationsstandards definiert sind, • die Standards erfüllen, die bei einer systematischen, daten-basierten Erhebung gefordert werden, • kompetent agieren, • Rechtschaffenheit und Integrität während des gesamten Evaluations‐ prozesses aufrechthalten, • die am Evaluationsprozess beteiligten sowie die von den Ergebnissen betroffenen Personen respektieren, • feinfühlig sein im Hinblick auf die unterschiedlichen Interessen und Werte, die mit dem Gemeinwohl zusammenhängen. 3.3 Evaluationsmodelle 95 6. Nutzenorientierte Evaluation empfiehlt keinen bestimmten Evaluations‐ inhalt, kein bestimmtes Evaluationsmodell, keine bestimmte Evaluati‐ onstheorie und keinen bestimmten Evaluationsnutzen. Sie ist vielmehr als Entscheidungsprozess zu verstehen, der den jeweiligen NutzerInnen dabei hilft, das für sie in einer konkreten Situation jeweilige Optimum hinsichtlich Inhalt, Modell, Theorie und Nutzen zu finden. Dabei ist sie völlig flexibel hinsichtlich • des Zwecks (formativ, summativ und entwicklungsorientiert), • der Art von Daten (quantitativ, qualitativ, gemischt), • des Designs (naturalistisch, experimentell), • des Fokus (Prozess, Produkt etc.). 7. Nutzenorientierte Evaluation basiert auf einer Nutzungspsychologie. Dies bedeutet, dass NutzerInnen die Ergebnisse einer Evaluation eher nutzen, wenn sie für den Evaluationsprozess mitverantwortlich sind und diesen verstehen. 8. Nutzenorientierte Evaluation ist situativ. Jede Situation ist einzigartig und daher muss auch jede Evaluation an die jeweilige Situation angepasst sein. Dabei gilt zu beachten, dass es generell keine perfekte Lösung gibt, son‐ dern dass das jeweilige Design von den AktantInnen und der Situation abhängt. 9. Nutzenorientierte Evaluation ist ein problemlösender Ansatz, der krea‐ tive Adaptionen zu veränderten und sich ändernden Konditionen ver‐ langt. Was funktioniert und Sinn macht, hängt dabei erneut von der je‐ weiligen Situation ab. Problemlösungsstrategien nach Rezept werden nicht ignoriert, aber auch nicht als der Weisheit letzter Schluss angesehen. 10. Nutzenorientierte Evaluation ist aktiv-reaktiv-adaptiv. Aktiv bedeutet, dass die EvaluatorInnen bewusst und absichtlich agieren, und zwar in Hinblick auf die Identifikation der NutzerInnen und auch bei deren Kon‐ zeption der, für die jeweilige Evaluation wesentlichen Fragestellungen. Sie sind reaktiv insofern, als dass sie auf das, was ihnen die NutzerInnen kommunizieren, eingehen und darauf antworten. Sie handeln adaptiv, indem sie aufgrund ihrer Expertise Fragen und Design an die jeweilige - und gegebenenfalls auch eine sich ändernde - Situation anpassen, um so die Effektivität der Evaluation zu erhöhen. 11. Nutzenorientierte Evaluation ist kollaborativ und entsteht durch Verhan‐ deln. Zusammenfassend versteht Patton (vgl. 1997: 23) unter einer nutzenorientierten Evaluation eine Evaluation, die für und mit den spezifischen und intendierten NutzerInnen für einen spezifischen und intendierten Nutzen durchgeführt wird. 3 Evaluation und Fremdsprachenunterricht 96 6 im Original (siehe z. B. Patton 2000: 428): »personal factor« Das bedeutet, dass, noch bevor der Nutzen einer Evaluation bestimmt werden kann, die jeweiligen NutzerInnen der Evaluation eruiert werden müssen. Diese stehen am Beginn der Evaluationskette und sind von zentraler Wichtigkeit. Patton spricht vom sogenannten »personenbezogenen Faktor« 6 , also der Prä‐ senz eines identifizierbaren Individuums oder einer Gruppe von Menschen, welches / welche sich persönlich für die Evaluation und deren Ergebnisse inte‐ ressiert (vgl. Patton 2000: 428). Ist die Gruppe der NutzerInnen festgelegt, kann man darauf abzielen, die Frage zu beantworten, welchen Nutzen man mit der Evaluation verfolgen will und sich auf ein geeignetes Evaluationsmodell bzw. eine Methode festlegen. Die EvaluatorInnen sollen bei diesen Prozessen eine unterstützende, beratende bzw. verhandelnde Funktion einnehmen und werden als Teil des Evaluationsgeschehens gesehen. Patton betont die Wichtigkeit des personenbezogenen Faktors in seinen Aus‐ führungen mehrfach und weist darauf hin, dass eine Evaluation nur dann wirk‐ liche Auswirkungen haben kann, wenn dieser berücksichtigt wird, denn nur dann sind die einzelnen daran Beteiligten an den Ergebnissen interessiert und bereit, eventuelle Veränderungen vorzunehmen. 3.3.2.3.3 Anwendung auf den Fremdsprachenunterricht Wie in Abschnitt 1.3 bereits festgestellt wurde, trifft die von Patton (siehe Ab‐ schnitt 3.3.2.3) geschilderte Problematik, dass viele Evaluationen für das Errei‐ chen eines konkreten Zieles oftmals nur wenig brauchbare Daten liefern, auch auf die für dieses Buch vorab analysierten Modelle weitgehend zu, was ihren Nutzen - einen relevanten Beitrag zur Optimierung des universitären Fremd‐ sprachenunterrichts - aus meiner Sicht erschwert bzw. in manchen Fällen fak‐ tisch unmöglich macht. Es soll an dieser Stelle betont werden, dass die hier geübte Kritik nicht bedeutet, dass die analysierten Modelle nutzlos wären, son‐ dern lediglich, dass es aus der Perspektive eines / einer Sprachlehrenden schwer fällt, den Unterricht auf Basis der mit diesen Modellen gewonnenen Daten zu optimieren, da sie für einen Optimierungsprozess zu wenig konkrete Informa‐ tionen erheben und diese auch nicht zum benötigten Zeitpunkt erhoben werden. Daraus resultiert für die Optimierung des Fremdsprachenunterrichts, dass der Nutzen der gewonnenen Daten generell noch mehr als bisher in den Vor‐ dergrund rücken muss. Nur wenn die Daten, die mit der Evaluation erhoben werden, auch tatsächlich dazu beitragen, den Unterricht zu optimieren, sind sie hierfür relevant. Die Daten müssen, wie Patton festhält, real und spezifisch und nicht abstrakt sein. Diese Tatsache ist besonders im Datensammelzeitalter, in 3.3 Evaluationsmodelle 97 welchen wir uns gegenwärtig befinden, wesentlich, denn je sinnloser den an einer Evaluation Beteiligten dieses Datensammeln erscheint, desto negativer wird auch ihre Einstellung zu Evaluationen im Allgemeinen sein. Für die Konzeption der KDE bedeutet dies in weiterer Folge, dass die Lehr‐ enden aktiv in die Planung des Fragebogens miteinbezogen werden müssen, denn sie sind diejenigen, die mit den Daten arbeiten und auf deren Basis den Unterricht optimieren. Es muss daher in erster Linie in Erfahrung gebracht werden, welche Daten ihnen dabei nützen, den Unterricht zu verbessern, und auch in welcher Form diese Daten ihrer Ansicht nach erhoben werden sollen (siehe Abschnitt 3.4). 3.3.2.3.4 Weitere Überlegungen Eine, vielleicht sogar die wesentliche Komponente bei Evaluationen stellt, wie oben bereits betont, das Generieren der richtigen Fragen dar. Nur wenn die rich‐ tigen Fragen richtig gestellt werden, kann man jene Antworten erhalten, die man benötigt, um die notwendigen Modifizierungen durchzuführen. Patton (vgl. 1997: 29) weist diesbezüglich auf ein Grundproblem bei vielen Evaluationen hin: Sehr oft wird von den EvaluatorInnen erwartet, dass sie bereits bei der Kon‐ zeption der Evaluation die richtigen Fragen ausgearbeitet haben. Das Gene‐ rieren der einzelnen Fragen ist jedoch ein Prozess (vgl. ibid.) und sollte nach meiner Erfahrung als Fremdsprachenlehrender in Kooperation zwischen den einzelnen am Konzipieren des Evaluationsmodells Beteiligten erfolgen. Eine praktische Anwendung könnte z. B. sein, dass bei der Konzeption eines bestimmten Evaluationsmodells, welches die Gegebenheiten und Besonder‐ heiten von Lehr- und Lernprozessen berücksichtigt und eigens für den univer‐ sitären Fremdsprachenunterricht konzipiert wird, nicht nur ExpertInnen der Evaluationsforschung mit ExpertInnen im Bereich der Didaktik und Methodik zusammenarbeiten, sondern auch, dass die Lehrenden und Studierenden in diesen Prozess miteingebunden werden. Jeder / Jede dieser Gruppen verfügt auf einem konkreten Gebiet über eine gewisse Expertise, die wertvolle Informati‐ onen für das Konzipieren des Evaluationsmodells beisteuern kann. Dadurch wäre auch Pattons Forderung hinsichtlich des personenbezogenen Faktors Ge‐ nüge getan. Dies würde die oben angeführte »psychologische Komponente« integrieren und den Stellenwert der Evaluation erhöhen. Ein weiterer wesentlicher Punkt, der von Patton (vgl. 1997: 30) im Zusam‐ menhang mit der Erstellung von Evaluationen genannt wird, ist, dass von Eva‐ luatorInnen oft erwartet wird, konkrete Evaluationen auf Basis bereits vorhan‐ dener zu erstellen. Gerade dies steht jedoch in Kontradiktion zur Definition einer nutzenorientierten Evaluation, denn diese soll ja für eine konkrete Situation und 3 Evaluation und Fremdsprachenunterricht 98 einen konkreten Nutzen - für »reale« Personen kreiert werden. Auch diese Forderung stellt bei vielen aktuell verwendeten Evaluationsbögen oft ein Problem dar. Viele wurden für spezifische Fragestellungen und Gegenstände ausgearbeitet und werden dennoch in anderen, davon verschiedenen Kontexten verwendet - ein Phänomen, das auch im Fremdsprachenunterricht zu be‐ obachten ist. Der universitäre Fremdsprachenunterricht unterscheidet sich je‐ doch in vielerlei Hinsicht von beispielsweise einem Seminar zur Molekularbio‐ logie oder einer Einführungsvorlesung in das Zivilrecht und kann daher nicht nach einem ähnlichen Muster bewertet werden. Evaluationen müssen für den jeweiligen Kontext geschaffen werden. Wie bereits mehrfach erwähnt, ist Evaluation auf die aktive Bereitschaft der Beteiligten angewiesen. Stellt sich diese Bereitschaft nicht ein, ist, wie Patton (vgl. 1997: 380) feststellt, ein optimaler Nutzen der Evaluation nicht möglich. Diese Tatsache sollte den Beteiligten auch kommuniziert werden, denn nur so kann man eine Evaluitis vermeiden. 3.3.2.3.5 Fazit Durch die starke Zunahme der Evaluationen in den vergangenen Jahren, vor allem auch im universitären Bereich, wurde diese oft als besonderes Ärgernis, als »Evaluitis« (vgl. Simon 2000 bzw. Frey 2007) bezeichnet. Von KritikerInnen wird auch argumentiert, dass Evaluationen kaum Nutzen bringen - und in der Tat, viele Modelle sind suboptimal konstruiert. Aus diesen Gründen ist der An‐ satz, den Patton verfolgt, durchaus plausibel und für den Einsatz im universi‐ tären Fremdsprachenunterricht zu empfehlen, denn das Durchführen und Aus‐ werten von Evaluationen ist eine zeitaufwendige Angelegenheit und für eine / einen EvaluatorIn bzw. LeiterIn eines Institutes ist es schwierig zu recht‐ fertigen, warum Evaluationen so wichtig sind, wenn ihr Nutzen nicht für alle klar erkennbar ist. Durch die Zusammenarbeit aller Beteiligten kann ein direkter Bezug zwi‐ schen Theorie und Praxis hergestellt werden und alle an der Konzeption des Modells Mitwirkenden sind dafür gemeinsam verantwortlich. Zudem werden jene Informationen generiert, die die jeweiligen NutzerInnen benötigen. Dies ist ein besonders wichtiger Aspekt im Hinblick auf die tatsächliche Nutzung der Ergebnisse. 3.3.2.4 Kennerschaftsgesteuerte Evaluation Bei der kennerschaftsgesteuerten bzw. der expertInnenorientierten Evaluation, wie dieser Evaluationstyp auch genannt wird, beurteilen ExpertInnen vor dem Hin‐ tergrund ihres Wissens, nach Beschreibung und Interpretation eines Programms 3.3 Evaluationsmodelle 99 und seiner Effekte die Wichtigkeit und den Wert des Evaluationsobjekts (vgl. Rindermann 2009: 13). Wie bereits Kostolnik (vgl. 2007: 66) betont, hängt diese Art der Evaluation somit sehr stark von der Einschätzung bzw. dem Urteilsver‐ mögen der SpezialistInnen ab, die die Evaluation durchführen bzw. die Ergeb‐ nisse bewerten, was mitunter auch als ein Nachteil der Methode angesehen werden kann, vor allem dann, wenn die Beurteilung auf einigen wenigen Mein‐ ungen basiert und die Kriterien, nach denen evaluiert und bewertet wird, nicht klar nachvollziehbar sind oder nicht den wissenschaftlichen Prinzipien gerecht werden. Je weniger ExpertInnen die Evaluation bewerten, desto subjektiver kann das Ergebnis sein (vgl. ibid.). Ein erheblicher Vorteil der Methode ist jedoch, dass sie relativ einfach und ohne großen Aufwand eingesetzt werden und einen guten Überblick sowie eine genaue Einschätzung des untersuchten Gegenstands liefern kann (vgl. ibid.). Ähnlich wie die bisher angeführten Evaluationstypen kann auch diese Me‐ thode im universitären Fremdsprachenunterricht unterschiedlich eingesetzt werden. Meiner Auffassung nach und in Übereinstimmung mit Rindermann (vgl. 2009: 27), fällt diese Art der Evaluation generell eher in den Bereich der kollegialen Begutachtungen (Peer-Evaluation, siehe Abschnitt 3.3.2.4.2), als in jenen der Lehrveranstaltungsevaluation durch Studierende. Nichtsdestotrotz wäre es jedoch auch denkbar, dass man die Expertise der Lehrperson des be‐ treffenden Kurses für didaktisch-methodische Überlegungen heranzieht und die LernerInnen als ExpertInnen für ihr eigenes Lernverhalten betrachtet. Unter diesem Gesichtspunkt könnte diese Art der Evaluation z. B. auch in Form einer Selbstevaluation durchgeführt werden, bei welcher die Studierenden und die Lehrenden einen bestimmten Sachverhalt von ihrer ExpertInnenper‐ spektive aus betrachten. Voraussetzung hierfür ist natürlich, dass sich sowohl Lehrende als auch Studierende weitgehend von subjektiven Vorstellungen lösen und die zu evaluierenden Sachverhalte möglichst neutral und weitgehend ohne Emotionen bewerten können. Diese Form der Evaluation ist vor allem unter dem Gesichtspunkt interessant, dass die Personen, die evaluieren, eine Art Doppel‐ rolle einnehmen und nicht nur den Evaluationsgegenstand betrachten, sondern auch ihr eigenes Wirken darin wahrnehmen können. 3.3.2.4.1 Selbstevaluation Unter Selbstevaluation wird im vorliegenden Ansatz in Anlehnung an die Deut‐ sche Gesellschaft für Evaluation (vgl. Müller-Kohlenberg 2004: 5) ein systemati‐ sches und datenbasiertes Verfahren der Beschreibung und Bewertung ver‐ standen, bei welchem die praxisgestaltenden Personen identisch mit den evaluierenden Personen sind. Im konkreten Fall handelt es sich dabei um die 3 Evaluation und Fremdsprachenunterricht 100 7 Gemeinsamer Europäischer Referenzrahmen für Sprachen Lehrenden und Studierenden, die unterschiedliche Aspekte und Prozesse ihres eigenen (professionellen) Handelns systematisch beobachten und die Ergeb‐ nisse dieser Beobachtung analysieren und bewerten. Durch (Selbst-)Reflexion können sie daraus Erkenntnisse ziehen, auf Basis welcher sie in Folge - eigen‐ ständig oder / und im Dialog mit den anderen (Lehrenden bzw. Studierenden) - Schritte unternehmen können, die ihr Handeln bzw. ihre Handlungskompetenz im Bereich des Lernens / Lehrens optimieren. Durch dieses aktive Nachdenken über sich selbst und das Auseinandersetzen mit den eigenen Fähigkeiten, Fer‐ tigkeiten, Tätigkeiten etc. können sie z. B. ihre Arbeitsweise verbessern und ihre professionalen Kompetenzen - sei dies als Lehrperson oder als Sprachenler‐ nerIn - optimieren. Unabdingbare Voraussetzung für Selbstevaluation ist, wie Dohr (vgl. 1998: 7) festhält, die Dokumentation des fachlichen Handelns, was mit Hilfe von (Lern-)Tagebüchern, Protokollen oder anderen Methoden der Auf‐ zeichnung erfolgen kann. War die Selbstevaluation in der Lehre im deutschsprachigen Raum vor gut 15 Jahren noch verhältnismäßig jung (vgl. Dohr 1998: 6), so wird sie mittlerweile weitgehend als nützliches Werkzeug im Bereich der Weiterentwicklung, vor allem der eigenen professionalen Kompetenzen erkannt. Das ist u. a. auch auf die Entwicklung bzw. den Einsatz von unterschiedlichen Portfolios zurückzu‐ führen, wie sie z. B. vom Europarat in den letzten Jahren entwickelt wurden. Zu den wahrscheinlich bekanntesten im Bereich des Fremdsprachenunterrichts zählt das Europäische Sprachenportfolio ( ESP ), welches in unterschiedlichsten Ausgaben vorhanden ist und in verschiedensten Sprachen publiziert wurde. Je nach Vorlage eignet es sich für den Einsatz im schulischen Fremdsprachenun‐ terricht, für die Erwachsenbildung oder den Kontext der Hochschulen. Ganz besonders im Zusammenhang mit der universitären Ausbildung ist auch das Europäische Sprachenportfolio für Sprachlehrende in Ausbildung ( EPOSA ) zu er‐ wähnen (siehe Newby et al, 2008). Selbstevaluation aus Sicht der Studierenden Das ESP besteht aus den drei Teilen Sprachenpass, Sprachenbiografie und Dos‐ sier, bezieht sich auf die Kann-Beschreibungen des GERS 7 und intendiert, auto‐ nomes Sprachenlernen zu initiieren bzw. zu forcieren. Dies soll durch die Do‐ kumentation sowie die Reflexion bzw. Begleitung des individuellen Lernprozesses von FremdsprachenlernerInnen erfolgen. Im schulischen Kontext wird das ESP in Österreich u. a. für LernerInnen der Altersstufen 6-10 Jahre, 10-15 Jahre und 15+ eingesetzt. Letzteres wäre theoretisch auch für den Einsatz 3.3 Evaluationsmodelle 101 an weiterführenden Bildungseinrichtungen denkbar; für mehr Informationen zum ESP für den schulischen Bereich, siehe z. B. Österreichisches Sprachenkom‐ petenzzentrum. Das Europäische Sprachenportfolio für Erwachsene ist von der Grundidee und den inhaltlichen Aspekten sowie dem Aufbau im Wesentlichen identisch mit dem ESP für SchülerInnen, zielt jedoch ausschließlich auf erwach‐ sene SprachenlernerInnen ab. Ein Hauptteil des ESP ist der Sprachenpass, welcher einen Überblick über die Sprachkenntnisse, das Sprachenlernen sowie die interkulturellen Kompetenzen der LernerInnen geben soll und z. B. als Nachweis der Kompetenzen und Ab‐ schlüsse bei Bewerbungen etc. dienen kann. Neben den einzelnen Kompetenzen, die die LernerInnen mit Hilfe der Deskriptoren angeben, gibt der Sprachenpass auch Auskunft über den Spracherwerb, den Gebrauch und den Kontext, in wel‐ chem die Sprachen gelernt bzw. verwendet werden, sowie über Zertifikate, die die LernerInnen im Laufe ihrer Sprachlernkarriere erworben haben. Die Spra‐ chenbiografie ist als Art Lerntagebuch zu sehen, in welchem die LernerInnen nicht nur die Möglichkeit haben, ihre Begegnungen mit Fremdsprachen zu do‐ kumentieren, sondern sie können in sogenannten Checklisten auch ihren jewei‐ ligen Stand ermitteln und abhaken, was sie bereits gut können bzw. welche Lernziele sie sich setzen. In diesem Abschnitt ist beispielsweise zu beantworten, welche Motive die LernerInnen haben, um Sprachen zu lernen, welche Ziele sie sich setzen, wann sie diese erreicht haben wollen und wie sie gedenken, dies zu verwirklichen bzw. welche Sprachen sie neben der Muttersprache sprechen etc. Das Dossier dient im Wesentlichen dazu, sämtliche Nachweise für die erwor‐ benen Sprachkenntnisse zu sammeln. U.a. können die LernerInnen hier ihre Zertifikate und Teilnahmebestätigungen absolvierter Sprachenkurse aufbe‐ wahren, aber auch beispielsweise Texte, die sie verfasst haben, oder Begeg‐ nungen mit Menschen anderer Sprache dokumentieren etc. All das kann zu‐ sammen mit dem Sprachenpass z. B. bei Bewerbungen vorgelegt werden. Das Europäische Sprachenportfolio für den Hochschulbereich hat im Wesentli‐ chen auch die gleiche Struktur, den gleichen Aufbau und verfolgt die gleichen Ziele wie die bereits genannten Portfolios. Zudem berücksichtigt es auch die spezifischen Aspekte des Sprachenlernens im Hochschulkontext, wie beispiels‐ weise Mobilitätsaufenthalte, Tandems, den praktischen Gebrauch der Fremd‐ sprachen im Studium usw. Selbstevaluation aus Sicht von zukünftigen Lehrenden Das Europäische Sprachenportfolio für Sprachlehrende in Ausbildung ( EPOSA ) versteht sich als Instrument zur Reflexion für angehende Lehrkräfte für Spra‐ chen und zielt primär darauf ab, diese dabei zu unterstützen, ihr didaktisches 3 Evaluation und Fremdsprachenunterricht 102 Wissen und ihre Fähigkeiten zum Unterrichten von Sprachen zu reflektieren, ihre eigenen didaktischen Kompetenzen zu beurteilen, ihre Lernfortschritte zu verfolgen und ihre Unterrichtserfahrungen während der LehrerInnenausbil‐ dung aufzuzeichnen (vgl. Newby et al. 2008: 5). Das Portfolio baut auf dem GERS , dem ESP und dem Europäischen Profil für die Aus- und Weiterbildung von Sprachenlehrkräften - Ein Referenzrahmen (Europäisches Profil) auf und besteht aus den drei Hauptteilen, (1) persönliche Beschreibung, (2) Selbstbeurteilung und (3) Dossier. Der Abschnitt persönliche Beschreibung soll die Lehramtsstudierenden dazu anregen, über allgemeine Unterrichtserfahrungen während der Ausbildung nachzudenken. Zu den hier gestellten Fragen zählen etwa, welche positiven und negativen Erfahrungen sie selbst als LernerInnen im Fremdsprachenunterricht machten, auf welche Aspekte des Unterrichtens sie sich am meisten bzw. am wenigsten freuen, welche Erwartungen sie an die LehrerInnenausbildung stellen etc. Der sehr umfangreiche Teil der Selbstbeurteilung bezieht sich auf die didaktisch-methodischen Kompetenzen der Studierenden. Sie werden dazu auf‐ gefordert, mithilfe der Kann-Beschreibungen u. a. über den Kontext (Lehrplan, Lernziele und Lernbedürfnisse, Rolle der Fremdsprachenlehrenden, Res‐ sourcen), die Methodik (Sprechen, Schreiben, Hören etc.), die Ressourcen, die Unterrichtsplanung etc. im Fremdsprachenunterricht nachzudenken und im Abschnitt Dossier können sie ihre Fortschritte in den einzelnen Bereichen do‐ kumentieren und Beispiele anführen, die für sie in Zukunft bei der Ausübung ihres Berufes relevant sind. Selbstevaluation aus Sicht von Lehrenden im Hochschulbereich Derart elaborierte und etablierte (Selbst-)Evaluationsdossiers konnten für Sprachlehrende im Hochschulkontext zum Zeitpunkt dieser Publikation nicht gefunden werden. Es sind durchaus zahlreiche allgemeine, mehr oder weniger umfangreiche Fragebögen für die Selbstevaluation von Lehrenden (vor allem an Schulen) vorhanden (siehe z. B. Rea-Dickins / Germaine 1992, Kapitel 11, Be‐ rendt 2002: 68-78), speziell das Internet scheint hierfür eine gute Quelle zu sein, jedoch kann festgehalten werden, dass diese sowohl von ihrer Konzeption als auch vom Umfang den oben genannten Portfolios nachhinken. Mögliche Gründe hierfür könnten zum einen sein, dass von vielen Lehrenden und For‐ scherInnen vielleicht generell kein oder ein zu geringer Bedarf hierfür gesehen oder die Ansicht vertreten wird, dass Lehrende aufgrund Ihrer Ausbildung und didaktischen Kompetenzen ohnehin weitgehend selbstreflektierend handeln würden, und dass daher die Konzeption eines z. B. Lehrendenportfolios o. ä. nicht 3.3 Evaluationsmodelle 103 nötig sei. Zum anderen könnte es am starken Fokus auf die LernerInnen - im Unterricht, wie auch in der Forschung und Evaluation liegen. Die oben angeführten Modelle sind primär in Fragebogenform konzipiert und verfügen eher über geschlossene Fragen, bei denen in der Regel ein Wert (trifft sicher zu bis trifft nicht zu) auf einer Likert-Skala anzukreuzen ist. Sie lassen daher wenig Spielraum für wirkliche Selbstreflexion und sind eher als retro‐ spektives Selbstfeedback zu verstehen. Nichtsdestotrotz kann an dieser Stelle nicht nachdrücklich genug auf die Wichtigkeit derartiger Hilfsmittel hinge‐ wiesen werden, vor allem auch deswegen, weil - wie auch Krumm / Port‐ mann-Tselikas (vgl. 2003: 13) festhalten, das professionelle Weiterlernen im Lehrberuf weitgehend selbstgesteuert erfolgt. Selbstevaluation wird in diesem Zusammenhang auch von Berk (vgl. 2005) als eine zentrale Methode zur Opti‐ mierung der Lehreffektivität bezeichnet. 3.3.2.4.2 Peer-Evaluation Die Peer-Evaluation ist eine weitere Form der kennerschaftsgesteuerten Evalu‐ ation, die im Hochschulkontext sehr häufig Verwendung findet und auf unter‐ schiedlichste Art durchgeführt werden kann. Grundsätzlich funktioniert sie derart, dass ein Experte / eine Expertin den Unterricht besucht und beobachtet und der Lehrperson im Anschluss daran ein Feedback gibt. Diese Peers können dabei externe (von einem anderen Institut) oder interne (vom gleichen Institut) ExpertInnen sein und werden entweder als Insider bezeichnet, wenn es sich um FachkollegInnen handelt oder als Outsider, wenn sie aus einer völlig anderen Berufssparte kommen. Je nachdem, ob es sich beim Peer um einen Insider oder einen Outsider handelt, werden unterschiedliche Gesichtspunkte beim Unter‐ richten analysiert und mit der Lehrperson besprochen, was diese Art der Eva‐ luation zu einem besonders hilfreichen Instrument in der LehrerInnen Ausbzw. Weiterbildung und somit auch zu einem zentralen Schlüsselelement in Hinblick auf die didaktisch-methodische Entwicklung der Lehrpersonen macht. Da es sich dabei jedoch nicht um eine Lehrveranstaltungsevaluation durch Lern‐ erInnen handelt, wird in diesem Buch nicht näher auf diese Evaluationsform eingegangen. Für detaillierte Informationen hierzu siehe z. B. Bell / Mladenovic (2008). 3.3.2.4.3 Fazit Kennerschaftsgesteuerte Evaluationen können auf unterschiedliche Weise durch‐ geführt werden. Für die eigene persönliche und berufliche bzw. lehr- und lern‐ technische Weiterentwicklung stellt die oben angeführte Selbstevaluation der Lehrenden und Studierenden eine wichtige Form dieser Evaluation dar, weil sie 3 Evaluation und Fremdsprachenunterricht 104 diese zu KennerInnen ihrer eigenen Kompetenzen macht. Zudem ist sie, wie in Kapitel 5 expliziert wird, auch die Basis für Selbstreflexion, was in weiterer Folge die metakognitiven Fähigkeiten der Lehrenden und Studierenden fördert und so zu einer Verbesserung des Lehr-/ Lerngeschehens und zu einer Vergrößerung des Lehr-/ Lernerfolgs führt. Wird die kennerschaftsgesteuerte Evaluation in Form der Peer-Evaluation durch interne oder externe KollegInnen durchgeführt, können die Lehrenden daraus wichtige fachliche und / oder andere qualitätsop‐ timierende Verbesserungsvorschläge erhalten, die sie aus anderen Evaluationen wahrscheinlich nicht oder nicht in dieser konkreten Form gewonnen hätten. Beide hier dargestellten Formen dieses Evaluationstyps stellen meiner Erfah‐ rung nach wichtige Mittel zur Optimierung der Lehre dar und dürfen in einem umfassenden Qualitätsmanagementansatz nicht fehlen. 3.3.2.5 Beteiligteninteressengesteuerte Evaluation Wie Rindermann (vgl. 2009: 13) expliziert, stehen bei der beteiligteninteressenge‐ steuerten Evaluation die Anliegen und Konfliktthemen der involvierten Betei‐ ligtengruppen im Fokus der Aufmerksamkeit. Hauptaugenmerk wird auf Nütz‐ lichkeit und Praxisorientierung sowie einer Entscheidungsfindung auf Basis eines demokratischen Aushandlungsprozesses gelegt. Bei diesem Evaluations‐ typus werden primär qualitative Methoden angewandt, da diese eine konstruk‐ tivistische Lösungsstrategie begünstigen und möglichst viele unterschiedliche Aspekte berücksichtigen. Bei der beteiligteninteressengesteuerten Evaluation gibt es unterschiedlichste Varianten, wobei üblicherweise responsive und natu‐ ralistische Evaluationen sowie Fallstudieneinsätze bevorzugt werden (vgl. ibid.). 3.3.2.5.1 Responsive Evaluation Responsive Evaluation kann ins Deutsche auch mit antwortgebende oder reaktive Evaluation übersetzt werden und wurde von Robert Stake 1975 als Antwort auf seine Kritik (vgl. 1975: 184) entwickelt, dass sehr viele Evaluationen stark rest‐ ringiert sind und zu sehr auf (1) die Bestimmung von Zielen, (2) die Verwendung objektiver Tests, (3) die Berücksichtigung von Standards und (4) die wissen‐ schaftliche Berichterstattung fokussiert sind, und dass sie dadurch viele wich‐ tige Informationen nicht zu Tage fördern. Bei seinem Evaluationszugang werden leichte Messungenauigkeiten in Kauf genommen, wenn dadurch eine Vergrößerung der Nützlichkeit der Ergebnisse für die im Programm involvierten bzw. daran beteiligten Personen zu erzielen sind. Das von Stake entwickelte Modell zeichnet sich generell dadurch aus, dass es sehr flexibel ist und weniger die formale, sondern mehr die natürliche Kommunikation hervorhebt und Kom‐ 3.3 Evaluationsmodelle 105 munikationsverbesserung als eine zentrale Komponente für Unterrichtsopti‐ mierung betrachtet. Stake (vgl. 1975: 185) sieht seinen Zugang nicht als besonders innovativ, son‐ dern als »alte« Alternative zu herkömmlichen Evaluationen und intendiert mit seinem Modell, wie er festhält, das zu tun, was Menschen normalerweise tun, wenn sie etwas evaluieren: Sie beobachten und reagieren. Besonders der Aspekt des »Reagierens« ist dabei auch meiner Ansicht nach essentiell. Annahmen und Voraussetzungen Evaluation sollte Stakes (vgl. 1967: 523) Ansatz nach von Lehrpersonen durch‐ geführt werden, damit sie einerseits ihr eigenes Lehren besser verstehen und andererseits durch die gewonnenen Einsichten auch die Lehrforschung unter‐ stützen können. Als responsive bezeichnet er eine Evaluation im Bildungskon‐ text dann, wenn sie zumindest eine der folgenden Punkte erfüllt (vgl. Stake 1975: 185): 1. Orientierung liegt eher bei den Aktivitäten als den Zielen eines Pro‐ gramms. 2. Orientierung liegt am Bedarf der Zielgruppe. 3. Unterschiedliche Wertevorstellungen werden berücksichtigt. Aus diesen drei Punkten ergibt sich, dass eine responsive Evaluation stark ver‐ ändernden Charakter auf ein Programm haben kann und auf die Bedürfnisse der jeweiligen Zielgruppe reagiert, wobei unterschiedliche Wertvorstellungen berücksichtigt und als gleichwertig betrachtet werden. Es gibt keine absolute Wahrheit, alle Vorstellungen sind subjektiv und gleichwertig. Dies trifft auch auf Stakes Zugang zur Evaluation an sich zu, wenn er festhält (vgl. Stake 1976: 115), dass es unterschiedliche Wege gibt, ein Programm zu evaluieren und keiner richtiger als ein anderer ist. An gleicher Stelle betont er jedoch auch, dass die EvaluatorInnen genau über die Personen Bescheid wissen sollten, die die Evaluation durchführen. Dies schließt z. B. deren Interessen, Bedürfnisse und Vorbedingungen mit ein. Wenngleich die Rolle des Evaluators / der Evaluatorin bei dieser Art der Eva‐ luation vielfältig ist, so liegt eine zentrale Aufgabe darin, herauszufinden, was für die betreffende Zielgruppe besonders wichtig erscheint, welche Wertvor‐ stellungen die Beteiligten haben. Die Ergebnisse werden analysiert und mit allen im Programm Involvierten besprochen, und sie sollen Reaktionen hervorrufen, denen Aktionen folgen. Die responsive Evaluation ist daher sehr praxis-, nutzen- und lösungsorientiert. Für Stake (vgl. 1976: 117) ist es zudem wichtig zu betonen, dass die EvaluatorInnen ihre Aufmerksamkeit darauf richten, was in einem Pro‐ 3 Evaluation und Fremdsprachenunterricht 106 gramm geschieht und dahingehend die Evaluationsfragen zu stellen haben. Zudem dürfen sie nicht zulassen, dass eine Liste von Zielvorgaben oder eine erste Wahl an Datenerhebungsinstrumenten ihre Aufmerksamkeit zu sehr von den Dingen ablenken, die die involvierten Personen am meisten beschäftigen. Diese Zugangsflexibilität erlaubt den EvaluatorInnen, die Evaluationen auf eine für sie und das Setting sinnvolle Weise zu gestalten. Das kann z. B. mit Fragebögen oder durch Interviews, schriftlich oder mündlich, qualitativ oder quantitativ etc. erfolgen. Stake (vgl. 1975: 185f) hebt zudem hervor, dass eine Evaluation viele unterschiedliche Zwecke verfolgen kann, dass es aber nicht sinnvoll ist, alle potentiellen Fragen mit einer einzigen Erhebung beantworten zu wollen, und dass die EvaluatorInnen je nach Situation entscheiden müssen, welche Informationen benötigt werden bzw. wie man diese erheben kann. Die Frage, was genau bei welcher Evaluation zu erheben ist, ist fundamental und auch im Zusammenhang mit dem universitären Fremdsprachenunterricht essentiell. Was soll mit einer bestimmten Art der Evaluation im Unterricht be‐ wirkt werden? Welche Information benötigt man, um welche Aspekte des Un‐ terrichts zu verbessern? Wie und zu welchem Zeitpunkt soll die Information erhoben werden und welche Schritte können daraus resultieren? Welche Fragen im Kontext des universitären Fremdsprachenunterrichts im Hinblick auf Eva‐ luationen im Detail sinnvoll sein können, wird in Abschnitt 6.1 erörtert, ebenso wie Zugänge erläutert werden, die bei der Beantwortung dieser Fragen als Hil‐ festellung fungieren. Struktur Stake (vgl. 1975: 186) betont, dass die responsive Evaluation zwar eine Planung und Struktur benötigt, aber dass sie nur wenig auf formalen Berichten und ab‐ strakten Darstellungen wie etwa Flussdiagrammen und Punkteauswertungen etc. beruht, und er unterscheidet bei der Struktur zwischen einer substantiellen und einer funktionalen. Substantielle Struktur Bei der substantiellen Struktur geht es im Wesentlichen darum, zu eruieren, welche Art von Daten gesammelt und wie diese bewertet werden sollen. Hinsichtlich der strukturgebenden Elemente der Evaluation bevorzugt Stake das Berücksichtigen von Aspekten bzw. Belangen (issues) anstatt von Zielen oder Hypothesen, da diese seiner Ansicht nach die Komplexität, Unmittelbarkeit und das (Be)Werten besser reflektieren. Als ersten Schritt schlägt Stake (vgl. 1975: 187) vor, dass der / die EvaluatorIn mit den Involvierten spricht und so Be‐ lange, Probleme oder potentielle Schwierigkeiten aufnimmt. Diese dienen als 3.3 Evaluationsmodelle 107 Struktur für weitere Diskussionen mit den Beteiligten und auch für den Daten‐ generierungsplan. Hinsichtlich der zu gewinnenden Daten betont er, dass diese zum Verstehen bzw. Lösen von auftretenden Problemen beitragen sollen. Dem‐ entsprechend müssen für Fragen der Verbesserung - z. B. der Lehre - sinnvolle Daten erhoben werden. Des Weiteren weist er darauf hin, dass die Wichtigkeit vieler Fragen sich während der Evaluierungsperiode verändern kann. So ist es beispielsweise denkbar, dass man in einem zu strikt vorherbestimmten Design jenen Aspekten, die zu Beginn vielleicht als sehr wichtig galten, zu viel Aufmerksamkeit schenkte, während andere, die erst gegen Ende als wichtig identifiziert wurden, möglicherweise ignoriert werden. Daher sollen die Daten dann generiert werden, wenn die Probleme auftreten. Dies ist auch im universitären Fremd‐ sprachenunterricht wichtig, denn dann kann die Lehrperson möglichst zeitnah zu den einzelnen Belangen reagieren. Wird beispielsweise erst am Ende des Semesters auf Probleme hingewiesen, die sich in der zweiten Einheit ergaben, büßt die Evaluation dadurch an Wert ein, da die Information zu diesem Zeit‐ punkt insofern nicht mehr relevant ist, als die Lehrperson aller Voraussicht nach jetzt keine Schritte mehr unternehmen kann, um das konkrete Problem zu lösen. Da die EvaluatorInnen mehr benötigen als nur einen einfachen »Fragenka‐ talog«, entwarf Stake eine Matrix, die 13 Informationskategorien beinhaltet, denen je nach Evaluationszweck mehr oder weniger starke Gewichtung zu‐ kommt. Den Einsatz bzw. die Funktionsweise dieser Matrix beschreibt er wie folgt (vgl. Stake 1967: 527ff): Um Evaluationen durchzuführen, müssen zuerst Daten gesammelt werden, die von unterschiedlichen Quellen kommen und auf unterschiedliche Weise ge‐ wonnen werden können. Diese Daten verwendet man zur Beschreibung (Desc‐ ription Matrix) oder Bewertung ( Judgment Matrix) und sie können sich dabei auf Vorbedingungen (Antecedents), Transaktionen (Transactions) oder Ergeb‐ nisse (Outcomes) beziehen. 3 Evaluation und Fremdsprachenunterricht 108 Abb. 3: Layout der Äußerungen und Daten, die die EvaluatorInnen sammeln (Stake 1976: 120) Zu den Vorbedingungen zählen alle Konditionen, die bei den LernerInnen be‐ reits vor dem aktuellen Lehr-/ Lernprozess vorhanden waren und die Ergebnisse beeinflussen (können). Dazu zählt Stake Begabung, Vorkenntnisse, Interessen etc. Diese würden vom Evaluator / der Evaluatorin in die Beschreibungsmatrix eingetragen werden. Zu den Transaktionen gehören sämtliche Begegnungen im Kontext des Un‐ terrichtsgeschehens, z. B. Studierende mit Lehrenden, Studierende mit Studier‐ enden etc., die eine Folge von Dialogen darstellen und einen Teil des Lehrbzw. Lernvorgangs ausmachen. Hier nennt er Diskussionen, das Lösen von Prob‐ lemen, die bei Aufgaben entstehen u. Ä. Nach Stake sind Transaktionen dyna‐ misch, während Vorbedingungen und Ergebnisse relativ statisch sind. Die Grenzen untereinander sind nicht klar zu ziehen und es können bei einer Trans‐ aktion unterschiedliche Ergebnisse verzeichnet werden, die in Form einer Rück‐ koppelung neue Anfangsbedingungen generieren und Lernprozesse auslösen werden. Dieser Ansatz Stakes harmonisiert stark mit jenem aus der Complex Dynamic System Theory, die in Kapitel 5 angeführt und diskutiert wird. Damit weist er indirekt, ohne es explizit festzuhalten, bereits vor fast 50 Jahren darauf 3.3 Evaluationsmodelle 109 8 Eigentlich wird der englische Terminus »intents« ins Deutsche mit »Ziele«, »Ab‐ sichten« und »Vorsätze« übersetzt. Dies scheint im Kontext von Stakes Modell jedoch nicht ausreichend, denn er subsumiert unter »intents« auch anderes - bis hin zu Ef‐ fekten, die gewünscht, erhofft, antizipiert und befürchtet werden. hin, dass Lernen, Lehren und Evaluieren nicht statisch sind und daher, wie auch in vorliegendem Ansatz vorgeschlagen wird, dynamisch durchgeführt werden sollten. Stake (vgl. 1967: 527) führt aus, dass in formalen Evaluationen starke Auf‐ merksamkeit auf die Ergebnisse gelenkt wird, wie z. B. die Fähigkeiten und Fer‐ tigkeiten (Kompetenzen) bzw. Einstellungen etc. der Studierenden, die sie auf‐ grund des Unterrichts erworben haben und expliziert, dass vieles davon nicht unmittelbar nach dem Unterricht evaluiert werden kann, weil vieles auch mit dem Transfer dieser Kompetenzen in andere Bereiche zusammenhängt und erst viel später sichtbar wird. Dieses Problem ist auch bei den in Abschnitt 1.3 ana‐ lysierten Fragebögen mitunter zu verzeichnen. In einem dieser Fragebögen kommt bsw. folgende Frage vor: »Haben Sie mehr Sicherheit im Umgang mit der Sprache erhalten? «. Diese Sicherheit kann im Wesentlichen jedoch nur in realen Situationen außerhalb des Unterrichts festgestellt werden, wenn die Sprache verwendet wird, und Veränderungen werden sich auch nicht über Nacht zeigen, sondern wahrscheinlich erst nach mehreren realen Sprechakten. Zudem verlangt die Beantwortung dieser Frage eine starke Reflektiertheit der betreffenden Personen, was nicht immer gegeben ist. Vorbedingungen, Transaktionen und Ergebnisse stellen somit die struktur‐ gebenden Elemente des Evaluationsberichtes dar, und die damit in Verbindung stehenden Daten können sowohl auf Seite der Beschreibung als auch jener der Bewertung eingetragen werden. Erstere sind dabei in Ziele, Probleme, Erwar‐ tungen (intents 8 ) und Beobachtungen (observations) und letztere in allgemeine Qualitätsstandards (standards) und programmspezifische Bewertungen (judg‐ ments) unterteilt. Dadurch können EvaluatorInnen beim Datensammeln auf‐ zeichnen, was die einzelnen Beteiligten wahrnehmen, erwarten, wie sie dies bewerten und in die jeweilige Matrix schreiben (für nähere Ausführungen siehe Stake 1967). Während diese Einteilung generell plausibel erscheint, verwirrt die Tatsache, dass Stake unter dem Begriff »intents« nicht nur die Ziele bzw. Vorhaben sub‐ sumiert, sondern auch Hoffnungen und Befürchtungen. Diese sollten meiner Ansicht nach in eigenen Kategorien untergebracht werden, da es sich um völlig unterschiedliche Aspekte handelt. Die Ziele, Probleme, Erwartungen können dabei sowohl von Studierendenseite als auch Lehrendenseite erhoben werden und ergeben eine Art Prioritätenliste für den Unterricht. 3 Evaluation und Fremdsprachenunterricht 110 Ein Großteil der gesammelten Daten fällt laut Stake in den Bereich der »Be‐ obachtungen«, welche bei den EvaluatorInnen direkt und persönlich erfolgen können oder aufgrund von eingesetzten Instrumenten (Fragebögen, Interviews etc.). Entscheidungen, die sich ergeben, müssen nach Stakes Ansicht aufgrund der Expertise des / der EvaluatorIn gefällt werden. Es ist nicht möglich, allen Variablen gleiche Aufmerksamkeit zu schenken, sondern es ist jenen Vorrang zu geben, die auch mit übergeordneten Zielen in Verbindung stehen. Zudem benötigt jede Evaluation auch eine »Rationale«, ein philosophisches Grundkonzept bzw. einen Zweck. Diese muss für jedes Programm eigens defi‐ niert werden, wie Stake ausführt, und bietet eine Basis für das Evaluieren der Ziele, Probleme, Erwartungen. Hinsichtlich der Verarbeitung der aus der Evaluation gewonnen deskriptiven Daten führt Stake zwei primäre Methoden an. Zum einen die Kontingenz zwi‐ schen den Vorbedingungen, Transaktionen und Ergebnissen festzustellen und zum anderen die Kongruenz zwischen Zielen, Problemen, Erwartungen und Beobachtungen. Bei ersterem geht es im Prinzip um die Frage, ob das, was in‐ tendiert wurde, tatsächlich passiert. Dafür beobachtet der / die EvaluatorIn die jeweiligen Zeilen der Matrix und vergleicht die Zellen mit den Zielen, Prob‐ lemen, Erwartungen und mit den Beobachtungen, um etwaige Diskrepanzen festzustellen und den Grad an Kongruenz für diese Zeile zu ermitteln. Kon‐ gruenz in diesem Zusammenhang bedeutet nicht, dass die Ergebnisse reliabel oder valide sind, sondern nur, dass das, was intendiert war, auch umgesetzt wurde. Beim Feststellen von Kontingenz geht es darum, zu identifizieren, ob sich bestimmte Ergebnisse aufgrund konkreter Vorbedingungen bzw. Transak‐ tionen ergaben. Diese Beobachtungen, die z. B. die Lehrperson im universitären Fremdspra‐ chenunterricht durchführt, können wichtige Informationen beim Optimieren des Unterrichts ergeben. Wenn beispielsweise bestimmte Ziele gesetzt waren und die Lehrperson konkrete Methoden benutzte, muss auch überprüfbar sein, ob die Transaktionen die jeweiligen Ergebnisse bewirkten oder nicht. Je länger eine Lehrperson ins Unterrichtsgeschehen involviert und je reflektierter er / sie ist, desto wahrscheinlicher wird es sein, dass er / sie, auf Grund von Erfahrung oder durch Feedback weiß, welche Methoden das Erreichen gewisser Ziele be‐ günstigen können. Dieser Aspekt der Evaluation ist auch im Hinblick auf die Lehrendenaus- und Fortbildung interessant, weil das Evaluieren in diesem Kon‐ text stark fortbildenden Charakter hat. Stake (vgl. 1967: 533) schlägt bei seinem Modell vor, dass zu Beginn das Auf‐ zeichnen dieser Beobachtungen bereits ausreicht. Wenn die Informationen in 3.3 Evaluationsmodelle 111 Folge evaluiert werden, ist eine gewisse Erfahrung mit ähnlichen Ereignissen von Vorteil (Vorbedingungen), aber nicht unerlässlich, wie er meint. Auf der Bewertungsmatrix befinden sich die beiden Spalten für Standards und Bewertungen. Unter Standards fallen die Bewertungskriterien der Evaluations‐ ergebnisse. Stake (vgl. 1967: 534) führt an, dass - obwohl sich Bewertungsstan‐ dards im Laufe eines Kurses ändern können - immer klar sein sollte, nach wel‐ chen Standards bewertet wird. Hinsichtlich der Bewertung eines Programms schlägt Stake (vgl. 1967: 535) zwei Möglichkeiten vor: (1) Den Vergleich mit absoluten Standards und (2) den Vergleich mit relativen Standards. Als absolute Standards könnten im Kontext des universitären Fremdsprachenunterrichts Bildungsstandards dienen oder Beschreibungen aus dem GERS . Relative Standards ergäben sich z. B. aus dem Vergleich mit anderen Instituten, die ähnliche / gleiche Kurse anbieten. Stake weist darauf hin, dass jegliche Bewertung vor dem Hintergrund von Standards erfolgen soll, und dass die Wahl der Standards bei den EvaluatorInnen liegt. Im universitären Bereich liegt die Wahl nicht ausschließlich bei der Lehrperson. Es müssen auch externe Standards wie Bildungsstandards, Vorgaben von Seiten der Universität, der EU etc. berücksichtigt werden, wie bereits in Kapitel 2 dar‐ gestellt wurde. Bewerten bedeutet auch festzulegen, wieviel Gewicht gewisse Aspekte er‐ halten und wann Aktionen erfolgen sollen. Im Kontext des Unterrichts bedeutet dies, dass die Lehrperson entscheiden muss, wann sie auf Basis welcher Argu‐ mente welche Schritte wie setzt. Wenn aus einer Gruppe von 25 Personen bei‐ spielsweise nur zwei rückmelden, dass sie etwa Probleme beim Verstehen eines Grammatikpunktes haben, der in der vergangenen Stunde durchgenommen wurde, dann hat dies eine ganz andere Gewichtung, als wenn diese Rückmel‐ dung von 20 oder mehr Personen käme. Ignoriert werden sollte die Rückmel‐ dung dennoch nie, denn das könnte von den Studierenden so aufgefasst werden, als ob die Lehrperson der Evaluation bzw. ihren Problemen nicht die nötige Aufmerksamkeit schenken würde. Die Frage ist jedoch, wie die Lehrperson mit dieser Information umgeht. Stellt sie z. B. weiterführende Literatur auf der Lern‐ plattform zur Verfügung (sofern vorhanden und in Verwendung), bespricht sie die Probleme mit den betreffenden Studierenden gesondert nach dem Unterricht oder wiederholt sie diesen Aspekt zu Beginn der folgenden Lehrveranstaltungs‐ einheit nochmals? Dies liegt im Ermessen der Lehrperson, die diese Entschei‐ dung auf Grund von Reflexion, ihrer Expertise und unter Berücksichtigung von Standards und Ressourcen trifft. 3 Evaluation und Fremdsprachenunterricht 112 Funktionale Struktur Im Hinblick auf die Frage, wie die Evaluation durchgeführt werden soll, hält Stake (vgl. 1975: 188) fest, dass Beobachtung und Evaluation vom Beginn der Lehrveranstaltung bis zum Ende wichtige Bestandteile des Unterrichts dar‐ stellen, was auch der Grund für ihn war, keine bestimmten Evaluationsphasen vorzuschlagen. Vielmehr spricht er von zwölf bedeutenden Ereignissen bzw. Maßnahmen (prominent events), die sich im Laufe des Evaluationsgeschehens wiederholen. Zu diesen events zählen u. a. das Gespräch mit allen am Evaluati‐ onsprozess Beteiligten, die genaue Bestimmung der Evaluation, das Feststellen von potentiellen Problemen, die Identifizierung des Datenablaufs und die ge‐ naue Anpassung an das jeweilige Publikum (für eine detaillierte Auflistung, siehe Stake 1975: 189). Diese bedeutenden Ereignisse / Maßnahmen sind in seinem Modell kreisförmig angeordnet, weil es, wie er (vgl. ibid.) expliziert, keine bestimmte Abfolge gibt, die zu beachten wäre. Jeder dieser events kann jedem anderen folgen. Es ist auch möglich, dass sich mehrere gleichzeitig ereignen. Der / die EvaluatorIn kehrt dabei oftmals zu jedem einzelnen Ergebnis zurück, bevor die Evaluation beendet ist. Diese Herangehensweise gibt dem Evaluator / der Evaluatorin die nötige Flexibilität, um auf Rückmeldungen von den Studierenden (zeitnahe) zu rea‐ gieren. Eine derart beschaffene Evaluation ist demnach prozessbegleitend, weil sie praktisch zu jedem Zeitpunkt des Unterrichts eingesetzt werden kann. Dem‐ gemäß ist immer eine Adaption des Programms oder einzelner Aspekte davon möglich, um notwendige Veränderungen zeitgerecht durchzuführen. Zudem verbessert diese Art der Rückmeldung die Form der Kommunikation zwischen Lehrenden und Studierenden. Dieser Aspekt ist zentral für Stakes Modell und auch essentiell für die Anwendung des Modells im universitären Fremdsprachenunterricht, denn seiner Theorie nach optimiert eine verbesserte Kommunikation den Unterricht. Als besonders wichtig führt er (vgl. 1975: 191) in diesem Zusammenhang an, dass sich die EvaluatorInnen nicht primär auf die eigene Beobachtungsgabe bzw. Urteilskraft stützen sollen, um festzustellen, ob der Unterrichtsverlauf zufriedenstellend ist oder nicht, sondern dies aus den Rückmeldungen der Studierenden schließen. Evaluation unter diesem Aspekt bedeutet daher auch Unterrichtsoptimierung durch Kommunikationsverbesse‐ rung und konstruktive Dialoge zwischen Lehrenden und Studierenden. Für Stake (vgl. 1975: 191) ist daher mit einer Evaluation ein holistischer Zugang zur Unterrichtsverbesserung möglich. Hierfür ist eine bidirektionale Kommunika‐ tion notwendig, bei welcher die Kommunikationspartner direkt aufeinander 3.3 Evaluationsmodelle 113 eingehen (vgl. Stake 1975: 192). So können Probleme und Lösungsvorschläge diskutiert und Maßnahmen zum richtigen Zeitpunkt gesetzt werden. Der diesbezügliche Ansatz der responsiven Evaluation ist auch insofern in‐ teressant, als er auf der Überlegung aufbaut, dass die LernerInnen üblicherweise am besten darüber Bescheid wissen, wo sie Probleme haben bzw. was diese ver‐ ursacht und wahrscheinlich auch welche Ansätze zu deren Lösung idealerweise beitragen können. Durch ihre Rückmeldungen und Vorschläge haben auch die Lehrpersonen die Möglichkeit, unterschiedliche Themen von unterschiedlichen Standpunkten aus betrachten zu können. Daraus resultiert, dass eine responsive Evaluation nicht nur dazu beitragen kann, die Situation der Studierenden zu verbessern, sondern auch dazu, bei den Lehrenden eine berufliche wie persön‐ liche Weiterentwicklung zu bewirken. Fazit Wenngleich Stakes responsive Evaluation bereits vor 50 Jahren entwickelt wurde, so stellt dieser Ansatz auch heute noch ein sehr wirkungsvolles Werk‐ zeug zur Unterrichtsoptimierung dar. Er erlaubt große Flexibilität und die Nütz‐ lichkeit der gesammelten Daten ist wichtiger als die Exaktheit ihrer Beschaf‐ fung. Die Anliegen und Probleme der am Unterrichtsgeschehen Beteiligten werden in den Fokus der Aufmerksamkeit gerückt und es wird versucht, in Form einer bidirektionalen Kommunikation bzw. Kollaboration zwischen Lehrenden und Studierenden, Lösungen zu erarbeiten, die für alle Beteiligten zufrieden‐ stellend sind und zugleich das Unterrichtsgeschehen nicht behindern. Zudem werden unterschiedliche Wertvorstellungen und subjektive Wahrheiten akzep‐ tiert, und es wird nicht intendiert, die objektive Wahrheit zu finden, sondern auf Rückmeldungen so zu reagieren, dass es zu einer Verbesserung der Ausgangslage für die Betroffenen kommt. Dabei übernehmen Lehrende und Studierende die Verantwortung für ihr Handeln und sind gleichsam am Lösungsprozess beteiligt. Dieser Ansatz harmoniert somit auch mit Überlegungen aus der Fremdspra‐ chendidaktik, wie sie zumindest seit dem shift from teaching to learning gefordert werden und den ESG . 3.3.2.5.2 Naturalistische Evaluation Zur naturalistischen Evaluation ist das Modell von Guba / Lincoln (vgl. 1989) zu zählen, welches auch als Fourth Generation Evaluation ( FGE ) bekannt ist. Sie klassifizieren die bis dato vorhandenen Evaluationsmodelle in Form von auf‐ steigenden »Generationen« in (1) Messen (Measurement), (2) Beschreiben (Desc‐ ription) und (3) Bewerten ( Judgment) und fügen diesen ihren eigenen Ansatz, (4) Verhandeln (Negotiation) hinzu. Bei dieser Einteilung werden die einzelnen 3 Evaluation und Fremdsprachenunterricht 114 Stufen bis zu einem gewissen Grad als Weiterentwicklung der jeweils voran‐ gehenden gesehen, so dass jede nachkommende Generation auf den Erkennt‐ nissen der vorangehenden aufbaut, was gewissermaßen als Fortschritt zur be‐ stehenden betrachtet werden kann. Guba / Lincoln betonen dabei jedoch, dass die vorangehenden Modelle durch die nachkommenden nicht ersetzt werden, wenngleich diese bis zu einem bestimmten Grad an Bedeutung einbüßen. Abb. 4: Klassifizierung nach Guba / Lincoln (vgl. 1989) Bei der ersten Generation beziehen sich Guba und Lincoln (vgl. 1989: 22-26) auf Leistungsmessungen von SchülerInnen aus dem 19. Jahrhundert, bei welchen das Gewinnen / Messen von Daten im Vordergrund stand. In der zweiten Gene‐ ration (vgl. ibid. 1989: 27f) wird das Messen von Daten ausgedehnt, indem der Evaluator / die Evaluatorin die gewonnenen Daten auch beschreibt. Dies erfährt in der dritten Generation (vgl. ibid. 1989: 29ff) durch den Aspekt der Bewertung eine erneute Erweiterung. Als vierte Generation führen Guba / Lincoln (vgl. 1989: 38ff) schließlich ihren eigenen Zugang zum Evaluieren ein, der sich, wie sie festhalten (vgl. 1989: 253ff), vor allem dadurch auszeichnet, dass Evaluator‐ Innen und StakeholderInnen enger zusammenarbeiten und die Evaluationser‐ gebnisse gemeinsam bewerten und über diese verhandeln. Dadurch wird es 3.3 Evaluationsmodelle 115 möglich, dass die TeilnehmerInnen die Grenzen und Parameter der zu evalu‐ ierenden Punkte selbst mitbestimmen können. Ähnlich wie bei der responsiven Evaluation vertreten auch Guba / Lincoln (vgl. 1989) die Ansicht, dass es keine objektive Wahrheit gibt, sondern dass Er‐ kenntnis immer subjektiv ist und auf den Erfahrungen der einzelnen Personen aufbaut. Realität wird in diesem Ansatz durch die Interaktion zwischen Stake‐ holderInnen und EvaluatorInnen geschaffen. Will man einen Erkenntniszu‐ wachs erreichen, so kann dies beispielsweise über Dialoge mit anderen er‐ folgen - im Unterrichtsgeschehen wäre dies z. B. ein Austausch mit anderen Studierenden und / oder in dialogischer Form mit der Lehrperson. Da im Setting des Unterrichts Probleme und Schwierigkeiten der LernerInnen variieren und auch die Zugänge zu bestimmten Themen von Mensch zu Mensch verschieden sind, ist der Weg, den die Fourth Generation Evaluation einschlägt, nicht ein richtig oder falsch zu ermitteln, sondern - ähnlich wie bei Stakes An‐ satz - die jeweiligen Forderungen, Anliegen und Probleme der Akteure ins Zentrum der Aufmerksamkeit zu rücken und, darauf aufbauend, zu eruieren, welche Informationen überhaupt benötigt werden (siehe Guba / Lincoln 1989, Kapitel 2) um ein Problem zu lösen. Daran schließt die Lösung von konkreten Anliegen an. Diese erfolgt immer im Kontext einer expliziten Situation, wes‐ wegen die Herangehensweise von Fall zu Fall unterschiedlich sein kann und nicht eine Verallgemeinerung einer Lösungsstrategie angestrebt wird, sondern die Förderung des Dialogs unter den Aktanten bzw. das Finden von geeigneten Lösungen in bestimmten Situationen. Als geeignete Lösungen werden solche bezeichnet, bei denen ein möglichst großer Konsens unter den Beteiligten vor‐ herrscht. Voraussetzung hierfür ist, dass sich möglichst alle AktantInnen an den Evaluationen beteiligen. Evaluation im Rahmen der Fourth Generation Evaluation zeichnet sich da‐ durch aus, dass sie folgende Eigenschaften verkörpert, wie Guba / Lincoln (vgl. 1989, Kapitel 9) festhalten: Evaluation ist 1. soziopolitisch, 2. gemeinschaftlich, 3. ein Prozess des Lehrens und Lernens, 4. kontinuierlich, rekursiv und höchst divergent, 5. höchst emergent, 6. hinsichtlich der Ergebnisse schwer einzuschätzen, 7. realitätsschaffend. Diese Eigenschaften erinnern sehr an jene, mit welchen auch der universitäre Fremdsprachenunterricht beschrieben werden kann (siehe Kapitel 5). Der zent‐ 3 Evaluation und Fremdsprachenunterricht 116 rale Aspekt der FGE ist, dass sie, wie Guba / Lincoln (vgl. 1989, Kapitel 7) aus‐ führen, eine Kombination aus responsivem Fokussieren und konstruktivisti‐ scher Methodologie darstellt. Zu ersterem zählen sie das Bestimmen der Wünsche, Bedürfnisse und Probleme (kurz: Anliegen) der einzelnen Stakehol‐ derInnen, die als organisierende Elemente fungieren, und zu letzterem den Ver‐ such, einen wertenden Konsens zwischen diesen zu Beginn oftmals sehr unter‐ schiedlichen Zugängen zu erwirken. Dies erfolgt, indem die unterschiedlichen Konzepte mit den anderen geteilt werden und diese miteinander darüber ver‐ handeln und gemeinsam eine Lösung erzielen. Dadurch erwirkt man nicht nur die üblichen Verbesserungen, die mit einer Evaluation einhergehen sollen, son‐ dern auch, dass sie zusätzlich einen edukativen Charakter erhält, der es den AktantInnen ermöglicht, nicht nur die gemeinsame Optimierung eines Pro‐ zesses bzw. die Lösung eines Problems zu erreichen, welche für alle akzeptabel ist, sondern auch, dass sie durch die Kollaboration an dieser Lösung reifen. Guba / Lincoln (1989) intendieren mit ihrem Evaluationszugang keine Gene‐ ralisierung der Ergebnisse, sondern Lösungen für eine bestimmte Situation. Daher sind die oben genannten Punkte auch im Hinblick auf den universitären Fremdsprachenunterricht so zu wählen bzw. einzusetzen, dass diese für den je‐ weiligen Kontext geeignet sind und eine für diese Situation optimale Lösung erzielen. Wie dies im Detail aussieht, obliegt den jeweiligen EvaluatorInnen, die die StakeholderInnen während des Evaluationsprozesses begleiten und beraten. Fazit Das Konzept der FGE passt aus vielen Gründen sehr gut in das Setting des uni‐ versitären Fremdsprachenunterrichts. Zum einen sind die Eigenschaften, die Guba / Lincoln (vgl. 1989) mit einer Evaluation in Verbindung bringen auch jene, die man mit dem Unterrichtsgeschehen verbinden kann. Zum anderen ermög‐ licht diese Art der Evaluation durch ihren stark responsiven Charakter die un‐ terschiedlichen Vorstellungen, die die Lehrenden und Studierenden oftmals vom Unterrichtsgeschehen haben, besser zu vereinen. Dies erfolgt durch das Erheben der differierenden Ansichten und das gemeinsame Verhandeln darüber. Das Unterrichtsgeschehen kann auf diese Weise zur gemeinsamen Angelegenheit von Lehrenden und Studierenden werden. Darüber hinaus ermöglicht gerade jener Aspekt des Verhandelns, der zentral für diese Art der Evaluation ist, ein umfassendes Lernen, welches bei allen am Unterricht beteiligten AktantInnen möglich ist. Auf diese Art und Weise können auch oben angeführte Probleme weitgehend neutralisiert werden, wie z. B. die Frage, welche der Vorschläge der LernerInnen umsetzbar sind und welche (eher) nicht. Die Lehrperson verhandelt dies mit den Studierenden und bringt dabei die 3.3 Evaluationsmodelle 117 eigene Expertise mit ein, zeigt Möglichkeiten und Grenzen auf und erklärt was, warum, wie und inwieweit sinnvoll ist - frei nach dem Motto: Bene docet, qui bene distinguit. 3.3.2.5.3 Fallstudien Im Mittelpunkt von Fallstudien steht die Auseinandersetzung mit expliziten Fragen bzw. Problemen aus der Praxis. Diese können je nach Gegenstand un‐ terschiedlich sein, ebenso wie die jeweils angewandte Methode. Ziel ist die Dis‐ kussion eines bestimmten Falles / Problems und das gemeinsame Finden von Lösungsmöglichkeiten. Dabei sollen die LernerInnen selbst Lösungsstrategien entwickeln und begründen. In der Praxis eingesetzt bringt diese Methode viele Vorteile: Zum einen, dass die LernerInnen sich konkret mit einem tatsächlichen Problem auseinandersetzen müssen und nicht nur an Problemlösungsstrategien arbeiten, sondern eine tatsächliche Lösung - z. B. im Team - herbeiführen. Zum anderen kann die Lösung, auf welche man sich in der Gruppe geeinigt hat, in weiterer Folge direkt im Unterricht umgesetzt werden. Im universitären Fremdsprachenunterricht können unterschiedlichste Fälle auftreten, die auch im Rahmen des Unterrichts gemeinsam diskutiert werden müssen, um in weiterer Folge eine für alle befriedigende Lösung zu finden. Diese Methode kann als unterrichtsoptimierende Strategie herangezogen werden, wenn in einer Gruppe z. B. unterschiedliche Interessengebiete vorherrschen und im Rahmen des Unterrichts nur eine bestimmte Anzahl an Themen bearbeitet werden kann. Je nach Niveau der LernerInnen ist es durchaus auch denkbar, die Diskussionen, die mit der Lösungsfindung zusammenhängen, in der jeweiligen Fremdsprache zu führen, so kann ein praxisbezogener Zusammenhang zwi‐ schen Unterricht und Problemlösung hergestellt werden. 3.3.2.6 Qualitätsentwickelnde Evaluation Wenn im Bildungskontext begründet wird, warum es wichtig ist, die universi‐ täre Lehre zu evaluieren, fallen üblicherweise Stichworte wie Qualitätsoptimie‐ rung bzw. Qualitätssicherung, und oftmals wird dabei betont, dass man mit der Evaluierung der Lehre eine kontinuierliche Verbesserung der Lehrprogramme und der Lehrbzw. Lernprozesse anstrebt (siehe z. B. Hackl / Sedlacek 2001: 111). In der Literatur spricht man in diesem Zusammenhang in der Regel von quali‐ tätsentwickelnder Evaluation oder von Qualitätsentwicklung durch Evaluation. Diese Bezeichnungen sind jedoch streng genommen nicht unproblematisch, weil - wie bereits festgestellt wurde - eine Evaluation per se noch keine Qua‐ litätsverbesserung erzielen kann. Sie kann nur Informationen schaffen, die vor Standards bewertet werden bzw. Empfehlungen nach sich ziehen, die als Aus‐ 3 Evaluation und Fremdsprachenunterricht 118 gangspunkt für qualitätsoptimierende Prozesse dienen (können). Die Optimie‐ rung an sich ist jedoch Aufgabe des Qualitätsmanagements. Aus diesem Grund existiert eine qualitätsentwickelnde oder -optimierende Evaluation strenggenommen nicht. Wenngleich das, was darunter verstanden wird, zwar ähnliche Ziele verfolgt wie andere qualitätsoptimierende Prozesse aus dem Qualitätsmanagement, darf sie aber nicht mit Qualitätsmanagement gleichgesetzt werden (siehe hierzu Kapitel 4). Evaluation hat, um dies erneut zu präzisieren, überwiegend beratenden Charakter und ist als zeitlich begrenztes Vorgehen für Zwecke einer konkreten Entscheidungsfindung anzusehen, wäh‐ rend Qualitätssicherung ein auf Dauer gestelltes System bezeichnet, wie Ditton (vgl. 2010: 607) ausführt. Evaluation ist demnach als unterstützendes Werkzeug im Rahmen des Qualitätsmanagements zu sehen und generiert jene Informati‐ onen, die notwendig sind, um potentiell nötige Schritte zur Qualitätsoptimie‐ rung einzuleiten. Die Umsetzung dieser Verbesserungsschritte ist jedoch nicht mehr Teil der Evaluation, sondern bereits Teil des Qualitätsmanagements. Daher wird in dieser Arbeit unter Evaluation ein Aspekt oder Bestandteil eines über‐ geordneten Qualitätsmanagements verstanden bzw. ein Ausgangspunkt für qua‐ litätsoptimierende Prozesse gesehen. 3.3.3 Evaluationsmodelle als Basis für die KDE Die im vorangehenden Abschnitt dargestellten Evaluationsansätze und Modelle zeigen, dass bereits eine Vielzahl an sehr wirkungsvollen Mitteln existiert, die zur Optimierung des universitären Fremdsprachenunterrichts herangezogen werden können. Beleuchtet man die aktuell an vielen Fremdsprachenzentren zum Einsatz kommenden Modelle vor diesem Hintergrund, bestätigen sich jene Kritikpunkte, die in Abschnitt 1.3 bereits skizziert wurden. Zudem rechtfertigt dieser Vergleich auch die Konzeption eines neuen und umfassenden Modells, der, wie in Abschnitt 1.4 dargestellt, primäres Ziel dieser Arbeit ist. Dies ergibt sich einerseits aus den Unzulänglichkeiten der in Abschnitt 1.3. analysierten Modelle und andererseits aus der Tatsache, dass die in Abschnitt 3.3.2 vorge‐ stellten Ansätze oftmals sehr allgemeiner Natur und nicht explizit auf die Be‐ sonderheiten des universitären Fremdsprachenunterrichtes zugeschnitten sind. Diese Neukonzeption ist notwendig und auch im Sinne der vorgestellten An‐ sätze, wie oben expliziert wurde. Für das Design dieses neuen Modells sollen neben Aspekten aus dem Quali‐ tätsmanagement (siehe Kapitel 4) und didaktisch-methodischen Überlegungen hinsichtlich des Fremdsprachenunterrichts (siehe Kapitel 5) vor allem jene, in diesem Kapitel dargestellten Überlegungen und Modelle der einzelnen Evalua‐ 3.3 Evaluationsmodelle 119 tionsansätze bzw. jene Aspekte derselben Verwendung finden, die der Optimie‐ rung des Fremdsprachenunterrichts dienlich sind. Letztere werden an dieser Stelle zusammenfassend dargestellt. Da sich manche Modelle bzw. Ansätze in einigen Punkten sehr ähnlich sind, wird an dieser Stelle davon Abstand genommen, genau zu explizieren, welcher der genannten Punkte welchem Modell zuzuordnen ist. Vielmehr sollen die nun angeführten Punkte als Richtlinie für ein umfassendes und wirkungsvolles Eva‐ luationsmodell gesehen werden. Ihre genaue Implementation in die KDE wird in Kapitel 6 verdeutlicht, da zu jenem Zeitpunkt auch bereits die relevanten Aspekte aus den Kapiteln zur Qualität und zum Fremdsprachenunterricht auf‐ bereitet wurden. 3.4 Anforderungen an ein umfassendes und wirkungsvolles Evaluationsmodell Ausgehend von den in Abschnitt 3.3.2 analysierten Konzepten, müsste ein Eva‐ luationsmodell, welches umfassend und wirkungsvoll zur Optimierung des uni‐ versitären Fremdsprachenunterrichts beitragen soll, zumindest folgende An‐ forderungen erfüllen: 1. Wissenschaftlichkeit und Orientierung an Standards, 2. Ermittlung der Vorbedingungen und Klärung des Kontextes, um Lehr‐ enden und Studierenden zu Beginn des Kurses als Hilfestellung bei der Definition der Unterrichtsziele (Lehr- und Lernziele) und Festlegung der Methoden zu dienen, 3. Vergleichbarkeit subjektiv gewählter und objektivierbarer Ziele, 4. Informationsgenerierung zur effektiven Begleitung der einzelnen Stu‐ dierenden, 5. periodische Überprüfungen während des Kurses, die Auskunft über die Effektivität der Lehr- und Lernmethoden geben und jene Bereiche auf‐ zeigen, die Verbesserungspotential aufweisen, 6. fortlaufende Optimierung des Unterrichts und der eigenen Kompetenzen durch kontinuierliche Rückmeldungen, Reflexion und Selbstreflexion, 7. Aufzeigen eventuell nötiger Kurskorrekturen während des Kurses, 8. feststellen, ob etwaige Kurskorrekturen bzw. Maßnahmen zielführend waren, 9. Lehrenden und Studierenden den Vergleich zwischen zu Beginn gesetzten (bzw. während des Kurses veränderten) und am Ende des Kurses er‐ reichten Zielen ermöglichen, 3 Evaluation und Fremdsprachenunterricht 120 10. Orientierung an, Miteinbeziehen und Kollaboration von allen am Lehrbzw. Lernprozess Beteiligten (personenbezogen, kollaborativ), 11. nicht nur Einsatz von paper-pencil-Verfahren, sondern unterschiedlicher moderner Methoden, 12. rechtzeitige und systematische Bereitstellung von nützlichen, brauch‐ baren, validen, reliablen und zuverlässigen Daten für Lehrende und Stu‐ dierende, um das Fällen von Urteilen in realen Entscheidungssituationen zu ermöglichen, 13. die Kommunikation zwischen den AktantInnen zu erleichtern und den dialogischen Austausch zu fördern (aktiv-reaktiv-adaptiv), 14. angepasst an die jeweilige Situation, den Kontext und die spezifischen NutzerInnen, aber zugleich dynamisch und flexibel hinsichtlich • des Zwecks (formativ, summativ, entwicklungsorientiert etc.), • der Art von Daten (quantitativ, qualitativ, gemischt), • des Designs (naturalistisch, experimentell), • des Fokus (Prozess, Produkt etc.), 15. möglichst einfache Methode mit klaren Bewertungskriterien, die Bewer‐ tungen klar nachvollziehbar macht und deren Auswertung verhältnis‐ mäßig wenig Aufwand darstellt, 16. auch als Werkzeug in der Lehrendenausbzw. Fortbildung einsetzbar, 17. sowohl für Lehrende als auch Studierende ein Hilfsmittel, welches sie dabei unterstützt, ihr Handeln bzw. ihre Handlungskompetenz im Bereich des Lernens / Lehrens zu optimieren und metakognitive Fähigkeiten zu fördern, 18. Vergrößerung des Lehr-/ Lernerfolgs, 19. gewonnene Informationen können Lehr-/ Lernforschung unterstützen, 20. schafft eine Evaluationskultur, in welcher unterschiedliche Wertvorstel‐ lungen gleichwertig betrachtet werden und man an der Lösung besteh‐ ender Probleme gemeinsam arbeitet; Ergebnisse können diskutiert und Lösungsstrategien verhandelt werden, 21. nicht problemsondern lösungsorientiert. 3.5 Zusammenfassung In diesem Kapitel wurde der erste große inhaltliche Bereich des vorliegenden Buches aufgerollt und in einem Rahmen diskutiert, der eine Basis für die fol‐ genden Abschnitte bildet, wenngleich dabei festzuhalten ist, dass dies nur als kurzer Auszug aus einem sehr umfangreichen Themenbereich verstanden 3.5 Zusammenfassung 121 werden darf, da es weitere wichtige Aspekte gäbe, die nicht bzw. nicht im not‐ wendigen Umfang bearbeitet werden konnten. Wie in Abschnitt 1.3 angeführt, weisen viele Evaluationsprogramme, die ak‐ tuell in der Evaluierung von universitären Fremdsprachenkursen eingesetzt werden, zahlreiche Probleme auf, die verhindern, dass Lehrveranstaltungseva‐ luationen in jenem Umfang zur Unterrichtsoptimierung beitragen können, wie dies theoretisch möglich wäre. Dieser Umstand rechtfertigt auch, trotz der Viel‐ zahl an bereits vorhandenen Modellen, einen neuen Ansatz zu überdenken, der in Kapitel 6 vorgestellt wird. Als Basis für diesen werden jene Modelle bzw. einzelne Aspekte daraus herangezogen, die im vorliegenden Kapitel beschrieben wurden. Da gegen Ende dieser Ausführungen auch feststeht, dass Evaluation per se noch keine Unterrichtsoptimierung bewirken kann, weil dies in den Bereich des Qualitätsmanagements fällt, schließt an dieses Kapitel jenes an, in welchem die Grundlagen zur Qualität und deren Sicherung bzw. Optimierung dargelegt werden. 3 Evaluation und Fremdsprachenunterricht 122 4 Qualität und QM im universitären Fremdsprachenunterricht Willst du ein Schiff bauen, so rufe nicht die Menschen zusammen, um Pläne zu machen, Arbeit zu verteilen, Werkzeuge zu holen und Holz zu schlagen, sondern lehre sie die Sehnsucht nach dem großen endlosen Meer. (Antoine de Saint-Exupéry) In den vorangegangenen Kapiteln wurde bereits angeführt, dass man mit Eva‐ luation die nötigen Daten generieren kann, die erforderlich sind, um qualitäts‐ optimierende Schritte einzuleiten. Da Evaluationen jedoch nicht mehr Teil des eigentlichen Entscheidungsbzw. Optimierungsvorgangs sind, sondern nur die hierfür nötigen Informationen liefern, müssen sie, will man sie als wirkungs‐ volles Hilfsmittel zur Qualitätsoptimierung nutzen, in ein umfassendes Quali‐ tätsmanagementsystem eingebettet werden, welches die tatsächliche Qualitäts‐ verbesserung ermöglicht. An dieser Stelle ist auch zu betonen, dass, wie bereits Schöch (vgl. 2005: 154) feststellt, Hochschulen in vielen Belangen nicht mit einem Unternehmen aus der Wirtschaft vergleichbar sind, und dass daher ein Qualitätsmanagement‐ system, wie z. B. Total Quality Management ( TQM ), in diesem Kontext auch leicht differenziert betrachtet werden muss. Wichtig für dieses Kapitel und alle im Anschluss folgenden ist jedoch, ein grundlegendes Verständnis der einzelnen Begriffe zu erlangen, die mit Qualität und Qualitätsmanagement in Verbindung stehen, denn sie bilden die Basis für sämtliche weitere Überlegungen, die mit der Konzeption des hier vorgestellten Modells in Verbindung stehen. Daher werden die zentralen Begriffe aus dem Qualitätsmanagement in diesem Ab‐ schnitt zuerst allgemein expliziert und im Anschluss daran vor dem Hintergrund des universitären Fremdsprachenunterrichts diskutiert. Ziel dieses Kapitels ist, den Leser / die Leserin an den Begriff Qualität heran‐ zuführen, unterschiedliche Sichtweisen aufzuzeigen und ihn / sie mit den Grundlagen des Qualitätsmanagements vertraut zu machen, damit dieses Wissen in die jeweiligen Lehrveranstaltungen miteinfließen kann und dabei 1 18. 01. 2017 unterstützt, einen für die LernerInnengruppe optimalen Unterricht zu konzi‐ pieren. 4.1 Der Begriff »Qualität« Der Begriff Qualität kann in unterschiedlichsten Zusammenhängen verwendet und auch von verschiedensten Blickwinkeln aus betrachtet werden. Analysiert man die einzelnen Ansätze diverser QualitätsexpertInnen aus der Wirtschaft, erweist es sich als interessant, dass ein konkreter Begriff von Qualität »sehr oft gar nicht expliziert« wird, wie auch Zollondz (vgl. 2011: 161) feststellt. Ebenso verhält es sich mit Qualität im Bildungsbereich, wo der Terminus trotz seiner zentralen Rolle bisher weder begrifflich noch inhaltlich präzisiert wurde, wie Helmke / Hornstein / Terhart (vgl. 2000: 10) konstatieren, obwohl sich sämtliche Institutionen um Qualität bemühen, diese dokumentieren, kontinuierlich opti‐ mieren und überprüfen lassen müssen (vgl. ibid.). Ein Hauptgrund für das Fehlen einer Definition von Qualität in diesem Bereich dürfte das Finden bzw. Be‐ gründen von expliziten (Qualitäts-)Kriterien sein. Nicht zuletzt wird dies auch durch die vorhandenen objektiven und subjektiven Qualitätsmerkmale erschwert (siehe unten), mit der unterschiedliche Produkte und Dienstleistungen anders bewertet werden. Für Parri (vgl. 2006: 107) liegt die Erklärung darin begründet, dass die Hochschulbildung generell schlichtweg zu komplex ist, als dass Qualität in diesem Kontext sinnvoll definiert werden könnte. Will man Qualität erfassen und nähert sich bei diesem Versuch über das Nachschlagen in handelsüblichen allgemeinen Wörterbüchern, Lexika oder der‐ gleichen an, so führt dies in der Regel zu sehr generellen und für den Kontext dieses Buches wenig brauchbaren Definitionen. Ebenso verhält es sich mit z. B. einschlägigen Fachwörterbüchern, die eine mitunter sehr exakte Definition des Begriffes geben, welche sich jedoch für den Gebrauch bzw. die Anwendung auf andere Bereiche als den aktuellen mitunter nur sehr schwer adaptieren lässt. Googelt man den deutschen Terminus Qualität, sieht man sich aktuell 1 mit ca. 195 000 000 Treffern konfrontiert, während die englische Entsprechung Quality sogar unglaubliche 3 980 000 000 Suchergebnisse bereitstellt. Doch nicht nur das Internet, sondern auch die traditionelle Analyse einschlä‐ giger (Fach-)Literatur, in welcher Qualität in der einen oder anderen Form be‐ handelt bzw. definiert wird, ist nicht weniger umfangreich und lässt schnell erkennen, dass es scheinbar nahezu so viele (zumeist auch unterschiedliche) 4 Qualität und QM im universitären Fremdsprachenunterricht 124 Ansichten, Konzepte und Definitionen von Qualität gibt wie AutorInnen, die darüber schreiben. Dies ist umso erstaunlicher, als - wie auch Geiger (vgl. 1994: 43) hervorhebt - kaum ein Bereich so von der Klarheit eines einzigen Grundbegriffes abhängt wie die Qualitätslehre. So wichtig und verständlich die Forderung nach wissenschaftlicher Exaktheit beim Definieren dieses Begriffes auch scheint, so schwierig gestaltet sich diese. Neben der Existenz einer Unmenge von unterschiedlichsten Qualitätsdefini‐ tionen und der Extrema zwischen keiner konkreten und einer sehr exakten, aber nur auf einen abgegrenzten und klar definierten Bereich anwendbaren Defini‐ tion wählen zu müssen, ist eine weitere Tendenz feststellbar, die sich sowohl in der Gemeinsprache als auch bei vielen ExpertInnen beobachten lässt, nämlich, dass der Begriff positiv wertet, wie u. a. Zollondz (vgl. 2011: 163) festhält, obwohl Qualität im eigentlichen Sinne keine Bewertung beinhaltet. So scheint das Ad‐ jektiv gut (gute Qualität) üblicherweise impliziert, wenn man von einem quali‐ tativ hochwertigen Produkt spricht. Guter Unterricht hat, um wieder auf den Fokus dieses Buches zurückzu‐ kommen, demnach Qualität, wenngleich das Gute dieses Unterrichts oft auch sehr schwer in Worte zu fassen ist und auch nicht immer die gleichen Quali‐ tätsmerkmale aufzuweisen scheint bzw. von unterschiedlichen Personen auch unterschiedlich empfunden wird, wie die sehr umfangreiche Literatur zu diesem Thema zeigt (für einen Überblick siehe z. B. Rindermann 2009, Kapitel 3). Die Erkenntnis daraus legt nahe, dass eine Arbeitsdefinition von Qualität gefunden werden muss, die für den Kontext des Fremdsprachenunterrichts an universitären Sprachenzentren geeignet ist. 4.1.1 Blicke auf Qualität Bevor eine Annäherung an diese Arbeitsdefinition gewagt werden kann, soll jedoch ein kurzer Überblick über einige grundsätzliche Auffassungen und Kon‐ zepte zum Begriff Qualität gegeben werden, da diese auch erheblich zu einem umfangreichen Verständnis von Qualität im geforderten Kontext beitragen und daher auch die Basis für eine geeignete Definition bilden. 4.1.1.1 Qualität aus historisch-philosophischer Sicht Vorstellungen und zum Teil sogar elaborierte Konzepte darüber, was der Begriff Qualität impliziert, sind wahrscheinlich so alt wie die Menschheit selbst. His‐ torische Aufzeichnungen belegen, dass die Menschen bereits seit Jahrtausenden über Qualität diskutieren und darum bemüht sind, ein konkretes Verständnis davon zu erlangen, was z. B. die Qualität eines Produktes ausmacht (vgl. Zol‐ 4.1 Der Begriff »Qualität« 125 londz 2011, Pfundtner 2001, Ertl-Wagner et al. 2009). Zahlreiche Gelehrte haben im Laufe der Jahrhunderte immer wieder versucht, den Qualitätsbegriff zu de‐ finieren, den Terminus abzugrenzen und diesem einen konkreten Bedeutungs‐ inhalt zuzuschreiben, was in weiterer Folge sogar dazu geführt hat, dass der Begriff im 20. Jahrhundert international genormt wurde (siehe unten). Die Vorstellungen und Konzepte von Qualität, die man vor etwa 3000 Jahren hatte, unterscheiden sich von den zeitgenössischen in vielerlei Hinsicht und es muss darauf hingewiesen werden, dass, obwohl in den historischen Schriften oft nicht explizit der Terminus Qualität verwendet wird, es sich doch um ver‐ gleichbare Prinzipien handelte, die als Vorreiter für unser heutiges Konzept von Qualität zu sehen sind. Wie Zollondz (vgl. 2011: 8f) ausführt, ist ein erster detaillierter Zugang zu Qualität (Güte) bei Laotse, einem chinesischen Denker aus dem sechsten Jahr‐ hundert vor Christus zu finden. Laotses Zugang zu Qualität ist situativ, das be‐ deutet, abhängig von der jeweiligen Situation und dem jeweiligen Objekt. So zeigt sich Qualität für ihn beim Wohnen am Platze, beim Denken in der Tiefe, beim Schenken in der Liebe etc. Aristoteles widmet der Qualität eine eigene Kategorie in seiner Kategorienlehre, als die dritte von zehn Kategorien. Seiner Auffassung nach ist Qualität die Beschaffenheit der Dinge, durch die der Unterschied der Wesen bestimmt wird. Wird die Qualität verändert, verändern sich demgemäß auch die Dinge. Galilei unterscheidet in objektive und subjektive Qualitäten und für Locke ist Qualität die Fähigkeit eines Dinges, Empfindungen zu erzeugen und auf dieser Basis objektive (primäre) und subjektive (sekundäre) Qualität zu unterscheiden, wie Wessel (2003: 7) ausführt. Kant sieht in Qualität etwas Sub‐ jektives, welches an den Verstand gebunden ist und erweitert den Begriff durch Einführen der Negation insofern, als dass für ihn Qualität auch dadurch festge‐ legt wird, was ein Ding nicht ist (vgl. ibid.). Eine geschichtliche Rekonstruktion des Qualitätsverständnisses legt dessen Wandel und die verschiedenen Sichtweisen dar, was zu einem bestimmten Zeit‐ punkt in der Vergangenheit jeweils unter Qualität verstanden wurde. Dieser Wandlungs- und Entwicklungsprozess zeigt den »diskontinuierlichen Entste‐ hungszusammenhang des modernen Qualitätsbegriffs auf« (Küpers 2001: 843) und ermöglicht ein tieferes Verstehen desselben und auch die Ummünzung auf den modernen Fremdsprachenunterricht. Natürlich dürfen bei dieser Rekon‐ struktion die politischen, kulturspezifischen und historischen Rahmenbedin‐ gungen nicht außer Acht gelassen werden, sind sie doch die, »dem alltäglichen Wissen von Qualität zugrundeliegenden, kognitiven, diskontinuierlichen Ord‐ nungsstrukturen« und »Dispositive«, unter denen ein jeweiliges Wissen bzw. Verständnis von Qualität möglich war und auch heute noch ist (vgl. ibid.). 4 Qualität und QM im universitären Fremdsprachenunterricht 126 Aufgrund des Umfanges und der Komplexität dieses Begriffs kann im Rahmen dieser Arbeit jedoch keine detaillierte historische Skizze gezeichnet werden. Hierfür siehe u. a. Ritter et al (1997-2007), Küpers (2001), Wessel (2003) sowie Zollondz (2011). 4.1.1.2 Qualität ist komplex und dynamisch Bei Qualität handelt es sich um ein, wie Küpers (2001: 843) schreibt, »komplexes Phänomen«, für welches sich je nach Verständnis und Perspektive der Betrach‐ tung eine qualitativ verschiedene Interpretation ergibt. Die Komplexität bzw. Ambivalenz dieses Begriffes zeigt sich bereits bei dessen etymologischer Herleitung: Für Lateinkundige offensichtlich, leitet sich der Terminus Qualität vom lateinischen Nomen qualitas ab, welches ins Deutsche mit Beschaffenheit, Verhältnis oder Eigenschaft übersetzt werden kann (siehe Georges 1998). Die Beschaffenheit bezieht sich dabei z. B. auf die Form, das Ma‐ terial, die Struktur oder die Konsistenz etc. von etwas, fragt also, wie etwas beschaffen ist (lat. qualis). Als Eigenschaft definiert der Duden eines, »zum Wesen einer Person oder Sache gehörendes Merkmal«, sowie dessen charakteristische (Teil-)Beschaffenheit oder persönliche bzw. charakterliche Eigentümlichkeit, etwas, was einer Person oder Sache eigen ist. Ein Verhältnis wiederum gibt Aus‐ kunft darüber, wie sich etwas zu etwas Anderem verhält, in welcher Beziehung sich Personen oder Dinge etc. zueinander befinden. Der Terminus Qualität ist somit mehrdeutig, was dessen exakte Definition erschwert. Zur hier angesprochenen Komplexität kommt auch eine gewisse Dynamik hinzu, denn die menschlichen Auffassungen von diesem Begriff veränderten sich auch im Laufe der Zeit. So waren die Vorstellungen, die die Menschen vor mehreren tausend Jahren von Qualität hatten, zum Teil sehr verschieden von den aktuell vorherrschenden. Dies trifft auch auf den Fremdsprachenunterricht zu und ist klar ersichtlich, wenn man z. B. die unterschiedlichen Denkarten und Lehr- / Lernmodelle diesbezüglich analysiert. So sind in diesem Bereich in den letzten 100 Jahren zahlreiche unterschiedliche Zugänge zu erkennen, was sich vor allem auch in den diversen Unterrichtsmethoden widerspiegelt. Dies wird sich aller Voraussicht nach auch in Zukunft nicht markant ändern, da die Kon‐ zepte der Menschen, die den Begriff letztendlich prägen, dynamisch sind. Qua‐ lität ist demnach ein komplexes und dynamisches Phänomen, und der Versuch, sämtliche unterschiedliche Qualitätsvorstellungen, die z. B. eine Studierenden‐ gruppe im Fremdsprachenunterricht hat, erfüllen zu wollen, scheint ein nahezu unmögliches Unterfangen. Es muss folglich auf Basis empirisch gewonnener Daten ein rational begründbarer Konsens gefunden werden, der die Umsetzung 4.1 Der Begriff »Qualität« 127 einiger Forderungen ermöglicht. Diese Basis für die Entscheidungsfindung stellen z. B. jene durch Evaluation gewonnenen Informationen dar. 4.1.1.3 Qualität in der Allgemeinsprache Wie oben bereits angeführt, wird das Wort Qualität trotz seiner eigentlich neut‐ ralen und wertfreien Bedeutungen Beschaffenheit, Verhältnis oder Eigenschaft in der deutschen Allgemeinsprache sehr oft in einem wertenden Zusammenhang verwendet (vgl. auch Kapitel 2). Man spricht etwa von einem Qualitätswein, einem Qualitätsprodukt, einem Qualitätsfahrzeug etc. und meint damit nicht mehr die eigentliche Beschaffenheit jener Dinge, sondern bezieht sich häufig auf deren Güte, also auf deren gute Beschaffenheit. Ein Qualitätswein wäre demnach ein Wein von besonderer Vortrefflichkeit. Während, wie bereits erwähnt, das Adjektiv gut im alltäglichen Sprachgebrauch dem Terminus Qualität zumeist impliziert zu sein scheint (vgl. Zollondz 2011: 163), trifft dies auf dessen Antonym schlecht nicht zu. Niemand wird, wenn von einem Qualitätsprodukt gesprochen wird, von dessen schlechter Güte ausgehen. In der Allgemeinsprache wird Qualität sehr häufig auf ein Produkt bezogen und jenes wird evaluiert z. B. hinsichtlich seiner Wertigkeit, Haltbarkeit oder Fehlerfreiheit. Dabei hat die Person, die diese Wertung durchführt, eine Vor‐ stellung davon, was bei jenem Produkt gute Qualität ist und vergleicht das ak‐ tuelle Produkt mit dieser Idealvorstellung. Da verschiedene Personen jeweils unterschiedliche Auffassungen davon haben, was gute Qualität bei einem Pro‐ dukt bedeutet, sind auch die einzelnen Auffassungen von Qualität sehr subjektiv und differieren oft stark. Analysiert man die Lehrveranstaltungsevaluation von einzelnen Kursen, zeichnet sich dies sehr stark ab, vor allem in den i. d. R. vor‐ handenen Bereichen Das hat mir gut gefallen, Das hat mir weniger gut gefallen, wo die Studierenden freie Kommentare zur Lehrveranstaltung abgeben können. Hier wird oft deutlich, dass genau jene Punkte, die bei den einen für besondere Zustimmung sorgten, oftmals von den anderen als besonders negativ emp‐ funden wurden, und eine Gratwanderung scheint hier von Lehrendenseite aus kaum möglich. Daher ist ein erster wichtiger Schritt für das Schaffen von Qua‐ lität, ein Bewusstsein hierfür zu entwickeln, was dieser Begriff für jeden ein‐ zelnen / jede einzelne bedeutet. Es ist auch wichtig zu erkennen, dass das Ver‐ ständnis von Qualität unterschiedlich ist und dass im Unterricht niemals alle Qualitätsvorstellungen umgesetzt werden können. Ein weiteres Phänomen, welches in Verbindung mit Qualität in der Alltags‐ sprache häufig beobachtet werden kann, ist, dass der Terminus fälschlicherweise sehr oft auch als Gegenteil zu Quantität verwendet wird, worauf auch Zollondz (vgl. 2011: 163) hinweist. Quantität hat per se nichts mit Beschaffenheit oder 4 Qualität und QM im universitären Fremdsprachenunterricht 128 2 European Organization for Quality Control Güte zu tun, sondern kennzeichnet die Menge, Anzahl bzw. das Ausmaß, in welchem etwas vorhanden ist. Daher entbehrt im Prinzip auch die nach wie vor kursierende Frage, wofür man sich entscheide - für Quantität oder Qualität - jeglicher Basis. Dabei wird wohl (unbewusst) an einem allgemein bekannten Irrglauben festgehalten, dass Qualität eben ihren Preis habe und dass jegliche Qualitätsverbesserung nur unter höheren Kosten möglich wäre bzw. eine kürzere Durchlaufzeit schlechtere Qualität bedeuten würde, was Deming (1982) widerlegen konnte. Ebenso bedeutet in der Fabrikation eine größere Quantität eines Produktes nicht notwendigerweise einen Qualitätsverlust. Dies mag sich bei der Herstellung von Produkten weitgehend uneinge‐ schränkt bewahrheiten, wenn diese von Maschinen und am Fließband erzeugt werden, trifft jedoch auf den Unterricht nicht unbedingt zu, denn hier entsteht das Produkt - z. B. fremdsprachliche Kompetenz - aus der Interaktion von Men‐ schen. Menschen funktionieren nicht wie Maschinen und sind auch nicht so belastbar. Haben daher Lehrende sehr viele Kurse, darf es nicht verwundern, wenn die Qualität der einzelnen Einheiten unter Umständen darunter leidet. Dies trifft auch auf Studierende zu. Haben sie sehr viele Lehrveranstaltungen im Semester zu besuchen, wird das Lernpensum, das sie für die einzelnen Kurse aufbringen können, nicht das gleiche sein, wie wenn sie nur halb so viele Kurse absolvieren. Daher steht Qualität im Unterricht durchaus bis zu einem gewissen Grad mit Quantität in Konkurrenz. Dies ist auch ein weiterer wichtiger Hinweis in puncto Qualität, der jedoch weder von den Lehrenden noch von den Studier‐ enden maßgeblich beeinflusst werden kann. Leider gehen die aktuellen politi‐ schen Signale seit einiger Zeit eher in eine Richtung, die nicht unbedingt dazu beiträgt, Qualität im Unterricht zu fördern. Je größer die LernerInnengruppen beispielsweise sind und je weniger Budget die Universität für gut ausgestattete Lehrräume zur Verfügung hat, desto schwerer ist es auch, Qualität im Unterricht zu gewährleisten. Dieses Faktum kann auch mit zunehmenden Evaluationen nicht wettgemacht werden. 4.1.1.4 Qualität als Fachbegriff (Normbegriff) des QM Während eine allgemeingültige und für alle Bereiche nützliche Definition von Qualität schon aufgrund der Abstraktheit des Begriffes und der unterschiedli‐ chen Zugänge zur Qualität schwer möglich und auch nur bedingt sinnvoll scheint, wurde der Begriff 1972 als Fachbegriff für das Qualitätsmanagement international genormt (siehe EOQC 1972: 16). Als Qualität wird im Glossar der EOQC 2 die Gesamtheit der Eigenschaften und Charakteristika eines Produkts 4.1 Der Begriff »Qualität« 129 3 eigene Übersetzung aus dem Englischen 4 Die ISO, Internationale Organisation für Normung, ist eine weltweite Vereinigung na‐ tionaler Normungsinstitute und befasst sich mit der Erarbeitung von Normen. 5 Dieses Dokument, welches die EN ISO 9000: 2000 ersetzt, wurde vom Technischen Ko‐ mitee ISO / TC 176 in Zusammenarbeit mit dem CEN Management-Zentrum erarbeitet und vom CEN als Europäische Norm genehmigt. oder einer Dienstleistung gesehen, die dafür verantwortlich sind, dass be‐ stimmte Erwartungen erfüllt werden 3 . Hier hängt Qualität somit sehr stark von KundInnenerwartungen ab. Eine sehr ähnliche Definition ist in der Industrie‐ norm DIN EN ISO 4 8402 (vgl. 1995: 12) zu finden, wo man unter Qualität die Gesamtheit von Merkmalen (und Merkmalswerten) einer Einheit (Produkt oder Dienstleistung) versteht, bezüglich ihrer Eignung, festgelegte und vorausge‐ setzte Erfordernisse zu erfüllen. Als Einheit wird dabei das bezeichnet, was ein‐ zeln beschrieben und betrachtet werden kann (vgl. 1995: 8). Hier geht es um Erfordernisse, also um bestimmte Notwendigkeiten, Bedingungen, Standards etc., die erfüllt werden müssen. Die Qualitätsmanagementnorm EN ISO 9000, die die Grundlagen und Be‐ griffe der Qualitätsmanagementsysteme beinhaltet und definiert, kann als Basis zum Verständnis aller darauf aufbauenden Normen gesehen werden. Sie defi‐ niert (vgl. 2005 5 : 22) Qualität als den Grad, in dem ein Satz inhärenter Merkmale Anforderungen erfüllt. Ähnlich wie bei den anderen Definitionen ist auch jene per se ohne nähere Erläuterungen wenig aussagekräftig, da sie bewusst sehr allgemein gehalten wurde, um so als Vorlage für sämtliche Branchen nutzbar zu sein. Als Hilfestellung wurde sie jedoch durch folgende Anmerkungen ergänzt: Anmerkung 1 expliziert, dass die Benennung Qualität zusammen mit Adjektiven wie schlecht, gut oder ausgezeichnet verwendet werden kann. Das impliziert notwendigerweise eine Wertung. Etwas ist somit von schlechter, guter oder sogar ausgezeichneter Qualität. Anmerkung 2 versucht Näheres zum Terminus inhärent zu geben und besagt, dass »inhärent« - im Gegensatz zu »zuge‐ ordnet« - »einer Einheit innewohnend« bedeutet, insbesondere als ständiges Merkmal. Das heißt, dass Qualität einem definierten Ding immanent ist, also dass jene Eigenschaften, die etwas gut, schlecht oder ausgezeichnet machen, zu jenem Objekt gehören, Teil von diesem sind und somit ein inniger Zusammen‐ hang zwischen der Eigenschaft und dem Träger besteht. Unmittelbar an die De‐ finition von Qualität erfolgt die Definition von Anforderung, die für das weitere Verwenden des Qualitätsbegriffes notwendig scheint. Eine »Anforderung« ist laut ISO ein Erfordernis oder eine Erwartung, das bzw. die festgelegt, üblicher‐ weise vorausgesetzt oder verpflichtend ist. Damit können grundsätzlich sämt‐ 4 Qualität und QM im universitären Fremdsprachenunterricht 130 liche Anforderungen gemeint sein, wie z. B. jene, die ein Käufer / eine Käuferin eines Produktes an dieses knüpft oder die ein Lerner / eine Lernerin mit einem Kurs in Verbindung bringt. Qualität als Fachbegriff ist im Qualitätsmanagement somit nicht die ur‐ sprüngliche Beschaffenheit selbst, wie dies aus dem lateinischen Terminus ab‐ geleitet werden kann, sondern ein Maßstab. Geiger (vgl. 2001: 801) expliziert das wie folgt: Qualität bezeichnet in diesem Sinne das Ergebnis des Vergleichs zwi‐ schen zwei Beschaffenheiten, die beide zur betrachteten Einheit gehören. Die erste dieser beiden Beschaffenheiten ist die sogenannte realisierte Beschaffen‐ heit, also die an der realisierten Einheit festgestellte Beschaffenheit. Man könnte auch von einem Ist-Wert sprechen. Es handelt sich demnach um die Gesamtheit der betrachteten Qualitätsmerkmale und ihrer Werte, wie sie realisiert wurden. Die zweite Beschaffenheit, die man auch als Soll-Wert bezeichnen kann, ist die Bezugsbeschaffenheit, die für einen Vergleich notwendig ist. Sie wird auch als Qualitätsforderung bezeichnet und ist die Gesamtheit der betrachteten Einzel‐ forderungen an die Qualitätsmerkmale und ihre Werte. Kurz gesagt wird ein realisierter Ist-Wert mit einem angestrebten Soll-Wert verglichen. Die Schnitt‐ menge der beiden kann als Qualität aufgefasst werden. Im Kontext des Fremd‐ sprachenunterrichts könnte diese Auffassung von Qualität z. B. bei der Vergabe von Noten wichtig sein. Erfüllt ein Student / eine Studentin die jeweiligen An‐ forderungen (Soll-Wert) für eine Niveaustufe, kann ein Zertifikat ausgestellt werden, anderenfalls nicht. Die genormte Definition von Qualität erfasst den Qualitätsbegriff per se zwar nahezu in seiner gesamten Komplexität und Vielschichtigkeit, ist jedoch auf‐ grund der abstrakten Formulierung für die ungeschulte Anwendung nicht immer uneingeschränkt geeignet, wie auch Kamiske / Brauer (vgl. 2008: 167) feststellen. Sie dient jedoch aus mehreren Gründen als Basis für ein Konzept von Qualität, wie es für den Kontext des vorliegenden Ansatzes nötig ist: Erstens ist eine wesentliche Eigenschaft dieser Definition, dass sie nicht nur ein Produkt oder eine Dienstleistung allein betrachtet, sondern die Gesamtheit von Merkmalen der den KundInnen angebotenen Leistungen und auch deren Zusammenwirken berücksichtigt (vgl. Kamiske / Brauer 2008: 167). Dies ist zentral, denn dadurch wird Qualität zu einem großen Teil von KundInnenseite aus definiert und ergibt sich auch aus der Interaktion der Menschen, die am Herstellungsprozess beteiligt sind. Nicht so sehr was der Hersteller / die Herstel‐ lerin unter Qualität versteht, ist entscheidend, sondern was die KundInnen damit verbinden. Es geht somit primär darum, die KundInnen in den Mittelpunkt des Geschehens zu rücken und KundInnenzufriedenheit zu erfüllen. 4.1 Der Begriff »Qualität« 131 »Kundenzufriedenheit« wird in der EN ISO 9000 (2005: 24) definiert als »Wahrnehmung des Kunden zu dem Grad, in dem die Anforderungen des Kunden erfüllt worden sind«. Beschwerden von Seiten des Kunden / der Kundin werden in jener Definition als Indikator für Unzufriedenheit gesehen. Gleich‐ zeitig wird jedoch auch eingeräumt, dass das Fehlen von Beschwerden nicht automatisch hohe KundInnenzufriedenheit bedeutet und dass, selbst wenn An‐ forderungen mit dem Kunden / der Kundin vereinbart und erfüllt worden sind, dies nicht automatisch bedeutet, dass die KundInnenzufriedenheit damit sicher‐ gestellt ist. Dies ist wichtig, da ein Großteil der Lehrveranstaltungsevaluationen die Zufriedenheit der Studierenden mit der jeweiligen Lehrveranstaltung er‐ fragt. Aus ihren Angaben wird dann oftmals auf die Qualität des Kurses ge‐ schlossen, was, wie bisherige und unten angeführte Ausführungen explizieren, nicht suffizient sein kann, da Qualität - ganz besonders in Verbindung mit Lehre - viel komplexer ist, als die alleinige Zufriedenheit damit ausdrücken kann. Zur besonderen Bedeutung von Kunde / Kundin im universitären Fremd‐ sprachenunterricht siehe Abschnitt 4.3.3.1.2. 4.1.2 Unterschiedliche Qualitätsdimensionen Zu den bisher angeführten unterschiedlichen Perspektiven, aus welchen Qualität betrachtet werden kann, gibt es noch weitere Unterscheidungen hinsichtlich ihrer Dimensionen. Waren erstere vor allem für das Aufzeigen der Komplexität des Qualitätsbegriffs sowie für das inhaltliche Heranführen an diesen not‐ wendig, sind letztere zentral bei der Definitionsfindung von Unterrichtsqualität und bilden zudem die Basis für die Konstruktion eines umfassenden Evaluati‐ onsmodells, welches dazu beitragen kann, Qualität im Unterrichtsgeschehen zu optimieren. Hinsichtlich der Dimensionen gibt es in den Qualitätswissenschaften unter‐ schiedliche Einteilungsschemata. Zu den gängigsten zählen (1) Qualität ersten Grades und Qualität zweiten Grades, (2) Planungsqualität, Prozessqualität, Pro‐ duktqualität und (3) Strukturqualität, Prozessqualität, Orientierungsqualität, Ergebnisqualität. Diese Dimensionen werden in den folgenden Abschnitten zu‐ erst allgemein und dann im Kontext des universitären Fremdsprachenunter‐ richts diskutiert, bevor im Anschluss daran in Kürze expliziert wird, wie die jeweiligen Dimensionen im Fremdsprachenunterricht durch die KDE optimiert werden. Die detaillierte Umsetzung bzw. Konstruktion der KDE ist in Kapitel 6 nachzulesen. 4 Qualität und QM im universitären Fremdsprachenunterricht 132 6 Total Quality Management 4.1.2.1 Qualität ersten Grades, Qualität zweiten Grades Eine besonders wichtige Dimensionierung des Qualitätsbegriffs findet durch Töpfer (1992) statt, der eine Unterscheidung in Qualität ersten Grades (Pflicht) und Qualität zweiten Grades (Kür) postuliert, die darauf abzielt, objektive und subjektive Qualitätsanforderungen zu erfüllen. Mit dieser Differenzierung for‐ dert er (1992: 12) von Unternehmen durch TQM 6 (siehe auch Abschnitt 4.3) einen »hohen Kundennutzen zu realisieren«, damit der Kunde / die Kundin, der / die einmal oder gelegentlich kauft (Client), über den Stammkunden / die Stamm‐ kundin (Customer), zum Advocate wird, der / die das Produkt und das Unter‐ nehmen aus Überzeugung weiterempfiehlt. Qualität ersten Grades ist dieser Definition nach (vgl. 1992: 13) die technische Produktqualität, die durch das Unternehmen selbst, gesetzliche Vorschriften, den Markt, sowie KundInnen und den Wettbewerb definiert wird. Es handelt sich um die Erfüllung aller objektiver technischer Mindestanforderungen an ein Produkt, die, wie in Abschnitt 4.1.1 expliziert, von Produkt zu Produkt unter‐ schiedlich sein können. Diese Definition ist jedoch nicht ausreichend, wie er (ibid.) fortführt, da ein Produkt auf einem hohen Niveau diese objektiven Qua‐ litätsanforderungen erfüllen kann und dennoch u. U. keine Nachfrage findet, da die potentiellen KundInnen vom Kosten-Nutzen-Verhältnis nicht überzeugt sind und ein Wettbewerbsangebot bevorzugen. Aus diesem Grund müssen die Kund‐ Innen insgesamt zufrieden gestellt werden. Qualität zweiten Grades »umfasst neben der technischen Qualität die Qualität in allen Phasen des Kontaktes mit den Kunden, in denen zusätzlich auch Dienst‐ leistungen und Service angeboten werden« und »erstreckt sich nicht nur auf die Produktqualität als Ergebnis des Produktionsprozesses, sondern auch auf den Qualitätsbeitrag aller anderen, der Produktion vor- und nachgelagerten Wertschöpfungsphasen« (Töpfer 1992: 13). Diese Kontaktqualität bezieht sich demnach auf »alle Maßnahmen, die Bedürfnisse der Kunden umfassend zu be‐ friedigen« (ibid.). Das inkludiert vor allem auch Kommunikations- und Service‐ qualität mit den KundInnen, wie folgende Grafik verdeutlicht: 4.1 Der Begriff »Qualität« 133 7 tangible (engl.) kann ins Deutsche mit berührbar, greifbar, handfest etc. übersetzt werden Abb. 5: Qualität ersten und zweiten Grades (Töpfer / Mehdorn 1994: 10) In Hinblick auf Kommunikations- und Kontaktqualität weist Rothlauf (vgl. 2010: 89) auf die zentrale Wichtigkeit hin, mit den KundInnen vor, während und nach dem Leistungserstellungsprozess in einen Dialog zu treten, der sich durch »Ganzheitlichkeit, Prozess- und Gestaltungsorientierung« auszeichnet und dabei »die kurzfristige durch eine langfristige Erfolgsperspektive abgelöst wird« (ibid.). Es geht folglich darum, die KundInnen glücklich zu machen. Rapp (1995: 64) versteht unter Servicequalität die »Erfüllung aller unfühlbaren Servicebestandteile, die durch Mitarbeiter des Unternehmens und / oder Ser‐ vicesysteme am Kunden verrichtet werden, und es diesem ermöglichen, einen über das erwartete Produkt hinausgehenden Wert der Unternehmensleistung zu realisieren«. Hierzu zählt er (1) Zuverlässigkeit, (2) Reaktionsbereitschaft, (3) Sicherheit und Kompetenz, sowie (4) Einfühlungsvermögen und (5) Tangi‐ bles 7 . Einige dieser Aspekte sind auch im Fremdsprachenunterricht essentiell. 4 Qualität und QM im universitären Fremdsprachenunterricht 134 4.1.2.1.1 Anwendung auf den Fremdsprachenunterricht Das Berücksichtigen der oben genannten objektiv nachweisbaren und subjektiv empfundenen Qualitätskriterien ist nicht nur für die Produktion von Waren oder das Anbieten von Dienstleistungen unabdingbar, es stellt auch im Fremdspra‐ chenunterricht den zentralen Faktor für Qualität dar, vor allem, wenn es sich um Kurse an universitären Sprachenzentren handelt. Diese müssen als Teil einer international anerkannten Universität zum einen Kurse anbieten, die festge‐ legten Qualitätskriterien gerecht werden, gesetzeskonform sind und zum an‐ deren die Kurse im Rahmen ihrer Möglichkeiten auch so gestalten, dass die Studierenden (i.e. die KundInnen, die die Kurse buchen), damit (weitgehend) zufriedengestellt werden. Diese Gratwanderung zwischen dem Erfüllen objektiv beurteilbarer und subjektiv empfundener Qualität ist aus Lehrendensicht nicht leicht zu bewerkstelligen, vor allem, weil die universitären Rahmenbedingungen nicht immer optimal sind, wie in Kapitel 2 bereits verdeutlicht wurde. Bezugnehmend auf die durch Töpfer (1992) angeführte Zweiteilung wird von mir für die Optimierung des Fremdsprachenunterrichts das erfolgreiche und nachhaltige Erwerben von sprachlichen Kompetenzen als wichtigstes objektives Beurteilungskriterium für Qualität ersten Grades betrachtet. Natürlich sind auch andere von Töpfer (vgl. 1992: 13) geforderte Aspekte zu berücksichtigen, wie sie beispielsweise von den Unternehmen (Universitäten) selbst, von Geset‐ zesseite oder dem Markt etc. festgelegt werden. Diese befinden sich in der Regel jedoch außerhalb des Wirkungsspielraums von Lehrenden und Studierenden und können von ihnen oftmals nicht optimiert werden. Das Erfüllen individu‐ eller Studierendenbelange, wie etwa das Berücksichtigen von Wünschen, Zielen und Vorbedingungen, sehe ich als Kriterium für Qualität zweiten Grades, weil diese Aspekte für die LernerInnen in Hinblick auf ihre subjektiv empfundene Zufriedenheit mit einem Kurs von großer Wichtigkeit sind, wie aus unter‐ schiedlichen Lehrveranstaltungsevaluationen zu entnehmen ist, und sie daher einen großen Anteil an der Gesamtqualität des Kurses ausmachen. Das Eingehen auf diese individuellen Belange setzt neben der initial nötigen Bereitschaft hierfür von Lehrendenseite nicht nur eine gute dialogische Kommunikation zwischen Lehrenden und Studierenden voraus, sondern auch ein beidseitiges Bemühen um Verbesserung. Es muss, wie das eingangs angeführte Zitat von Exupéry ausdrückt, die Sehnsucht nach dem großen endlosen Meer der Qualitäts‐ verbesserung geweckt werden. Sprachliche Kompetenzen (Qualität ersten Grades) Der oben angeführten Einteilung folgend werden für den Kontext dieser Arbeit sprachliche Kernkompetenzen, die für das Erreichen einer bestimmte Niveau‐ 4.1 Der Begriff »Qualität« 135 stufe erforderlich sind, als quantitative und qualitative Mindestanforderungen für einen Qualitätsnachweis im Fremdsprachenunterricht herangezogen. Dem‐ zufolge würde der Unterricht dann über Qualität ersten Grades verfügen, wenn die definierten Mindestanforderungen von den LernerInnen nach Absolvieren des Kurses in Form von Kompetenzen in der Fremdsprache nachweislich er‐ reicht werden. Diese Gegenüberstellung mit Standards ist eine gängige Methode und hat den praktischen Vorteil gegenüber einer abstrakten Qualitätsdefinition, dass das Erreichen dieser Kriterien - z. B. durch normierte Prüfungen - kon‐ trollierbar ist. Dieser Definition folgend heißt Qualität: »Konform zu den Standards«, wie Harvey / Green (2000: 17) konstatieren. In diesem Zusammenhang wird auch von Bildungsstandards gesprochen, die als explizite Lernergebnisse aus dem jeweiligen Lehrplan ableitbar sind und si‐ cherstellen sollen, dass Bildungsziele transparent und vergleichbar sind. Stan‐ dards, wie sie beispielsweise auf Basis des vom Europarat entwickelten Gemein‐ samen europäischen Referenzrahmens für Sprachen ( GERS ) konzipiert werden können, geben Lehrenden und Studierenden zum einen Auskunft, über welche Kompetenzen LernerInnen zu bestimmten Zeitpunkten der Sprachausbildung (gekennzeichnet durch Niveaustufen) verfügen (sollen) und erlauben zum an‐ deren, Soll- und Ist-Wert(e) kontinuierlich miteinander zu vergleichen. Unter Ist-Wert werden an dieser Stelle die jeweiligen Kompetenzen der LernerInnen verstanden und Soll-Wert ist jener Wert, der durch die Bildungsstandards ge‐ kennzeichnet wird. Damit das in Zusammenhang mit Standards oftmals ange‐ sprochene Problem der Vergleichbarkeit (vgl. Harvey / Green 2000: 21) nicht zum Tragen kommt, ist es notwendig, dass sich die Universitäten bei der Definition von Standards an Leitlinien orientieren, die einen internationalen Vergleich er‐ möglichen. Als ein oft verwendetes Hilfsmittel in dieser Hinsicht zeigt sich der bereits erwähnte GERS , der nicht nur beim Definieren von Standards bzw. Lehrzielen an Schulen, sondern auch an den meisten europäischen Universitäten als Orientierungsrahmen für die jeweiligen Kurse, Lehrziele und Lehrpläne ver‐ wendet wird. Neben dem Vorteil der internationalen Vergleichbarkeit zeichnet sich der GERS auch dadurch aus, dass die Leistungsniveaus der einzelnen Niveaustufen durch Deskriptoren (Kann-Beschreibungen) festgelegt werden und dadurch ein einfacher Vergleich zwischen Soll- und Ist-Wert verhältnismäßig schnell er‐ möglicht wird. Die Skala des GERS besteht aus den Niveaus A (A1, A2), Elemen‐ tare Sprachverwendung, B (B1, B2), Selbständige Sprachverwendung und C (C1, C2) Kompetente Sprachverwendung, wobei diese oftmals erneut unterteilt wird, wie die folgende Grafik verdeutlicht: 4 Qualität und QM im universitären Fremdsprachenunterricht 136 Abb. 6: Referenzniveaus des GERS (vgl. Trim et al. 2001: 34) Die weitere Unterteilung in A1.1, A1.2, A2.1 etc. kommt insofern an vielen uni‐ versitären Sprachenzentren gern zum Einsatz, als sie für die Semestereinteilung sinnvoll erscheint. So können die LernerInnen beispielsweise im Winterse‐ mester einen zweistündigen Fremdsprachenkurs A1.1 (üblicherweise im Rahmen von drei ECTS -Punkten) besuchen und im darauffolgenden Sommer‐ semester den Anschlusskurs A1.2. Ein Jahr darauf absolvieren sie im Winter‐ semester den Kurs A2.1, dann A2.2 usw. Manche Kurse, z. B. jene, die auf ein weiterführendes Sprachenstudium vorbereiten und oftmals in einem Ausmaß von vier Semesterwochenstunden (sechs ECTS -Punkten) angeboten werden, bringen die LernerInnen demgemäß pro Semester um eine ganze Niveaustufe weiter. Die einzelnen Kann-Beschreibungen werden in einer Globalskala wie folgt dargestellt: 4.1 Der Begriff »Qualität« 137 Kompetente Sprachverwendung C2 Kann praktisch alles, was er / sie liest oder hört, mühelos verstehen. Kann Informationen aus verschiedenen schrift‐ lichen und mündlichen Quellen zusammenfassen und dabei Begründungen und Erklärungen in einer zusammenhän‐ genden Darstellung wiedergeben. Kann sich spontan, sehr flüssig und genau ausdrücken und auch bei komplexeren Sachverhalten feinere Bedeutungsnuancen deutlich ma‐ chen. C1 Kann ein breites Spektrum anspruchsvoller, längerer Texte verstehen und auch implizite Bedeutungen erfassen. Kann sich spontan und fließend ausdrücken, ohne öfter deutlich erkennbar nach Worten suchen zu müssen. Kann die Sprache im gesellschaftlichen und beruflichen Leben oder in Ausbildung und Studium wirksam und flexibel gebrau‐ chen. Kann sich klar, strukturiert und ausführlich zu kom‐ plexen Sachverhalten äußern und dabei verschiedene Mittel zur Textverknüpfung angemessen verwenden. Selbstständige Sprachverwendung B2 Kann die Hauptinhalte komplexer Texte zu konkreten und abstrakten Themen verstehen; versteht im eigenen Spezial‐ gebiet auch Fachdiskussionen. Kann sich so spontan und fließend verständigen, dass ein normales Gespräch mit Mut‐ tersprachlerInnen ohne größere Anstrengung auf beiden Seiten gut möglich ist. Kann sich zu einem breiten Themen‐ spektrum klar und detailliert ausdrücken, einen Standpunkt zu einer aktuellen Frage erläutern und die Vor- und Nach‐ teile verschiedener Möglichkeiten angeben. B1 Kann die Hauptpunkte verstehen, wenn klare Standard‐ sprache verwendet wird und wenn es um vertraute Dinge aus Arbeit, Schule, Freizeit usw. geht. Kann die meisten Si‐ tuationen bewältigen, denen man auf Reisen im Sprachge‐ biet begegnet. Kann sich einfach und zusammenhängend über vertraute Themen und persönliche Interessengebiete äußern. Kann über Erfahrungen und Ereignisse berichten, Träume, Hoffnungen und Ziele beschreiben und zu Plänen und Ansichten kurze Begründungen oder Erklärungen geben. Elementare Sprach‐ verwendung A2 Kann Sätze und häufig gebrauchte Ausdrücke verstehen, die mit Bereichen von ganz unmittelbarer Bedeutung zusam‐ menhängen (z. B. Informationen zur Person und zur Familie, Einkaufen, Arbeit, nähere Umgebung). Kann sich in einfa‐ chen, routinemäßigen Situationen verständigen, in denen es um einen einfachen und direkten Austausch von Informa‐ tionen über vertraute und geläufige Dinge geht. Kann mit einfachen Mitteln die eigene Herkunft und Ausbildung, die direkte Umgebung und Dinge im Zusammenhang mit un‐ mittelbaren Bedürfnissen beschreiben. A1 Kann vertraute, alltägliche Ausdrücke und ganz einfache Sätze verstehen und verwenden, die auf die Befriedigung konkreter Bedürfnisse zielen. Kann sich und andere vor‐ 4 Qualität und QM im universitären Fremdsprachenunterricht 138 stellen und anderen Leuten Fragen zu ihrer Person stellen - z. B. wo sie wohnen, was für Leute sie kennen oder was für Dinge sie haben - und kann auf Fragen dieser Art Antwort geben. Kann sich auf einfache Art verständigen, wenn die GesprächspartnerInnen langsam und deutlich sprechen und bereit sind zu helfen. Tab. 6: Gemeinsame Referenzniveaus: Globalskala (vgl. Trim et al. 2001: 35) Die oben dargestellte Globalskala eignet sich in vielen Belangen als Orientie‐ rungshilfe. Für den sinnvollen Einsatz des GERS , wie etwa bei der Curricu‐ lumsplanung bzw. dem Festlegen von Lehrzielen o. ä., ist jedoch ein detaillierter Zugang nötig, der beispielsweise durch Raster der Selbstbeurteilung gegeben ist (siehe Trim et al. 2001). Die Referenzniveaus des GERS garantieren somit Vergleichsmodalidäten an unterschiedlichen Bildungsinstitutionen im nationalen und internationalen Kontext und liefern die Basis für Qualitätssiegel und Orientierungshilfen für Lehrende und LernerInnen gleichermaßen, wie auch für die AbnehmerInnen im öffentlichen Dienst und der Wirtschaft, wie Ahrens (vgl. 2005: 10) konstatiert. Das bedeutet zum einen, dass sie für einen Vergleich von Kompetenzen und Zertifikaten herangezogen werden können, dass also Studierende, die z. B. einen allgemeinsprachlichen Englischkurs der Niveaustufe B2.1 an einer bestimmten Universität in Belgien besuchten, demnach über die gleichen fremdsprachlichen Kompetenzen verfügen (sollten), wie Studierende, die den äquivalenten Kurs in Spanien, Deutschland, Österreich oder einem anderen Land absolvierten, wel‐ ches sich an diesen Niveaustufen orientiert. Zum anderen sind sie auch, wie Ahrens (vgl. 2005: 11) betont, für sprachenpolitische Entscheidungen wie Spra‐ chenfolge und Zeitpläne sowie den Aufbau von Sprachlehrgängen und ihre Progression verantwortlich. Das bedeutet, dass sie auch zur Auskunft des Lern‐ fortschritts bzw. der Leistungskontrolle herangezogen werden können und sie sozusagen das »Fundamentum« eines Sprachlernprogramms bilden (vgl. ibid.). Qualität ersten Grades im Sprachunterricht wäre aus dem bisher Gesagten dann gegeben, wenn die initial definierten Kompetenzen durch die LernerInnen nach Absolvieren eines hierfür konzipierten Kurses erfolgreich erworben wurden. Dieser letzte Aspekt ist in Zusammenhang mit Lehrveranstaltungsevaluation besonders wichtig, denn durch sie kann die oben angesprochene Qualität ersten Grades (eine sogenannte objektive Qualität) des Unterrichts nicht gemessen werden, wie u. a. auch Pasternack (vgl. 2009) feststellt. Mit Lehrveranstaltungs‐ evaluation kann nur das diesbezügliche subjektive Empfinden der LernerInnen ermittelt werden, also ob und in welchem Ausmaß sie der Ansicht sind, dass sie 4.1 Der Begriff »Qualität« 139 etwa gewisse Kompetenzen durch Besuchen des Unterrichts / Kurses erworben oder ausgebaut haben. Ob dies real jedoch tatsächlich der Fall ist und auch in welchem Umfang, das kann nur durch Messung der Outcomes erfolgen, also durch eine Prüfung bzw. einen Test. Will man demgemäß einen objektiv messbaren Lernerfolg feststellen, kann dieser nur aus der Differenz zwischen Eingangsniveau und erreichtem Niveau ermittelt werden, was einer anderen Art der Evaluation entspricht. An dieser Stelle bleibt zudem festzuhalten, dass LernerInnen auch außerhalb des Unter‐ richts einen Kompetenzzuwachs - z. B. durch Fernsehsendungen und Filme in der Fremdsprache, das Lesen von fremdsprachigen Zeitungen und Büchern oder das Hören von fremdsprachigen Radiosendern sowie natürlich auch durch den direkten Kontakt mit MuttersprachlerInnen erfahren. Daher ist das tatsächliche Ermitteln des im Unterricht vollzogenen Lernerfolgs streng genommen in einem natürlichen Setting nicht möglich, da die LernerInnen nicht von ihrer Umwelt abgeschnitten sind und man letztendlich nie mit hundertprozentiger Sicherheit sagen kann, welche von den jeweiligen Kompetenzen in welchem Ausmaß im Unterricht und welche außerhalb davon erworben bzw. verbessert wurden. Diese Tatsache ist wesentlich, da sie aufzeigt, dass durch Lehrveranstaltungse‐ valuation nur ein Aspekt der Qualität des Fremdsprachenunterrichts gemessen werden kann, das subjektive Empfinden der LernerInnen, was jedoch auch re‐ liable und valide Daten liefert, wie Rindermann (vgl. 2009, Kapitel 7 und 9) aus‐ führt. Geben beispielsweise 90 % der Studierenden eines Kurses an, dass die Progression für sie zu flach war, kann diese Information für die Lehrperson ein durchaus wichtiger Hinweis im Hinblick auf die weitere Kursgestaltung sein. Wesentlich ist auch das Setzen und Überprüfen von Zielen für das Ermitteln der Qualität des Unterrichts, da man nur dann eruieren kann, ob bestimmte Maßnahmen greifen, wenn Anfangswert mit Endwert verglichen wird. Da nicht alle Kurse über die gleiche Zielsetzung verfügen und auch die Anfangsbedin‐ gungen bei den LernerInnen unterschiedlich sind, liegt eine Evaluation des Kontextes, wie sie auch von Stufflebeam (vgl. 1972) gefordert wird, zu Beginn des Kurses nahe. Diese muss sich, wie aus den angeführten Erläuterungen sichtbar wird, aus Kriterien für Qualität ersten und zweiten Grades zusammen‐ setzen. Als Referenzobjekte für das Erstellen der Kriterien für Qualität ersten Grades eigenen sich im universitären Fremdsprachenunterricht die oben ange‐ führten Deskriptoren des GERS , da sie das Konzipieren von für den Kontext sinnvollen Standards ermöglichen. 4 Qualität und QM im universitären Fremdsprachenunterricht 140 Individuelle Belange der Studierenden (Qualität zweiten Grades) Die Qualität zweiten Grades kann, aufbauend auf Töpfer (vgl. 1992: 13) und Rapp (vgl. 1995: 65), im Kontext des Fremdsprachenunterrichts durch den Grad des Erfüllens unterschiedlicher Studierendenbelange determiniert werden. Hierzu können unter anderem Lernziele, Wünsche, Erwartungen, sowie das Berück‐ sichtigen der Ausgangsbedingungen der Studierenden, das Helfen beim Lösen von Problemen etc. gezählt werden. Diese oftmals individuellen Studierenden‐ bedürfnisse müssen nicht direkt mit dem Curriculum zusammenhängen oder mit diesem übereinstimmen, sind jedoch für die jeweilige Bewertung des Unter‐ richts / Kurses von Seiten der Studierenden und damit für die Bewertung der Gesamtqualität von eminenter Wichtigkeit. In den qualitativen Interviews, die mit den Studierenden im Anschluss an die Testphase von Vorevaluation Studierende geführt wurden, zeigte sich deutlich, dass viele LernerInnen sehr konkrete Erwartungen hinsichtlich der Ziele haben, die sie mit dem Kurs verfolgen und diesen auch in Bezug auf das Erreichen dieser Ziele bewerten. Des Weiteren war für sie wichtig, dass von den Lehrenden - wenn sie nicht im gewünschten Ausmaß auf die individuellen Bedürfnisse der Studierenden eingehen können - zumindest ein gewisses Bemühen vorhanden sein sollte, LernerInnenbedürfnisse zu berücksichtigen. Will man daher die Qualität des Unterrichts optimieren, darf man ganz besonders auch diese Aspekte nicht ignorieren. Bezugnehmend auf Rapp (vgl. 1995: 65) könnte man demnach unter den ein‐ zelnen Dimensionen der Servicequalität im Fremdsprachenunterricht folgendes verstehen: • Zuverlässigkeit: Darunter ist die Fähigkeit der Lehrenden zu verstehen, im Unterricht ge‐ gebene Versprechen zuverlässig und akkurat zu erfüllen. Dies könnte beispielsweise bedeuten, Zusatzmaterialien rechtzeitig auf die Online-Plattform zu stellen, die LernerInnen mit ausreichend Übungs‐ material zu versorgen, ihre abgegebenen Arbeiten sorgfältig und zeitge‐ recht zu korrigieren etc. • Reaktionsbereitschaft: Hierzu zählt beispielsweise der Wille und die Schnelligkeit, bei der Lösung von Problemen zu helfen, die die LernerInnen haben. Wichtig in diesem Zusammenhang ist natürlich auch der im vorherigen Kapitel bereits an‐ gesprochene Aspekt der zeitgerechten Lösung von Problemen, da nie‐ mandem geholfen ist, wenn Probleme erst dann beseitigt werden, wenn sie nicht mehr aktuell oder relevant sind. 4.1 Der Begriff »Qualität« 141 • Sicherheit und Kompetenz: Unter diesen Aspekt fallen die Verlässlichkeit, Höflichkeit und Leistungs‐ kompetenz der Lehrenden, mit der sie sich um die Anliegen der Studier‐ enden kümmern. Hierzu zählen beispielsweise die Freundlichkeit, mit der Fragen beantwortet werden, aber auch, ob die Fragen durch die Lehr‐ person überhaupt kompetent beantwortet werden können, sowie eine allgemeine Sicherheit der LernerInnen, dass die Lehrenden sie generell gut betreuen. • Einfühlungsvermögen: Die individuelle Aufmerksamkeit, die die Lehrenden den Studierenden schenken, ist unter diesem Aspekt anzuführen. Aus Studierendenper‐ spektive zählen hierzu Fragen, wie beispielsweise: »Kennt die Lehrperson meinen Namen? Will er / sie mir beim Lösen eines bestimmten Problems helfen? Orientiert sich der Unterricht zumindest partiell auch an meinen Bedürfnissen? « etc. • Tangibles: Hier wird »die Annehmlichkeit und Erscheinung von Gebäuden, techni‐ schen Anlagen, Einrichtungsgegenständen, Personal und des Kommuni‐ kationsmaterials zusammengefasst« (Töpfer 1995: 66). Dieser Punkt er‐ streckt sich dieser Definition nach somit von der Kleidung der Lehrenden, der Ausstattung der Lehrräume bis hin zu Fragen, ob der / die Lehrende verständliche und ausreichende Erklärungen gibt, also sämtliche Be‐ standteile, die »über die fühlbaren Teile des erwarteten Produktes hinaus gehen« (ibid.) und es den LernerInnen ermöglichen, den größtmöglichen Nutzen aus dem Unterricht zu ziehen. Neben der angeführten Kontaktbzw. Servicequalität ist es für die Bewertung der Qualität des Fremdsprachenunterrichts auch sinnvoll, dass die LernerInnen über ihren eigenen Lernfortschritt reflektieren. Wenn sie beispielsweise in einem Kurs einen großen Lernfortschritt machen und sich viele Kompetenzen aneignen, sich dessen aber nicht bewusst sind bzw. sie glauben, ihre eigenen Ziele nicht erreicht zu haben, ist anzuzweifeln, ob sie den betreffenden Kurs hinsichtlich der Qualität letztendlich positiv bewerten werden, auch wenn das Überprüfen der objektiven Outcomes die objektive Qualität des Kurses bestätigen würde. Diese Art der Evaluation kann beispielsweise durch die in Abschnitt 3.3.2.4.1 vorgestellte Selbstevaluation erfolgen. In dieser Hinsicht ist das be‐ wusste Sichtbarmachen von erzielten Ergebnissen durchaus zielführend. 4 Qualität und QM im universitären Fremdsprachenunterricht 142 4.1.2.1.2 Fazit und Umsetzung durch die KDE Aus dem oben Gesagten wird deutlich, dass es nicht nur sinnvoll ist, die von Töpfer (1992) getroffene Differenzierung in Qualität ersten und zweiten Grades auch auf den universitären Fremdsprachenunterricht anzuwenden, sondern ge‐ radezu notwendig erscheint, denn die Gesamtqualität eines Kurses kann sich nur aus dem Erfüllen objektiver und subjektiver Qualitätsanforderungen er‐ geben. Die Kriterien für Qualität ersten Grades basieren in diesem Kontext auf Bildungsstandards, wie sie auf Basis des GERS definiert werden können. Diese Standards werden in Folge zum Festlegen von Lehrzielen herangezogen und können als Struktur für den Lehrplan dienen. Das Erreichen der Lehrziele kann am Ende des Kurses (objektiv) überprüft werden und gibt Auskunft über den Lehrbzw. Lernerfolg, und damit einhergehend, über die Qualität ersten Grades. Bevor die Lehrziele definiert werden können, muss evaluiert werden, welche Rahmenbedingungen für einen bestimmten Kurs vorherrschen und welche Ziele in diesem Setting sinnvoll sind. Diese erste Teilevaluation muss demnach ein Aspekt eines umfassenden Evaluationsinstruments sein und zu Beginn des Se‐ mesters durchgeführt werden. In der KDE erfolgt dies durch die Vorevaluation Rahmenbedingungen. Neben der Qualität ersten Grades ist auch die Qualität zweiten Grades für die Bestimmung der Gesamtqualität des Kurses notwendig. Die Kriterien hierfür gehen von den Studierenden aus und beziehen sich auf ihre Wünsche, Lernziele, Vorbedingungen, Probleme etc. und müssen ebenfalls bereits vor Kursbeginn evaluiert werden, damit sie beim Erstellen des Lehrplans berücksichtigt werden können. Dies erfolgt in der KDE durch die Vorevaluation Studierende. Da sich vor allem Ziele, Erwartungen und Wünsche im Verlauf des Kurses ändern können, ist es sinnvoll, diese in regelmäßigen Abständen immer wieder zu eva‐ luieren, wie dies in ähnlicher Weise auch von Stufflebeam (1972) durch die Prozessevaluation (siehe Abschnitt 3.3.2.2.7) vorgeschlagen wird, und in der KDE durch die Begleitende Evaluation erfolgt. Am Ende des Kurses wird durch die Endevaluation Studierende überprüft, inwieweit sie die anfangs gesetzten (oder im Laufe des Kurses adaptierten) Ziele nach eigener Einschätzung erreicht haben. 4.1 Der Begriff »Qualität« 143 Abb. 7: Evaluation von Qualität im Fremdsprachenkurs Wie die oben genannten Forderungen bzw. deren Umsetzungen im Detail aus‐ sehen wird in Kapitel 6 dargestellt. 4.1.2.2 Planungs-, Prozess-, Produkt-, Ergebnisqualität Eine weitere Dimensionierung des Qualitätsbegriffs soll das Zusammenspiel von Planungs- Prozess- und Ergebnisqualität, sowie von Prozess- und Produkt‐ qualität widerspiegeln. Planungsqualität stellt bei der Realisierung von Pro‐ jekten, der Durchführung von Dienstleistungen und der Erzeugung von Pro‐ dukten einen wesentlichen Erfolgsfaktor dar. Zwar sorgt gute Planung nicht notwendigerweise automatisch dafür, dass der Projektablauf immer erfolgreich ist, jedoch kann der Projekterfolg, vor allem, wenn zahlreiche und komplexe Prozesse involviert sind, ohne sorgfältige Planung im Vorfeld in den meisten Bereichen als gering eingeschätzt werden, wie auch Krüger (vgl. 2014: 10) fest‐ stellt. Auf vielen Gebieten steht Planungsqualität in direkter Verbindung mit Ergebnisqualität und es kann im Allgemeinen davon ausgegangen werden, dass gute Planung gute Ergebnisse, also eine hohe Ergebnisqualität nach sich zieht. Prozessqualität bezeichnet üblicherweise die Qualität von Prozessen, die zur Herstellung eines Produktes führen, während unter Produktqualität die Be‐ 4 Qualität und QM im universitären Fremdsprachenunterricht 144 schaffenheit bzw. Güte einer Ware verstanden wird. In vielen Fällen führt eine Verbesserung der Produktionsprozesse auch zu einer Steigerung der Produkt‐ qualität. 4.1.2.2.1 Anwendung auf den Fremdsprachenunterricht Von der Handt (vgl. 2007: 391) expliziert, dass im Fremdsprachenunterricht in den Bereich der Planungsqualität (auch Input-Qualität) zumeist die eingesetzten Ressourcen fallen, wie z. B. der institutionelle Rahmen, das Personal, die Orga‐ nisation und Technik etc. Für mich kommen zu diesen genannten noch weitere Aspekte hinzu, wie beispielsweise die Qualität bei der Erstellung des Lehrplans und der einzelnen Lehrveranstaltungen, sowie auch das Planen bei der Verän‐ derung von Prozessen, die sich im Verlauf oder am Ende des Kurses als nötig erweisen und vielfach erst nach einer Evaluation zutage treten. Planungsqualität bewirkt vielfach auch Programmqualität, weil damit die curriculare Planung einhergeht. Als Prozessqualität (auch Durchführungsqualität) bezeichnet von der Handt (vgl. 2007: 391) jegliche Qualität, die mit dem Lehrbzw. Lernprozess in Verbindung gebracht werden kann, und unter Produktqualität (auch Output-Qualität) sind die erworbenen Kompetenzen als Ergebnis / Erfolg des Lehrbzw. Lernvorgangs zu subsumieren. In dieser Hinsicht kann somit, wenn die erworbenen Kompetenzen als Produkt aufgefasst werden, die Ergebnisqua‐ lität synonym zur Produktqualität gesehen werden. Die Produktqualität ent‐ spricht im Wesentlichen auch der von Töpfer (vgl. 1992) festgelegten Qualität ersten Grades. Mögen die unter 4.1.2.3 angeführten Annahmen in Bezug auf das Zusam‐ menspiel von Prozess- und Produktqualität in der Produktion von Waren durchaus ihre Gültigkeit haben, sind sie im Fremdsprachenunterricht, vor allem hinsichtlich der Erfassung der Produktqualität, nicht ganz unproblematisch. Dies ist darauf zurückzuführen, dass die Produktqualität in Lernsettings nicht immer eins zu eins von der Prozessqualität abhängt, wie Helmke (vgl. 2009: 25) im Vierfelderschema verdeutlicht: 4.1 Der Begriff »Qualität« 145 Bewertung des Unterrichtsproduktes negativ positiv Bewertung des Un‐ terrichtsprozesses negativ schlechter und wirkungsloser Unterricht schlechter, aber wirkungsvoller Un‐ terricht positiv guter, aber wir‐ kungsloser Unter‐ richt guter und wir‐ kungsvoller Un‐ terricht Tab. 7: Vierfelderschema der prozessvs. produktorientierten Sichtweise der Unter‐ richtsqualität (vgl. Helmke 2009: 25) Aus dieser Darstellung ergeben sich in der Diagonale von links oben nach rechts unten (in der Abbildung fett gedruckt) die, wie sie Helmke (2009: 25) bezeichnet »erwartungsgemäßen Ergebnisse«, also, dass Unterricht, der auf der Prozessseite negativ erlebt wird, auch auf der Produktseite vielfach negativ bewertet wird, während positiv bewertete Unterrichtsprozesse auch auf der Produktseite in der Regel positive Ergebnisse nach sich ziehen. Dies findet sich auch in der oft an‐ zutreffenden Annahme wieder, dass guter Unterricht automatisch gute Ergeb‐ nisse bringt, während bei schlechtem Unterricht schlechte Ergebnisse zu er‐ warten sind. Zugleich zeigt die Abbildung jedoch auch, dass positiv bewertete Unterrichtsprozesse auch negativ bewertete Unterrichtsprodukte nach sich ziehen können, also ein positiv eingeschätzter Unterricht nicht jene objektiv überprüfbaren Ergebnisse im Sinne der erworbenen Kompetenzen bringt, die zu erwarten wären, während negativ bewertete Unterrichtsprozesse auch zu positiven Ergebnissen führen können. Auf diese komplexen Zusammenhänge und möglichen Gründe hierfür wird detailliert in Kapitel 5 (Komplexe Dyna‐ miken im universitären Fremdsprachenunterricht) eingegangen. 4.1.2.2.2 Fazit und Umsetzung durch die KDE Die oben angeführten Ausführungen verdeutlichen, dass im Fremdsprachen‐ unterricht ein perfekter Zusammenhang zwischen Prozess- und Produktqualität aus methodischen Gründen nicht erwartet werden kann und auch niemals deterministisch, sondern immer nur probabilistisch ist, also Wahrscheinlich‐ keitscharakter hat, wie Helmke (vgl. 2009: 25) konstatiert. Dies ist auch auf un‐ terschiedlichste komplexe dynamische Faktoren, Rahmenbedingungen und nicht zuletzt auf die LernerInnen selbst zurückzuführen. Wie diese Aspekte im Rahmen einer Evaluation berücksichtigt werden können, wird vor allem in Kapi‐ tel 5 expliziert. An dieser Stelle sei jedoch auf die sorgfältige Planung hinge‐ 4 Qualität und QM im universitären Fremdsprachenunterricht 146 wiesen, die sich als wesentlicher Faktor für Unterrichtsqualität zeigt, wie dies auch von Berendt (vgl. 2006) betont wird. Das trifft auf die Planung auf Mak‐ roebene (z. B. Erstellung der Unterrichtsziele und des Lehrplans), Mesoebene (Planung der einzelnen Lehrveranstaltungen), sowie auf Mikroebene (Planung einzelner Aktivitäten, Einleiten von Prozessen etc.) zu und basiert nicht nur auf den oben angeführten Standards, sondern auch auf Reflexion und Selbstrefle‐ xion, die im Lehr- und Lerngeschehen zentral sind. Eine sorgfältige Planung muss daher zum einen frühestmöglich und bereits vor Kursbeginn geschehen und die unter 4.1.2.1.1 angeführten Aspekte hin‐ sichtlich Qualität ersten und zweiten Grades berücksichtigen und zum anderen dann erfolgen, wenn konkrete Schritte nötig sind, die zu einer Optimierung der Unterrichtsqualität beitragen. Die jeweils erreichten Ergebnisse stehen vielfach mit den auf der Planung basierenden Prozessen in direktem Zusammenhang. Die Effektivität dieser Prozesse kann, ähnlich wie das Erreichen von Zielen, mit einer Ist-Wert-Evaluation oder durch Feedback von den LernerInnen überprüft werden. Die Produktbzw. Ergebnisqualität erfolgt, wie unter 4.1.2.1.1 für die Qualität ersten Grades bereits angeführt, zum einen als Gegenüberstellung von Ist- und Soll-Wert und zum anderen aus der Lehrveranstaltungsevaluation durch die Studierenden. In der KDE werden diese Dimensionen von Qualität somit wie folgt berücksichtigt: Planungsqualität Prozessqualität Produktbzw. Ergebnisqua‐ lität Vorevaluation Begleitende Evaluation Endevaluation Begleitende Evaluation Kompetenznachweis (nicht Gegenstand der KDE) +Endevaluation Gesichert durch akkurate Planung des Kurses, des Lehrplans, der Unterlagen, Methoden etc. auf Basis der gewonnenen Daten aus den Vorevaluationen, der Begleitenden Evalua‐ tion und der Endevaluation. Gesichert durch akkurate Planung des Kurses, des Lehrplans, der Unterlagen, Methoden etc. auf Basis der gewonnenen Daten aus der Begleitenden Eva‐ luation. Gesichert durch akkurate Planung des nächsten Kurses, des Lehrplans, der Unterlagen, Methoden etc. auf Basis der gewonnenen Daten aus der Endevalua‐ tion. Tab. 8: Planungs-, Prozess-, Produkt-/ Ergebnisqualität durch die KDE Wie oben Beschriebenes im Detail mit der KDE umgesetzt wird, kann in Ka‐ pitel 6 nachgelesen werden. 4.1 Der Begriff »Qualität« 147 8 Strukturqualität (structure), Prozessqualität (process), Produktqualität (outcome) 4.1.2.3 Struktur-, Prozess-, Orientierungs-, Ergebnisqualität Pasternack (2009: 9), der auch die unter 4.1.2.2.1 angeführte Auffassung teilt, dass »die Ergebnisqualität von Bildungsprozessen nur hilfsweise erfassbar ist und daher die Prozessqualität nicht unmittelbar in ihren Resultaten (Output / Out‐ come) sichtbar wird«, schlägt für den Kontext von Bildungsqualität vor, Qualität in (1) Strukturqualität, (2) Prozessqualität, (3) Orientierungsqualität und (4) Er‐ gebnisqualität einzuteilen. Damit wird die ursprünglich von Donabedian (vgl. 2003) in den 1960er Jahren für die Beschreibung medizinischer Dienstleis‐ tungen entwickelte Dreiteilung 8 des Qualitätsbegriffs um die Dimension Orien‐ tierungsqualität erweitert, welche die Prozessqualität auch von der Inputseite her transparent macht: »dies ist die Qualität der Orientierungen, d. h. der päda‐ gogischen Vorstellungen, gesellschaftlichen Werte und sozialen Normen, an denen die Bildungsprozesse ausgerichtet werden« (Pasternack 2009: 9). 4.1.2.3.1 Anwendung auf den Fremdsprachenunterricht Strukturqualität »Die Strukturqualität bezieht sich auf die Schaffung förderlicher institutioneller und organisatorischer Kontexte, innerhalb derer Bildungsprozesse entfaltet werden können; d. h. sie bezieht sich auf die zeitlich stabilen strukturellen Rah‐ menbedingungen« (ibid.). Dazu zählen nicht nur der rechtliche Kontext, in wel‐ chem der Unterricht stattfindet, sondern auch die Berücksichtigung der finanz‐ iellen und materiellen Mittel, die zur Verfügung stehen, sowie organisatorische Entscheidungen, die zu treffen sind. Nicht zuletzt fallen unter diesen Aspekt auch die sozialen Rahmenbedingungen und die personelle Ausstattung. Für den Kontext des universitären Fremdsprachenunterrichts sind das z. B. die räumli‐ chen Gegebenheiten, zeitliche Aspekte, die Gruppengröße, die Lehrperson etc. Wenngleich an dieser Stelle festzuhalten ist, dass allein das Vorhandensein von Strukturqualität noch keinen qualitativ hochwertigen Unterricht bewirkt, so scheint es einleuchtend, dass sie diesen begünstigt bzw. erleichtert. Vor allem der Faktor Gruppengröße ist besonders relevant und wird in Lehrveranstal‐ tungsevaluationen von den LernerInnen auch immer wieder angeführt, ganz besonders dann, wenn für ihr Empfinden die LernerInnengruppe als zu groß eingestuft wird. Auch von Seite der Lehrenden wird es zunehmend schwerer, einen qualitativ hochwertigen Unterricht zu ermöglichen, wenn die Gruppe eine bestimmte Größe überschreitet, da man kaum mehr die Möglichkeit hat, aus‐ reichend auf die einzelnen LernerInnen einzugehen. 4 Qualität und QM im universitären Fremdsprachenunterricht 148 Prozessqualität Wie oben bereits kurz angeführt, bezieht sich die Prozessqualität »auf Hand‐ lungen, Interaktionen und Erfahrungen, die einerseits von der Qualität der Struktur abhängig sind, in der die Prozesse stattfinden, andererseits von Fak‐ toren wie Persönlichkeit und Wissen geprägt werden« (Pasternack 2009: 9). Unter diesen Qualitätsaspekt fällt der Lehrbzw. Lernprozess, also das Herzstück des Unterrichtsgeschehens und damit sämtliche Handlungen und Interaktionen, die im Unterricht ablaufen, denn diese beeinflussen auch die Prozessqualität und zeigen in weiterer Folge Auswirkungen auf den Lehr-/ Lernerfolg bzw. die Pro‐ duktqualität (siehe unten), die am Ende des Lehrbzw. Lerngeschehens zu be‐ urteilen ist. Im Zentrum dieser Qualitätsdimension stehen sämtliche Interakti‐ onen im Lehr-/ Lernprozess, die zwischen Lehrenden und Studierenden stattfinden. In diesen Bereich fallen auch sämtliche didaktisch-methodischen Aspekte, die die einzelnen Prozesse leiten. Orientierungsqualität Unter Orientierungsqualität versteht Pasternack (2009: 9), wie bereits erwähnt, sämtliche »pädagogischen Vorstellungen, gesellschaftlichen Werte und sozialen Normen, an denen die Bildungsprozesse ausgerichtet werden«. Da diese Qua‐ lität auf den pädagogischen Vorstellungen, Werten, Normen und Überzeu‐ gungen basiert, werden dadurch auch sämtliche pädagogischen Handlungen der Lehrenden von dieser Qualitätsdimension beeinflusst bzw. gesteuert. Dies ist, um es simpel auszudrücken, das, was die Lehrpersonen im Unterrichtsge‐ schehen steuert und wird nicht nur von persönlichen, sondern auch von kul‐ turellen und anderen Mustern beeinflusst. Hier könnte man alle jene Überzeu‐ gungen subsumieren, von denen die Lehrpersonen meinen, dass sie guten Unterricht ermöglichen und für den Lernerfolg wichtig sind. Diese können auch z. B. vom Leitziel der jeweiligen Institution geprägt sein. Für die Optimierung dieser Dimension sind auch die Aus- und Fortbildung bzw. die Reflektiertheit der Lehrpersonen relevant. Je besser die Lehrenden ausgebildet sind und je re‐ flektierter sie agieren, desto breiter wird ihr Spektrum an eingesetzten Me‐ thoden sein und desto besser können sie den Unterricht an die Bedürfnisse der LernerInnen anpassen bzw. diese berücksichtigen. Ergebnisqualität »Die Ergebnisqualität von Bildung ist wegen der Nichtfinalisierbarkeit nur im Rahmen pragmatischer Vereinfachungen festzustellen, die auf formal definierte Bildungsstufen und jeweils zu erreichende Kompetenzen fokussieren« (Pasternack 2009: 9) und zeigt im Wesentlichen das, was die Studierenden durch 4.1 Der Begriff »Qualität« 149 die einzelnen Maßnahmen im Unterricht gelernt haben, sprich die Kompe‐ tenzen, über die sie am Ende eines Kurses verfügen. Wurden die jeweiligen Kompetenzen zu Beginn des Kurses gemessen, kann man sie mit den gegen‐ wärtigen vergleichen und auf den Lernerfolg bzw. die Progression schließen. Mit Hilfe der Lehrveranstaltungsevaluation kann jedoch, wie bereits ausgeführt, keine objektive Messung dieser Qualitätsdimension durchgeführt werden, sehr wohl kann aber das subjektive Empfinden der Studierenden hinsichtlich ihres Lernerfolgs gemessen werden, was zur Qualität zweiten Grades zählt und einen wesentlichen Aspekt der Gesamtqualität darstellt. 4.1.2.3.2 Fazit und Umsetzung durch die KDE Aus Sicht der Lehrveranstaltungsevaluation kann bei der Strukturqualität auf einiges hingewiesen werden (siehe Abschnitt 4.1.2.3.1), aber oftmals zeigt sich, dass strukturelle Veränderungen im Rahmen des universitären Fremdsprachen‐ unterrichts vor allem von Seiten der Lehrenden nur schwer durchzuführen sind, weil sie auf viele Rahmenbedingungen keinen direkten Einfluss haben. Diese Tatsache muss im realen Unterrichtsgeschehen von Lehrenden und Studier‐ enden in vielen Fällen als gegeben hingenommen werden, auch wenn bekannt ist, dass z. B. zu große Gruppen in kleinen und suboptimal ausgestatteten Räumen das Lerngeschehen u. U. negativ beeinflussen. Sehr oft werden die Räume nach Verfügung zugeteilt und die Ausstattung hängt zumeist mit der budgetären Situation der Universität zusammen, ebenso wie die Gruppengröße. Die Lehrenden sind sich dieser Tatsache in der Regel bewusst, haben aber viel‐ fach nur begrenzten Einfluss darauf, weswegen Aspekte dieser Dimension in der KDE zwar evaluiert werden, die einzelnen Items jedoch nicht in so großer Zahl vorhanden sind, wie beispielsweise bei jenen, die die Prozessqualität er‐ mitteln. Die einzelnen Prozesse, die im Unterrichtsgeschehen ablaufen, sind von größter Wichtigkeit und haben einen enormen Einfluss auf das Lernen. Aus diesem Grund sollen die Lernprozesse auch während des gesamten Kursge‐ schehens beobachtet und evaluiert werden, was mit der Begleitenden Evaluation erfolgt, die einen zentralen Faktor der KDE darstellt. Die subjektive Beurteilung der Produktbzw. Ergebnisqualität wird in der KDE durch die Endevaluation Studierende gemessen, wie dies bereits im vorhe‐ rigen Abschnitt verdeutlicht wurde. Die objektive Überprüfung der Kompe‐ tenzen wird, wie ebenfalls bereits angeführt, durch Tests, Prüfungen etc. er‐ folgen und ist nicht Teil der KDE . Die in diesem Abschnitt neu hinzugekommene Dimension der Orientie‐ rungsqualität stellt einen ganz besonders wichtigen Faktor bei der Optimierung 4 Qualität und QM im universitären Fremdsprachenunterricht 150 der Unterrichtsqualität dar, da es sich hierbei um die Optimierung eines von zwei Hauptfaktoren des Unterrichtsgeschehens handelt: der Lehrperson. Die sogenannte Optimierung der Lehrenden geht einher mit der Optimierung ihrer pädagogischen und sozialen Qualität, ihrer Lehrqualität. Diese wird auch maß‐ geblich von ihren Vorstellungen, Werten und Normen beeinflusst und wird sich verändern, wenn sich z. B. ihre Denkweise ändert. Ein zentraler Ausgangspunkt hierfür ist Selbstreflexion, welcher in der KDE nicht nur auf LernerInnenseite, sondern auch auf Lehrendenseite viel Platz eingeräumt und welche als konti‐ nuierlicher Prozess gesehen wird. Zudem wird sie auch von der Ausbildung und der Berufserfahrung der Lehrenden beeinflusst. Evaluation mit der KDE soll auch diese Aspekte abdecken und versteht Evaluation mit einhergehender Re‐ flexion als einen Teil der Lehrendenfortbildung, wie in Kapitel 6 verdeutlicht wird. Strukturqualität Prozessqualität Orientierungsqualität Produktqualität Ergebnisqualität Vorevaluation, Begleitende Evalua‐ tion, Endevaluation Begleitende Evalua‐ tion Vorevaluation, Begleitende Evalua‐ tion, Endevaluation Kompetenznach‐ weis (nicht Gegen‐ stand der KDE), Endevaluation Tab. 9: Struktur-, Prozess-, Orientierungs-, Produkt / Ergebnisqualität in der KDE Wie oben Angeführtes im Detail mit der KDE umgesetzt wird, zeigt sich in Kapitel 6. 4.2 Qualität im Fremdsprachenunterricht Die bisherigen Ausführungen verdeutlichen zum einen die Komplexität des Qualitätsbegriffes im Allgemeinen und auch im speziellen Kontext des Unter‐ richts und zeigen zum anderen, dass es die Unterrichtsqualität per se nicht gibt. Vielmehr handelt es sich bei diesem Phänomen um ein vielschichtiges Kon‐ strukt, welches aus unterschiedlichen Qualitätsdimensionen besteht, die mitei‐ nander in Interaktion stehen. Will man demnach die Unterrichtsqualität opti‐ mieren, kann dies nicht global, sondern nur über die Optimierung einzelner Teilqualitäten erfolgen, die wiederum in ihrer optimierten Form zu einer Ver‐ besserung der Gesamtqualität beitragen. Die bisherigen Ausführungen zeigen auch, dass Evaluationen, die im Rahmen von Lehrveranstaltungen durchgeführt werden, wirkungsvolle Hilfsmittel bei 4.2 Qualität im Fremdsprachenunterricht 151 der Optimierung einzelner Dimensionen sein können, sie zeigen jedoch auch Grenzen auf, vor allem, wenn man sich einzig auf die aktuell eingesetzten Me‐ thoden stützt. In der Literatur wird häufig von Qualitätsverbesserung durch Lehrveranstaltungsevaluation gesprochen, was als nicht sehr präzise angesehen werden kann. Dies ist zum einen der Fall, weil - wie in Kapitel 3 bereits ver‐ deutlicht wurde - die Evaluation per se noch keine Qualitätsverbesserung nach sich zieht, und zum anderen, weil aus den bisherigen Erläuterungen sichtbar wird, dass nur einzelne Aspekte von Qualität mit dieser Methode optimiert werden können. So zeichnet sich Unterrichtsqualität vereinfacht ausgedrückt dadurch aus, dass verschiedenste Erwartungen bzw. (Qualitäts-)Standards er‐ füllt werden, die einerseits subjektiv feststellbar sind und sich andererseits darin zeigen, dass sich diese in Kompetenzen widerspiegeln, die durch Tests objektiv überprüft werden können. Die Erwartungen in Hinblick auf Qualität sind unterschiedlich und müssen auch von unterschiedlichen Blickwinkeln aus betrachtet werden, je nachdem, ob es sich um Lehrende handelt, um Studierende oder um potentielle Arbeitge‐ berInnen, die die Studierenden z. B. nach Absolvieren eines Studiums oder einer Sprachausbildung aufgrund ihrer dort erworbenen sprachlichen Kompetenzen einstellen. Diese Überlegungen führen dazu, dass guter Fremdsprachenunterricht, also Unterricht, der Qualität hat, mehreren Ebenen gerecht werden muss: Zum einen haben die Studierenden gewisse Wünsche und Ziele, die sie mit dem Besuch eines Kurses verfolgen (sogenannte interne KundInnenerwartungen - siehe unten), zum anderen wurden bestimmte Ziele bereits durch die Universität bzw. Institutsleitung - in der Regel in Anlehnung an den GERS - gesteckt. An diesen Standards können sich auch externe KundInnen (potentielle ArbeitgeberInnen der Studierenden / AbsolventInnen) orientieren. Die Lehrenden befinden sich in einer MittlerInnen- und ManagerInnenposition, denn sie müssen die oftmals stark differierenden Vorstellungen soweit miteinander verknüpfen können, dass nicht nur die individuellen Erwartungen erfüllt werden (sekundäre Qualität), sondern auch, dass die Studierenden am Ende eines Kurses über die nötigen - und durch Prüfungen feststellbaren - Kompetenzen verfügen, also objektiven Qualitätskriterien gerecht werden (primäre Qualität). Qualität im Kontext des universitären Fremdsprachenunterrichts sollte dem‐ nach, unter Berücksichtigung der oben angeführten Dimensionen, aus zumin‐ dest drei unterschiedlichen Perspektiven betrachtet werden: (1) aus Sicht der Studierenden, (2) aus Sicht der Lehrenden und (3) aus externer Sicht. Während die ersten beiden direkt mit dem Unterrichtsgeschehen verwoben sind, trifft dies auf letztere in der Regel nicht zu. Will man jedoch von einem qualitativ hoch‐ 4 Qualität und QM im universitären Fremdsprachenunterricht 152 wertigen Unterricht sprechen, müssen diese Perspektiven zusammenfließen und sämtliche Erwartungen der jeweiligen Interessensgruppen erfüllt werden, eine Forderung, der in der Praxis kaum ein Unterrichtszenario gerecht werden kann. Abb. 8: Qualität des Fremdsprachenunterrichts Daraus resultiert, dass die Qualität des Unterrichts aufgrund ihres Umfangs nur mithilfe eines Qualitätsmanagementsystems optimiert werden kann, welches sämtliche Ebenen und Dimensionen berücksichtigt. Für den Kontext dieser Ar‐ beit beschränkt man sich dabei auf jene Bereiche, die sich im direkten Einfluss‐ bereich von Lehrenden und Studierenden befinden und durch unterschiedliche Evaluationen in Zusammenhang mit einer konkreten Lehrveranstaltung stehen. Hauptaugenmerk bei der Optimierung wird daher auf das Unterrichtsgeschehen gelegt. Aus dem bisher Gesagten wäre somit folgendes unter gutem Unterricht zu verstehen: Guter universitärer Fremdsprachenunterricht (Unterrichtsqualität) basiert auf sorgfältiger Planung (Planungsqualität) und ist das gelungene Zu‐ sammenspiel von erfolgreichem Lehren und Lernen (Prozessqualität). Er findet in einem optimalen (universitären) Rahmen (Strukturqualität) statt, wird von unterschiedlichsten Faktoren determiniert bzw. positiv beeinflusst (Orientie‐ 4.2 Qualität im Fremdsprachenunterricht 153 9 Lehr- und Lernziele rungsqualität) und führt über die Zufriedenheit der LernerInnen (Qualität zweiten Grades) hinaus zum erfolgreichen Erreichen der gesetzten Unterrichts‐ ziele 9 (Ergebnisbzw. Produktqualität), welches durch das Vorhandensein kon‐ kreter, standardisierter und überprüfbarer und davor nicht bzw. in geringerem Ausmaß vorhandener (vor allem fremdsprachlicher) Kompetenzen nachweisbar ist (Qualität ersten Grades). Diese Definition verdeutlicht auch, dass guter Unterricht nicht nur aus‐ schließlich von gutem Lehren oder von gutem Lernen abhängt, sondern die er‐ folgreiche Kombination aus beidem darstellt. Lehrpersonen und LernerInnen sind gemeinsam daran beteiligt und für den Erfolg verantwortlich, wie dies z. B. auch in den ESG gefordert wird. Hierfür ist der dialogische Austausch zwischen den beiden AktantInnen von großer Wichtigkeit. Dieser Austausch manifestiert sich über die Kontaktqualität. Der Lehrbzw. Lernerfolg wird zudem noch von anderen Faktoren beeinflusst und zeigt sich am Ende des Kurses durch das Vor‐ handensein der oben erwähnten - im Rahmen des Unterrichts erworbenen bzw. ausgebauten - Kompetenzen. Im Jargon des Qualitätsmanagements bedeutet dies: Unterrichtsqualität wird durch unterschiedliche Teilqualitäten (u. a. Struktur-, Planungs-, Orientierungs-, Kontaktqualität) beeinflusst, ergibt sich aus unterschiedlichen Prozessqualitäten und zeigt sich in Form von Ergebnisbzw. Produktqualität, welche das Erfüllen objektiver Qualitätsforderungen und subjektiver Qualitätsvorstellungen bedeutet. Mit Hilfe von Evaluation können demnach zwar zu jeder der genannten Qua‐ litätsdimension Informationen generiert werden, die zu deren Optimierung bei‐ tragen, jedoch hat man als Lehrperson nicht immer die Möglichkeit, alle diese Dimensionen zu verbessern, daher wird in diesem Buch auch nur auf jene ein‐ gegangen, die von Seiten der Lehrenden optimiert werden können. Die Bereiche, auf welche man als Lehrperson besonders gut einwirken kann, sind u. a. (1) Qualität zweiten Grades (durch Erfragen der Bedürfnisse der LernerInnen), (2) Prozessqualität (durch Optimieren der einzelnen Prozesse im Unterricht), (3) Orientierungsqualität (durch verstärkte Selbstreflexion) und (4) Planungs‐ qualität (durch Berücksichtigen der gewonnenen Informationen und deren planmäßige Umsetzung). In allen vier Punkten stellt Evaluation ein zentrales Mittel zur Gewinnung der für die Optimierung benötigten Informationen dar. Da Evaluation, wie bereits mehrfach angeführt, eine Methode der Informa‐ tionsgewinnung und Bewertung darstellt, jedoch nicht mehr Teil des eigentli‐ chen Qualitätsverbesserungsprozesses ist, muss Evaluation in ein System bzw. Programm eingebettet sein, welches den Rahmen für Optimierungen bietet. Ein 4 Qualität und QM im universitären Fremdsprachenunterricht 154 umfassendes Konzept der Qualitätssicherung und Qualitätsoptimierung stellt Total Quality Management ( TQM ) dar. 4.3 TQM im Fremdsprachenunterricht Ähnlich wie beim Qualitätsbegriff selbst erweist sich auch eine exakte Defini‐ tion von TQM als schwierig, nicht zuletzt weil, wie Zollondz (2011: 237) feststellt, viele AutorInnen »eine völlig andere Auffassung von diesem Begriff« haben und man, wenn man unterschiedliche Fachbücher hierzu konsultiert, folgendes er‐ kennen kann: »Der Begriff wird nach Gutdünken verwendet« (ibid.). Was allen Definitionen jedoch gemein scheint, ist, dass es sich bei TQM um eine »umfas‐ sende Managementkonzeption« handelt, bei welcher »Qualität ins Zentrum des Denkens und Handelns aller Mitarbeiter gestellt wird« (ibid.). Dies ist insofern relevant als, wie auch von der Handt (2007: 390) feststellt, »der Kunde«, also der / die LernerIn, »großen Anteil am Gelingen des Lernprozesses« hat und daher auch als MitarbeiterIn für dessen Optimierung betrachtet werden muss. Will man die Qualität umfassend verbessern, kann dies nur durch das Mitein‐ beziehen aller MitarbeiterInnen - Lehrpersonen und Studierende - geschehen, weswegen sich der Ansatz von TQM im universitären Fremdsprachenunterricht als besonders vielversprechend zeigt. Bevor dies für den Kontext dieses Buches expliziert wird, sei kurz ausgeführt, was TQM eigentlich bedeutet. 4.3.1 Bedeutung von TQM 4.3.1.1 »T« für »Total« T steht für Total und bedeutet, dass alle MitarbeiterInnen und KundInnen eines Unternehmens in dieses Bestreben nach Qualitätssicherung und Qualitätsver‐ besserung miteinbezogen werden. Im universitären Fremdsprachenunterricht sind dies primär die Studierenden und die Lehrenden. Wird zusätzlich zur in‐ ternen Evaluation eine Form der externen Evaluation eingesetzt, können auch externe BegutachterInnen und KollegInnen, die z. B. eine Peer-Evaluation durchführen, hinzugezählt werden bzw. die Institutsleitung, die einen Großteil der Umsetzungen von Managementebene aus leitet. 4.3.1.2 »Q« für »Qualität« Q steht für Qualität und meint damit sämtliche oben angeführten Aspekte und Dimensionen dieses Begriffes. TQM geht dabei im Wesentlichen davon aus, dass die Produktqualität das Ergebnis der Prozessqualität(en) ist. Dass dies im Un‐ 4.3 TQM im Fremdsprachenunterricht 155 terrichtsgeschehen nicht zu hundert Prozent umgesetzt werden kann, wurde oben bereits ausgeführt, jedoch kommt den Prozessen, die im Unterrichtsge‐ schehen ablaufen, eine zentrale Rolle zu, weswegen ein wichtiger Teil des in diesem Buch vorgestellten Evaluationsprogramms auf die Optimierung der ein‐ zelnen Prozesse im Unterricht abzielt. 4.3.1.3 »M« für »Management« M steht für Management und meint sämtliche (vor allem koordinierende) Maß‐ nahmen, die letztendlich die Qualität sichern bzw. optimieren. Im universitären Kontext hat diese Funktion prinzipiell die Institutsleitung inne, wenngleich im Lehr-/ Lernprozess die Lehrenden eine wesentliche Managementfunktion aus‐ üben, da sie in diesem Kontext sämtliche Entscheidungen treffen, die zu einer Optimierung desselben beitragen. Zudem haben auch die Studierenden eine Managementfunktion, weil sie für ihren eigenen Lernprozess verantwortlich sind, sich selbst beim Lernen managen. 4.3.2 Universität und TQM TQM ist ursprünglich ein System, welches in der Wirtschaft entwickelt wurde und daher primär darauf abzielt, gewinnorientierte Unternehmen bei der Qua‐ litätsoptimierung zu unterstützen. Es intendiert nicht nur, Prozesse, Dienstleis‐ tungen und Produkte zu verbessern, sondern vor allem auch KundInnen zufrie‐ denzustellen und herauszufinden, wie man in kürzerer Zeit qualitativ hochwertige Produkte zu einem möglichst günstigen Preis erzeugen kann. Dies steigert den Gewinn des Unternehmens. Die Universität unterscheidet sich jedoch in vielerlei Hinsicht von diesem Zugang und ist nicht gewinnorientiert, sondern primär darauf fokussiert, Wis‐ senschaft und Lehre zu fördern. Ihre »Dienstleistung« ist, wie Schöch (2005: 160) anführt, von »spezieller Art«. Es handelt sich um eine Beziehungsdienstleistung, aufbauend auf Herrmannstorfer (1999), die nach Schöch wie folgt auf den uni‐ versitären Kontext anwendbar ist (vgl. Schöch 2005: 161f): 1. Im Mittelpunkt stehen selbstäußerungsfähige Menschen und kein totes Material. 2. Zwischen die Lehrenden und Studierenden tritt kein Produkt. Die Hand‐ lungen der Lehrenden vollziehen sich unmittelbar an oder mit den Stu‐ dierenden. 3. Die Befindlichkeit der Betreuten ist wesentlich dafür, was in einer Situa‐ tion geschehen kann und welche Wirkungen erzielt werden. 4 Qualität und QM im universitären Fremdsprachenunterricht 156 4. In Beziehungsdienstleistungen geht es darum, wie die Individualisierung von der Gemeinschaft aus ermöglicht und gefördert werden kann. 5. Technik ist nicht der Kern der Beziehung, kann diesen aber unterstützen. Wird Zeit in der Beziehungsdienstleistung gespart, sollte sie der Indivi‐ dualisierung dienen; es soll also nicht am Menschen, sondern für den Menschen gespart werden. 6. Der Verlauf von Beziehungsdienstleistungen ist schwer vorherbes‐ timmbar, da sie interaktiv sind. Das Ergebnis wird durch den Handlungs‐ verlauf (mit)bestimmt. 7. Beziehungsdienstleistungen sind ergebnisoffene Prozesse, deren Wir‐ kungen abgewartet werden müssen. Ein Soll-Ist-Vergleich eignet sich kaum für die Qualitätsbestimmung. 8. Zentral ist die unverwechselbare Individualität der beteiligten Menschen. 9. Beziehungsdienstleistungen sollen weitgehend individualisiert werden. Dies erfolgt durch Handlungsfreiheit qualifizierter MitarbeiterInnen. Standards werden oft unabhängig von der realen Situation festgelegt und verfehlen das Ziel der Individualisierung. Meiner Lehrerfahrung nach treffen diese Punkte weitgehend auch auf den Kon‐ text des universitären Fremdsprachenunterrichts zu, sind jedoch nicht ausrei‐ chend, denn hier müssen, wie bereits erwähnt, neben den subjektiven Qualitäts‐ kriterien auch sogenannte objektive Standards erfüllt werden. Studierende besuchen Fremdsprachenkurse mit der Intention, nach deren positiver Absol‐ vierung über bestimmte fremdsprachliche Kompetenzen zu verfügen, und auch potentielle ArbeitgeberInnen dieser Studierenden müssen darauf vertrauen können, dass, wenn die LernerInnen ein Zertifikat über eine bestimmte Niveau‐ stufe - z. B. B2 - haben, sie auch über die sprachlichen Kompetenzen, die mit diesem Niveau einhergehen, verfügen. Es wird demnach auch ein gewisses Pro‐ dukt - fremdsprachliche Kompetenz - angestrebt, welches sich jedoch von her‐ kömmlichen Produkten aus der Wirtschaft unterscheidet. Zum einen dadurch, dass es wieder verloren gehen kann, wenn es nicht gepflegt, sprich die Sprache nicht verwendet wird, und zum anderen, dass dieses nicht - wie üblich - aus‐ schließlich vom Hersteller / von einer Herstellerin erzeugt und vom Kunden / von der Kundin genutzt wird. Vielmehr sind die KundInnen maßgeb‐ lich am Produktionsprozess beteiligt. 4.3 TQM im Fremdsprachenunterricht 157 4.3.3 Elemente des TQM Die drei wesentlichen Elemente des Total Quality Management sind: 1. KundInnenorientierung, 2. MitarbeiterInnenorientierung, 3. Prozessorientierung. 4.3.3.1 KundInnenorientierung Wie Rothlauf (vgl. 2010: 70) ausführt, werden die KundInnen in der Wirtschaft als der Schlüssel zum Erfolg eines Unternehmens angesehen und die Kernauf‐ gabe des TQM ist die absolute KundInnenorientierung. Das bedeutet, dass alle Prozesse auf die KundInnen ausgerichtet werden und primäres Ziel deren Zu‐ friedenheit und Loyalität ist. Voraussetzung hierfür ist, die Anforderungen und Erwartungen der KundInnen zu kennen und zu wissen, inwieweit die Bemü‐ hungen bereits ausreichen, um diese Anforderungen zu erfüllen bzw. zu er‐ gänzen, was noch gemacht werden muss, um eventuelle Defizite auszugleichen. 4.3.3.1.1 KundInnenorientierung im Unterricht Wie oben bereits erwähnt, verfolgt die Hochschule andere Intentionen als ein Wirtschaftsunternehmen und demgemäß ist auch die Auffassung von KundIn‐ nenorientierung in diesem Kontext anders zu verstehen. Schöch (vgl. 2005: 154ff) expliziert, dass die Hochschule eine Reihe von KundInnen hat, wie z. B. Mitar‐ beiterInnen, Studierende, Eltern von Studierenden, PolitikerInnen, die Gesell‐ schaft etc. und dass diese teils widersprüchliche Bedürfnisse haben. Sie teilt die KundInnen der Hochschule in externe und interne KundInnen ein, wobei erstere zwar ein Interesse an der Leistung haben, jedoch nicht der leistungsbringenden Organisation angehören, während interne KundInnen als MitarbeiterInnen der leistenden Organisation zu verstehen sind. 4 Qualität und QM im universitären Fremdsprachenunterricht 158 Abb. 9: KundInnen einer Universität (vgl. Schöch 2005) Studierende sind üblicherweise keine KäuferInnen, jedoch EmpfängerInnen einer universitären Leistung, die, wie Schöch (ibid.) festhält, zumindest in der Lehre durch die Interaktion zwischen den Menschen gekennzeichnet ist. Inter‐ aktion basiert auf Kommunikation, daher spielt diese auch bei der Leistungs‐ optimierung eine wichtige Rolle, wie in Folge noch ausgeführt wird. Seit der Auslagerung vieler Fremdsprachenkurse auf universitäre Sprachen‐ zentren müssen Studierende oftmals jedoch für die jeweiligen Kurse bezahlen. Manchmal bekommen sie die entrichtete Gebühr retourniert, üblicherweise aber nicht. Zudem gibt es an vielen Universitäten auch Studiengebühren, weswegen Studierende in gewisser Weise auch zahlende KundInnen sind. Sie nehmen daher in jeglicher Hinsicht eine spezielle Rolle ein, weil sie zum einen interne, also am Gelingen der einzelnen Prozesse Beteiligte sind, aber auch externe (zah‐ lende) KundInnen sein können, wie in der folgenden Tabelle dargestellt: 4.3 TQM im Fremdsprachenunterricht 159 Studierende als interne, un‐ mittelbare KundInnen Studierende als externe, mittelbare KundInnen Beteiligung an der Er‐ bringung der Dienstleis‐ tung Sind direkt im Lehrbzw. Lernprozess involviert und beteiligt. Sind durch ihre Anforde‐ rungen bzw. Erwartungen indirekt beteiligt. Rolle der StudentInnen Interne KundInnen-Liefer‐ antInnen-Beziehung: EmpfängerInnen und Lie‐ ferantInnen einer Leis‐ tung; MitarbeiterInnen KäuferInnen einer Leis‐ tung; keine Mitarbeiter‐ Innen Anforderung an die Leistung Wechselspiel zwischen DozentIn und Studier‐ enden von Studierenden vorge‐ geben Qualität der Leistung Stark von Studierenden ge‐ prägt durch Interesse, En‐ gagement. Kaum / Keine Einfluss‐ nahme durch Studierende Vertragsverhältnis Ausbildungsvertrag liegt vor, wobei bei fehlerhafter Leistung (Ausbildungspro‐ gramm) keine Rückgabe möglich ist. Kaufvertrag od. ähnliches liegt vor, wobei Rückgabe bei »fehlerhafter« Leis‐ tung möglich ist. Tab. 10: Studierende als interne und externe KundInnen (vgl. Schöch 2005: 160) Der Unterschied zwischen internen und externen KundInnen liegt, wie Schöch (vgl. 2005: 159) festhält, in der Identifikation mit der Organisation und der Mo‐ tivation der KundInnen. Für den Sprachlernprozess bedeutet dies, dass die Stu‐ dierenden im Unterrichtsgeschehen interne KundInnen sind und außerhalb davon (z. B. in der Kantine, Bibliothek etc.) externe. In beiden Fällen sind ihre Bedürfnisse gemäß des TQM im Hinblick auf Qualität zu berücksichtigen. 4.3.3.1.2 KundInnenzufriedenheit im Unterricht Ähnlich der KundInnenorientierung im TQM wurden im Unterricht vor allem durch die Kommunikative Wende in den 1970er Jahren, durch die Learner Auto‐ nomy seit den 1980er Jahren und dem shift from teaching to learning vor allem seit dem Bologna-Prozess (Ende 1990er Jahre) die LernerInnen ins Zentrum des Geschehens gerückt. Man spricht in diesem Zusammenhang auch von Teilneh‐ merInnenorientierung, TeilnehmerInnenzentriertheit bzw. von Output-Orientie‐ rung und Outcomes. Obwohl, wie oben bereits kurz angeführt, an immer mehr Universitäten und Fachhochschulen die Studierenden als KundInnen betrachtet werden, darf man nicht vergessen, dass im Kontext der universitären Ausbil‐ 4 Qualität und QM im universitären Fremdsprachenunterricht 160 dung primäres Ziel nicht ist, sich ausschließlich um KundInnenzufriedenheit zu bemühen, sondern allem voran für eine gute und fundierte Ausbildung zu sorgen, die den Studierenden dabei behilflich ist, Kompetenzen und Wissen zu entwickeln, die für die jeweiligen Berufsfelder, vor allem auch im wissenschaft‐ lichen Bereich nötig sind und die den internationalen Kriterien und Standards entsprechen. Zudem sollen sie auch Strategien entwickeln, wie sie lebenslang und autonom lernen können. Natürlich ist auch wichtig, dass die Studierenden mit ihrer Ausbildung und den Rahmenbedingungen (weitgehend) zufrieden sind, denn eine gewisse Zu‐ friedenheit und Begeisterung an der Tätigkeit sind nötig, damit aus Studier‐ enden à la longue AbsolventInnen und potentielle WissenschaftlerInnen werden. Es wird jedoch an dieser Stelle erneut darauf hingewiesen, dass der Unterricht, wie es von der Handt (vgl. 2007: 390) ausdrückt, eine Interaktion zwischen Lehrenden und Studierenden ist, und man dies nicht mit einem Pro‐ duktionsprozess oder einer einfachen Dienstleistung vergleichen darf, weil der Anbieter / die Anbieterin nicht die alleinige Verantwortung für das Gelingen trägt; der Kunde / die Kundin hat einen großen, wahrscheinlich sogar den größten Anteil am Gelingen des Lernprozesses (vgl. ibid.). Dies ist eine ganz wesentliche Erkenntnis und darf in dem vielfach betrie‐ benen Evaluationswahn auch nicht vergessen werden. Ebenso wie die Tatsache, dass Lernen nicht immer nur Spaß macht. Jeder / Jede, der / die schon einmal eine Sprache gelernt hat, weiß, dass das Erlernen oder Studieren derselben viele As‐ pekte beinhalten kann, die einem potentiell keine Freude bereiten, egal, wie dies von der Lehrperson aufbereitet wird - und dennoch sind diese Aspekte nötig, um die Sprache zu beherrschen. Nur weil bestimmte Phasen des Unterrichts einzelnen Studierenden u. U. keine Freude bereiten, bedeutet das jedoch nicht, dass die darin vermittelten Themen im Sinne der Qualität ersten Grades nicht gemeistert werden müssten und schon gar nicht, dass die Qualität des Unter‐ richts dadurch schlecht ist. Ganz im Gegenteil: Es kann in manchen Fällen sogar als Qualitätskriterium angesehen werden, denn es weist darauf hin, dass auch schwierigere und von manchen vielleicht als weniger interessant empfundene, aber dennoch essentielle Inhalte bearbeitet werden. Unterricht kann auch nicht immer interessant sein, wenngleich dies auf manchen Evaluationsbögen dem Anschein nach so gefordert wird. Meiner Ansicht nach würde es sogar der Qualität des Unterrichts und auch dem Berufsbild der Lehrenden schaden, wenn diese - aus Angst vor schlechten Evaluationen - nur mehr dahingehend unterrichten würden, Gefallen bei den LernerInnen zu bewirken, um in Folge gute Evaluationen zu bekommen. Kund‐ Innenerwartungen im Unterricht zu erfüllen ist wichtig, aber nicht alleiniges 4.3 TQM im Fremdsprachenunterricht 161 Qualitätskriterium. In dieser Hinsicht ist auch an Universitäten Kritik zu üben, für die die Lehrveranstaltungsevaluationen der Studierenden ein zu großes Ge‐ wicht bei Vertragsverlängerungen von Lehrenden spielen. Aufgabe der Univer‐ sität ist nicht zu gefallen, sondern zu bilden. 4.3.3.1.3 Erfüllung interner KundInnenanforderungen Schöch (vgl. 2005: 170) gibt im Hinblick auf die Lehre folgende drei Indikatoren für die Erfüllung der internen KundInnenanforderungen an: 1. Praxisrelevanz des Studiums, 2. Erfüllung der Erwartungen der Studierenden, 3. Zufriedenheit mit dem Studium insgesamt. Während es für die Punkte eins und drei kaum Erklärungsbedarf gibt, ist es wichtig festzuhalten, dass die Studierenden unter Punkt zwei je nach Stu‐ dium / Kurs andere Erwartungen haben werden und dass es daher sinnvoll wäre, diese für den jeweiligen Kurs zu erfragen. Man kann bei den Wünschen zwar von einer gewissen Homogenität hinsichtlich eines bestimmten Kurses aus‐ gehen, jedoch werden auch noch einige individuelle Wünsche hinzukommen, die von Gruppe zu Gruppe unterschiedlich sein dürften. Evaluation müsste, wenn sie dazu beitragen soll, KundInnenzufriedenheit zu verbessern, im Kontext des universitären Fremdsprachenunterrichts demnach sowohl die Interessen der internen als auch die der externen KundInnen be‐ rücksichtigen. Dies sollte bereits von Beginn der Lehrveranstaltung an ge‐ schehen und könnte durch eine Eingangsbefragung der Studierenden im Hin‐ blick auf ihre Lernziele und eine gleichzeitige Analyse der Bedürfnisse der externen KundInnen vor dem Hintergrund von allgemein anerkannten Stan‐ dards erfolgen. 4 Qualität und QM im universitären Fremdsprachenunterricht 162 Abb. 10: Unterrichtsziele 4.3.3.2 MitarbeiterInnenorientierung MitarbeiterInnenorientierung ist, wie Rothlauf (2010: 71f) ausführt, ein weiterer zentraler Baustein des TQM -Konzepts und ist als eine Grundhaltung zu be‐ trachten, bei der intendiert wird, das Problemlösungsbzw. Kreativitätspotential jedes einzelnen Mitarbeiters / jeder einzelnen Mitarbeiterin zu aktivieren. Als die damit verbundenen Ziele führt er an: (1) Steigerung des Interesses der Mi‐ tarbeiterInnen an der Arbeit im Unternehmen, (2) Nutzung des Know-hows der MitarbeiterInnen zur ständigen Verbesserung aller Prozesse im Hinblick auf Qualität und Produktivität und (3) Erhöhung der Motivation der Mitarbeiter‐ Innen, aktiv an diesem Prozess teilzunehmen. 4.3.3.2.1 MitarbeiterInnenorientierung im Unterricht Schöch (vgl. 2005: 155) führt folgende Besonderheiten in Bezug auf die Mitar‐ beiterInnenorientierung im universitären Kontext an: 1. hohe Autonomie, 2. das Kapital der Organisation ist (durch die jahrelange Ausbildung) in den Köpfen der einzelnen MitarbeiterInnen, 4.3 TQM im Fremdsprachenunterricht 163 3. die Reputation der Einzelnen (disziplindefiniert) ist wichtig für die Ge‐ samtorganisation, 4. der akademische Bereich sieht die Verwaltung als permanente Quelle der Störung, 5. Leitungsdefizit, 6. professionelle Selbstkontrolle. Diese Punkte treffen aus Lehrendensicht auch auf universitäre Fremdsprachen‐ zentren zu. Im Unterricht zählen jedoch nicht nur die Lehrenden, sondern auch die Studierenden zu den MitarbeiterInnen - und will man alle an der Optimie‐ rung des Unterrichts beteiligen, wie es im TQM vorgesehen ist, so betrifft dies Lehrende und Studierende gleichsam. Es sei nochmals angeführt, dass dies in Verbindung mit Evaluation einerseits durch Selbstevaluation der Studierenden und Feedback ihrerseits an die Lehrenden geschehen und andererseits durch Selbstevaluation des eigenen Unterrichts von Lehrendenseite aus möglich ist. Zudem können die bereits angesprochenen Peer-Evaluationen durch Kolle‐ gInnen sehr wertvoll sein. Evaluation kann in all diesen genannten Fällen als Ausgangspunkt für Reflexion gesehen und in weiterer Folge für Optimierungs‐ schritte verwendet werden. Ist die jeweils eingesetzte Evaluation so ausgerichtet, dass sie als produktiver Ausgangspunkt für (Selbst-)Reflexion genutzt werden kann, wäre damit nicht nur eine Interessensteigerung möglich, sondern auch ein Lernprozess, der in weiterer Folge das Know-how aller Beteiligten erweitern würde. Ist die Verbes‐ serung zudem noch ersichtlich, kann damit auch eine Motivationssteigerung einhergehen. 4.3.3.3 Prozessorientierung Wie bereits oben angesprochen, stellt die Prozessorientierung den dritten Grundpfeiler im TQM dar. Zentrales Anliegen dabei ist die kontinuierliche Ver‐ besserung aller Prozesse, um damit ein optimiertes Produkt zu erhalten. Jede Aktivität wird dabei als Prozess aufgefasst und kann grundsätzlich verbessert werden (vgl. Rothlauf 2010: 74). 4.3.3.3.1 Prozessorientierung im Unterricht Primärer Fokus der Universität sind Wissenschaft und Lehre. Unter der Über‐ schrift Prozessorientierung fällt in das Hauptanliegen dieses Buches die Opti‐ mierung des Lehrbzw. Lernprozesses und sämtlicher dazu beitragender Un‐ terprozesse. Dies beginnt bereits vor dem eigentlichen Unterricht, wenn die Lehrenden den Lehrplan zusammenstellen, die Lehrziele definieren und sich für Unterrichtsmaterialien entscheiden, geht über die einzelnen Unterrichtsein‐ 4 Qualität und QM im universitären Fremdsprachenunterricht 164 heiten mit den jeweils verfolgten Zielen bis hin zur Notengebung am Ende des Kurses. Im Unterrichtsgeschehen läuft eine Menge an unterschiedlichsten Prozessen ab. Besonders wichtig im Zusammenhang mit Spracherwerb ist die Kommuni‐ kation - vor allem auch zwischen den AktantInnen, da Lehren und Lernen in einem gesteuerten Umfeld direkt damit zusammenhängen. Demnach muss Eva‐ luation, soll sie zur Qualitätsoptimierung beitragen, auch Informationen gene‐ rieren, die Defizite bei der Kommunikation aufzeigen. Dadurch können Lö‐ sungen gefunden werden, die die Kommunikation bzw. die Kommunikationsqualität im Unterricht verbessern. 4.4 Qualitätsverbesserung Die bisherigen Ausführungen zeigten, dass es unterschiedlichste Bereiche und Qualitätsdimensionen gibt, die im Rahmen des universitären Fremdsprachen‐ unterrichts optimiert werden können. Ziel dieses Beitrags ist die Verbesserung jener Prozesse, die im Unterrichtsgeschehen zwischen Lehrenden und Studier‐ enden ablaufen. Bevor dies im Detail dargestellt wird, soll kurz expliziert werden, was unter Qualitätsverbesserung bzw. Qualitätsoptimierung zu ver‐ stehen ist bzw. wodurch sich die beiden Begriffe voneinander unterscheiden. 4.4.1 Verbesserung vs. Optimierung Verbesserung definiert der Duden als Änderung, durch die etwas verbessert wurde und inkludiert dabei auch das Sichverbessern. Optimierung geht noch weiter und bezeichnet das Optimum, das Beste, das Hervorragendste, das unter gegebenen Voraussetzungen, im Hinblick auf ein Ziel höchste erreichbare Maß bzw. den höchsten erreichbaren Wert. Die beiden Termini werden hier weitge‐ hend synonym verwendet, weil das Bestreben jeder Verbesserung à la longue das Erreichen eines potentiell vorhandenen Optimums darstellt. Der Verbesserung von Prozessen, Produkten oder Leistungen liegt, wie be‐ reits erwähnt, üblicherweise ein Qualitätsmanagementkonzept zu Grunde. Ob‐ wohl es verschiedenste Konzepte und Ansätze der Qualitätsverbesserung gibt (siehe z. B. Masing / Pfeifer 2007), so kann man das ureigene Prinzip, welches diesen Konzepten zugrunde liegt, auf zwei Überlegungen zurückführen: Erstens, es gibt ein zu erreichendes (und zumindest theoretisch auch erreichbares) Op‐ timum, einen Soll-Wert. Diesem wird der aktuelle Ist-Wert gegenübergestellt, der in der Regel niedriger ist als das zu erreichende Optimum. Zweitens gibt es 4.4 Qualitätsverbesserung 165 Möglichkeiten, wie man dieses Optimum erreichen oder, wenn dies nicht mög‐ lich ist, wie man diesem möglichst nahekommen kann. In letzterem Fall spricht man auch von Approximation. Die DIN EN ISO 8402 definiert Verbesserung wie folgt: »Überall in der Orga‐ nisation ergriffene Maßnahmen zur Erhöhung der Effektivität und Effizienz von Tätigkeiten und Prozessen, um zusätzlichen Nutzen sowohl für die Organisation als auch für ihre Kunden zu erzielen«. Als Verbesserung des Fremdsprachen‐ unterrichts können somit alle Maßnahmen bezeichnet werden, die zur Erhö‐ hung der Effektivität und Effizienz des Unterrichts beitragen, so, dass sich dieser approximativ und sukzessiv an das Optimum annähert, bis er dem möglichst nahekommt oder dieses im besten Falle sogar erreicht. Unter Effektivität (Wirk‐ samkeit) wird gemäß DIN EN ISO 9000 das Ausmaß verstanden, in dem geplante Tätigkeiten verwirklicht und geplante Ergebnisse erreicht werden, während Effizienz das Verhältnis zwischen dem erreichten Ergebnis und den eingesetzten Ressourcen bezeichnet. Somit wird bei minimal möglichem Aufwand nach einer maximal möglichen Verbesserung gestrebt. In der DIN EN ISO 9000 wird unter Qualitätsverbesserung folgendes ver‐ standen: »Teil des Qualitätsmanagements, der auf die Erhöhung der Eignung zur Erfüllung der Qualitätsanforderungen gerichtet ist«. Dabei können Anfor‐ derungen »jeden beliebigen Aspekt betreffen, wie Wirksamkeit, Effizienz oder Rückverfolgbarkeit«. Direkt im Anschluss an die Definition der Qualitätsver‐ besserung findet man in besagter Norm die ständige Verbesserung, unter der man »wiederkehrende Tätigkeiten zur Erhöhung der Eignung, Anforderungen zu erfüllen« versteht. 4.4.2 Verbesserung im Unterricht Auf den Fremdsprachenunterricht umgemünzt bedeutet dies, dass man von einer Idealvorstellung ausgeht, von einem optimalen Unterricht, der ein Zu‐ sammenspiel darstellt aus einer fachlich, didaktisch und kommunikativ kom‐ petenten Lehrperson, die mit einer homogenen Gruppe an vorgebildeten, inte‐ ressierten, intelligenten, lernfähigen und lernwilligen, engagierten Studierenden unter günstigsten Rahmenbedingungen in Form von ausreichend Zeit, Platz, adäquater Anforderungshöhe und inhaltsangemessenen Veranstal‐ tungsformen zusammenarbeitet, wie dies Rindermann (vgl. 2009: 65) und Sturm (vgl. 1994) beschreiben. Dieses Unterrichtsszenario ist sozusagen optimal, kann nicht verbessert werden und bewirkt mit hoher Wahrscheinlichkeit einen Lernerfolg (vgl. 4 Qualität und QM im universitären Fremdsprachenunterricht 166 10 Zollondz (2001a: 403) weist darauf hin, dass die Historie von KAIZEN nicht in Japan begonnen hat, sondern in den USA. Es kann dennoch als japanisches Konzept aufgefasst werden, weil die Anfangskomponenten, die in den USA entstanden, erst in Japan zum Gesamtkonzept KAIZEN zusammengefügt wurden und durch deren sehr erfolgreichen Einsatz in der japanischen Autoindustrie wirklichen Bekanntheitsgrad erfuhren. Rindermann 2009: 65). In weiterer Folge ergibt sich daraus konsequenterweise, dass eine Verbesserung nur bei suboptimalem Unterricht möglich ist. Da die Voraussetzungen, die für einen optimalen Unterricht benötigt werden, falls es diesen in der Praxis überhaupt geben kann, in der Realität wahrscheinlich nie oder nur in äußerst seltenen Fällen zur Verfügung stehen werden, kann man davon ausgehen, dass grundsätzlich jeder Unterricht suboptimal und daher auch verbesserungsfähig ist. Diese Überlegung deckt sich mit der Philosophie von KAIZEN , einem japa‐ nischen 10 Qualitätsmanagementsystem, weswegen dieses als ein mögliches und wirkungsvolles Mittel zur Verbesserung des universitären Fremdsprachenun‐ terrichts betrachtet und im Kontext des vorliegenden Ansatzes auch sehr gut mit Evaluation in Verbindung gebracht werden kann. 4.5 KAIZEN KAIZEN ist ein besonders effektives Konzept zur Qualitätsverbesserung und wird im westlichen Qualitätsmanagement oftmals synonym mit KVP (Konti‐ nuierlicher Verbesserungsprozess) bzw. CIP (Continuous Improvement Process) verwendet. Wie Imai (vgl. 1992: 15) ausführt, besteht das Wort KAIZEN aus den beiden Silben KAI und ZEN , wobei KAI so viel bedeutet wie »Veränderung« und ZEN übersetzt werden kann mit »gut« bzw. »zum Besseren«. Somit heißt KAIZEN in seiner eigentlichen Bedeutung Verbesserung. Gemeint ist damit je‐ doch die »ständige Verbesserung unter Einbeziehung aller Mitarbeiter. […] KAIZEN ist jedermanns Angelegenheit«. Oft wird es auch mit »Ersatz des Guten durch das Bessere« übersetzt. Für Imai (ibid.) ist der wesentliche Unterschied zwischen dem japanischen KAIZEN und westlichen Konzepten »die damit ver‐ bundene prozessorientierte Art zu denken, gegenüber dem westlichen innova‐ tions- und ergebnisorientierten Denken«. 4.5 KAIZEN 167 4.5.1 Grundannahme und Zielsetzung 4.5.1.1 Grundannahme Die Grundannahme von KAIZEN ist, wie Zollondz (vgl. 2001a: 405) resümiert, dass zum gegenwärtigen Zeitpunkt eine betrachtete Tätigkeit nicht zufrieden‐ stellend, sondern sogar in ihrer schlechtesten Art und Weise durchgeführt wird. Erreichtes wird demnach immer in Frage gestellt und es herrscht nie ein Zustand der Selbstzufriedenheit. Diese Basisannahme wird auf die gesamte Organisation bezogen und dient als Ausgangspunkt für Verbesserungen, denn ohne das Fest‐ stellen des Vorhandenseins eines Suboptimums gibt es auch keinen Anlass, eine Verbesserung herbeiführen zu wollen. 4.5.1.2 Zielsetzung Imai (vgl. 1992: 38) präzisiert das Ziel von KAIZEN in wenigen Worten, indem er dies als »die kontinuierliche Verbesserung um der Verbesserung willen« be‐ zeichnet. Es geht somit nicht darum, primär nach außen zu gehen und aufzu‐ zeigen, was alles verbessert wurde bzw. welche gute Qualität ein Produkt hat oder welche gute Platzierung damit eventuell erreicht wurde, wie dies mit dem Einsatz vieler westlicher Qualitätsmanagementkonzepte intendiert wird (siehe Kapitel 2), sondern darum, sich auf die eigenen Tätigkeiten zu konzentrieren und sich darum zu bemühen, diese zu verbessern. Die Philosophie von KAIZEN vertritt die Ansicht, dass »Verbesserung um der Verbesserung willen der sich‐ erste Weg zur gesamten Wettbewerbsorientierung eines Unternehmens ist. Wenn man auf Qualität bedacht ist, stellen sich Gewinne von selbst ein« (ibid.: 74). Aus einer ökonomischen Sicht betrachtet, verfolgt KAIZEN ein Oberziel, die ständige Verbesserung von KundInnenzufriedenheit, KundInnenloyalität und KundInnenbindung und drei Unterziele, die Verbesserung der Qualität, die Sen‐ kung der Kosten und die damit verbundenen zeitlichen Einsparungen in Form von Schnelligkeit (vgl. Zollondz 2001a: 404f). 4 Qualität und QM im universitären Fremdsprachenunterricht 168 Abb. 11: Ziele, Grundannahmen und Axiome von KAIZEN (Zollondz 2001a: 405) 4.5 KAIZEN 169 4.5.2 Axiome Die vier Axiome (1) Problem-, (2) KundInnen-, (3) Prozess- und (4) Mitarbeiter‐ Innenorientierung stellen das Bindeglied zwischen Annahme und Zielen dar und sind in ständiger Interaktion zu sehen. Die hier dargestellten Ausführungen stammen von Zollondz (vgl. 2001a: 405f) und Imai (vgl. 1992) und werden auf den folgenden Seiten zusammenfassend wiedergegeben: 4.5.2.1 Problemorientierung Ausgangspunkt einer KAIZEN -Tätigkeit ist die Feststellung eines Problems, welches klar zu erkennen ist und gelöst werden kann. Damit dies erfolgt, muss das Problem quantifiziert werden. Dabei werden sämtliche auf das Problem be‐ zogene Daten bestimmt, analysiert und gewichtet. 4.5.2.2 KundInnenorientierung Bei KAIZEN ist die Forderung zentral, den Kunden / die Kundin zufrieden stellen zu wollen. Es müssen seine / ihre Anforderungen erfüllt und gleichzeitig die Qualität und die Produktionsplanung verbessert und die Kosten gesenkt werden. Alle Aktivitäten sollen in eine erhöhte KundInnenzufriedenheit münden. Dabei orientiert man sich am Kunden / an der Kundin in seiner / ihrer doppelten Bedeutung. Damit sind einerseits der externe Kunde / die externe Kundin und andererseits die interne KundInnen-Lieferanten-Beziehung ( KLB ) gemeint. Der Kunde / die Kundin gilt als zentraler Bezugspunkt und sämtliche Forderungen werden auf ihn / sie spezifiziert. Die Ausrichtung erfolgt bereits innerhalb des Prozesses und nicht erst am Prozessende. KundInnenorientierung kann als Komplement zur Prozessorientierung gesehen werden und vice versa. Durch das Prinzip der KundInnenorientierung wird der Prozess personifiziert. 4.5.2.3 Prozessorientierung Prozesse werden als Satz von in Wechselbeziehungen stehenden Mitteln und Tätigkeiten gesehen, die Eingaben in Ergebnisse umgestalten. Es handelt sich demnach um Transformationsaktivitäten mit Wertschöpfungsqualität. Das Pro‐ zess-Output lässt sich als verbessertes Ergebnis nur durch die Verbesserung der darauf bezogenen Prozesse realisieren. Das ständige Bemühen um Verbesserung in kleinsten Schritten bewirkt letztendlich einen Akkumulationsprozess, dessen Ergebnisse Schritt für Schritt sichtbar werden. 4.5.2.4 MitarbeiterInnenorientierung Im Zentrum des Prozessgeschehens stehen die MitarbeiterInnen, was auch ein Grundsatz des KAIZEN verdeutlicht: Im Mittelpunkt steht der Mensch. Mitar‐ 4 Qualität und QM im universitären Fremdsprachenunterricht 170 beiterInnenorientierung bedeutet daher, dass alle Aktivitäten der Organisation das Ziel verfolgen, die einzelnen MitarbeiterInnen miteinzubeziehen und zu fördern. Sie haben nicht nur einen bestimmten Platz in der Hierarchie, sondern sind auch stets von KAIZEN miteingeschlossen. Alle müssen sich selbst stets kritisch beobachten, über sich selbst systematisch nachdenken, um sich in wei‐ terer Folge selbst zu verändern und zu verbessern. Dieses Verbessern ist in erster Linie eine Denkhaltung, die zuerst geweckt und dann erhalten werden muss und Training erfordert. Wenn einzelne Prozesse nur formal verändert werden, stellt sich dadurch keine langfristige Verbesse‐ rung ein. Nur wenn alle MitarbeiterInnen ihre gesamten Kenntnisse und Fähig‐ keiten einbringen, kann KAIZEN erfolgreich sein. Aus diesem Grund müssen sie sich der Tatsache bewusst werden, dass sie befähigt und ermächtigt sind, Prozesse zu verändern. 4.5.3 KAIZEN und Verbesserung Imai (vgl. 1992) expliziert, dass KAIZEN in Hinblick auf die Verbesserung eine Verbesserung des Status quo in kleinen Schritten bedeutet, als Ergebnis lauf‐ ender Bemühungen, die einen graduellen Erfolg verzeichnen. Im Gegensatz dazu steht Innovation, welche eine drastische Verbesserung als Ergebnis einer großen Investition in eine neue Technologie und / oder Ausstattung bedeutet, und wo das Ausmaß, in welchem der Erfolg einsetzt, nicht abschätzbar ist. Bei KAIZEN reicht meist der normale Hausverstand aus, wie er anführt, während bei Inno‐ vation für gewöhnlich komplexe Technologien nötig sind und die Verände‐ rungen mit enormen Investitionen verbunden sind. KAIZEN Innovation Effekt langfristig und andauernd, aber undramatisch kurzfristig aber drama‐ tisch Tempo kleine Schritte große Schritte Zeitlicher Rahmen kontinuierlich und stei‐ gend unterbrochen und befristet Erfolgschance gleichbleibend hoch abrupt und unbeständig ProtagonistInnen jeder / jede Firmenange‐ stellte wenige »Auserwählte« Vorgehensweise Kollektivgeist, Gruppenar‐ beit, Systematik »Ellbogenverfahren«, in‐ dividuelle Ideen und An‐ strengungen 4.5 KAIZEN 171 KAIZEN Innovation Devise Erhaltung und Verbesse‐ rung Abbruch und Neuaufbau Erfolgsrezept konventionelles Know-how und jeweiliger Stand der Technik technologische Errungen‐ schaften, neue Erfin‐ dungen, neue Theorien Praktische Vorausset‐ zungen kleines Investment, großer Einsatz zur Erhaltung großes Investment, ge‐ ringer Einsatz zur Erhal‐ tung Erfolgsorientierung Menschen Technik Bewertungskriterien Leistung und Verfahren für bessere Ergebnisse Profitresultate Vorteil hervorragend geeignet für eine langsam ansteigende Wirtschaft hauptsächlich geeignet für eine rasch ansteigende Wirtschaft Tab. 11: Merkmale von KAIZEN und Innovation (Imai 1992: 48) Innovation wird im KAIZEN nicht ausgeschlossen, jedoch liegt das Hauptau‐ genmerk auf langsamen, graduellen Verbesserungen, die nicht sofort ins Auge springen und deren Auswirkungen vielleicht erst über längere Zeiträume hinweg spürbar, dafür aber anhaltend sind. Verbesserungen werden per defini‐ tionem als gut verstanden. Das heißt, dass - egal wann und wo in einem Betrieb Verbesserungen erreicht werden - diese immer auch zu verbesserter Qualität führen. Qualität wird dabei nicht explizit definiert, sondern als etwas angesehen, das verbessert werden kann. Qualität wird auch nicht nur auf Produkte oder Dienstleistungen beschränkt, sondern beinhaltet alle Aspekte menschlichen Verhaltens. Der Beginn einer Verbesserung ist das Erkennen ihrer Notwendigkeit, was mit dem Erkennen eines Problems beginnt. Solange ein Problem nicht wahrge‐ nommen wird, ist auch die Notwendigkeit einer Verbesserung nicht gegeben. Aus diesem Grund legt KAIZEN sehr großen Wert auf Problembewusstsein und bietet auch die Techniken zum Erkennen von Problemen an. Im Anschluss an das Erkennen dieser müssen sie gelöst werden, weswegen KAIZEN als ein lö‐ sungsorientierter Ansatz verstanden werden kann. Zur Lösung des jeweiligen Problems stehen unterschiedliche Werkzeuge zur Verfügung und mit jedem ge‐ lösten Problem wächst die Verbesserung. Damit der erreichte Grad der Verbes‐ serung aufrechterhalten werden kann, wird die Verbesserung standardisiert. 4 Qualität und QM im universitären Fremdsprachenunterricht 172 11 PDCA steht für Plan-Do-Check-Act; wurde später von Deming in PDSA (Plan-Do-Study-Act) umbenannt. Auf Deutsch findet man auch PTCA für Planen, Tun, Checken und Aktion. Bei KAIZEN handelt es sich um eine »kommunikationsintensive Suche nach besseren Lösungen, ohne ein endgültiges Ziel zu erreichen. Jeder neue Standard wird seine eigenen Widersprüche, Probleme und Schwächen in sich bergen und so zum Ausgangspunkt weiterer Verbesserungen auf höherem Niveau werden«, wie Zollondz (2001b: 473) festhält. Für dieses kontinuierliche Suchen nach Prob‐ lemen und deren Lösung sind im KAIZEN unterschiedlichste Methoden in Ver‐ wendung. Eine, die sich auch für den universitären Fremdsprachenunterricht besonders eignet, ist das Deming-Rad. 4.5.3.1 Deming-Rad Das Deming-Rad, auch als Deming-Kreis oder PDCA 11 -Kreis bezeichnet, stellt eines der wichtigsten Instrumente zur ständigen Verbesserung dar und ist so‐ wohl auf Makroals auch auf Mikroebene anwendbar. Es beginnt mit dem De‐ tektieren eines Problems in einer aktuellen Situation, in welcher Daten (z. B. durch Evaluation) gesammelt und analysiert bzw. bewertet werden. In einem ersten Schritt wird dann ein Plan zur Verbesserung bzw. Lösung des Problems formuliert (Plan). Dieser Plan wird in einem zweiten Schritt umgesetzt (Do). Als dritter Schritt wird kontrolliert (Check), ob die intendierten Ergebnisse erwirkt wurden bzw. ob dadurch eine Verbesserung eingetreten ist. Hier ist ein weiterer Einsatzpunkt für Evaluation zu finden. Schritt vier, das Handeln (Act), sieht wie folgt aus: Kann man ein positives Ergebnis verzeichnen, entspricht der Solldem Ist-Wert, können die neuen Arbeitsmethoden standardisiert werden. Konnte man durch die Verbesserungen nicht das gewünschte Ergebnis erzielen, müssen die drei ersten Phasen erneut durchgeführt werden, solange, bis das gewünschte Ergebnis eintritt. 4.5 KAIZEN 173 Abb. 12: Deming-Rad im Setting des Total Quality Managements (Timischl 2007: 4) Dies ist ein stetiger Prozess der kontinuierlichen Verbesserung, weil das Rad immer weitergedreht wird und die einzelnen Schritte kontinuierlich wiederholt werden. Sobald ein Zustand verbessert wurde, wird er zum neuen Standard, der erneut auf Verbesserung wartet. Im Rahmen des Total Quality Managements bedeutet dies, dass alle Mitar‐ beiter das Deming-Rad eine schiefe Ebene hinaufrollen, die das zunehmende Qualitätsbewusstsein der KundInnen zum Ausdruck bringt. Bei unzureichender Qualitätssicherung rollt das Rad wieder zurück. Qualitätssicherung umfasst alle Maßnahmen zur Sicherung der Qualität, während Qualitätsmanagement die Qualitätspolitik festlegt und verwirklicht, wie Timischl (vgl. 2007: 4) ausführt. Im Detail würde ein typischer Problemlösungsweg im KAIZEN wie folgt aus‐ sehen: 4 Qualität und QM im universitären Fremdsprachenunterricht 174 Abb. 13: Problemlösungsmodell (Imai 1992: 104) 4.5.3.2 KAIZEN und Verbesserungsvorschläge Wie Imai (vgl. 1992: 37) expliziert, ist das sogenannte Vorschlagswesen in japa‐ nischen Managementsystemen integraler Bestandteil der Qualitätsoptimierung, und die Anzahl der von den MitarbeiterInnen eingereichten Verbesserungsvor‐ schläge ist ein wesentliches Kriterium für Verbesserungen. Dabei motiviert das Management die MitarbeiterInnen, möglichst viele Verbesserungsvorschläge abzugeben und deren Anstrengungen werden auch honoriert. Von Manage‐ mentseite aus ist man bemüht, möglichst viele dieser Optimierungsvorschläge umzusetzen und nicht selten werden sie sogar Teil der gesamten KAIZEN -Stra‐ tegie. In der Philosophie von KAIZEN spielen die MitarbeiterInnen also eine zent‐ rale Rolle bei der Steigerung von Standards. Nicht selten werden dabei in grö‐ ßeren Konzernen pro Jahr an die 1,5 Millionen Vorschläge eingereicht, von denen an die 95 % umgesetzt werden, wie Imai (vgl. 1992: 38) ausführt. Dies be‐ deutet, dass die Umsetzung von Verbesserungsvorschlägen auch bei einer so großen Anzahl an Vorschlägen durchaus erfolgen kann, wenn die Bereitschaft dazu gegeben ist. 4.5 KAIZEN 175 Wichtig in diesem Hinblick ist die Einstellung, dass das alleinige Bewusstsein bzw. Aufzeigen eines Problems noch nicht ausreicht, um es zu lösen, wie dies bei vielen Evaluationsmodellen zumindest unbewusst impliziert wird. Es bedarf einer Lösung des Problems, um die Verbesserung einer suboptimalen Situation zu erwirken. Lösungsvorschläge können dabei von allen Seiten kommen. Wichtig ist hier, die Kommunikation des Managements mit allen Beteiligten zu fördern, denn verbesserte Kommunikation bedeutet auch eine erhöhte Wahr‐ scheinlichkeit, Vorschläge zu erhalten. 4.5.3.3 KAIZEN und Standards Wie Imai (vgl. 1992: 102) erläutert, wird in der Philosophie von KAIZEN die Ansicht vertreten, dass es nur dort eine Verbesserung geben kann, wo es Stan‐ dards gibt. Das wiederum bedeutet, Ausgangspunkt jeder Verbesserung ist, genau zu wissen, wo man steht. Im Kontext des universitären Fremdsprachen‐ unterrichts trifft dies sowohl auf Lehrende als auch auf Studierende zu. Will man mit den jeweils getroffenen Maßnahmen Verbesserungen erzielen, muss man zuerst wissen, wo der Ausgangspunkt ist. Nach den erfolgten Maßnahmen bzw. Prozessen kann man dann feststellen, ob sich die jeweiligen Bestrebungen ge‐ lohnt haben. Das bedeutet, Standards sind nur dazu da, um von noch besseren abgelöst zu werden. Jeder Standard, jede Spezifizierung und jedes Messergebnis verlangt nach ständiger Überprüfung und Verbesserung (vgl. ibid.). Im Fremdsprachenunterricht bedeutet dies, wenn die Studierenden im Un‐ terricht etwas Neues lernen, folglich in der Fremdsprache besser werden, haben die Maßnahmen, die die Lehrperson eingesetzt hat, bei ihnen einen neuen Stan‐ dard hervorgerufen. Dieser gilt in der darauffolgenden Einheit als jener Stan‐ dard, den es zu verbessern gilt. In diesem Fall spricht man von Progression. Für die Lehrperson ist das ein Zeichen, dass die Standards weder zu hoch noch zu niedrig angesetzt werden dürfen. Denn sonst würden die Studierenden über- oder unterfordert werden, was sich negativ auf ihre Motivation auswirken könnte. Oftmals ist es jedoch aus Lehrendensicht schwer zu beurteilen, wie ge‐ wisse Inhalte von den Studierenden aufgenommen wurden. Kommunikation bzw. Rückmeldung wären in diesem Fall sehr wichtig und würden erheblich zur Sicherung bzw. Verbesserung des Unterrichts beitragen. 4.5.4 Prozessorientierung, Produktorientierung Während viele Managementsysteme sich an Ergebnissen orientieren, steht im KAIZEN die Prozessorientierung im Vordergrund. Man geht dabei davon aus, dass zuerst die einzelnen Prozesse, die zu einem Ergebnis führen, verbessert 4 Qualität und QM im universitären Fremdsprachenunterricht 176 werden müssen, damit eine Verbesserung des Ergebnisses erzielt werden kann. Die einzelnen Prozesse sind dabei als so wichtig anzusehen wie das erwartete Ergebnis. Integraler Bestandteil sämtlicher prozessoptimierender Bemühungen sind die MitarbeiterInnen (vgl. Imai 1992: 39). Abb. 14: Prozessorientierte Kriterien (P) versus ergebnisorientierte Kriterien (E) (Imai 1992: 41) Dies soll nicht bedeuten, dass das Ergebnis im KAIZEN keine wichtige Rolle spielt, jedoch ist der Zugang zum Erzielen des Ergebnisses ein anderer. Nicht nur das Ziel ist wichtig, auch der Weg dorthin. Der Weg ist eben auch das Ziel, wie ein altes Sprichwort sagt. Die Abbildung oben zeigt, dass bei KAIZEN ein Hauptaugenmerk auf die Prozessverbesserung gerichtet ist, wenngleich auch das Ergebnis im Auge be‐ halten wird. Für ersteres sind prozessorientierte Kriterien (P) zu entwickeln und für letzteres ergebnisorientierte Kriterien (E) relevant, mit Hilfe welcher das Ergebnis kontrolliert wird. Durch Beachten der E-Kriterien kann der Standard des bisher Erreichten gehalten werden (Qualitätssicherung), hingegen führt das Bewerten der Prozesse durch das Beachten der P-Kriterien zu einer Verbesse‐ rung. 4.5 KAIZEN 177 Während in Konzernen die MitarbeiterInnen in der Regel für besonders gute Verbesserungsvorschläge Prämien, Auszeichnungen oder dergleichen be‐ kommen, ist dies im Kontext des Unterrichts nicht nötig, denn sowohl Lern‐ erInnen als auch Lehrpersonen sind in der Regel ja von sich aus daran interes‐ siert, dass der Unterricht möglichst gut ist, oder um es in den Worten von Imai (1992: 66) zu sagen: » KAIZEN beruht auf der Annahme, dass Menschen nach Qualität und Wert streben«. Wichtig ist in diesem Zusammenhang natürlich, dass die Menschen ein Qualitätsbewusstsein haben oder man ihnen dabei hilft, ein solches zu entwickeln. Hierfür sind auch die Begriffe Reflexion und Selbst‐ reflexion entscheidend. Diese gemeinsamen Bemühungen führen, wie Imai (vgl. 1992: 70) bemerkt, auch in den meisten Fällen zu einer Höherqualifizierung aller Betroffenen durch Sammeln praktischer Erfahrungen ohne zusätzlichen Trainingsaufwand. Ganz besonders dieser Aspekt wäre im Hinblick auf Lehrendenfortbildung für Leh‐ rende und InstitutsleiterInnen interessant. 4.5.5 KAIZEN in der Praxis Imai (vgl. 1992: 111ff) erklärt, dass KAIZEN prinzipiell in drei Segmente unter‐ teilt werden kann: (1) Managementorientiertes KAIZEN , (2) gruppenorien‐ tiertes KAIZEN und (3) personenorientiertes KAIZEN . Auf den Fremdspra‐ chenunterricht angewandt würde das managementorientierte KAIZEN zum einen in den Bereich der Institutsleitung und zum anderen in jenen der Lehr‐ person und auch LernerInnen fallen. Die beiden anderen Bereiche betreffen primär die LernerInnen. Das managementorientierte KAIZEN ist besonders wichtig, weil es die Im‐ pulse zur Aufrechterhaltung von Fortschritt und Arbeitsmoral gibt. Auch auf Managementebene ist kontinuierlich viel Potential für Verbesserung vorhanden. In Japan geht man davon aus, dass ein Manager / eine Managerin zumindest 50 % seiner / ihrer Zeit der Verbesserung widmen soll. Impulse für die Verbesse‐ rung können im aktuellen Kontext aus Sicht der Lehrpersonen aus den Daten der Selbstevaluation bzw. Selbstreflexion und aus Rückmeldungen von den Stu‐ dierenden bzw. KollegInnen stammen, sowie durch Fortbildungen gegeben sein. Die jeweilige Expertise der Lehrperson stellt dann die nötigen Werkzeuge zur Verfügung, um einen Plan für das Lösen eines bestimmten Problems zu gene‐ rieren. Gruppenorientiertes KAIZEN wird im Rahmen von Gruppenarbeit durchge‐ führt, die sich mit dem Erkennen und Lösen von Problemen befasst. Hier geht es vor allem um die Problemlösung im eigenen Arbeitsbereich. Dies ist vor allem 4 Qualität und QM im universitären Fremdsprachenunterricht 178 deswegen wichtig, weil sich dadurch die jeweiligen TeilnehmerInnen auch in‐ tensiv mit Problemlösungsstrategien auseinandersetzen. Die Gruppen können kontinuierlich arbeiten oder auch ad-hoc eingesetzt werden. Im Fremdspra‐ chenunterricht gibt es viele Möglichkeiten für diese Art der Kollaboration. Nicht nur, dass dadurch tatsächlich vorhandene und für die Gruppe relevante Pro‐ bleme gelöst werden, sie werden auch auf eine Art gelöst, die von den Betrof‐ fenen vorgeschlagen wird. Wenn dies zusätzlich in der jeweiligen Fremdsprache geschieht, dann ist es auch als realistischer Einsatz der fremdsprachlichen Kom‐ petenzen im echten Leben zu sehen. Dadurch werden nicht nur diese trainiert, sondern auch soziale Kompetenz, Problemlösungskompetenz, Teamarbeit, Gruppendynamik etc. Ausgangspunkt für diese kollaborative Problemlösung können erneut Selbstevaluation bzw. Selbstreflexion oder mehrere Rückmel‐ dungen zu einem bestimmten Thema sein, die von der Lehrperson aufge‐ nommen und zur Lösung an die Studierenden weitergegeben werden. Das personenorientierte KAIZEN beginnt damit, dass eine Person gegenüber der Veränderung ihrer eigenen Arbeitsweise eine positive Einstellung entwi‐ ckelt, kann im Kontext Lehrende und Studierende gleichsam betreffen und wird als förderlich für die Arbeitsmoral gesehen. Dies manifestiert sich vor allem durch die oben bereits angesprochenen Verbesserungsvorschläge, für die es auch im universitären Fremdsprachenunterricht nahezu unendlich viele Ein‐ satzmöglichkeiten gibt. Das kann von Studierendenseite ausgehend sehr indi‐ viduelle Dinge betreffen, wie etwa persönliche Interessensgebiete, bis hin zu Themen, die eventuell für die gesamte Gruppe interessant sein könnten. Damit es zu dieser Form der Interaktion kommt, sind von Managementseite aus na‐ türlich eine gewisse Sensibilität und Verantwortlichkeit von entscheidender Be‐ deutung. Nur wenn die TeilnehmerInnen erkennen, dass sich die Vorschläge auch lohnen, werden sie sich darum bemühen. Hier liegt die Gratwanderung bei der Lehrperson, zu erkennen, welche der Vorschläge, wenn umgesetzt, eine Verbesserung bewirken. Für den Fremdsprachenunterricht bedeutet dies, dass die Lehrperson den Studierenden auch die Vorteile darlegen sollte, die sich aus konstruktiven Rück‐ meldungen ergeben und zugleich auch darauf hinweisen, dass vielleicht nicht alle Vorschläge umgesetzt werden können. Die Lehrenden sollten, vor allem dann, wenn sie noch nicht über ausreichende pädagogische bzw. didaktisch-me‐ thodische Kompetenzen verfügen, auch bei der Umsetzung der einzelnen Vor‐ schläge Unterstützung von Seite der Institutsleitung bekommen. Dies könnte durch gezielte Coachings oder Fortbildungen erreicht werden, denn nur wenn die Unterrichtenden wissen, wie gewisse Vorschläge umgesetzt werden können, 4.5 KAIZEN 179 ist es ihnen möglich, sie auch sinnvoll zu verwirklichen. Dies fällt im KAIZEN unter die Überschrift Training. Das Vorschlagswesen bietet auch beträchtliche Chancen zur Verbesserung der Zweiweg-Kommunikation und zur Entwicklung der daran Beteiligten, wie Imai (vgl. 1992: 148) hinzufügt, was, wie oben bereits dargelegt, fundamental für den Fremdsprachenunterricht ist. 4.5.6 KAIZEN im Unterricht Im KAIZEN wird davon ausgegangen, dass auch unser Leben, Arbeitsleben, soziales Leben etc. einer ständigen Verbesserung bedarf. Dies schließt auch den Lehrbzw. Lernprozess mit ein. Daher kann die Philosophie von KAIZEN prin‐ zipiell überall angewendet werden, auch bei der Verbesserung des universitären Fremdsprachenunterrichts. Die zentrale Botschaft von KAIZEN lautet im We‐ sentlichen, dass kein Tag ohne irgendeine Verbesserung vergehen soll (vgl. Imai 1992: 24). Dies ist auch eine für den Unterricht gültige Forderung. Keine Lehr‐ veranstaltung sollte vergehen, ohne dass danach (auf beiden Seiten) reflektiert bzw. über Verbesserungen nachgedacht wird. Das Besondere an der Philosophie von KAIZEN ist - und das kann auch als Unterschied zu anderen Qualitätsmanagementsystemen, ganz besonders auch zum KVP gesehen werden, dass, wie Zollondz (vgl. 2001a: 409) anführt, die ein‐ zelnen daran beteiligen AktantInnen als selbstverantwortliche Individuen ge‐ sehen werden, die für ihr Handeln und auch für den Erfolg ihres Handelns selbst verantwortlich sind. KAIZEN bietet Methoden der Verbesserung an, verwendet müssen diese jedoch von den jeweiligen Menschen werden. Das setzt eine Ein‐ stellungsänderung der Individuen voraus, die für die nötige Optimierung sorgt. Jeder und jede ist am Gelingen beteiligt und hat seine / ihre Verantwortung. Diese Überlegung harmonisiert auch mit den ESG , den Forderungen nach Lern‐ erInnenautonomie und lebenslangem Lernen und betrifft LernerInnen und Leh‐ rende in gleicher Weise. Im universitären Fremdsprachenunterricht kann KAIZEN zum einen auf Ebene der Institutsleitung und zum anderen direkt im Fremdsprachenunterricht angewandt werden. Letzteres stellt den Fokus dieses Buches dar. Hier haben die Lehrenden gewissermaßen eine Doppelfunktion, weil sie einerseits direkte Be‐ teiligte am Lehr-/ Lernprozess sind und andererseits aber auch Management‐ funktionen für sich selbst und die Gruppe übernehmen müssen, weil sie ja auch für die Planung der einzelnen Veranstaltungseinheiten zuständig sind. Die erfolgreiche Implementierung von KAIZEN im universitären Fremd‐ sprachenunterricht ist an einige Voraussetzungen und Prämissen gekoppelt, vor 4 Qualität und QM im universitären Fremdsprachenunterricht 180 allem auch gerade deswegen, weil diese Methode der Verbesserung für westliche Zugänge in vielerlei Hinsicht ungewohnt erscheinen mag. Die zentralen An‐ nahmen für dessen Gelingen können wie folgt aufgefasst werden: Bereitschaft, Verantwortung zu übernehmen Die Grundvoraussetzung ist, dass alle AktantInnen (Lehrende und Studierende) erkennen, dass sie integraler Bestandteil des Sprachlehrbzw. Lernprozesses sind und dass Lehren / Lernen nur funktionieren kann, wenn alle für sich die Verantwortung übernehmen und auch bereit sind, ihren Beitrag zum Gelingen des Unterrichts zu leisten. Dies setzt natürlich eine gewisse geistige Reife voraus, die zum einen bereits vorhanden sein kann - zumindest bei den Lehrenden sollte diese ausgeprägt sein - und zum anderen, vor allem bei jüngeren und weniger erfahrenen LernerInnen im Laufe des Semesters angeeignet bzw. verbessert werden kann. Wichtig wäre in diesem Hinblick, dass sowohl Lehrende als auch Studierende an der Ausprägung ihres Lehrendenselbst bzw. LernerInnenselbst arbeiten würden, da dies eine wesentliche Komponente im Lehr-/ Lernprozess darstellt, wie z. B. auch Jerusalem (1993) anmerkt. Als ein mögliches Werkzeug hierfür kann Selbstevaluation als Ausgangspunkt für Selbstreflexion dienen. Je reflek‐ tierter die einzelnen Beteiligten sind, desto eher werden sie um ihre Stärken, Schwächen, Wünsche, Ziele etc. Bescheid wissen. Je genauer sie dies tun, desto präziser können die nötigen Schritte getroffen werden, um vom Ist-Zustand zum Soll-Zustand zu gelangen. Bereitschaft, Probleme differenziert zu betrachten Die Grundlage für Verbesserung ist, wie oben angeführt, das Vorhandensein von Problemen. Dies setzt voraus, dass man Probleme findet und analysiert, damit diese in weiterer Folge gelöst werden können. In der westlichen Welt herrscht sehr oft die Tendenz, Probleme negativ zu sehen und ihnen aus dem Weg zu gehen oder diese überhaupt zu verleugnen. Wenn der Unterricht optimiert werden soll und die LernerInnen eine möglichst steile Lernkurve durchlaufen wollen, muss damit begonnen werden, die Probleme festzustellen, die sie in der Fremdsprache haben. Dies erfordert einen entsprechenden Rahmen, der ihnen die Sicherheit gibt, dass das Vorhandensein von Problemen nicht negativ ist, sondern ihren Kursbesuch zusätzlich legitimiert. Fehler sollten als Teil des Lern‐ geschehens gesehen werden, als Möglichkeit, an ihnen zu wachsen. Gäbe es keine sprachlichen Probleme und Unsicherheiten, wäre es im Sinne des Lern‐ zuwachses völlig überflüssig, einen Sprachkurs zu besuchen, denn dann würden die Studierenden bereits über alle nötigen Kompetenzen verfügen. 4.5 KAIZEN 181 Im Hinblick auf die Unterrichtsoptimierung sollte auch von den Lehrenden erkannt und akzeptiert werden, dass nicht alles, was sie planen oder tun, perfekt ist oder sein kann, sondern auch die einen oder anderen Defizite bzw. Probleme in sich birgt. In diesem Fall müssen auch sie bereit sein und die nötige Courage aufweisen, diesen Dingen ins Auge zu blicken, damit sie verbessert werden können. Das ist für viele Lehrende bestimmt auch insofern schwierig, als sie durch den hier vorgestellten Ansatz auch von den LernerInnen darauf auf‐ merksam gemacht werden könnten. Die Lösung dieser Probleme liegt - ähnlich wie bei den Studierenden - darin, diese zu erkennen und anzunehmen und sie als Ausgangspunkt für persönliches Wachstum zu sehen. An produktiver Kritik kann man wachsen. Bereitschaft zur Verbesserung Die Forderung nach Bereitschaft zur Verbesserung klingt so trivial wie sie not‐ wendig ist. Aber nur wenn alle Beteiligten auch dazu bereit sind, ist Verbesse‐ rung möglich. Dies steht natürlich mit einem gewissen Aufwand in Verbindung. Das bedeutet, dass sowohl Studierende als auch Lehrende sich eventuell von gewohnten Konzepten zu lösen und neue Wege einzuschlagen haben. Verbes‐ serung bedeutet also zum einen, Dinge besser zu machen als bisher, aber auch die Bereitschaft, sich selbst zu verbessern, an sich selbst zu arbeiten, sich zu entwickeln. In dieser Hinsicht wird von den Lehrenden mehr abverlangt, weil sie sich in gewisser Weise auch in einer VorreiterInnenrolle befinden. Wenn sich in ihrer Denkweise Qualität und das Bestreben, diese kontinuierlich verbessern zu wollen, manifestiert, können sie dies auch an die Studierenden weitergeben. Sind die Lehrenden motiviert zu optimieren, kann diese Motivation vielfach auch bei den LernerInnen entfacht werden. Sind der Wunsch bzw. die Bereit‐ schaft zur Verbesserung jedoch nicht vorhanden, wird das Evaluieren der Qua‐ litätsoptimierung wegen letztendlich zur Farce. Bereitschaft zur Kollaboration Die Forderung nach Kollaboration setzt bei Lehrenden und Studierenden die Erkenntnis voraus, dass der Sprachlehrbzw. Lernprozess eine gemeinsame Angelegenheit ist. Verbesserung wird durch das gemeinsame Bestreben danach und durch Zusammenarbeit erzielt. Je besser die Kooperation, desto effektiver werden die Verbesserungsmaßnahmen sein. Basis für eine gute Kollaboration ist gegenseitige Wertschätzung der einzelnen Beteiligten und eine gute Kom‐ munikation zwischen den AktantInnen. Die Lehrpersonen sollten bzw. müssen die Ideen und Vorschläge der Studierenden als ernstzunehmende Quelle für Op‐ 4 Qualität und QM im universitären Fremdsprachenunterricht 182 timierungen ansehen und auch darum bemüht sein, diese - wenn im jeweiligen Kontext sinnvoll - soweit wie möglich umzusetzen, von ihrem gefassten Plan und möglichen Überzeugungen abzuweichen, wenn dies Sinn ergibt, und selbst‐ bewusst gegebenenfalls das Ruder für eine gewisse Zeit aus der Hand zu geben. Von Studierendenseite setzt es auch eine gewisse Reife und Reflektiertheit voraus, sich mit konstruktiven und auch umsetzbaren Vorschlägen aktiv in die Unterrichtsgestaltung zu integrieren und auch zu erkennen und zu akzeptieren, dass eventuell nicht alle Vorschläge in der gewünschten Form und dem gefor‐ derten Ausmaß umgesetzt werden können. Dies liegt sehr oft nicht in der Be‐ fähigung der Lehrpersonen, sondern ist aufgrund anderer Faktoren vielfach nicht möglich. Bereitschaft zu lernen bzw. zu Aus-/ Weiterbildung Diese Forderung richtet sich primär an Lehrende, wenngleich sie auch auf Stu‐ dierende zutrifft. Vor allem die mit dem Credo »baue Qualität in die Mitarbeiter« (Imai 1992: 84) verbundene Komplexität erfordert, dass - primär die Lehrper‐ sonen, die ja auch als ManagerInnen des Unterrichtsgeschehens fungieren, eine zusätzliche Ausbildung diesbezüglich erhalten. Wenn Studierende über Rück‐ meldungen Verbesserungsvorschläge im laufenden Unterrichtsgeschehen geben, müssen Lehrpersonen in der Lage sein, abzuschätzen, ob - und wenn, in welchem Ausmaß - diese umgesetzt werden können bzw. sollen. Manche der Entscheidungen werden sie aufgrund ihrer Expertise und Erfahrung bzw. auf‐ grund äußerer Bedingungen im eigenen Ermessen entscheiden, andere werden gegebenenfalls mit den Studierenden erörtert, bevor gemeinsam an einer Lö‐ sungsstrategie gearbeitet werden kann. Die damit in Verbindung stehenden Kompetenzen können mitunter die Möglichkeiten der einen oder anderen Lehr‐ person übersteigen, weswegen hier von der Institutsleitung Hilfestellungen be‐ züglich Personalentwicklung angeboten werden sollten. Diese können in Form von Einzelcoachings oder, wenn Bedarf vorhanden ist, im Rahmen von gezielten Aus- und Fortbildungen angeboten werden. Im einfachsten Fall wäre Literatur bereitzustellen und die Lehrenden könnten nötige Informationen bis zu einem gewissen Grad auch daraus ableiten. 4.5.7 Fazit Im KAIZEN geht man davon aus, dass alle Tätigkeiten verbessert werden können. Wenn etwas suboptimal ist, versucht man das Problem zu finden und zu analysieren, warum es zu diesem Problem kam und wie es gelöst werden kann. Dieser sehr pragmatische Umgang mit Problemen ist besonders wichtig, 4.5 KAIZEN 183 denn im KAIZEN wird die Ansicht vertreten, dass nur dort Potential für Ver‐ besserung herrscht, wo es ein Problem gibt. Ist keines vorhanden, ist auch keine Verbesserung möglich / nötig. In der westlichen Welt reagieren Menschen auf Probleme oft empfindlich und es wird mitunter versucht, diese zu vertuschen. Wenn es gelingt, im Fremdsprachenunterricht eine Atmosphäre zu schaffen, in welcher die AktantInnen sich ihrer Probleme bewusst sind / werden bzw. diese nicht als etwas Negatives empfinden, sondern als Möglichkeit zur Verbesserung bzw. persönlichen Reifung wahrnehmen, kann die Philosophie von KAIZEN als sehr wirkungsvolle Methode zur Optimierung des Unterrichts verstanden werden. Das Schaffen dieser Atmosphäre ist ein Bestreben der KDE . In Hinblick auf den Einsatz von Evaluation im Sinne von KAIZEN kann fest‐ gehalten werden, dass sie als unterstützendes Werkzeug bei Verbesserungs‐ prozessen auf allen Stufen eingesetzt werden kann. Einige der zentralen Mög‐ lichkeiten werden in folgender Grafik dargestellt: Abb. 15: Evaluation und KAIZEN In erster Instanz setzt Evaluation bei der Bewertung der durch (Selbst-) Refle‐ xionsprozesse gewonnenen Informationen an. Diese Reflexionsprozesse können bei Studierenden einerseits von selbst ausgelöst werden, indem sie über sich und das Unterrichtsgeschehen bzw. ihren eigenen Lernprozess nachdenken, 4 Qualität und QM im universitären Fremdsprachenunterricht 184 oder von außen - z. B. durch die Aufforderung der Lehrperson um ein Feedback - initiiert werden. Bei der Lehrperson können die Reflexionsprozesse auch ent‐ weder von ihr selbst ausgehen oder z. B. durch ein Feedback von Seiten der LernerInnen verursacht werden. In jedem Fall schafft der Evaluationsprozess Informationen, die evaluiert werden müssen. Auf erster Instanz wird somit evaluiert, ob ein Problem festgestellt wurde oder nicht. Ist kein Problem vorhanden, bedarf es laut KAIZEN auch keiner Lösung. Kann hingegen ein Problem detektiert werden, muss evaluiert werden, ob es im Rahmen des gegebenen Kontextes überhaupt eine Lösung für dieses Problem gibt, denn ist keine Lösung möglich, kann nicht verbessert werden. Sind Lösungsansätze vorhanden, die zu einer Optimierung der Situation bei‐ tragen können, sollte evaluiert werden, welche / r der vorhandenen Ansätze sich am besten eignen / eignet. Nach Initiierung der / des Verbesserungsprozesse(s) evaluiert man deren / dessen Wirkung und der Kreis beginnt von neuem. 4.6 Zusammenfassung Dieses Kapitel intendierte, den Leser / die Leserin in essentielle Bereiche der Themen Qualität und Qualitätsmanagement einzuführen. Diese sind für den weiteren Verlauf des Buches insofern relevant, als ein Evaluationsmodell, wel‐ ches dazu beitragen soll, den universitären Fremdsprachenunterricht zu ver‐ bessern, seine Basis in der Qualitätsforschung hat und zentrale Überlegungen aus dem Qualitätsmanagement berücksichtigen muss, denn Evaluation per se ist kein Mittel zur Qualitätsoptimierung, sondern Teil eines übergeordneten Managementsystems, welches eine Verbesserung ermöglicht. Als ein besonders umfassendes Qualitäts-Managementsystem, welches auch im Kontext des universitären Fremdsprachenunterrichts eingesetzt werden kann, wurde in diesem Kapitel Total Quality Management ( TQM ) eingeführt, das intendiert, ein Qualitätsbewusstsein bei allen AktantInnen des Unterrichtsge‐ schehens zu schaffen und darauf abzielt, Qualität in allen Phasen des Lehrbzw. Lernprozesses zu sichern und zu verbessern. Bei TQM handelt es sich somit um einen ganzheitlichen Denk- und Handlungsansatz, der sich nicht nur auf allen Ebenen des Unterrichtsgeschehens widerspiegelt, sondern auch alle daran Be‐ teiligten miteinbezieht. Dies ist insofern wichtig, als dadurch eine neue Quali‐ tätsauffassung geschaffen und verdeutlicht wird, dass nicht nur Lehrende, son‐ dern auch Studierende ihren Beitrag leisten müssen, damit Qualität im Fremdsprachenunterricht gesichert bzw. verbessert werden kann. 4.6 Zusammenfassung 185 Zu Beginn des Kapitels wurde auch gezeigt, dass es sich bei Qualität im All‐ gemeinen um einen sehr komplexen Begriff handelt, der in seiner Gesamtheit nie völlig erfasst werden kann, was in Folge zu der Erkenntnis führte, dass es auch nicht möglich ist, die Qualität des Unterrichts konkret zu definieren oder in ihrer Gesamtheit zu verbessern. Vielmehr wurde expliziert, dass genau ein‐ gegrenzt werden muss, welche Aspekte bzw. Dimensionen der Unterrichtsqua‐ lität verbessert werden können bzw. sollen. Als für den Fremdsprachenunterricht in dieser Hinsicht besonders wichtige Aspekte zeigten sich die einzelnen Prozesse, die im Unterrichtsgeschehen vor allem zwischen Lehrenden und Studierenden ablaufen, was in weiterer Folge dazu führte, dass KAIZEN , ein japanisches Konzept zur Qualitätsverbesserung vorgestellt wurde, welches ganz besonders darauf abzielt, Prozesse zu opti‐ mieren. Gegen Ende des Kapitels finden sich schließlich Möglichkeiten, wie KAIZEN in den universitären Fremdsprachenunterricht eingebunden und mit Evaluation verknüpft werden kann. Bevor nun die Konzeption eines umfassenden Evaluationsinstrumentes ge‐ wagt werden kann, welches dabei unterstützt, die in diesem und in den voran‐ gegangenen Kapiteln bereits mehrfach angesprochenen Prozesse bzw. Dyna‐ miken, die im Fremdsprachenunterricht ablaufen, zu verbessern, müssen diese erörtert und analysiert werden, da sie die Grundlage für die Konstruktion des Evaluationsmodells darstellen. Nur wenn sie bekannt sind, können auf Basis der vorangegangenen Kapitel Evaluationsinstrumente geschaffen werden, die dabei unterstützen Optimierungen zu erreichen. Diese Analyse ist Ziel des folgenden Kapitels. 4 Qualität und QM im universitären Fremdsprachenunterricht 186 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren Man kann einen Menschen nichts lehren, man kann ihm nur helfen, es in sich selbst zu entdecken. (Galileo Galilei) In den vorangehenden Kapiteln wurde bereits ausgeführt, dass es sich bei Eva‐ luation und Qualität im Allgemeinen und speziell auch im Fremdsprachenun‐ terricht an Universitäten um sehr komplexe und dynamische Phänomene han‐ delt. Komplex sind sie aufgrund des Umfangs ihrer Begrifflichkeit und dynamisch, weil sie sich mit der Zeit und in Abhängigkeit von ihren Betrach‐ terInnen verändern (können). Diese Eigenschaften teilen sie in mehrfacher Hin‐ sicht auch mit dem Fremdsprachenunterricht, nicht nur, weil die Sprachen, die gelehrt bzw. gelernt werden, per se komplex und dynamisch sind (siehe auch The Five Graces Group 2009), sondern auch, weil die Prozesse des Lehrens und Lernens, sowie die an jenen Vorgängen primär beteiligten AktantInnen - die Lehrenden und Studierenden - diese Eigenschaften aufweisen. Das Veranschaulichen dieser Prozesse im universitären Fremdsprachenun‐ terricht ist Gegenstand des Abschnitts 5.1, bevor - darauf aufbauend - im Ab‐ schnitt 5.2. Anforderungen an ein Evaluationsmodell gestellt werden, das diese komplexen Dynamiken berücksichtigt, denn Evaluation kann nur dann quali‐ tätsoptimierende Schritte im Fremdsprachenunterricht auslösen, wenn sie fle‐ xibel genug ist, um sich diesen Prozessen in ihrer Vielschichtigkeit anzupassen und diese im nötigen Ausmaß beachtet. Als eine Theorie, die diese Forderungen ermöglicht, wird in Abschnitt 5.2 die Complex Dynamic System Theory ( CDST ) vorgestellt, die Theorie der komplexen Dynamiken, deren Anwendung in Ab‐ schnitt 5.2.4 auf den universitären Fremdsprachenunterricht und in Abschnitt 5.2.5 auf Evaluation diskutiert wird. Im Anschluss daran werden Anforderungen an das Evaluationsmodell herausgearbeitet, die es im Kontext eines komplexen dynamischen Unterrichtsgeschehens benötigt. Die Umsetzung durch die KDE wird in Abschnitt 5.2.6 expliziert. Die sich in Folge ergebenden Zusammenhänge für Lernen, Lehren und Evaluieren werden in Hinblick auf die Sprachentwick‐ lung in Abschnitt 5.3 erörtert und im Anschluss daran wird die potentielle Um‐ setzung durch die KDE gezeigt. 5.1 Lernen und Lehren an Hochschulen Lernen und Lehren finden ihre gemeinsame Schnittstelle im universitären Kon‐ text im institutionalisierten Fremdsprachenunterricht, welcher als die organi‐ sierte Interaktion dieser beiden Prozesse zu sehen ist (vgl. Schröder 2002: 75). Aus dem Blickwinkel der Hochschuldidaktik betrachtet, stehen Lernen und Lehren mit dem zu erwerbenden (wissenschaftlichen) Wissen - im konkreten Kontext dieses Buches mit der zu erlernenden Sprache - in enger Verbindung und können im sogenannten »didaktischen Dreieck« dargestellt werden (vgl. Wildt 2006: 2ff). Dieses Dreieck ist in den »didaktischen Zirkel« eingebettet, der aus den »didaktischen Variablen« besteht, welche die Gestaltung des Lehrens und Lernens determinieren. Dieser Gestaltungsraum ist in weiterer Folge vom »didaktischen Rahmen« umgeben, in welchem Lehren und Lernen letztendlich stattfinden. Abb. 16: Didaktischer Rahmen, didaktischer Zirkel, didaktisches Dreieck (Wildt 2006: 6) Die acht didaktischen Variablen, die jeglichen Unterricht (auf Hochschulebene) determinieren, sind: (1) Ziele (Lehr-/ Lernbzw. Unterrichtsziele), die verfolgt werden, (2) Inhalte, die auszuwählen sind, (3) Medien (Wort, Buch, Tafel etc.), die man beim Lehren und Lernen benötigt, (4) Methoden, die dabei zum Einsatz 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 188 kommen, (5) Sozialformen, in welchen gearbeitet wird, (6) Raum / Zeit, wann und wo der Unterricht stattfindet, (7) unterschiedliche Lernsituationen und (8) Evaluation, mithilfe welcher Unterschiedlichstes analysiert und bewertet werden kann (vgl. Wildt 2006: 4f). Dieser aus den Variablen gebildete Zirkel findet demgemäß in allen univer‐ sitären Lehrveranstaltungen Anwendung - sei dies bei der Planung oder Durch‐ führung - und kann, wie Wildt (vgl. 2006: 5) betont, von den Lehrenden alleine oder in Zusammenarbeit mit den Studierenden aufgespannt werden. In Anlehnung an den Paradigmenwechsel shift from teaching to learning (siehe unten), sollte dies, wie ich meine, in einer Weise geschehen, in welcher die LernerInnen bereits in den Gestaltungsprozess des Kurses möglichst gut integriert sind, denn nur dann ist lernerInnenzentrierter Unterricht tatsächlich möglich. Wie dies letztendlich umzusetzen ist, hängt dabei von den Lehrenden, den LernerInnen und dem jeweiligen Kontext ab. Eine Möglichkeit stellt das in diesem Buch vorgestellte Modell der komplexen dynamischen Evaluation dar. 5.1.1 Didaktisches Dreieck und shift from teaching to learning Wie in obenstehender Grafik bereits verdeutlicht, wird das didaktische Dreieck aus den Eckpunkten Wissen, Lernende und Lehrende gebildet, wobei Wissen sich im konkreten Kontext auf fremdsprachliches Wissen bzw. Kompetenzen bezieht und die Lehrenden und Studierenden als die beiden HauptaktantInnen des Un‐ terrichtsgeschehens zu sehen sind. Lehren und Lernen erfolgt aufgrund von Aktionen bzw. Interaktionen zwischen diesen Eckpunkten unter Einbeziehung der didaktischen Variablen. 5.1 Lernen und Lehren an Hochschulen 189 Abb. 17: Didaktisches Dreieck im universitären Fremdsprachenunterricht Durch den Paradigmenwechsel shift from teaching to learning rückt das Lernen in den Mittelpunkt des Unterrichtsgeschehens. Aus didaktischer Sicht verän‐ derten sich damit viele bis dahin traditionelle Aufgaben und Rollen der Lern‐ erInnen und Lehrenden. War das allgemeine Unterrichtsgeschehen in Europa in vielen Fächern auch im 20. Jahrhundert lange Zeit von einer sehr starken Lehrendenzentriertheit gekennzeichnet, wo, wie Winteler (vgl. 2008: 16) expliziert, die Lehrperson im Mittelpunkt des Geschehens stand und die Lehre als reine Wissensvermittlung angesehen wurde, bei welcher die Studierenden eine sehr passive Rolle ein‐ nahmen und quasi die EmpfängerInnen des Stoffinhaltes waren, der allein durch das Curriculum bzw. die Lehrpersonen definiert wurde, so hat sich diese Rolle mittlerweile weitgehend so verändert, dass die Lehrpersonen nach neuesten di‐ daktischen Ansätzen als »Coaches« (Blom 2000) fungieren, die die LernerInnen dabei unterstützen, selbständig Kompetenzen zu entwickeln. Sie schaffen eine »attraktive, stimulierende, sozial reiche Lernumgebung« und strukturieren den Lernprozess so, dass die Studierenden lernen, eigenständig Probleme zu meis‐ tern, wie Blom (2000: 11) expliziert. 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 190 Während dieser shift from teaching to learning bei manchen Lehrveranstal‐ tungstypen, wie beispielsweise einer Vorlesung, im realen Unterrichtsgeschehen nach wie vor schwer umzusetzen ist und dies oftmals auch nicht intendiert wird, setzt er sich in anderen Veranstaltungen, wie etwa Seminaren, wo zwar auch die Vermittlung von Fachwissen im Vordergrund steht, aber andere Rahmen‐ bedingungen vorherrschen, mit diesem Paradigmenwechsel mehr und mehr durch. Im Fremdsprachenunterricht kann generell von einer völlig anderen Ent‐ wicklung gesprochen werden. Hier zeichnete sich eine verstärkte LernerInnen‐ zentriertheit bereits in den 1970er Jahren mit der Kommunikativen Wende ab, wo der bis dahin überwiegend vorherrschende Frontalunterricht durch vermehrt kommunikative Aufgaben, wie Gespräche mit dem Sitznachbarn / der Sitznach‐ barin, Diskussionen, Dialoge etc., abgelöst wurde. Standen bis dahin vor allem die Lese- und Schreibkompetenz im Mittelpunkt des Unterrichts, ist das Ziel des kommunikativen Fremdsprachenunterrichts besonders die kommunikative Kom‐ petenz der LernerInnen zu fördern. Die oben bereits kurz angesprochene Gegenüberstellung der dozentInnen‐ orientierten Lehrpraxis mit der studierendenorientieren Lehrpraxis sieht nach Blom (vgl. 2000: 11f) für das Unterrichtsgeschehen im Allgemeinen wie folgt aus: DozentInnenorientierte Lehrpraxis Studierendenorientierte Lehrpraxis DozentIn im Mittelpunkt StudentIn im Mittelpunkt Übertragung von Informationen von Seiten der DozentInnen Aktive Erwerbung von Erkenntnissen von Seiten der Studierenden Der Lernweg ist generell, fest und stan‐ dardisiert Es gibt unterschiedliche individuelle Lernwege DozentIn führt die Studierenden StudentIn ist selbststeuernd DozentIn erläutert die richtigen Ant‐ worten auf Probleme DozentIn stellt Fragen, Antworten werden von Studierenden gegeben DozentIn leitet den Lernprozess DozentIn begleitet den Lernprozess Vorlesungsraum als Werkstatt Mediathek und Gruppenraum als Werk‐ statt Statisch und unveränderlich Dynamisch und veränderlich DozentIn und StudentIn stehen einander gegenüber DozentIn und StudentIn arbeiten zu‐ sammen Studienplanordnung orientiert sich an den Prüfungen Studienplanordnung orientiert sich an den Rückkopplungen 5.1 Lernen und Lehren an Hochschulen 191 DozentInnenorientierte Lehrpraxis Studierendenorientierte Lehrpraxis StudentIn kann sich isolieren und ab und zu auftauchen Soziale Kompetenzen gewinnen an Be‐ deutung Vorlesungen Besprechungen Prüfungsbewertung Verlaufskontrolle Stundenplan Studienplanung Tab. 12: DozentInnenorientierte vs. studierendenorientierte Lehrpraxis (vgl. Blom 2000: 11f) Diese Gegenüberstellung ist auch im Fremdsprachenunterricht sinnvoll, weil viele Änderungen, die mit dem shift from teaching to learning einhergingen, auch den modernen (universitären) Fremdsprachenunterricht kennzeichnen und über den kommunikativen Ansatz hinausgehen. So wird Lehren und Lernen beispielsweise als kollaborative Angelegenheit zwischen Lehrenden und Stu‐ dierenden gesehen, bei welcher beide AktantInnen ihre jeweiligen Aufgaben und Rollen wahrnehmen und diese erfüllen, damit Lernen gelingen kann. Dabei stehen die Studierenden aktiv im Mittelpunkt eines dynamischen Unterrichts‐ geschehens, während die Lehrenden den Lernprozess begleiten. Von Studieren‐ denseite geht es nicht nur darum, selbststeuernd und aktiv Erkenntnisse und Kompetenzen zu erwerben, sondern auch darum, individuelle Lernwege zu finden. Es gilt »Lernen zu lernen« (Blom 2000: 2). Die Lehrenden kontrollieren dabei den Erwerbsverlauf und orientieren sich bei der Planung an Rückkopplungen. Sie stellen aufgrund externer Anforde‐ rungen und ihrer eigenen Expertise Materialien und Methoden zur Verfügung und haben im Unterricht vor allem die Funktion beratender ModeratorInnen inne. Sie begleiten die LernerInnen dabei, Lernwege zu erschließen, geben Ori‐ entierung, vermitteln Lernstrategien, stehen beratend zur Seite (vgl. Wildt 2006: 3) und behalten dabei immer das gewünschte Ergebnis, die sogenannten learning outcomes im Auge, die im vorangegangenen Kapitel auch als Produktbzw. Ergebnisqualität bezeichnet wurden und ein zentrales Merkmal erfolgrei‐ chen Unterrichts darstellen. Das soeben Gesagte bedeutet auch, dass nicht nur die - wenn man so will - Rechte der LernerInnen in den vergangenen Jahren zunahmen, sondern auch ihre Pflichten, bzw. sich diese stärker manifestierten und für alle transparenter wurden. Versuchten viele Lehrende früher ihr Wissen oftmals direkt auf die LernerInnen zu übertragen und gaben dabei auch die Methoden und Wege mit‐ unter strikt vor, so sind die LernerInnen aktuell verstärkt dazu angehalten, selbst 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 192 aus dem Kanon der ihnen zur Verfügung stehenden Informationen, Methoden und Wege zu wählen, die sie beim Erreichen ihrer Ziele unterstützen. Diese Wende macht auch die Verantwortung für das Gelingen des Lehrbzw. Lern‐ prozesses transparenter. Die Studierenden sind in diesem neuen Lernsetting stärker dazu angehalten, die Verantwortung für sich als LernerIn zu übernehmen und vieles selbst zu entscheiden, was davor hauptsächlich von den Lehrenden für sie entschieden wurde. Dies ist eine durchaus positive Richtung, die mit diesem Paradigmen‐ wechsel eingeschlagen wurde, auch in Hinblick auf autonomes und lebenslanges Lernen. Evaluation zeigt sich diesbezüglich zum einen als wertvolles Hilfsmittel bei vielen Entscheidungen und muss zum anderen auch gemäß diesem neuen Unterrichtsparadigma eingesetzt werden. Nicht nur die Lehrbzw. Lernkultur hat sich verändert, auch die Evaluationskultur muss diesem Prinzip folgen. Stu‐ dierende haben mit dieser neuen Verantwortung auch eine gewisse Pflicht, sich an der Gestaltung und Verbesserung des Unterrichts aktiv zu beteiligen, anstatt sich nur über Missstände zu beklagen. 5.1.1.1 Aufgaben und Kompetenzen von Lehrenden Neben den oben genannten starken Veränderungen sind für die Lehrenden aber auch gewisse Aufgaben weitgehend unverändert geblieben, wie z. B. bestimmte Managementfunktionen, die sie im Unterrichtsgeschehen bis zu einem gewissen Grad nach wie vor innehaben, wenngleich auch in modifizierter und abgesch‐ wächter Form. Zum einen sind sie für viele strukturelle und organisatorische Angelegenheiten, Abläufe und Aufgaben verantwortlich und legen zum anderen üblicherweise die Unterrichtsziele fest, bestimmen Prüfungsmodalitäten, er‐ stellen oder wählen die Lehrwerke und Unterrichtsmaterialien aus, moderieren die Unterrichtseinheiten und sind Ansprechpersonen für die Studierenden. So gesehen ermöglichen und fördern sie das eingangs angesprochene organisierte Lernen (vgl. Schröder 2002: 75), weil sie die nötigen Mittel anbieten, mit welchen die Studierenden lernen können. Überspitzt gesagt, lehren sie also nach wie vor, aber eben anders. Diese typischen Aufgaben der Lehrenden wurden zudem sukzessive um For‐ derungen nach, bis zu diesem Paradigmenwechsel nicht explizit ausgespro‐ chenen Kompetenzen erweitert, und von (guten) Lehrenden wird gegenwärtig erwartet, dass sie über diese verfügen. Bestanden die oben angesprochenen Ma‐ nagementfunktionen früher vor allem darin, das eigene Wissen bzw. dessen Auf‐ bereitung und Vermittlung zu organisieren, wird von modernen und professio‐ nellen Lehrenden, die eine »personenbezogene Dienstleistung« (Wildt 2006: 3) anbieten, eine Reihe weiterer Qualifikationen gefordert. Neben der Kompetenz 5.1 Lernen und Lehren an Hochschulen 193 1 Masterlehrgang »Didaktik für Lehrende an Universitäten, Fachhochschulen und Päda‐ gogische Hochschulen 2 http: / / lehrkompetenz.uni-graz.at/ de/ lehre-und-weiterbildung/ masterlehrgang/ , seit Herbst 2015 nicht mehr abrufbar im jeweiligen Fachwissen (Fachkompetenz) werden u. a. Methoden- und Orga‐ nisationskompetenz, Sozialkompetenz, Selbstkompetenz, berufliche Hand‐ lungskompetenz etc. für unabdingbar gehalten (für einen Überblick über die Kompetenzen in der Hochschullehre, siehe Paetz et al. 2011: Kapitel 3). Da kaum eine Lehrperson von sich aus über (alle) diese Kompetenzen verfügt und es aktuell keine konkrete Ausbildung zum / zur Sprachlehrenden an Hoch‐ schulen gibt, wie dies etwa für Lehrende an Schulen der Fall ist, in welcher die Unterrichtenden neben dem fachlichen Wissen eine Vielzahl an Kursen zur Di‐ daktik, Methodik sowie zur Theorie und Praxis des Unterrichts etc. besuchen (siehe z. B. Curriculum für das Lehramtsstudium an der Karl-Franzens-Univer‐ sität, 2013), und zudem noch über eine erhebliche Stundenanzahl an Lehrpraxis nachweisen müssen, bevor sie ihren Beruf ausüben dürfen, bleibt die Frage im universitären Kontext offen, woher Hochschullehrende diesen didaktischen Grundstock beziehen sollen. Viele KollegInnen, die über besagte theoretische Basis nicht verfügen - manche sind ausgebildete LehrerInnen, arbeiten auch an Schulen und über‐ tragen die im Lehramtsstudium erworbenen Kompetenzen auf den Kontext der Hochschule - eignen sich das fehlende theoretische Grundwissen oftmals in mehr oder weniger regelmäßig stattfindenden einschlägigen Weiterbildungen an, die sie in ihrer Freizeit absolvieren und üblicherweise aus eigener Tasche finanzieren müssen. Die Fortbildungen werden nicht selten direkt an den je‐ weiligen Sprachenzentren oder an Fachdidaktikzentren angeboten. Vereinzelt gibt es auch Universitätslehrgänge, die sich diesen Themen um‐ fassender widmen (für einen kurzen Überblick siehe Winteler 2006: 341). Der Versuch, 2013 auch in Graz einen derartigen Lehrgang für Hochschuldidaktik 1 einzurichten, scheiterte aber aufgrund mangelnder Nachfrage und wurde bereits zwei Jahre später wieder aus dem Angebot genommen. Warum der Lehrgang nicht positiver von den Lehrenden, d. h. Studierenden angenommen wurde, mag zum einen mit dem hohen Preis in Verbindung gestanden haben oder mit der deklarierten Zielgruppe: Er war nicht als Grundausbildung per se zu verstehen, sondern, wie auf der Homepage 2 deklariert, als »systematische Förderung von Personen mit Lehrfunktionen an Hochschulen«. Als Zielgruppe wurden somit »Lehrende an Universitäten, Fachhochschulen und Pädagogischen Hoch‐ schulen« genannt, »die über eine zumindest zweijährige Lehrerfahrung in diesen Institutionen verfügen«. Das Grundproblem, mit welchem viele Lekto‐ 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 194 rInnen jedoch vor allem zu Beginn ihrer Lehrtätigkeit kämpfen, ist, dass sie zwar über Fachwissen in der Sprache, aber üblicherweise über keine fundierte didak‐ tisch-methodische Grundausbildung verfügen und sie sich oftmals auch viele weitere, für die Lehre wichtige Kompetenzen im Rahmen ihres Studiums nicht explizit aneignen konnten. Nach zwei Jahren Unterrichterfahrung haben sich die meisten Lehrenden die fehlenden Kompetenzen in der Regel jedoch bereits autodidaktisch - learning by doing - oder durch den gezielten Besuch diverser Fortbildungen angeeignet und besagter Lehrgang ist nur mehr für die wenigsten von Interesse. Der Leser / die Leserin, der/ die selbst in der (Sprach-)Lehre an Universitäten tätig ist, wird wahrscheinlich auch die Ansicht vertreten, dass Aus- und Fort‐ bildungen - sofern überhaupt vorhanden - ein essenzielles Basiselement guter Lehre darstellen, jedoch, wie auch Krumm / Portmann-Tselikas (2003: 13) fest‐ halten, »zu wenig« sind. »Sie entlässt«, wie sie ausführen, »kaum je fertige Fachleute« und konkludieren, dass Professionalisierung ein Prozess ist, »der mit der Grundausbildung zwar einsetzt, sich aber in wesentlichen Aspekten erst in der praktischen beruflichen Erfahrung auf der Basis eben dieser Erfahrung voll‐ zieht«. Das bedeutet, dass sich neben der Ausbildung ein erheblicher Teil der Lehrexpertise erst mit der beruflichen Praxis entwickelt. Hierbei handelt es sich um professionelles Weiterlernen, wie Krumm / Portmann-Tselikas (2003: 13) ex‐ plizieren, welches »weitgehend selbstgesteuert« erfolgt, »von außen kaum be‐ achtet und in vielen Fällen auch ohne weitere organisierte Unterstützung oder Hilfestellung«. Oftmals beginnt diese selbstgesteuerte und autodidaktische Weiterbildung dann, wenn Lehrende aktiv über ihr didaktisches Handeln nach‐ denken, über sich selbst als Lehrende reflektieren, Defizite erkennen und Lö‐ sungsstrategien entwickeln. Selbstreflexion kann somit als ein wesentlicher As‐ pekt bei der Entwicklung von Lehrkompetenz angesehen werden. 5.1.1.2 Lehrkompetenzoptimierung durch KDE Im Rahmen der Komplexen Dynamischen Evaluation wird großes Augenmerk auf Selbstevaluation bei Lehrenden (und Studierenden) gelegt, weil die Ergeb‐ nisse der Evaluation als ein zentraler Ausgangspunkt für selbstreflexive Pro‐ zesse gesehen werden, die ihrerseits wiederum mit Selbst-/ Eigenverantwortung und in Folge in direkter Verbindung mit dem beruflichen Selbstkonzept stehen, wie Koch (vgl. 2005) festhält. Das Lehrendenselbstkonzept ist auch meiner Lehr‐ erfahrung nach ein wesentliches Kriterium guter Lehre. Die KDE unterstützt die Lehrenden bei der Selbstreflexion nicht nur, indem sie eigene Fragen bereitstellt, die bei ihnen selbstreflexive Prozesse auslösen sollen, sondern auch, weil in der KDE die LernerInnen den Lehrenden regel‐ 5.1 Lernen und Lehren an Hochschulen 195 mäßig Feedbacks geben. Dadurch können viele Punkte aufgezeigt werden, die den Unterrichtenden sonst u. U. verborgen geblieben wären. Diese Anstöße er‐ möglichen den Lehrenden daher auch über Aspekte zu reflektieren, über die sie sonst vielfach vielleicht nicht explizit nachgedacht hätten. Die KDE kann dem‐ nach auch als Hilfsmittel bei der autodidaktischen Weiterbildung bzw. der Op‐ timierung der Lehrkompetenz gesehen werden. Zu den unter 5.1.1.1 angeführten Kompetenzen, über die Lehrende verfügen sollten, kommen in Zusammenhang mit dem vorliegenden Ansatz noch weitere hinzu. Dabei handelt es sich vor allem um Kompetenzen in Zusammenhang mit Evaluation und Qualitätsoptimierung. Soll Evaluation als ernstzunehmendes Hilfsmittel bei der Unterrichtsoptimierung eingesetzt werden, müssen Lehrende zum einen über Kompetenzen verfügen, die Ergebnisse der Evaluationen zu nutzen, um Prozesse einzuleiten, die den Fremdsprachenunterricht optimieren und zum anderen sollten sie auch dazu beitragen, dass im Unterricht eine Ver‐ besserungskultur und Evaluationskultur entstehen kann, denn nur dann, wenn auch die LernerInnen die Wichtigkeit von Evaluation an sich und die Wichtig‐ keit ihrer aktiven Beteiligung daran für die Qualitätsoptimierung des Unter‐ richts erkennen, ist Optimierung möglich. Im Rahmen der KDE können sich die Lehrenden diese Kompetenzen im Rahmen einer expliziten Einschulung an‐ eignen und werden zudem durch einen für sie konzipierten Leitfaden für Leh‐ rende unterstützt. 5.1.2 Faktoren im Fremdsprachenunterricht Um zu beleuchten, in welchen Bereichen des Fremdsprachenunterrichts Evalu‐ ation überhaupt Einzug finden kann, müssen die einzelnen Faktoren des Lehrens und Lernens analysiert werden, da sie die Lehr- und Lernprozesse beeinflussen und somit auch auf die Optimierungsschritte Auswirkungen haben. Ein sehr bekanntes Modell, welches konkret für den Fremdsprachenunterricht konzipiert wurde und sämtliche Faktoren, die diesen beeinflussen, berücksichtigt, stammt von Edmondson / House (vgl. 1984 Edmondson bzw. Edmondson / House 2011), die das Unterrichtsgeschehen von den folgenden Faktorenkomplexen beein‐ flusst sehen: soziopolitische Faktoren, personenbezogene Faktoren, Lehr- und Lern‐ umgebungsfaktoren sowie wissenschaftliche Faktoren (siehe Abbildung). 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 196 Abb. 18: Fremdsprachenunterricht als Faktorenkomplex (Edmondson 1984: 57 bzw. Edmondson / House 2011: 25) 5.1 Lernen und Lehren an Hochschulen 197 Zu den soziopolitischen Faktoren zählen neben dem Status der Fremdsprache in der L1-Kultur unter anderen die Fremdsprachenpolitik des Landes, die Rolle des Fremdsprachenunterrichts in der Ausbildung und der ökonomische Status des Landes etc. Bei den personenbezogenen Faktoren (LernerInnen und Lehrper‐ sonen) werden neben der bisherigen Ausbildung vor allem die Motivation und das Interesse bzw. vorhandene Kompetenzen in der Fremdsprache und persön‐ liche Merkmale angeführt. Unter die Lehr- und Lernumgebungsfaktoren fallen neben der Größe der LernerInnengruppe und der Qualität der Ausstattung des Hörsaals vor allem auch die Fragen, wann und wie oft und über welchen Zeit‐ raum der Fremdsprachenunterricht stattfindet. Zu den wissenschaftlichen Fak‐ toren zählen u. a. Sprachlehr-/ Sprachlernforschung, Linguistik, Pädagogik, Psy‐ chologie, Psycholinguistik etc. Betrachtet man diese angeführten Faktoren, die das Unterrichtsgeschehen beeinflussen, wird die Grundkomplexität, die dem Lehren und Lernen inne‐ wohnt und mit der Lehrende und Studierende seit jeher konfrontiert waren und nach wie vor sind, erneut verdeutlicht, denn diese Faktoren darf man, wie Ed‐ mondson / House (ibid.) darlegen, nicht als hierarchisch oder isoliert vonei‐ nander verstehen, sondern sie interagieren miteinander und stehen auch in wechselseitiger Beziehung zum Unterricht. Jeder dieser Faktoren wirkt für sich bereits auf das Unterrichtgeschehen positiv oder negativ ein und beeinflusst damit den Lehrbzw. Lernerfolg. Zudem können sich die einzelnen Faktoren auch gegenseitig beeinflussen, was sich in weiterer Folge auch auf den Unter‐ richt auswirkt. Von Lehrendenbzw. Studierendenseite kann diese Art der Beeinflussung nur bis zu einem bestimmten Grad aktiv gesteuert werden. So haben die Lehrenden an vielen Universitäten üblicherweise nur beschränkten Einfluss auf die Be‐ schaffenheit oder Größe eines Lehrsaals, auch die Gruppengröße für die ein‐ zelnen Kurse wird sehr oft von Faktoren bestimmt, auf die man als LehrendeR oder StudierendeR nur wenig Einfluss hat. Nicht selten sind die Gruppen zu groß und die Räume, in welchen unterrichtet wird, sehr klein bzw. suboptimal ausgestattet. Oft wird das Lernen durch Lärm von außen oder andere äußere Störfaktoren negativ beeinflusst. Diese Faktoren sind zur Strukturqualität (siehe Abschnitt 4.1.2) zu zählen und wirken direkt auf das Unterrichtgeschehen bzw. auf die Unterrichtsqualität. So können dadurch auch andere Bereiche wie z. B. die personenbezogenen Faktoren negativ beeinflusst werden, denn vielfach wirken sich diese ungünstigen Bedingungen beispielsweise auch störend auf die Motivation der Studierenden aus, was als ein Grund für geringen Lernerfolg angesehen werden kann. Umgekehrt ist zu beobachten, dass große helle und ruhige Lehrsäle, die über eine gute Ausstattung verfügen und in welchen die 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 198 Studierenden ausreichend Platz haben, einen positiven Einfluss auf das Lehren und Lernen haben können. Die Interaktion dieser Faktoren kann daher als sehr komplex bezeichnet werden. Zur genannten Komplexität kommt zudem eine gewisse Dynamik hinzu, weil alle diese miteinander interagierenden Faktoren und Prozesse nicht statischer Natur sind, sondern einem kontinuierlichen Wandel unterliegen und auch vom jeweiligen Kontext geprägt sind, in welchem das Lernen / Lehren stattfindet. So werden z. B. Straßenlärm, kleine dunkle Räume etc. manche Studierende beim Lernen stärker negativ beeinflussen als andere, und an manchen Tagen werden sich gewisse Faktoren vermehrt bemerkbar machen. All dies führt letztendlich zu der Erkenntnis, dass zwei Lehr-/ Lernsituationen niemals völlig gleich, son‐ dern immer unterschiedlich sind. Konsequenterweise folgt daraus, dass auch der Lehr-/ Lernprozess in der Regel ein anderer und somit generell schwer vorher‐ sagbar ist. Einzelne LernerInnen in einer Gruppe werden daher in bestimmten Lernsi‐ tuationen Unterschiedliches erfahren und werden auch hinsichtlich des be‐ obachtbaren Lernergebnisses mehr oder weniger erfolgreich sein (vgl. Vielau 2007: 240). Lernen und Lehren sind höchst individuelle Unterfangen, vor allem deswegen, weil die an diesen Prozessen beteiligten AktantInnen individuell sind und sich somit per definitionem voneinander unterscheiden. Jede Lernerin, jeder Lerner ist anders, hat einen eigenen Lernhintergrund, individuelle Lernschwie‐ rigkeiten und Lernziele etc. Ebenso verhält es sich mit den Lehrenden, die über eine unterschiedliche Lehrhistorie verfügen, differenzierte Lehrzugänge haben und sich nicht zuletzt auch durch ihre Persönlichkeit voneinander unter‐ scheiden. Im universitären Fremdsprachenunterricht treffen oft auch unterschiedliche Kulturen aufeinander. Nicht selten ist die Lehrperson native speaker in der Sprache, die sie vermittelt, und die Studierenden stammen aus einer anderen oder sogar aus mehreren unterschiedlichen Kulturen. Dies wird bei manchen Sprachen weniger Auswirkungen zeigen als bei anderen und bedeutet letztlich, dass das Sprachlernen / Sprachlehren immer auch mit einem Sensibilisieren im Hinblick auf andere Kulturen in Verbindung stehen sollte. Sprachunterricht ist daher immer auch als Kulturunterricht zu sehen und wird nicht zuletzt auch aufgrund der unterschiedlichen kulturellen Konzepte, nämlich wie der Unter‐ richt, wie Lehren und Lernen ablaufen bzw. welche Rolle die am Unterrichtge‐ schehen Beteiligten haben, individuell sein. Ein Beispiel hierzu konnte ich im Rahmen eines Austauschprogramms des Konfuzius Institutes Graz mit der Partneruniversität Jiangsu University in China beobachten. Ich wurde Zeuge davon, wie befremdend für die österreichischen 5.1 Lernen und Lehren an Hochschulen 199 3 Theorie der komplexen / nichtlinearen dynamischen Systeme Studierenden der an der Gastuniversität angebotene Chinesischunterricht war. In diesem Unterrichtssetting, welches an die Zeit vor der kommunikativen Wende in Europa erinnert, nahm die Lehrperson die zentrale Rolle im Unter‐ richtsgeschehen ein. Sie las einen chinesischen Text mehrmals laut vor und die LernerInnen mussten die einzelnen Passagen laut und im Chor nachsprechen. Interaktive Übungen waren nicht Teil des Unterrichts. Gleichzeitig zeigte sich auch die Chinesischlehrende verwundert über die geringe Motivation von Seiten der LernerInnen, an diesen Übungen teilzunehmen und suchte im Anschluss den Dialog, in welchem über (kommunikative) Unterrichtsmethoden gespro‐ chen wurde, die in Europa mittlerweile als alltäglich angesehen werden, sich jedoch in China aktuell noch nicht (in diesem Ausmaß) durchgesetzt zu haben scheinen. Für chinesische Studierende sind diese und ähnliche Nachsprechü‐ bungen fixer Bestandteil in Fremdsprachenkursen, auch auf universitärem Ni‐ veau. In ähnlicher Weise wie die österreichischen Studierenden auf die chinesi‐ schen Lehrmethoden mit Verwunderung reagierten, antworten viele Austausch‐ studierende aus z. B. China auf die europäischen Methoden - zumindest anfangs. Dies zeigt sich beispielsweise, wenn sie sich im Rahmen eines Austauschpro‐ gramms in einem Fremdsprachenkurs in einer kommunikativen Unterrichtssi‐ tuation befinden. Diese Erfahrung machte ich selbst mehrfach im Rahmen meiner eigenen Kurse und kenne ich auch aus Gesprächen mit DaF-KollegInnen. Das bisher Dargelegte veranschaulicht, wie komplex, dynamisch und indivi‐ duell die Prozesse bzw. Tätigkeiten des Lehrens und Lernens in der Tat sind. Es verdeutlicht auch, dass das akkurate Beschreiben dieser Prozesse nicht möglich ist und man bestenfalls von einer Annäherung an diese Phänomene sprechen kann. Eine Theorie, die sich dabei als hilfreich erweist und die die Komplexität und viele unterschiedliche Dynamiken beim Lehren und Lernen meiner Erfah‐ rung nach und in Anlehnung an z. B. Larsen-Freeman (1997) und de Bot / Lowie / Verspor (2007) sowie de Bot / Lowie / Thorne / Verspor (2013) - unter Berücksichtigung ihrer Grenzen und Kritikpunkte - ermöglicht, ist die Complex Dynamic System Theory 3 , die in Abschnitt 5.2 vorgestellt und ihre An‐ wendung auf den Fremdsprachenunterricht diskutiert wird. Davor werden jedoch die Anforderungen an einen Evaluationsansatz in An‐ lehnung an den oben genannten Paradigmenwechsel shift from teaching to learning aufgezeigt. 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 200 5.1.3 Evaluation »neu« Ein Evaluationsansatz, mit welchem man auf den Zug des shift from teaching to learning aufspringen will und der in den neuen Kontext des Lehrens und Lernens eingebettet werden soll, muss völlig neu gedacht und umfassender als bisher konzipiert werden. Die in Kapitel 1 analysierten Evaluationsansätze orientieren sich weitgehend nicht an diesen neuen didaktisch-methodischen Prinzipien, die im vorliegenden Kapitel expliziert wurden, sondern sind nach wie vor stark lehrendenorientiert und ermöglichen weder den Lehrenden, die Studierenden mehr in das Unterrichtsgeschehen einzubinden, noch ist es den LernerInnen umgekehrt möglich, dadurch aktiver an der Unterrichtskonzeption mitzu‐ wirken, was in einem Ansatz, der studierendenzentriert sein soll, eine Notwen‐ digkeit darstellt. Die zentrale Erkenntnis aus den oben angeführten Darstellungen ist dem‐ nach, in Hinblick auf Evaluation in Lehrveranstaltungen und lernerInnenzent‐ riertem Unterricht zum einen eine neue Evaluationskultur zu schaffen, die den LernerInnen aufzeigt, welche Möglichkeiten Evaluation bei der Unterrichtsop‐ timierung aus ihrer Sicht bieten kann und zugleich darauf hinzuweisen, dass dies nur möglich ist, wenn sie beim Optimierungsprozess aktiv mitarbeiten. Unterrichtsoptimierung ist nur gemeinsam möglich und eine Schnittstelle hierzu stellt Evaluation mit anschließendem Follow-up dar. Eine Evaluationsmethode, die dies besonders begünstigt und einen zentralen Bestandteil der KDE ausmacht, ist das kontinuierliche Feedbackgeben der Stu‐ dierenden an die Lehrenden, wie dies durch KAIZEN für Verbesserungen in Unternehmen vorgeschlagen wird (siehe Kapitel 4). Dadurch wird über die op‐ timierte Kontaktqualität die Kollaboration zwischen den beiden Hauptaktan‐ tInnen verbessert und Lehren und Lernen kann als gemeinsame Angelegenheit betrachtet werden, bei welcher beide ihre Aufgaben erkennen und wahrnehmen können. Je mehr Möglichkeiten den LernerInnen geboten werden, diese Art der Rückmeldung zu nutzen, desto mehr rücken diese in den Fokus des Geschehens und desto mehr Informationen hinsichtlich der Unterrichtsoptimierung können gewonnen werden. Ein weiterer Aspekt, der durch Evaluation im Kontext der Hochschullehre abgedeckt werden sollte, und in Abschnitt 5.1.1.2 bereits ausgeführt wurde, stellt die Lehrendenfortbildung dar. Auf diesem Gebiet kann Evaluation maßgeblich - vor allem durch Selbstevaluation mit anschließender Selbstreflexion - zu einer Qualitätsoptimierung beitragen, indem sie die Unterrichtenden dabei unter‐ stützt, ihre Lehrkompetenz und somit die Lehrqualität zu optimieren. 5.1 Lernen und Lehren an Hochschulen 201 4 In der Literatur auch als Dynamic(al) Systems Theory oder Complex Adaptive Systems bezeichnet. Zusammengefasst resultiert daraus, dass die KDE , will sie die oben ange‐ führten Anforderungen erfüllen, eine neue Evaluationskultur schaffen muss, in welcher 1. Evaluation fixer Bestandteil des Unterrichtgeschehens ist, 2. Studierende das Recht zu evaluieren haben, aber auch die Pflicht, sich beim Verbesserungsprozess durch Evaluation zu beteiligen, 3. Studierendenzentriertheit durch Evaluation verstärkt wird, 4. Evaluation die Kollaboration zwischen Lehrenden und Studierenden in‐ tensiviert, 5. Evaluation sich an der jeweiligen Situation und den Bedürfnissen der AktantInnen orientiert, 6. Informationen generiert werden, die den Lehrenden dabei helfen, ihre für die Lehre essentiellen Kompetenzen (Methoden-, Organisations-, Sozial-, Selbst-, berufliche Handlungskompetenz etc.) zu verbessern (autodidak‐ tische Lehrendenfortbildung), 7. sämtliche Prozesse des Lehr- und Lerngeschehens durch Evaluation be‐ leuchtet und verbessert werden können. Ganz besonders der letzte Punkt setzt voraus, dass man die einzelnen Prozesse und Dynamiken, die im Fremdsprachenunterricht ablaufen, kennt, damit Eva‐ luation stärker in das Unterrichtsgeschehen eingebunden werden kann. Die Grundlagen hierfür werden im folgenden Abschnitt zur Complex Dynamic System Theory geschaffen, die jene komplexen Dynamiken beschreiben soll, die beim Lernen, Lehren und Evaluieren auftreten können. Sie bildet sozusagen einen Rahmen für Lehrbzw. Lernprozesse und auch die Basis für eine dyna‐ mische Evaluation, die mit der KDE angestrebt wird. Darüber hinaus wird ex‐ pliziert, wie Fremdsprachenunterricht aus Sicht der Complex Dynamic System Theory zu Lernerfolg beitragen kann. 5.2 CDST und Fremdsprachenunterricht Die Complex Dynamic System Theory 4 ( CDST ), die ihren Ursprung in den Natur‐ wissenschaften findet und seit vielen Jahren vor allem in der Mathematik und Physik zum Erklären von komplexen, dynamischen Systemen wie etwa Frak‐ talen, dem Sonnensystem, dem Wetter etc. herangezogen wird, erfreute sich in 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 202 5 Mitglieder: Clay Beckner, Richard Blythe, Joan Bybee, Morten H. Christiansen, William Croft, Nick C. Ellis, John Holland, Jinyun Ke, Diane Larsen-Freeman und Tom Schoe‐ nemann. den letzten zwei Dekaden verstärkt auch in anderen Wissenschaftsdisziplinen wie der Psychologie oder der Wirtschaft großer Beliebtheit. Obwohl bereits 1991 van Geert mit seinem Artikel A Dynamic Systems Model of Cognitive and Lang‐ uage Growth und 1997 Larsen-Freemann mit ihrem Artikel Chaos / Complexity Science and Second Language Acquisition die Türen für den Einzug der CDST in den Bereich des Fremdsprachenlernens öffneten, fanden sich anfangs ver‐ gleichsweise wenige Arbeiten, die die Anwendung dieser Theorie auf das Fremdsprachenlernen weiter untersuchten. Dies mag vor allem auf den sehr unterschiedlichen Ansatz jener Theorie zu bis dato üblichen Konzepten und Modellen im Bereich der Fremdsprachenforschung zurückzuführen sein. Erst mit der Konferenz zum 60. Jubiläum der Zeitschrift Language Learning, die im November 2008 an der University of Michigan abgehalten wurde, konnte diese Theorie stärker in den Forschungsdisziplinen um das Lehren und Lernen von Fremdsprachen verankert werden. Dies ist nicht zuletzt auch der Publika‐ tion Language Is a Complex Adaptive System der Five Graces Group 5 zu ver‐ danken, einer Gruppe von ForscherInnen, die aktiv an der Entwicklung dieses neuen Forschungsparadigmas involviert ist (siehe The Five Graces Group 2009). Betrachtet man die Anzahl der Publikationen, die vor allem in den letzten fünf Jahren zu diesem Thema veröffentlicht wurden, kann davon ausgegangen werden, dass die CDST mittlerweile eine fixe Verankerung im Bereich des Fremdsprachenlernens/ -lehrens gefunden und sich als ernstzunehmende The‐ orie etabliert hat. Dies trifft zumindest auf die theoretische Seite zu, denn im praktischen Unterrichtsgeschehen werden diese Ansätze bisweilen noch wenig einbzw. umgesetzt und es gibt verhältnismäßig wenig dokumentierte Publi‐ kationen darüber. Bevor in weiterer Folge die konkrete Anwendung der CDST auf den univer‐ sitären Fremdsprachenunterricht diskutiert wird, sollen einige Grundbegriffe dieser Theorie erläutert und durch Anwendungsbeispiele auf das Fremdspra‐ chenlehren und -lernen bereichert werden. Für detaillierte Ausführungen siehe z. B. van Geert (1991), Willke (1993), Schiepek / Strunk (1994) und Schlippe / Schweitzer (1997). 5.2.1 Grundbegriffe der CDST Die CDST beschäftigt sich mit sogenannten komplexen dynamischen Systemen (siehe Abschnitt 5.2.2) und versucht Veränderungen zu erklären bzw. zu be‐ 5.2 CDST und Fremdsprachenunterricht 203 schreiben, die sich in diesen Systemen in Abhängigkeit von der Zeit ereignen. Diese dynamischen Veränderungen können viele unterschiedliche Ursachen haben und durch innere oder äußere Faktoren ausgelöst werden. Da bereits der Begriff System nicht einfach zu fassen ist, und wie Kriz (vgl. 2000: 18) feststellt, in der Wissenschaft bis dato nicht eindeutig definiert wurde, wird hier neben dem Finden einer Arbeitsdefinition lediglich intendiert, zu be‐ schreiben, was bei der Arbeit mit Systemen zu berücksichtigen ist und wie ein System mit seiner Umgebung interkorreliert. 5.2.1.1 Der Begriff »System« Unter Systemen versteht man im Allgemeinen »die Vereinigung von Dingen oder Sachverhalten zu einem gegliederten Ganzen« (Wiesen 2003). Dabei muss man zwischen »natürlichen« und »gedanklichen« Systemen unterscheiden, wie sie ausführt. Erstere lassen sich in der Natur finden, wie beispielsweise das Pla‐ netensystem. Letztere sind im Prinzip vom Menschen konstruiert und manifes‐ tieren sich etwa in Form eines philosophischen Systems oder eines Gedanken‐ gutes etc. Beiden gemein ist, dass die Elemente des jeweiligen Systems durch Relationen geordnet sind und dass die Gesamtheit dieser Relationen als die Struktur des Systems bezeichnet werden kann (vgl. ibid.). Das bedeutet, dass die einzelnen Elemente oder Bestandteile nicht wahllos oder zufällig angeordnet sind, sondern nach einem bestimmten Plan, auch wenn dieser für den Be‐ trachter / die Betrachterin nicht immer (sofort) ersichtlich oder verständlich ist. Van Geert (1994: 50) unterstreicht die Tatsache, dass sich ein System über die untereinander interagierenden Komponenten definiert und es nicht nur eine wahllose Ansammlung beliebiger und voneinander oder vom Rest der Welt iso‐ lierter Variablen ist. Dies bedeutet, dass jede einzelne Variable die anderen Va‐ riablen affektiert und auch sich selbst, was er als völlige Verbundenheit (complete connectedness) bezeichnet, die sozusagen die Standardeigenschaft eines jeglichen Systems darstellt. Ein System unterliegt demnach stets einer gewissen Ordnung, einer Struktur. 5.2.1.2 Objektivität und Subjektivität von Systemen Bösel (vgl. 1977: 18) hält in Bezug auf Systeme fest, dass im Prinzip jeder von einem Beobachter / einer Beobachterin hergestellte Zusammenhang zwischen Phänomenen der Wirklichkeit als ein System bezeichnet werden kann, was be‐ deutet, dass die Existenz von Systemen kein rein objektiver Sachverhalt ist, sondern von der jeweils eingenommenen Perspektive abhängt, wie auch Kriz (vgl. 2000: 18) konkludiert. Dies trifft nicht nur auf das System selbst zu, sondern in weiterer Folge auch auf die jeweiligen Elemente des betreffenden Systems. 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 204 Entscheidend ist im Hinblick auf die Definition eines Systems somit derje‐ nige / diejenige, der / die das System und seine Elemente definiert bzw. die ein‐ zelnen Bezüge herstellt. Von einer konstruktivistischen Perspektive aus betrachtet, werden Gegen‐ stände vom Betrachter selbst durch den Vorgang des Erkennens konstruiert, was bedeutet, dass es an sich keine objektive Realität gibt, sondern sich jedes Indi‐ viduum seine Realität selbst konstruiert. Diesem Credo wird im vorliegenden Ansatz zum Teil widersprochen, denn ein Gegenstand x ist aller Voraussicht nach am selben Ort y unter denselben Bedingungen und Einflüssen z zu einem bestimmten Zeitpunkt t immer dieser Gegenstand x, unabhängig davon, wer diesen Gegenstand betrachtet. Auch wenn x von niemandem betrachtet wird, bleibt er dennoch dieser Gegenstand. Somit ist ein gewisses objektives Vorhan‐ densein Realität, über die jedoch, wie Kriz (1990: 189) ausführt »nichts gesagt werden kann«, weil es sich um eine »beobachterunabhängige Wirklichkeit« handelt. Daraus resultiert, dass der entscheidende Punkt die unterschiedliche Wahrnehmung dieses Gegenstandes durch die einzelnen Individuen ist. Ein Ziegelstein beispielsweise wird in einem bestimmten Raum mit unver‐ änderlichen Eigenschaften, rein objektiv betrachtet, zu einem bestimmten Zeit‐ punkt t immer dasselbe Gewicht, dieselbe Farbe und dieselbe Form etc. haben, egal, ob er von einer Person A oder einer Person B gesehen wird, jedoch kann sich die subjektive Wahrnehmung dieses Gegenstandes durch die Individuen unterscheiden. Wenn er beispielsweise von einem Bauingenieur oder einer Architektin betrachtet wird, der / die mit Ziegelsteinen Häuser bauen kann, wird dieseR andere Assoziationen haben als jemand, der / die für ein Abrissunter‐ nehmen tätig ist oder jemand, der / die einen Ziegelstein dieser Form und Farbe zum ersten Mal sieht. Die Fragen, die sich die jeweiligen Personen in diesem Zusammenhang stellen, werden unterschiedlich sein, genauso wie die Antworten, die sich manifestieren. Diese Unterscheidung trifft auch auf das System Fremdsprachenunterricht zu, da unterschiedliche LernerInnen und Lehrende ein und denselben Unterricht unterschiedlich wahrnehmen, wie z. B. auch die uralte Frage, was guter Unter‐ richt ist, verdeutlicht, und in Kapitel 4 aus Sicht der Qualitätsforschung auch mit der Einführung von Qualitätskriterien bereits erschöpfend diskutiert wurde. 5.2.1.3 Zusammenhänge und Abgrenzungen In Bezug auf Systeme ist ferner zu bedenken, dass nicht nur zwischen den ein‐ zelnen Bestandteilen eines Systems ein Zusammenhang herrscht, sondern auch zwischen dem System und den einzelnen Teilen bzw. umgekehrt. Systeme sind holistische Gebilde und nicht nur die Summe ihrer Bestandteile. 5.2 CDST und Fremdsprachenunterricht 205 Auch die einzelnen Bestandteile werden erst in Relation zum System relevant, da, wie Schiepek / Strunk (1994: 10) festhalten, »in einem System die Eigen‐ schaften des Systemganzen von seinen Teilstrukturen abhängen und von ihnen bedingt werden, und umgekehrt, […] die Eigenschaften der Teilstrukturen von den Eigenschaften des Gesamtsystems abhängen und bedingt werden«. Dabei sind Eigenschaften des Gesamtsystems solche, die bei der Beschreibung der Teile nicht vorkommen. Als Beispiel hierfür geben die Autoren an, dass ein System, welches aus zwei Personen besteht, zumindest eine Eigenschaft besitzt, die keine der beiden Personen hat, nämlich, dass es aus zwei Personen besteht. Ein System Sprachkurs könnte somit beispielsweise aus den Hauptbestand‐ teilen Lehrperson, Studierende und Sprache bestehen, wie dies bereits auch durch das didaktische Dreieck verdeutlicht wurde, könnte aber auch Unterrichtsraum, Gruppengröße, Materialien, Methoden etc. inkorporieren, je nachdem, was man untersuchen möchte. Jegliches System kann jedoch nur existieren, wenn die einzelnen Teile vorhanden sind. Ein Kurs ohne Studierende wäre in diesem Kontext genauso undenkbar wie ein Kurs ohne Lehrende etc. Umgekehrt schafft das System Sprachkurs die Voraussetzungen für die Rollen der einzelnen Teil‐ nehmerInnen und beeinflusst auch deren Interaktionen, es schafft Ordnung. Befinden sich z. B. viele Studierende in einem kleinen Unterrichtsraum mit schlechter Ausstattung, wird die Lehrperson u. U. andere Unterrichtsmethoden einsetzen, als sie dies aller Voraussicht nach in einem großen Raum mit wenigen Studierenden und guter Ausstattung täte. Wenn zu viele Studierende im be‐ sagten Kurs sind, wäre es denkbar, dass die Qualität dieses Kurses aufgrund der Ressourcen sinkt, was sich z. B. auf die Motivation einzelner Studierender aus‐ wirken und zur Folge haben könnte, dass einige den Kurs abbrechen. Mit weniger Studierenden könnte der Kurs z. B. interaktiver gestaltet werden, was sich wiederum positiv auf dessen Qualität auswirken würde. Dieses Beispiel verdeutlicht zum einen das Zusammenspiel der einzelnen Systemteile und zum anderen die Auswirkung, die diese auf das System haben bzw. umgekehrt, wie diese vom System beeinflusst werden. Neben der Abgrenzung in System und Systemteile muss auch zwischen dem System und der Systemumwelt unterschieden werden, da, wie Schlippe / Schweitzer (vgl. 1997: 54f) explizieren, ein System immer erst dann als solches erkennbar ist, wenn es von seiner Umwelt unterschieden werden kann. Um dies zu verdeutlichen, könnte man hierfür im konkreten Kontext beispiels‐ weise die Systemumwelt Universität definieren, in welche das System Sprach‐ kurs eingebettet ist. Für den betreffenden Sprachkurs wäre Universität somit dessen Umwelt, die ihrerseits jedoch wiederum System in einer anderen Um‐ welt, z. B. Bildungseinrichtung sein könnte. Das verdeutlicht erneut, dass die in‐ 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 206 volvierten Personen für das Bezeichnen eines Systems wesentlich sind, da sie die Entscheidung darüber treffen, was sie als System und was sie als Umwelt wahrnehmen. 5.2.2 Komplexe dynamische Systeme Im Gegensatz zu einfachen oder trivialen Systemen, die mit relativ wenigen Wenn-Dann-Sätzen erklärt und beschrieben werden können und die über eine vergleichsweise geringe und in der Regel bekannte Anzahl von Wirkungsver‐ läufen verfügen, spricht man von einem komplexen System, wenn, wie Larsen-Freeman (vgl. 1997: 143) ausführt, zwei Prämissen erfüllt sind: Erstens, wenn dieses System von seiner Grundbeschaffenheit her komplex ist, also aus einer Vielzahl von unterschiedlichen Komponenten besteht, wie z. B. der menschliche Körper oder das System Sprache, welches sich aus unterschiedli‐ chen Morphemen, Phonemen etc. zusammensetzt. Zweitens, wenn das Ver‐ halten dieses Systems komplex ist und mehr ist als nur die Summe des Verhaltens der einzelnen Komponenten. Dies kann durch die Tatsache erklärt werden, dass sich jede dieser Kompo‐ nenten selbst wiederum in einem Umfeld befindet, welches durch die Interak‐ tionen mit anderen Komponenten des Systems gebildet wird. Es befindet sich somit in ständiger Aktion mit bzw. in Reaktion auf die Aktionen und Reaktionen der anderen Komponenten. Ein Beispiel für den Fremdsprachenunterricht wäre die Interaktion zwischen den LernerInnen und der Lehrperson. Jede Aktion der / des Lehrenden ruft bei den Studierenden eine bestimmte Reaktion hervor und umgekehrt. Bei unterschiedlichen Studierenden werden die Reaktionen unterschiedlich sein, weil die Individuen unterschiedlich sind und ihrerseits wiederum von unterschiedlichen Faktoren beeinflusst werden. Dies bedeutet, dass derart komplexe Systeme nicht mehr durch einfache Wenn-Dann-Bedin‐ gungen erklärt werden können. 5.2.2.1 Der Faktor »Zeit« Systeme setzen sich aus unterschiedlichsten Komponenten zusammen. Manche bestehen aus Konstanten, andere aus Variablen und wiederum andere aus beiden. Während die Grundeigenschaft einer Konstante über die Zeit unverän‐ dert bleibt, zeichnen sich Variablen dadurch aus, dass sie sich mit der Zeit ver‐ ändern. Komplexe Systeme bestehen aus vielen Variablen und sind somit auch untrennbar mit dem Faktor Zeit (t) verbunden. Wenn die einzelnen Bestandteile eines Systems variabel sind und sich über die Zeit verändern, spricht man von einem dynamischen System. 5.2 CDST und Fremdsprachenunterricht 207 Bei komplexen dynamischen Systemen verändern sich nicht nur die ein‐ zelnen Variablen mit der Zeit, sondern jede Veränderung einer Variablen beein‐ flusst zudem auch die Veränderung einer anderen Variablen. Daraus resultiert: Ein dynamisches System ist eine Zusammensetzung von Komponenten, die sich mit der Zeit verändern, und bei welchen sich die Veränderung einer Variablen x auch auf die Veränderung der anderen Variablen y auswirkt. Die Veränderung der Variablen y wirkt sich in Folge auch auf das Verhalten der Variablen x aus. Dies bedeutet, dass der jeweils gegenwärtige Zustand eines Systems vom jeweiligen Zustand der einzelnen, dieses System definierenden Variablen ab‐ hängt und auch, dass der Zustand einer Variablen zu einem bestimmten Zeit‐ punkt eine Funktion aller Variablen zu einem früheren Zeitpunkt ist. Das System verändert sich, weil jeglicher Ausgangszustand einen anderen Zustand bewirkt, der wiederum als Ausgangszustand für eine weitere Veränderung herangezogen wird, wie van Geert (vgl. 1994: 50) expliziert. Auch der Fremdsprachenunterricht besteht aus einer Vielzahl von Variablen (siehe Abschnitt 5.1), deren Interaktionen nicht immer eindeutig vorhergesagt werden können. Prinzipiell kann jede am Unterricht beteiligte Person auch als Variable gesehen werden. Jede hat eine andere Persönlichkeit, andere Stärken und Schwächen, andere Vorlieben beim Lernen etc., die sich zudem mit der Zeit und in Abhängigkeit von den anderen Gruppenmitgliedern verändern können. Dieser Rückschluss unterstreicht die Feststellung, dass der Fremdsprachenun‐ terricht ein komplexes dynamisches System darstellt. Veränderungen über die Zeit sind Prozesse, weswegen im systemtheoreti‐ schen Ansatz auch immer die Prozesshaftigkeit (vgl. Kriz 2000: 22), das Entwi‐ ckeln im Vordergrund der Untersuchungen steht. Da dies auch auf den Fremd‐ sprachenunterricht zutrifft, erweist sich ein System, welches prozessbegleitend optimiert, wie das in Kapitel 4 vorgestellte KAIZEN , auch optimal für die Qualitätsentwicklung komplexer dynamischer Systeme. Die Komplexität des hier angesprochenen Phänomens Zeit kann nur skizziert werden, weswegen an dieser Stelle auf Cramer (1993), Kaempfer (1991) und Prigogine (1982) verwiesen wird, die sich diesem Thema in aller Ausführlichkeit widmen. Wesentlich für das Verständnis von Zeit ist jedoch ihr doppelter Charakter. Kaempfer (vgl. 1991: 46ff) spricht von einer irreversiblen Zeit und einer reversiblen Zeit. Während die reversible Zeit für die Stabilität von Systemen sorgt, sozusagen jene Zeit ist, die die Selbsterhaltung eines Systems sichert, be‐ deutet Irreversibilität seiner Definition nach, dass ein System von einem Zu‐ stand in einen anderen Zustand übergegangen ist, dass es sich im Sinne der Nicht-Umkehrbarkeit des Prozesses verändert hat. Dabei sind die Zustände, die 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 208 es durchläuft, verschieden voneinander und können nicht rückgängig gemacht werden. Dies erlaubt uns anzunehmen, dass Zeit vergeht. Auf die Theorie der komplexen dynamischen Systeme und das Sprach‐ lehren/ -lernen umgemünzt, kann man auch von irreversiblen und reversiblen Prozessen sprechen. Erstere finden einmalig statt und letztere sind zyklisch und geschehen immer wieder. Im Kontext dieses Buches wären z. B. die einzelnen Unterrichtseinheiten irreversibel, werden jedoch oft als reversibel empfunden, weil sie z. B. einmal pro Woche zu einer fixen Zeit an einem fixen Ort - zumin‐ dest über einen gewissen Zeitraum hinweg - mit einer mehr oder weniger gleich zusammengesetzten Gruppe stattfinden und von derselben Lehrperson abge‐ halten werden. Diese scheinbare Kontinuität wird dann als Kurs bezeichnet. An dieser Stelle muss erneut explizit darauf hingewiesen werden, dass jedoch jede einzelne Unterrichtseinheit einmalig ist und auch unter ähnlichen Vorausset‐ zungen, wie Ort, Zeit, Gruppe, Lehrperson etc. immer anders ablaufen wird. Eine Optimierung des Unterrichts muss sich daher an dieser Tatsache orientieren. Zeit spielt beim Lernen und Lehren in vielerlei Hinsicht eine Rolle, vor allem auch deswegen, weil sie oft nicht in ausreichendem Maße vorhanden ist, um den für eine bestimmte Einheit gewünschten / geforderten Unterrichtsstoff zu erarbeiten. Zudem wird die Zeit(-qualität) von unterschiedlichen Personen un‐ terschiedlich wahrgenommen. Während für manche eine vermeintliche Unter‐ richtseinheit schnell vergeht, wird sie von anderen als langatmig empfunden. Darüber hinaus ist zu bemerken, dass manche LernerInnen eine bestimmte Stoffmenge x in einer bestimmten Zeit t verarbeiten können, während andere hierfür t+n oder t-n benötigen. Im Fremdsprachenunterricht wird dies die Lehr‐ person immer wieder vor die schwierige Aufgabe stellen, Arbeitsaufträge un‐ terschiedlich gestalten zu müssen, so dass die schnelleren LernerInnen sich nicht langweilen und die langsameren nicht ständig in Zugzwang geraten. In diesem Zusammenhang wird auch von homogenen bzw. inhomogenen oder hetero‐ genen Gruppen gesprochen. Problematisch kann in dieser Hinsicht sein, dass viele Lehrpersonen von ihrem persönlichen Zeitempfinden ausgehen und nur Aufschluss darüber er‐ halten, wie die LernerInnen die jeweilige Zeit empfunden haben, wenn sie von ihnen diesbezüglich in der einen oder anderen Form eine Rückmeldung erhalten. Nur so können sie das Zeitempfinden einer Gruppe einschätzen und den Lehrstil demgemäß anpassen. Manche Gruppen können in kürzerer Zeit mehr Informa‐ tionen aufnehmen als andere, auch wenn sie theoretisch dasselbe fremdsprach‐ liche Niveau haben sollten. Aus praktischer Sicht der Lehrperson ist diese Ge‐ wissheit jedoch nicht ausreichend und es müssen Wege gefunden werden, wie diese Differenzen überwunden werden können, denn das ist letztendlich - z. B. 5.2 CDST und Fremdsprachenunterricht 209 in Form von Flexibilität - eine Schlüsselkompetenz erfolgreicher Lehrpersonen und trägt auch zu gutem Unterricht bei. 5.2.2.2 System und Umwelt Die Beziehungen der Systemelemente untereinander sind, wie Willke (1993: 282) ausführt, »quantitativ intensiver und qualitativ produktiver […] als ihre Bezie‐ hungen zu anderen Elementen. Diese Unterschiedlichkeit der Beziehungen kon‐ stituiert eine Systemgrenze, die System und Umwelt des Systems trennt«. Die Umwelt ist dabei für ihn das, was nicht explizit zu einem System gehört und kann auch als relevante Umwelten verstanden werden, denn nicht alles außer‐ halb eines Systems ist für dieses auch notwendigerweise von Bedeutung. Was im Endeffekt relevant ist und was nicht, hängt Willkes Definition nach vom Einzelfall ab. Aus diesem Grund ist es auch sinnvoll, wie er (vgl. 1993: 283) fest‐ hält, für ein bestimmtes Problem die Systemreferenz zu bestimmen, also anzu‐ geben, welche Systemebene gerade gemeint ist und in Bezug auf welche Um‐ welten dieses Problem thematisiert wird. Darüber hinaus expliziert er, dass jedes System als Teilsystem eines übergreifenden Systems und jedes Teilsystem als übergeordnetes System für seine Teilsysteme betrachtet werden kann. Dem‐ entsprechend verändert sich auch das, was als Umwelt in Betracht gezogen wird. Um den direkten Bezug zum vorliegenden Ansatz wieder herzustellen, könnte die Universität beispielsweise die Umwelt des Systems universitärer Fremdspra‐ chenunterricht sein. Der Fremdsprachenunterricht ist in diese Umwelt einge‐ bettet und die beiden beeinflussen sich gegenseitig. Darüber hinaus ist die Uni‐ versität wiederum in anderen Umwelten verankert bzw. von diesen abhängig. Diese Interdependenz zeigt auch Auswirkungen auf den Fremdsprachenunter‐ richt. Ein einfaches Beispiel wäre etwa das Budget, welches einer Universität zur Verfügung steht. Sind ausreichend Ressourcen vorhanden, kann die Uni‐ versität diese z. B. auch an die universitären Sprachenzentren weiterleiten, die z. B. die Anzahl der Lehrenden bzw. der Kurse erhöhen könnten, was zur Folge hätte, dass die Anzahl der Studierenden in den einzelnen Kursen niedriger wäre, was sich wiederum positiv auf das Unterrichten auswirken könnte. Umgekehrt, wenn wenig Budget vorhanden ist, sind wahrscheinlich die Gruppen größer, weil weniger Lehrende bezahlt werden können, die Räume sind vielleicht schlechter ausgestattet und die Lehrenden als Folge davon vermehrt unter Druck. Auch diese Rahmenbedingungen sind somit wesentlich, wenn die Frage nach gutem Unterricht beantwortet werden soll. Für den Kontext dieses Buches sind vor allem die Subsysteme Lehrperson und Studierende wichtig, da hier sämtliche, für das Unterrichtsgeschehen relevanten 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 210 und von den AktantInnen direkt beeinflussbaren Interaktionen stattfinden, die auch erheblichen Einfluss auf den Lehrbzw. Lernerfolg haben. 5.2.2.3 Offenheit der Systeme Im Hinblick auf das System und seine Umwelt ist an dieser Stelle auch relevant, darauf hinzuweisen, dass komplexe Systeme in der Regel offene Systeme sind. Das bedeutet, dass sie, im Gegensatz zu geschlossenen Systemen, die als isoliert von ihrer Umwelt aufgefasst werden und weder Energie von außen aufnehmen noch ihrerseits Energie nach außen abgeben (vgl. Schiepek / Strunk 1994: 148), mit ihrer Umwelt in ständiger Interaktion sind. Das mag vielleicht trivial erscheinen, ist aber im Kontext des vorliegenden Ansatzes wichtig, da die am Lehr-/ Lernprozess beteiligten AktantInnen Men‐ schen und somit lebende Systeme sind und eine besonders starke wechselseitige Beeinflussung zwischen ihnen und ihrer Umwelt zu verzeichnen ist. Welchen Einfluss etwa die Umwelt auf die Lehrenden / LernerInnen haben kann, wurde auch am Beispiel des Studierendenaustausches zwischen Österreich und China in Abschnitt 5.1.2 deutlich. Die Kultur, die die Lehrenden und LernerInnen prägt, ist auch eine Umwelt, mit der die einzelnen Systeme in Austausch sind. So ver‐ änderte sich beispielsweise das System Lehrperson im angegebenen Beispiel nach dem Gedankenaustausch mit mir und den Studierenden, weil sie mit einer anderen Umwelt in Kontakt trat. Dieser Kontakt veränderte ihr Lehrverhalten, wie sich bereits in der darauffolgenden Einheit zeigte und wird sich wahr‐ scheinlich auch auf zukünftige Unterrichtsszenarien auswirken. Auch die Fremdsprache beeinflusst die AktantInnen von außen, und sie wirken mit der Fremdsprache wiederum auf ihre Umwelt ein. Zudem befinden sie sich in einem bestimmten sozialen System mit gewissen Konventionen und Regeln und unterliegen auch bestimmten Einflussfaktoren, wie dem Bedürfnis zu schlafen oder psychischen bzw. emotionalen Komponenten, wie gute / schlechte Laune, Stress, Müdigkeit etc., die das jeweilige Verhalten beein‐ flussen und zu einem Großteil von der Umwelt (mit-)verursacht werden. Alle diese Faktoren haben auch auf die Entwicklung sprachlicher Kompetenzen einen Einfluss und sollten - wo möglich - berücksichtigt werden. Dies kann beispielsweise bei der Semesterplanung mit dem Festlegen der Kurszeit oder den Klausurterminen geschehen. Ganz besonders wichtig bei dieser Interaktion zwischen System und Umwelt erscheint die Tatsache, dass der universitäre Fremdsprachenunterricht in einem sozialen Kontext stattfindet und die primären Subsysteme (i.e. Lehrende und Studierende) in zahlreiche Interaktionen und aktive Austauschprozesse verwi‐ ckelt sind. Kriz (vgl. 2000: 24) betont in diesem Zusammenhang, dass in sozialen 5.2 CDST und Fremdsprachenunterricht 211 Systemen vor allem Informationsaustauschprozesse eine wesentliche Rolle spielen. Beim Erlernen einer Fremdsprache im Rahmen eines Sprachkurses ist der Austausch von Informationen erheblich und bidirektional. Informationen werden zum einen von der Lehrperson an die Studierenden gegeben, unter diesen ausgetauscht und auch an die Lehrperson zurückgebracht. Oftmals ist der Informationsaustausch von Lehrendenseite aus verhältnismäßig direkt und zeitnah vorhanden, beispielsweise dann, wenn sie den Studierenden Korrektur‐ vorschläge unterbreiten. Die Rückmeldungen der Studierenden erfolgen oft zeitversetzt und indirekt - manchmal überhaupt nicht oder erst viel zu spät (Endevaluation, Prüfungsergebnisse), sind jedoch für das Optimieren des Un‐ terrichts erheblich und sollten auch zu dem Zeitpunkt an die Lehrperson he‐ rangetragen werden, zu welchem das Problem aktuell ist. KAIZEN lehrt uns, dass nur dann optimiert werden kann, wenn man sich bewusst ist, dass Probleme vorhanden sind. Je früher man diese detektiert, desto leichter sind sie in der Regel zu beheben und negative Folgen können reduziert bzw. vermieden werden, was Ausführungen aus den vorangehenden Kapiteln stützt, dass Evaluationen so eingesetzt werden müssen, dass die dadurch gewonnenen In‐ formationen zeitnah zu Fragen, Schwierigkeiten, Problemen etc. stehen. Der Informationsaustausch findet natürlich auch außerhalb des Unterrichts statt. So tauschen sich beispielsweise Lehrende mit anderen Lehrenden aus und Studierende mit ihren KollegInnen. In weiterer Folge wird die Fremdsprache auch außerhalb des Unterrichts verwendet bzw. wirken z. B. Ereignisse, die im Land / in Ländern stattfinden, in welchen die betreffende Sprache gesprochen wird, auch auf das Unterrichtsgeschehen ein. Ein wesentlicher Faktor beim In‐ formationsaustausch ist Kommunikation, welche im Lehr-/ Lernkontext z. B. durch Feedback, einer speziellen Art der Evaluation, geschehen kann. 5.2.2.4 Nichtlinearität Komplexe Systeme sind in der Regel nicht linear, obwohl sie sich auch linear verhalten können. Nichtlinear bedeutet, dass eine Reaktion nicht notwendiger‐ weise in Proportion zur hervorrufenden Aktion steht, wie dies beispielsweise bei einem linearen System der Fall wäre und im dritten newtonschen Axiom beschrieben wird. Wirkt etwa in einem linearen System ein Körper A mit einer bestimmten Kraft F A → B → auf einen Körper B ein, so wirkt dieser Körper B mit der genau gleich großen, aber entgegengesetzten Kraft F A → B → auf den Körper A ein. Sämtliche Komponenten können dabei aus den anderen Komponenten be‐ rechnet werden. Bei nichtlinearen Systemen, die einen Großteil der natürlichen Systeme dar‐ stellen, ist dies anders. Hier kann z. B. eine geringfügige Veränderung in einem 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 212 Teil des Systems komplexe Effekte hervorrufen, die nicht präzise vorhersagbar sind. Besonders die Anfangsbedingungen eines Systems sind in diesem Zusam‐ menhang von großer Wichtigkeit, da bereits geringe Unterschiede bei den An‐ fangsbedingungen enorme Unterschiede in späteren Variablenverläufen her‐ vorrufen können, wie Lorenz (1972) mit seinem Beitrag zum 139. Meeting der American Association for the Advancement of Science ausführt. Dieses Phänomen, welches er als Schmetterlingseffekt (butterfly effect) bezeichnete, ist z. B. der Grund, warum keine absolut präzisen Wettervorhersagen gemacht werden können. Ebenso wenig können präzise Prognosen hinsichtlich eingesetzter Methoden oder des Lernerfolges eines Lerners / einer Lernerin gegeben werden, denn die Entwicklung einer bestimmten fremdsprachlichen Kompetenz ist, wie unter 5.1 bereits angeführt, von einer Vielzahl unterschiedlicher Faktoren abhängig und bereits kleine Einflüsse können große Auswirkungen haben. Auch die Tatsache, dass unterschiedliche LernerInnen mit unterschiedlichen Voraussetzungen, also Anfangsbedingungen, in das Unterrichtsgeschehen eintreten, ist relevant und sollte bei der Kursplanung berücksichtigt werden. Zu dem bereits Dargelegten muss noch hinzugefügt werden, dass Verände‐ rungen, die beispielsweise in einer Gruppe A zum Erfolg führen, nicht notwen‐ digerweise auch in einer Gruppe B die gleichen Ergebnisse bewirken. Lehrende sollten daher - wenn auch das genaue Kennen der individuellen Studierenden ab einer bestimmten Gruppengröße als utopisch zu bezeichnen ist - zumindest die Dynamiken erfassen, die in einer bestimmten Gruppe wirken. Je mehr man als Lehrperson von den einzelnen Studierenden weiß, desto akkurater wird auch das Bild von der gesamten Gruppe sein. Evaluation kann in dieser Hinsicht einen wichtigen Beitrag leisten, vor allem, wenn sie bereits zu Beginn des Kurses ein‐ gesetzt wird, um die Grundzüge der LernerInnen einer Gruppe zu erfassen. 5.2.2.5 CDST - Wozu genau? Komplexe dynamische Systeme, wie etwa der universitäre Fremdsprachenun‐ terricht, bestehen aus zumindest zwei, üblicherweise jedoch aus einer Vielzahl von unterschiedlichen Elementen, die ihrerseits wiederum (komplexe dynami‐ sche) Systeme sein können. Diese Grundbestandteile sind im konkreten Fall der / die Lehrende und die Studierenden. Des Weiteren üben der Kursraum, die Ausstattung, die Lehrmaterialien etc. Einfluss auf diese Hauptelemente aus. Alle diese Systemteile stehen in Interaktion miteinander und zeichnen sich dadurch aus, dass sie sich aufgrund ihrer Dynamik mit der Zeit verändern können. Dies trifft besonders auf die lebenden Systeme zu, welcher die Lehrperson und die Studierenden angehören. Durch diese Eigenschaft, sich in Abhängigkeit mit der 5.2 CDST und Fremdsprachenunterricht 213 Zeit zu verändern, kann es auch zu einer Veränderung des Gesamtsystems kommen. Diese hier angesprochene Dynamik ist der Grund, warum im Endeffekt nichts in komplexen dynamischen Systemen per se als fix angenommen werden kann. Alles kann sich ständig verändern, alles ist, um es in den Worten Weizsäckers (1992: 152) zu sagen »primär kein Bild der Wirklichkeit, sondern ein Bild dessen, was wir mit der Wirklichkeit anfangen, ein Bild unseres Handelns«. Diese Tat‐ sache erschwert zum einen die Beobachtung bzw. Beschreibung dieser Systeme und lässt zum anderen viele Kritiker der Complex Dynamic Systems Theory zum Schluss kommen, dass dieser Ansatz prospektiv nichts wirklich und retrospektiv fast alles erklärbar macht. Dies darf jedoch nicht pauschalisiert oder derart vereinfacht betrachtet werden, da das Verhalten von komplexen Systemen aus der Interaktion ihrer Komponenten, in der CDST auch als Agenten bezeichnet, abgeleitet werden kann, und obwohl das Ergebnis vieler Veränderungen in diesen Systemen nicht immer exakt zu berechnen ist, sich dennoch relativ klare Tendenzen abzeichnen, auf die diese Systeme mit einer relativ bestimmten Wahrscheinlichkeit hin‐ steuern. Gerade aus diesem Grund scheint diese Methode geeignet, die Prozesse, die beim Lehren und Lernen stattfinden, zu beschreiben, da diese auch nie für alle Personen zu jedem Zeitpunkt exakt gleich sind, aber, wie vielfach in der Literatur beschrieben (siehe z. B. Bausch / Christ / Krumm 2007, Ed‐ mondson / House 2011), je nach System, von bestimmten Faktoren mehr oder weniger stark beeinflusst werden und die Zustände, die dieses System für t→∞ einnimmt, mehr oder weniger präzise prognostizierbar sind. In diesem Fall kann von Selbstorganisation bzw. Ordnung in komplexen Sys‐ temen gesprochen werden. Dabei kommt es, wie Mainzer (2004: 4) ausführt, »zu charakteristischen Rückkopplungen von Systemelementen, bei denen Wir‐ kungen von Ursachen selber wieder zu Ursachen werden, um ihre Ursachen zu beeinflussen«. Demnach entstehen »makroskopische Strukturen, die nicht durch die Systemelemente vorgegeben sind, aber durch ihre Wechselwirkung bei geeigneten Anfangs- und Nebenbedingungen möglich werden (ibid.)«. Als weiteres Argument für das Verwenden dieser Theorie spricht die Tat‐ sache, dass es für den Kontext des vorliegenden Ansatzes und das Sprachen‐ lehren/ -lernen generell a priori nicht darum geht, exakte Ergebnisse in Form von Zuständen zu berechnen, wie dies in den Naturwissenschaften vielfach not‐ wendig wird, sondern darum, wiederkehrende (Entwicklungs-)Muster zu er‐ kennen, die für eine Beschreibung und in weiterer Folge für das Verstehen der Abläufe und Zusammenhänge herangezogen werden können. Genau darin liegt ein Hauptschwerpunkt der CDST , jene Veränderungen zu beschreiben, die zwi‐ 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 214 schen einem Anfangspunkt X und einem Endpunkt X+1 geschehen. Es geht darum, den Weg von konkreten Punkten hin zu bestimmten Destinationen nachzuvollziehen. Will man Lernprozesse ermöglichen und so steuern, dass sie zu einem er‐ folgversprechenden Produkt (Kompetenzen) führen sollen, müssen eben genau diese Transiente bzw. Übergänge verstanden werden, die beim Sprachen‐ lehren/ -lernen relevant sind. Evaluation kann genau an diesen Stellen wichtige Informationen generieren und die KDE setzt hier an, indem sie nicht nur besagte Anfangs- und Endpunkte beim Lehren und Lernen aufzeigt, sondern auch ver‐ sucht, jene Prozesse nachvollziehbar zu machen, die von den jeweiligen An‐ fangspunkten zu den konkreten Endpunkten führen. Zudem darf nicht vergessen werden, dass, wie Kriz (vgl. 1990: 195) expliziert, Theorien nicht als Präskriptionen für Handlungen zu verstehen sind, die genau sagen, was und wie etwas zu tun sei, sondern vielmehr als Proskriptionen einen Orientierungsrahmen bilden, eine kognitive Umgebung für das Handeln. Dem‐ nach wählt man aus den unterschiedlichen (gleichwertigen) Ansätzen jenen, der im Hinblick auf die jeweilige Fragestellung die ergiebigste Antwort verspricht, was aufgrund der vorangehenden Ausführungen im konkreten Fall die CDST ist, da sie sich auch zum Beschreiben jener komplexen und dynamischen Vor‐ gänge beim Lernen und Lehren von Fremdsprachen eignet, die mit anderen Theorien meiner Lehrerfahrung nach nicht ausreichend beschrieben werden können. 5.2.3 Funktionsweise von Systemen Aus der Physik ist bekannt, dass natürliche Systeme (z. B. ein Pendel) von sich aus einen Ruhezustand anstreben, wenn diesen keine Energie zugeführt wird. Das ist auch bei komplexen dynamischen Systemen der Fall, in welchen sämt‐ liche Veränderungen unter Energieaufwand erfolgen. Dabei werden Res‐ sourcen - z. B. in Form von Zeit - verbraucht. Sämtliche Veränderungen werden in der CDST auch als Entwicklung bezeichnet und können sowohl eine positive (z. B. Zugewinn fremdsprachlicher Kompetenzen) als auch eine negative Verän‐ derung (das Verlieren derselben) bezeichnen. Entwicklung wird im vorliegenden Ansatz, vor allem auch unter dem Aspekt der Qualitätsoptimierung als positiver Prozess, also als Verbesserung betrachtet. Sie ist der entscheidende Faktor für Lehr-/ Lernerfolg und erfolgt nur dann, wenn man hierfür Energie bereitstellt. Nachdem es sich bei komplexen dynamischen Systemen um Entwicklungen über die Zeit handelt, bauen zukünftige Entwicklungen auf bereits vorange‐ gangenen auf, wie dies auch beim Lernen / Lehren der Fall ist, wo man sich bei‐ 5.2 CDST und Fremdsprachenunterricht 215 spielsweise erworbene Kompetenzen zu Nutze macht, um damit neue Fähig‐ keiten und Fertigkeiten zu erlangen. Dies trifft auf Studierende und Lehrende gleichermaßen zu. Während sich erstere sprachliche Kompetenzen aneignen, entwickeln letztere unter anderem didaktische und methodische Fähigkeiten und Fertigkeiten sowie Lehrkompetenzen, die beim Vermitteln der Sprache ein‐ gesetzt werden. In komplexen dynamischen Systemen können sich Entwick‐ lungen graduell ereignen oder sprunghaft sein. Dies steht in Zusammenhang mit vielen unterschiedlichen Faktoren und hängt u. a. mit der Ausgangssituation und mit dem Impuls bzw. der Impulsstärke zusammen, die die Veränderung auslöst. Diese kann von außen (Feedback) oder auf Grund eines inneren Im‐ pulses herbeigeführt werden. Obwohl Systeme in ihrer Entwicklung grundsätzlich bestrebt sind, stabile Systemstrukturen herzustellen, so muss ein System nicht notwendigerweise statisch sein, um stabil sein zu können, wie Kriz (vgl. 2000: 23) expliziert. In dynamischen Systemen wirken viele Kräfte, die, wie bereits erwähnt, zu Ent‐ wicklungsmustern führen, welche in weiterer Folge auch in stabile Zustände (states) münden und in den Naturwissenschaften mittels Differentialglei‐ chungen beschrieben werden können. Bei den in komplexen dynamischen Systemen wirkenden Kräften ist zwi‐ schen anziehenden (Attraktor) und abstoßenden Kräften (Repellor) zu unter‐ scheiden, die auf den jeweiligen Entwicklungsverlauf Einfluss nehmen. Beide können als Subsystem des jeweiligen Systems betrachtet werden und ihrerseits wiederum einfach oder komplex bzw. statisch oder dynamisch sein. Entschei‐ dend ist, dass der Verlauf dieser Entwicklungen nicht exakt vorhersehbar ist, sich jedoch Tendenzen abzeichnen, an welchen man sich orientieren kann. 5.2.3.1 Attraktor Ein Attraktor bezeichnet laut Schiepek / Strunk (1994: 105) »einen für ein System ›attraktiven‹ dynamischen Zustand, im Sinne eines über die Zeit relativ stabilen Verhaltensmusters«. Das bedeutet, dass die anziehenden Kräfte der Attraktoren das System dazu bewegen, ein bestimmtes Verhaltensmuster einzunehmen, welches sich mit der Zeit kaum verändert. Bei einem System Pendel sind dies zwei Zustände: Erstens die Ruheposition, die es ohne Energiezufuhr am tiefsten Punkt, dem sogenannten Ruhepunkt (Fixpunktattraktor), einnimmt und zweitens die Pendelbewegung, die es bei konstanter Energiezufuhr verrichtet. Den Weg in einen bestimmten Attraktor‐ zustand nennt man Transiente, den Übergang von einem Attraktor zu einem anderen bezeichnet man als Phasenübergang. In den Naturwissenschaften haben die unterschiedlichsten Formen, die diese Verhaltensmuster annehmen können 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 216 (Fixpunkt, Grenzzyklus, Torus, chaotischer Attraktor) große Relevanz, für den Fokus dieser Arbeit können diese jedoch weitgehend vernachlässigt werden, da hier das Phänomen Attraktor als solches wichtiger als dessen tatsächliche Form ist. Ein Attraktor wird von einem bestimmten Bereich umgeben, der auch als Einzugsbereich oder Bassin bezeichnet wird. Dieser wirkt sehr stark auf das System ein, so dass jenes in der Regel bestrebt ist, immer wieder in diesen Um‐ gebungsbereich zurückzukommen und es erfordert einen weiteren Attraktor, der über mehr Anziehungskraft verfügt, um den Entwicklungsverlauf des Systems in seine Richtung zu ziehen. Für diese Umlenkung ist jedoch erneut Energie nötig, die von den jeweiligen Ressourcen abhängt. Ressourcen wären im Kontext des universitären Fremdsprachenunterrichts z. B. vorhandene Un‐ terrichtszeit, Motivation bzw. Engagement der Beteiligten, eingesetzte Medien, Interessantheit des Stoffes etc. Beim Sprachenlernen können sich Attraktoren auf vielfältige Weise zeigen. Beispiele, die de Bot (vgl. 2007: 60) anführt, sind einzelne Entwicklungsstufen, die die LernerInnen erreichen: Fossilisierung, das vollständige Beherrschen eines bestimmten sprachlichen Musters oder das Speichern eines bestimmten Wortes im Langzeitgedächtnis. 5.2.3.2 Repellor Während Attraktoren für ein System besonders attraktive Zustände hervor‐ rufen, verursachen Repelloren das Gegenteil, nämlich Zustände, die mit einer großen Wahrscheinlichkeit nicht eingenommen werden, also für das System besonders unattraktive Zustände sind, von denen sich die Systemdynamik möglichst schnell wieder zu entfernen versucht (vgl. Schiepek / Strunk 1994: 140). Demnach sind diese Zustände auch nicht stabil, sondern einer kon‐ tinuierlichen Dynamik unterworfen und umso komplexer, je komplexer das System ist. Für das relativ einfache System des oben angesprochenen Pendels wären Repelloren z. B. die jeweiligen Wendepunkte, da es von diesen wegstrebt und zum Attraktor Ruhepunkt hin beschleunigt. Im Kontext des Sprachlernens können Repelloren auf vielfältige Weise auftreten, wie monotone Unterrichts‐ gestaltung, zu komplexe Erklärungen, sehr große Gruppen, zu kleine Unter‐ richtsräume, zu leichte / schwere Materialien für bestimmte Niveaustufen etc., die darin resultieren, dass sich LernerInnen bei bestimmten Übungen beispiels‐ weise nicht aktiv beteiligen oder eventuell ganzen Lehrveranstaltungseinheiten fernbleiben. Mittels Evaluation können sowohl Attraktoren als auch Repelloren für eine Gruppe ausfindig gemacht und bei der zukünftigen Unterrichtskon‐ 5.2 CDST und Fremdsprachenunterricht 217 zeption berücksichtigt bzw. vermieden werden. Das Feststellen, was in einer bestimmten Gruppe als Attraktor / Repellor wirkt, ist ein zentrales Anliegen der KDE . 5.2.3.3 Kontrollparameter Wenn man ein dynamisches System über einen begrenzten Zeitraum hinweg betrachtet, so sind neben schnell veränderbaren variablen Elementen auch solche zu finden, die sich in diesem bestimmten Zeitraum hinweg nicht, kaum oder nur sehr langsam und / oder zeitverzögert ändern, weswegen man sie als Konstante bezeichnen kann. Dies wären z. B. grundlegende Charaktereigenschaften der Studierenden oder der Lehrpersonen bzw. auch die intrinsische Motivation, die Lehrbzw. Lernziele etc. Hat eine solche Konstante die Fähigkeit, die Art oder die Zahl der Attrakto‐ ren in diesem System zu bestimmen, bezeichnet man sie als Kontrollparameter (vgl. Schiepek / Strunk 1994: 128). In komplexen dynamischen Systemen werden diese durch das Systemver‐ halten selbst beeinflusst, was z. B. durch konkrete Erfahrungen geschehen kann, die die AktantInnen im Laufe des Lehrbzw. Lernprozesses machen. So wäre es beispielsweise möglich, dass LernerInnen mit bestimmten Zielen und Erwar‐ tungen in einen Kurs gehen und sich diese nach einigen Lehrveranstaltungen allmählich verändern. Für die Lehrperson ist es nicht unwesentlich, die Haupt‐ kontrollparameter der Studierenden einer betreffenden Gruppe zu kennen und diese im Sinne eines teilnehmerInnenzentrierten Unterrichts zu berücksich‐ tigen. In der KDE können diese durch die Vorevaluation Studierende zu Beginn des Semesters erhoben werden. Potentielle Veränderungen im Laufe des Kurs‐ geschehens werden durch die Begleitende Evaluation sichtbar (siehe Kapitel 6) 5.2.3.4 Rückkopplung, Iteration, Feedback Komplexe dynamische Systeme sind von Wechselwirkungen gekennzeichnet, die zum einen zwischen System und Systemumwelt und zum anderen zwischen den einzelnen Systemelementen zu beobachten sind. Diese Wechselwirkungen werden durch Rückkopplungsprozesse realisiert (vgl. Kriz 2000: 24). Hilfreich für das Verstehen von Rückkopplungsprozessen ist, sich zu vergegenwärtigen, dass jedes System eine bestimmte Vergangenheit hat, die zum gegenwärtigen Zu‐ stand des Systems führte und aus welchem sich iterativ zukünftige Zustände ergeben werden. Dieses Phänomen der Rückkopplung ist in vielen Bereichen des täglichen Lebens zu finden und wird vor allem in der Mathematik, der Physik, der Informatik und Elektrotechnik verwendet, wo es mitunter auch als Iteration oder Feedback bezeichnet wird. Der Terminus Feedback in diesem Kon‐ 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 218 text darf jedoch nicht mit dem Feedbackgeben im Rahmen einer Evaluation ver‐ wechselt werden. Iterative Prozesse wären in der Lernhistorie eines Teilnehmers / einer Teil‐ nehmerin in z. B. einem DaF-Kurs etwa das Lernen des Präteritums, welches in Folge als Basis für das Erlernen des Konjunktivs 2 der Vergangenheit herange‐ zogen werden kann. Dies gäbe wiederum eine Basis für Konditionalsätze etc. Es handelt sich somit um kontinuierliches Wachstum, wobei immer auf vorhan‐ denem Wissen aufgebaut wird. Dies trifft in gleicher bzw. ähnlicher Weise auf die Lehrenden zu. Jede Einheit, die sie abhalten, wird, wenn sie diese (z. B. durch eine Selbstevaluation) reflektieren, zu einer Entwicklung ihrer Lehr- und vieler anderer Kompetenzen beitragen. Die Funktionsweise von einfachen Rückkopplungen kann wie folgt be‐ schrieben werden: Bestimmte Eingangssignale (Input) werden dem System zu‐ geführt und durch eine Kontrollinstanz mit einem angestrebten Sollwert ver‐ glichen. Dieser Vergleich führt - je nach angestrebtem Wert - zu einem bestimmten Verhalten des Systems (Output). Das Output wird als neues Input an das System zurückgeführt und der Prozess beginnt von neuem. Mit dieser Vorrichtung können Systeme stabil gehalten oder verändert werden, wie Kriz (vgl. 2000: 25) expliziert. Abb. 19: Rückkopplung (in Anlehnung an Kriz 2000: 24) 5.2 CDST und Fremdsprachenunterricht 219 Um dies vor dem Hintergrund des Fremdsprachenunterrichts zu verdeutlichen, wird erneut auf das Beispiel aus Abschnitt 5.1.2 (Studierendenaustausch in China) hingewiesen. Nach der weniger erfolgreich verlaufenen ersten Unter‐ richtseinheit erhielt die Lehrende von den Studierenden und mir Input bezüglich ihrer Lehrmethoden und jenen, an welche die LernerInnen aufgrund ihrer eige‐ nen Systemumgebung gewöhnt waren (Attraktoren). Dieses Input wurde von der Lehrenden verarbeitet und zeigte sich durch einen anderen Unterrichts‐ aufbau mit eingebauten Kommunikationsübungen in der darauffolgenden Stunde als Output. Diese veränderte Situation hatte zufolge, dass die Lern‐ erInnen sich nun verstärkt in das Unterrichtsgeschehen integrierten, was zu einer Entwicklung im Sinne einer Verbesserung der Situation führte und ein neues Input für die Lehrende darstellte. In der Kybernetik werden zwei Arten von Rückkopplungen unterschieden (vgl. Hummel / Kluge 2006: 254): (1) die selbstverstärkende, positive Rückkopp‐ lung und (2) die selbstausgleichende, negative Rückkopplung. Beide Formen können im Fremdsprachenunterricht beobachtet werden. 5.2.3.4.1 Positive Rückkopplung Um eine positive Rückkopplung handelt es sich gemäß der Systemtheorie dann, wenn sich eine Systemvariable selbst so beeinflusst, dass ihr eigenes Wachstum weiteres Wachsen zur Folge hat, wie dies in der Natur beispielsweise bei Tier‐ populationen zu beobachten ist. Je größer die Anzahl der Tiere einer bestimmten Art ist, desto stärker vermehren sich diese, was zu einem weiteren Anstieg ihrer Population führt und ein erneutes, noch stärkeres Vermehren zur Folge hat. Positive Rückkopplungsprozesse ermöglichen daher über diese selbstverstär‐ kende Dynamik einerseits eine Veränderung von Systemen, können anderer‐ seits jedoch durch das exponentielle Wachstum der Variablen die Stabilität der Systeme gefährden, weil sich die Variablen z. B. so verstärken könnten, dass sie über die Grenzen des betreffenden Systems hinauswachsen (vgl. Kriz 2000: 25). Wichtig ist hierbei zu erwähnen, dass positiv in diesem Kontext nicht mit einem als positiv empfundenen Ereignis in Verbindung stehen muss (aber kann), son‐ dern es sich dabei lediglich um Wachstum - im positiven wie im negativen Sinn - handelt. Im Fremdsprachenunterricht gibt es unterschiedliche Bereiche, in denen eine positive Rückkopplung beobachtet werden kann. Eine Möglichkeit wäre, wenn ein Lerner / eine LernerIn auf mehrere Zwischentests gute Noten erhält und damit eine Motivationssteigerung einhergeht, und er / sie noch mehr Energie für diesen Kurs aufbringt. 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 220 5.2.3.4.2 Negative Rückkopplung Negative Rückkopplungsprozesse wirken sich konsolidierend auf ein System aus und sorgen somit für die Aufrechterhaltung des Gleichgewichts in diesem System. Als typisches Beispiel für diese Art der Rückkopplung wird in der Litera‐ tur üblicherweise die Räuber / Beute-Beziehung zwischen zwei Tierpopulati‐ onen genannt. Erhöht sich beispielsweise die Population der Beutetiere, schafft dies eine gute Überlebensmöglichkeit für die Raubtiere. Als Konsequenz wird die Raubtierpopulation steigen, was dazu führt, dass die Beutetierpopulation wieder reduziert wird und sich dadurch auch die Überlebensmöglichkeit der Raubtiere verringert. Die Raubtierpopulation nimmt ab, was wiederum eine bessere Überlebensmöglichkeit für Beutetiere schafft usw. Das bedeutet, dass bei einer negativen Rückkopplung die Veränderungen im System durch die oft‐ mals entgegengesetzte Richtung von Wirkung und Rückwirkung zustande kommen (vgl. Kriz 2000: 26). Ein Beispiel aus dem Fremdsprachenunterricht könnte die Anzahl der Stu‐ dierenden sein. Befinden sich in einem Fremdsprachenkurs beispielsweise sehr viele Studierende, ist es für die Lehrperson mitunter sehr schwer, auf die indi‐ viduellen Bedürfnisse der LernerInnen einzugehen und einige Aspekte guter Lehre könnten dadurch vernachlässigt werden. Durch die damit einhergehende potentiell sinkende Unterrichtsqualität verlassen einige Studierende den Kurs, was zu einer geringeren TeilnehmerInnenzahl führt. Eine kleinere Gruppe wie‐ derum würde dazu beitragen, dass die Lehrenden sich intensiver um die ein‐ zelnen Studierenden kümmern könnten, was dazu führt, dass die Qualität der Lehre sich verbessert, und es ist nach einem Zeitfaktor t unter Umständen mit einer optimalen TeilnehmerInnenzahl im Kurs zu rechnen, die bestmögliches Lernen / Lehren für diese Gruppe ermöglicht. Dieser selbstregulierende Prozess wird auch als Homöostase bezeichnet. 5.2.3.4.3 Gemischtes Feedback Im universitären Fremdsprachenunterricht können Rückkopplungen auf den unterschiedlichsten Systemebenen und auf vielfältigste Weise, in einer kombi‐ nierten Form von negativen und positiven Rückkopplungen auftreten, was auch als gemischtes Feedback bezeichnet wird. Eine für den Kontext dieser Arbeit be‐ sonders wichtige Rückkopplung findet auf der Ebene der Interaktion zwischen Lehrenden und Studierenden (Kontaktqualität) statt und könnte wie folgt aus‐ sehen: 5.2 CDST und Fremdsprachenunterricht 221 Abb. 20: S-R-C-Modell der Interaktion zwischen Lehrenden und Studierenden Die Grafik, welche das S-R-C-Modell aus Schiepek / Strunk (vgl. 1994: 41) für den Fremdsprachenunterricht adaptiert, verdeutlicht auf vereinfachte Weise die komplexe Interaktion zwischen den am Unterrichtsgeschehen beteiligten HauptaktantInnen. Dabei ist das Verhalten R(1) der Lehrperson zum einen als Konsequenz C(2) auf das Verhalten der Studierenden und zum anderen auch als Stimulus S(2) für deren weiteres Verhalten zu interpretieren. Dies gilt natürlich auch in umgekehrter Reihenfolge für einen Studierenden / eine Studierende oder für die gesamte Gruppe bzw. eine bestimmte Anzahl von TeilnehmerInnen aus der Gruppe oder für einzelne Gruppenmitglieder untereinander. Wie aus den bisherigen Ausführungen ersichtlich wird, teile ich den Zugang mit anderen Vertretern der CDST (siehe z. B. The Five Graces Group 2009), dass Fremdsprachenlernen/ -lehren in einem komplexen dynamischen Unterrichts‐ geschehen stattfindet. Was jedoch an dieser Stelle in diesem Umfang neu hin‐ zukommt, ist die Forderung nach aktivem Feedbackgeben durch die Studier‐ enden als Basis zur Steuerung sämtlicher (qualitätsoptimierender) Prozesse im Unterrichtsgeschehen. Feedbacks sind nicht nur relevant für das Überprüfen, ob und wie der Stoff von den LernerInnen verarbeitet wurde, bzw. ob und wie man sich bestimmten 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 222 Zielen angenähert hat (vgl. Friedrich 2007: 3). Sie sind für das erfolgreiche Lernen und Lehren essentiell und stellen einen Kernfaktor im Hinblick auf die Unter‐ richtsoptimierung dar. Wie in diesem Beitrag schon mehrfach ausgeführt, kann das Feedback der Studierenden an die Lehrperson als zentraler Ausgangspunkt für etwaige Veränderungen im Unterricht gesehen werden. Wird z. B. von einer bestimmten Anzahl an Studierenden ein Grammatikpunkt, der in Unterrichts‐ einheit n durchgenommen wurde, nicht völlig verstanden, könnten sie dies der Lehrperson mittels Feedback mitteilen. Diese Information wäre nun ein neuer Ausgangspunkt für die darauffolgende Unterrichtseinheit n+1, in welcher die Lehrperson beispielsweise diesen Grammatikpunkt erneut behandelt, konkreti‐ siert oder Zusatzmaterial für das Eigenstudium zur Verfügung stellen könnte etc. Dadurch wäre nicht nur eine bestmögliche Progression denkbar, sondern es würde auch ein verstärkt lernerInnenzentrierter Unterricht stattfinden. Zudem würde die Motivation der LernerInnen, sich an der Unterrichtsverbesserung zu beteiligen, steigen, da sie unmittelbare Konsequenzen sehen, die Evaluation also im Sinne der Nutzenorientierten Evaluation (Patton 1997) einen unmittelbaren Nutzen für die LernerInnen nach sich zieht. 5.2.4 Anwendung der CDST im Unterricht Wendet man die Complex Dynamic System Theory auf den universitären Fremd‐ sprachenunterricht an, wie dies auf den vorangegangenen Seiten diskutiert und bereits auszugsweise exemplifiziert wurde, so ist an erster Stelle ein Haupt‐ system zu definieren, welches in einen klar festgelegten Kontext eingebettet ist und als Setting für die damit verbundenen Untersysteme dient. Nachdem, wie oben bereits ausgeführt, die Definition eines Systems zu einem sehr großen Teil in den Augen des Betrachters / der Betrachterin liegt, kann man - je nach Blick‐ winkel und zu untersuchender Fragestellung - theoretisch jeden denkbaren Agenten des Unterrichts als Hauptsystem, und sämtliche damit verbundenen als Subsysteme definieren. So könnte man den Fokus auf die Sprache selbst, die Lehrperson, die Studierenden, die Gruppendynamik, die Lehr- und Lernstra‐ tegien, LernerInnenvariablen etc. legen und sämtliche andere Bestandteile als Subsysteme oder Bezugssysteme sehen. Da in diesem Beitrag das Unterrichtsgeschehen und die HauptaktantInnen bzw. die Interaktion derselben im Fokus der Aufmerksamkeit liegen, wird wie folgt vorgegangen: Das übergeordnete System, welches die Voraussetzungen für das Lehren / Lernen ermöglicht, wird als der Kontext des universitären Fremd‐ sprachenunterrichts angesehen, der durch unterschiedliche Faktoren auf das Lehren / Lernen einwirkt. Einige dieser wurden bereits zu Beginn des Kapitels 5.2 CDST und Fremdsprachenunterricht 223 (siehe Abschnitt 5.1.2) durch die vier Faktoren von Edmondson / House (2011) skizziert. Für diese Arbeit zudem als essentiell angesehen werden auch die in‐ stitutionellen Faktoren, die das Lehren und Lernen an Universitäten ermögli‐ chen, und auch Bildungsstandards, an welchen sich die universitäre Ausbildung orientieren sollte. Nukleus des Hauptsystems universitärer Fremdsprachenunterricht ist das Un‐ terrichtsgeschehen, weil es die Schnittstelle zwischen Lernen und Lehren, also zwischen Sprache, Lehrperson und Studierenden ist, wie dies bereits zu Beginn des Kapitels durch das didaktische Dreieck verdeutlicht wurde (siehe Abschnitt 5.1.1). Untersysteme sind demnach die Fremdsprache, die Lehrenden und die Studierenden, die wiederum jeweils komplexe dynamische Systeme sind und über komplexe dynamische Untersysteme verfügen. Zudem beeinflussen sie sich gegenseitig und interagieren mit dem übergeordneten System bzw. vice versa. Besonders relevant für den hier vorgestellten Ansatz sind die bereits an‐ gesprochenen Interaktionen, die zwischen den Lehrenden und Studierenden ablaufen. In einer Graphik dargestellt, würde das komplexe dynamische System des universitären Fremdsprachenunterrichts, wie ich es aus den vorangegangenen Anführungen herleite, vereinfacht wie folgt aussehen: Abb. 21: Universitärer Fremdsprachenunterricht als komplexes dynamisches System 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 224 Das didaktische Dreieck (in der Grafik punktiert dargestellt) ist also nach wie vor vorhanden, jedoch darf es nicht als statisch und fix angesehen werden, son‐ dern bewegt sich mit den Systemen Lehrperson, Studierende und Fremdsprache mit. Jedes dieser Subsysteme enthält wiederum n Subsysteme, auf die es Einfluss hat bzw. welche auf das System und gemäß der CDST auf das Gesamtsystem universitärer Fremdsprachenunterricht einwirken. Konkrete Faktoren, die beispielsweise die Lehrenden betreffen, sind u. a.: Ausbildung, Motivation, Anstellungsverhältnis, Bezahlung, Gruppengröße, Gruppendynamik etc., Faktoren, die auf die LernerInnen einwirken, werden u. a.: Motivation, Lernziele, Lehrperson, StudienkollegInnen, Unterrichtsraum, Kurszeit etc. sein. Kombiniert man nun die von Wildt (2006: 4f) angeführten Variablen (siehe Abschnitt 5.1) und die Ausführungen der Complex Dynamic System Theory, wäre folgendes Bild denkbar: Abb. 22: Universitärer Fremdsprachenunterricht mit Einflussfaktoren 5.2 CDST und Fremdsprachenunterricht 225 5.2.5 Evaluation im komplexen dynamischen Fremdsprachenunterricht Betrachtet man die bisher dargestellten Ausführungen, wird ersichtlich, dass Evaluation, will sie in einem derart komplexen und dynamischen System wirken und jene Informationen generieren, die dazu beitragen, das Unterrichtsge‐ schehen zu optimieren, selbst komplex und dynamisch sein muss. Evaluation im komplexen dynamischen Fremdsprachenunterricht muss folgendes auf‐ zeigen, beschreiben bzw. nachvollziehbar machen: 1. Anfangsbedingungen, die in einer konkreten LernerInnengruppe zu Be‐ ginn des Kurses bzw. festgelegter Abschnitte (z. B. Lehrveranstaltungs‐ einheit) vorherrschen; 2. Bedingungen, die in einer konkreten LernerInnengruppe am Ende des Kurses / eines bestimmten Abschnittes (z. B. Lehrveranstaltungseinheit) vorhanden sind; 3. Veränderungen, die sich in diesen Systemen in Abhängigkeit mit der Zeit ereignen; 4. Probleme, deren Ursachen und potentielle Lösungen; 5. Dynamiken in der Gruppe; 6. Prozesse, die von einem Ausgangspunkt X zu einem Punkt Y führen; 7. Wahrnehmungen, die LernerInnen zu bestimmten Zeitpunkten des Unterrichtsgeschehens haben; 8. Reaktionen, die LernerInnen auf bestimmte Aktivitäten, Methoden, Übungen, Veränderungen etc. zeigen; 9. Wirkungen und Reaktionen, die mit Veränderungen einhergehen; 10. Faktoren, die die LernerInnen (positiv / negativ) beeinflussen; 11. wiederkehrende Entwicklungsmuster und Tendenzen der Gruppe; 12. Attraktoren, Repelloren und Kontrollparameter, die in der Gruppe vor‐ herrschen; 13. Energien, Ressourcen, Faktoren, die bei der Gruppe das Lernen begünsti‐ gen bzw. hemmen; 14. Veränderungen der oben beschriebenen Punkte unter dem Aspekt der Zeit; 5.2.6 Erfassen der Dynamiken durch die KDE Das Erfassen der Anfangsbzw. Endbedingungen in einem Lernsetting lässt sich verhältnismäßig leicht durchführen und erfolgt z. B. durch eine Eingangsbefra‐ gung der TeilnehmerInnen und eine Befragung am Ende des Kurses, was in der 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 226 KDE durch die Vorevaluation Studierende und die Endevaluation Studierende umgesetzt wird. Das Aufzeigen bzw. Erfassen von dynamischen Prozessen im Verlauf des Kursgeschehens gestaltet sich ungemein schwerer. Als potentielles Hilfsmittel eignet sich der Einsatz der oben beschriebenen Rückkopplung, die sich in Form von LernerInnenfeedbacks (Begleitende Evaluation) wie folgt in das Unterrichtsgeschehen integrieren lässt: Abb. 23: Rückkopplung im Unterricht Diese Art der Rückkopplung beginnt nach der ersten Unterrichtseinheit. Die Studierenden senden Information in Form eines Feedbacks an die Lehrperson, die diese analysiert. Aufbauend auf den Erkenntnissen aus diesem Feedback wird der Unterricht von der Lehrperson evaluiert und für die darauffolgende Unterrichtseinheit verändert oder belassen, je nach Rückmeldungen. Waren beispielsweise viele Verbesserungsvorschläge vorhanden, gab es viele Fragen oder zeigten die LernerInnen zahlreiche Probleme auf, sollten von Seiten der Lehrperson Konsequenzen daraus gezogen werden bzw. Adaptionen (Follow-up) folgen, die den zukünftigen Lernprozess in besserer Form ermögli‐ chen. Ist keine direkte Optimierung in bestimmten Fällen möglich, sollte die Lehrperson dies in der darauffolgenden Einheit zumindest kurz zur Sprache bringen, damit die Motivation von Seiten der LernerInnen nicht gedrosselt wird, 5.2 CDST und Fremdsprachenunterricht 227 in Zukunft weitere Rückmeldungen zu tätigen. Das Feedback kann im Sinne der CDST zu konkret festgelegten Zeitpunkten oder im Idealfall nach jeder belie‐ bigen Einheit eingesetzt werden und greift somit dann, wenn es nötig ist und nicht am Ende des Semesters, wie dies die breite Masse an Evaluationsinstru‐ menten tut (siehe Kapitel 1). Die skizzenhafte Einbettung in die KDE sieht wie folgt aus: Abb. 24: Die KDE im komplexen dynamischen Fremdsprachenunterricht Wie die konkrete Umsetzung durch die KDE im Detail aussieht, wird in Kapi‐ tel 6 expliziert. Rückkopplung ist, wie Friedrich (2007: 3) treffend formuliert, der »bestim‐ mende Begriffskern für die Gebiete (Selbst-)Reflexion, ›Evaluation‹ (= Rück‐ kopplung i.e.S.) und ›Prüfungen‹«. Das bekräftigt, was in Kapitel 4 bereits zum Ausdruck gebracht wurde, nämlich, dass durch gezieltes und konstruktives Feedback auch auf beiden Seiten des Lehr- und Lernprozesses ein (Selbst-)Re‐ flexionsprozess ausgelöst werden kann, der zu einer Entwicklung der Kompe‐ tenzen der AktantInnen führt. Zudem werden die in Abschnitt 5.1 bereits ge‐ stellten Forderungen erfüllt, dass die LernerInnen aktiver in das Unterrichtsgeschehen und dessen Optimierungsprozesse eingebunden sind. Gleichzeitig wird die oftmals implizit wahrgenommene alleinige Verantwortung 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 228 für das Gelingen des Lernens von den Schultern der Lehrenden genommen und auf alle AktantInnen übertragen. Darüber hinaus werden einerseits die Studierenden dazu angehalten, über ihren Lernprozess nachzudenken und sich bei eventuellen Problemen an die Lehrperson zu wenden, andererseits wird die Lehrperson durch das kontinu‐ ierliche Feedback von einer didaktisch-methodischen bzw. auch persönlichen Perspektive aus profitieren. Rückmeldungen zum Unterrichtsgeschehen können à la longue auch sehr positive Effekte auf die Lehrexpertise haben und viele Bereiche abdecken, die Aus- und Weiterbildungen nicht berücksichtigen. Eine weitere Folge dieser (Selbst)Reflexion wäre z. B. eine positive Auswirkung auf das Lehrendenbzw. Studierendenselbstbild, welches beim Sprachenlehrbzw. Lernprozess besonders wichtig ist. Eine hierfür nötige Schnittstelle kann durch die KDE geschaffen werden. Die Herausforderung, die sich dabei für die Lehr‐ person stellt, ist, herauszufiltern, welche der Angaben sich wie auf die Dynamik des Hauptsystems auswirken und Methoden auf Basis dieser Informationen zu finden, um die nötigen Optimierungsprozesse einzuleiten. 5.3 Sprachentwicklung im komplexen dynamischen Unterricht Berücksichtigt man vor allem die in Kapitel 4 gegebenen Ausführungen zur Qualität, ganz besonders zur Unterrichtsqualität, so ist die hierfür maßgebende Determinante der mit dem Fremdsprachenunterricht in Verbindung stehende Lehrbzw. Lernerfolg, also inwieweit der Unterricht dazu beitrug, dass be‐ stimmte sprachliche Kompetenzen erworben oder ausgebaut wurden. Wie oben bereits kurz angeführt, wird in der CDST unter einem Kompetenzzuwachs eine Entwicklung verstanden. Entwicklung impliziert immer die Veränderung eines Zustandes über die Zeit und unterstreicht die Prozesshaftigkeit, die mit Lernen in Verbindung steht (vgl. de Bot et. al. 2013: 199). Im Zusammenhang mit Qua‐ litätsoptimierung im universitären Fremdsprachenunterricht wird Entwicklung gemäß der CDST als positive Entwicklung, als Verbesserung, als Wachstum ge‐ sehen. Das ist insofern relevant, als Wachstum in direktem Zusammenhang mit Ressourcen steht. Während man als LernerIn aktiv keine Ressourcen verbrau‐ chen muss, um Gelerntes zu vergessen, ist Energieaufwand nötig, um seine Kompetenzen auszubauen. 5.3 Sprachentwicklung im komplexen dynamischen Unterricht 229 5.3.1 Wachstum und Ressourcen In der CDST ist Lernen eine positive Entwicklung, also positives Wachstum und benötigt zwei Voraussetzungen, wie de Bot et. al. (vgl. 2007: 11) resümieren: Erstens muss etwas vorhanden sein, das wachsen kann, und zweitens müssen Ressourcen gegeben sein, die den Prozess des Wachsens ermöglichen. 5.3.1.1 Wachstum Der Terminus Wachstum bezeichnet eine Zunahme bzw. eine Vermehrung oder Vergrößerung von etwas. Im Fremdsprachenunterricht kann vieles wachsen, wie etwa die fremdsprachlichen Fertigkeiten der LernerInnen, die Anzahl der Worte bzw. Grammatikstrukturen, die sie lernen und mit der Zeit beherrschen, oder das Selbstbewusstsein beim Verwenden der Sprache etc. Stark vereinfacht betrachtet kann das Erlernen von Sprachen als ein kognitiver und sozialer Vor‐ gang gesehen werden. Im Unterricht steht dabei häufig vor allem das kognitive Wachstum im Fokus, welches nach van Geert (vgl. 1991: 3f bzw. 1994: 96) eine autokatalytisch quantitative Zunahme einer Wachstumsvariablen darstellt, die sich unter Ressourcenverbrauch ereignet und aufgrund des Entstehens einer spezifisch-strukturellen Möglichkeit im kognitiven System erfolgt. Wachstums‐ variablen könnten zum Beispiel Wortschatz oder bestimmte grammatikalische Aspekte in einer Sprache sein, Zeit wäre eine mögliche bzw. nötige Ressource, die das Lernen von neuen Wörtern oder grammatikalischen Strukturen in einer Fremdsprache ermöglicht, eine spezifisch strukturelle Möglichkeit gäbe es z. B. in Form einer konkreten Grammatikregel. 5.3.1.2 Ressourcen Ressourcen sind, wie bereits erwähnt, die Voraussetzung für jegliches Wachstum und somit Grundbedingung, damit Lernen möglich ist. Van Geert (vgl. 1994: 99) spricht im Zusammenhang mit Ressourcen von einem multidi‐ mensionalen Ressourcenraum (multidimensional resource space). Dies bedeutet, dass Ressourcen vielfältig und mannigfaltig vorhanden sind und eine Vielzahl von unterschiedlichen Eigenschaften aufweisen. 5.3.2 Haupteigenschaften von Ressourcen Drei Haupteigenschaften von Ressourcen sind nach van Geert (1999) besonders wichtig und werden wie folgt beschrieben: Erstens können Ressourcen unterschiedlicher Natur, positiv oder negativ sein. Das heißt, sie können sich positiv oder negativ auf das Wachstum im Sinne des Lernerfolges auswirken bzw. positives oder negatives Wachstum fördern. 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 230 Positive Ressourcen treiben demnach positives Wachstum voran, während ne‐ gative Ressourcen dieses hemmen, indem sie negatives Wachstum fördern. So kann etwa die Zeit, die den einzelnen Studierenden in einer Gruppe zum Lernen zur Verfügung steht, als positive Ressource gesehen werden, ebenso wie beispielsweise die räumlichen Ressourcen eines gut ausgestatteten Hörsaals. Verfügt ein Lehrsaal über ausreichend Platz und moderne Medien etc., kann der Unterricht in vielerlei Hinsicht anders und interaktiver gestaltet werden, als wenn dies nicht der Fall ist. Ebenso trifft das auf die Ressourcen der Studierenden zu. Haben sie fundierte Grundkenntnisse, kann gezielt auf diesen aufgebaut werden. Sind ihre zeitlichen Ressourcen außerhalb des Unterrichtsgeschehens sehr begrenzt, wird sich dies wahrscheinlich negativ auf den Lernfortschritt auswirken. Verfügen die Studierenden über ein breites Repertoire an anderen Fremdsprachen, kann dieses Wissen kontrastiv genutzt werden, um unter‐ schiedlichste Strukturen in der neuen Sprache zu erörtern bzw. auf Unterschiede hinzuweisen u.Ä. Dies kann sich wiederum positiv auf den Lernfortschritt aus‐ wirken. Weitere Beispiele für negative Ressourcen wären zu große LernerIn‐ nengruppen, Straßenlärm, der das Lernen behindert oder wenig effektive Lern‐ zeit und dergleichen. Diese positiven bzw. negativen Ressourcendimensionen sind nach van Geert (vgl. ibid.) bis zu einem bestimmten Ausmaß austauschbar bzw. kompensato‐ risch, und, je nach Konstellation, werden manchmal die fördernden und manchmal die hemmenden Ressourcen dominieren, und eine zentrale Aufgabe der Lehrperson ist, hemmende Ressourcen im Unterrichtsgeschehen weitge‐ hend zu reduzieren und fördernde zu schaffen bzw. zu vergrößern. Eine Mög‐ lichkeit hierfür wäre etwa das Arbeiten in Kleingruppen, wenn die Studieren‐ denzahl in einem Kurs sehr groß ist. Für unterschiedliche LernerInnen bzw. Gruppen werden sich manche Ressourcen positiver erweisen als für andere und umgekehrt. Was in einer Gruppe jedoch als hemmende oder fördernde Res‐ source gilt, muss von den Lehrenden ermittelt werden. Dies kann durch die KDE erfolgen. Zweitens kann festgestellt werden, dass Ressourcen, weil sie mehrfach vor‐ handen und unterschiedlicher Natur sind, nicht mit einer einzigen Messgröße erfasst werden können, dass sie jedoch mit einem einzigen Indikator korres‐ pondieren. Im konkreten Fall wäre dieser Indikator der Lernerfolg. Je zahlreicher und förderlicher die Ressourcen sind, desto größer kann der Lernerfolg sein. Da sich die einzelnen Ressourcen beeinflussen und ein Mehr an einer be‐ stimmten Ressource ein Weniger an einer anderen bedeuten kann, erreicht etwa eine Population in der Natur dann ihr Maximum, wenn sich Geburten- und Sterberate die Waage halten. Unter bestimmten Gegebenheiten kann ein be‐ 5.3 Sprachentwicklung im komplexen dynamischen Unterricht 231 stimmtes System eine gewisse Population erhalten, was sich aus der Summe der Ressourcen ergibt. Um es in den Worten von van Geert (1994: 99) zu verdeutli‐ chen: »Der multidimensionale Ressourcenraum korrespondiert mit einem ein‐ dimensionalen Wert«. Dies wäre im Unterricht der bereits erwähnte maximal mögliche Lernfortschritt. Diese maximal mögliche Population, die ein System erhalten kann, nennt man Gleichgewichtsdichte (equilibrium density). Die Struktur der dynamisch verbundenen Ressourcen, die dieses Populationsgleich‐ gewicht aufrechterhalten, nennt man Aufnahmefähigkeit (carrying capacity). Befindet sich eine Population unter diesem Wert, bedeutet es, dass noch freie Wachstumskapazitäten (unused capacity of growth) vorhanden sind, wie van Geert (ibid.) ausführt. Für das Lernen kann diese Information unterschiedlich gedeutet werden: Zum einen, dass LernerInnen nur ein bestimmtes Maß an neuen sprachlichen Aspekten bei einer bestimmten Anzahl an Ressourcen erarbeiten können. Das heißt auch, dass sie z. B. quantitativ mehr von leichterem und weniger von komplexem Input pro Zeiteinheit aufzunehmen in der Lage sind. Bekommen sie zu viel Input in zu kurzer Zeit, kann sich dies negativ auf den Lernerfolg aus‐ wirken und sie fühlen sich überfordert. Erhalten sie aber zu wenig davon, sind die LernerInnen unterfordert. Beides kann z. B. die Ressource Motivation negativ beeinflussen. Zum anderen sagt dies auch aus, dass, wenn ein Lerner / eine Ler‐ nerin nur eine bestimmte Zeitressource zur Verfügung hat und nur ein be‐ stimmter Grad an Motivation vorhanden ist, und wenn dieser z. B. von der Lehr‐ person nicht gefördert wird, dann kann man als Lerner / Lernerin in einer endlichen Anzahl von Kursstunden bei einer bestimmten Ressource Talent nur ein bestimmtes sprachliches Niveau erreichen. Für die Lehrpersonen kann dies beispielsweise bedeuten, den Unterricht so zu gestalten, dass möglichst alle freien Kapazitäten, die pro Einheit vorhanden sind, ausgeschöpft werden und eine, für eine bestimmte Gruppe passende Mi‐ schung aus einfachen und komplexen Themen mit der für diese Gruppe har‐ monierenden Geschwindigkeit verarbeitet werden sollte. Da jedoch die ein‐ zelnen Systeme und Ressourcen miteinander in Interaktion stehen und sich gegenseitig beeinflussen, wird an dieser Stelle auch deutlich, dass - egal wie viele Ressourcen einer Lehrperson zur Verfügung stehen - die LernerInnen immer nur gemäß ihren vorhandenen Ressourcen lernen werden. Als dritte Eigenschaft führt van Geert (vgl. 1994: 99) an, dass Wachstum eine verzögerte Funktion aus den vorhandenen Ressourcen ist. Das bedeutet, Wachstum ist nicht unmittelbar sichtbar, sondern zeitverzögert. LernerInnen benötigen Zeit, um sprachliche Aspekte zu verarbeiten, bevor sie diese ver‐ wenden können. Aus diesem Grund ist auch das planmäßige Wiederholen von 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 232 bereits erarbeiteten Strukturen so wichtig. Wie bereits angeführt, baut Lernen auf vorhandenem Wissen auf. Je höher das angestrebte Niveau der LernerInnen ist, desto wichtiger ist ein solides sprachliches Fundament, für welches ständiges Wiederholen unumgänglich ist. Das bisher Dargelegte harmoniert auch mit Rindermanns multifaktoriellem Modell der Lehrveranstaltungsqualität (siehe Rindermann 2009, Kapitel 5), in welchem der Lehrbzw. Lernerfolg als ein Zusammenspiel von Lehrenden, Stu‐ dierenden und den jeweiligen Rahmenbedingungen (Ressourcen) gesehen wird. Die Inhalte dieses Modells fließen in weiterer Folge auch in das, in diesem Buch vorgestellte Modell ein, und werden im folgenden Kapitel expliziert. 5.3.2.1 Interne und externe Ressourcen In komplexen dynamischen Systemen existiert eine Vielzahl von unterschied‐ lichen Ressourcen, die zu kognitivem Wachstum beitragen können und es er‐ scheint, wie van Geert (vgl. 1991: 5) präzisiert, nicht sinnvoll, sie hinsichtlich ihres potentiellen Effekts, den sie zum Wachstum beitragen, einteilen zu wollen, da keine dieser Ressourcen per se wichtiger als eine andere ist und ihr relativer Wert sich aus dem jeweiligen Kontext und den Umständen des Wachstums er‐ gibt. Zudem wird es wahrscheinlich nur in besonders extremen Fällen möglich sein, genau festzustellen, welche Ressource im Endeffekt zu welchem Ausmaß und zu welcher Veränderung geführt hat. Dennoch ist es zweckdienlich, die von van Geert getroffene Einteilung der Ressourcen (siehe Seite 234) beizubehalten, da dadurch ein guter Überblick über diese gegeben ist und sowohl Lehrende als auch Studierende nach (Selbst-)Reflexion bzw. geeigneter Evaluation der Res‐ sourcen feststellen können, welche bei ihnen / in ihrer Lehr-/ Lernsituation aus‐ reichend bzw. vielleicht sogar im Übermaß vorhanden sind und welche forciert werden müssten, damit die Lernkurve im gegebenen Setting möglichst steil an‐ steigen kann. Van Geert (vgl. 1991: 5) unterteilt die zum Lernen nötigen Ressourcen erstens hinsichtlich ihrer Herkunft in (a) interne und (b) externe Ressourcen und zwei‐ tens hinsichtlich ihrer Natur in (a) räumlich-zeitliche, (b) informatorische, (c) energetisch-motivationale und (d) materielle Ressourcen, wie folgende Grafik verdeutlicht. 5.3 Sprachentwicklung im komplexen dynamischen Unterricht 233 Abb. 25: Ressourcen nach van Geert (1991) Zu den internen Ressourcen zählen jene, die von den Personen selbst kommen und äußere sind solche, die von außen auf das Lerngeschehen Einfluss nehmen. Interne Ressourcen Eine interne räumliche Ressource wäre z. B. die limitierte Lernkapazität, da jeder Lerner / jede Lernerin nur eine begrenzte Menge an Information aufnehmen und verarbeiten kann. Diese Information ist zum einen für die LernerInnen selbst wichtig, da das Wissen um die Begrenztheit der Aufnahmefähigkeit potentielle Demotivation als Folge von suboptimal eingeteilter Lernzeit verhindern kann und auch jene Binsenweisheit unterstützt, die von vielen Lehrenden oft unter‐ strichen wird, dass ein regelmäßiges, aber kürzeres Beschäftigen mit der Fremd‐ sprache größeren Erfolg mit sich bringt als sämtliche Informationen auf einmal oder in wenigen Schritten verarbeiten zu wollen. Für die Lehrenden ist die In‐ formation über diese Ressourcen auch wesentlich, denn damit geht nicht nur das richtige Setzen von Pausen im Unterricht einher, sondern auch viele pla‐ nungstechnische Aspekte, wie z. B. die optimale Quantität an neuem Wissen, welches pro Unterrichtseinheit erarbeitet werden soll. 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 234 So gesehen sind diese Ressourcen auch mit den internen zeitlichen gekoppelt, die jene Zeitspanne angeben, die LernerInnen für eine bestimmte Aufgaben‐ stellung in kognitiver Hinsicht aufwenden können bzw. wollen, wie van Geert (vgl. 1991: 5) anführt. Aus methodischer Sicht sprechen diese Ressourcen für viele unterschiedliche aber kürzere Aufgabenstellungen, die die Motivation för‐ dern und die einzelnen Zugänge der LernerInnen zu bestimmten sprachlichen Aspekten stimulieren sollen. Interne informatorische Ressourcen sind jene Aspekte in Form von Wissen und Fähigkeiten, über die die LernerInnen bereits verfügen und die das weitere Ent‐ wickeln fremdsprachlicher Kompetenzen entweder erleichtern oder er‐ schweren. In diesem Zusammenhang gelten etwa sprachliche Vorkenntnisse als relevant bzw. ob die LernerInnen über Kenntnisse verfügen, wie man sich gezielt Wortschatz oder grammatikalische Strukturen etc. aneignen kann und wie aus‐ geprägt diese Fähigkeiten sind. Unterrichtet man als LehrendeR beispielsweise eine Gruppe, die noch keine Fremdsprache davor gelernt hat, werden diese Lernkompetenzen, wenn überhaupt, nur sehr rudimentär vorhanden sein und es wäre für den weiteren Verlauf des Kurses empfehlenswert und v. a. im Sinne der Studierenden, auch allgemeine Lernstrategien zu erarbeiten. Wenn die Lerner‐ Innen beispielsweise unterschiedliche Methoden kennenlernen, wie man sich Vokabel in der Fremdsprache aneignen kann, werden sie jene Verfahren aus‐ wählen, die sich für sie als besonders hilfreich erweisen. Diese Kompetenzen tragen in Folge dazu bei, dass die Studierenden lernen zu lernen und erleichtern auch die gezielte Entwicklung der sprachlichen Kompetenzen. Ergebnisse aus der für den zweiten Band der Reihe durchgeführten Vorevaluationen ergaben zudem, dass ein Großteil der Studierenden auf allen Niveaustufen diese Lern‐ kompetenzen für wichtig hielten und deren gezieltes Erarbeiten im Unterricht begrüßen. Interne energetisch-motivationale Ressourcen sind jene, die von den Lern‐ erInnen für bestimmte Lernaktivitäten bereitgestellt und in anderen Theorien als intrinsische Motivation bezeichnet werden. Sie stellen einen Hauptfaktor für erfolgreiches Lernen dar, können jedoch von außen nicht stimuliert werden. Zu den internen materiellen Ressourcen zählen jene Aspekte, die nötig sind, damit Fremdsprachenlernen überhaupt erst möglich ist. Diese sind z. B. körper‐ liche Voraussetzungen wie Gehör, die Fähigkeit zu sprechen, Informationen aufzunehmen und zu verarbeiten etc. Externe Ressourcen Als externe räumlich-zeitliche Ressourcen führt van Geert (vgl. 1991: 6) jene As‐ pekte an räumlichem und zeitlichem Grad an Freiheit an, die den LernerInnen 5.3 Sprachentwicklung im komplexen dynamischen Unterricht 235 von der Kontrollumgebung für das Entwickeln ihrer fremdsprachlichen Kom‐ petenzen zur Verfügung gestellt werden. Darunter fallen beispielsweise die An‐ zahl der Lerneinheiten pro Tag, Woche, Monat usw., wie diese untergliedert sind und in welchen Räumlichkeiten sie stattfinden. Externe informatorische Res‐ sourcen sind jene Elemente, die hinsichtlich der Menge, Verfügbarkeit und Form von der Lehrumgebung zur Verfügung gestellt und von den LernerInnen auf‐ genommen werden können. Damit sind konkrete sprachliche Aspekte wie etwa Wortschatz, Grammatik etc. gemeint, aber auch methodische Gesichtspunkte, mit welchen diese vermittelt werden. Zu den externen energetisch-motivationalen Ressourcen zählen im Prinzip jeg‐ liche Aspekte extrinsischer Motivation, die das Lernen fördern. Externe materielle Ressourcen sind Unterlagen, Bücher, Skripten, Audio- CD s, DVD s etc., aber auch im Unterricht eingesetzte Medien wie Overhead, Tafel, Beamer und nicht zuletzt der Raum, in welchem der Unterricht stattfindet. Natürlich trifft diese Unterscheidung in interne und externe Ressourcen nicht nur auf die LernerInnen, sondern auch auf die Lehrpersonen zu und ist nicht nur in der CDST zu finden, sondern in der einen oder anderen Form und mit unterschiedlichen Namen auch in anderen Lerntheorien vertreten. Edmondson / House (2011) beispielsweise sprechen von Faktoren, die das Lehren / Lernen steuern bzw. beeinflussen, Vielau (2007) erwähnt in diesem Zu‐ sammenhang den äußeren und inneren Lehrplan, nach dem die einzelnen Lern‐ erInnen lernen und generell wird auch von Aspekten gesprochen, wie etwa curriculare Aspekte, konzeptionelle Aspekte, methodische Aspekte, personale Aspekte etc. (vgl. Bausch / Christ / Krumm 2007). Die Verfügbarkeit, die Natur und die Beziehungen all dieser Ressourcen vari‐ ieren sehr stark von LernerIn zu LernerIn, von Lehrperson zu Lehrperson und auch von Unterrichtssituation zu Unterrichtsituation, was das Lernen und Lehren manchmal zu einer Geduldsprobe machen kann. Van Geert (vgl. 1991: 6) weist in diesem Zusammenhang auch auf die Begrenztheit sämtlicher zur Ver‐ fügung stehender Ressourcen hin. Diese Tatsache unterstreicht auch die For‐ derung, sich mit den Ressourcen vertraut zu machen und dieses Wissen aktiv in die Planung und in das Unterrichtsgeschehen miteinzubeziehen. Da jede Gruppe und jeder Lerner / jede Lernerin individuell ist, müsste dies auch bei allen Kursen berücksichtigt werden, denn unterschiedliche Gruppen sollten auch un‐ terschiedlichen Unterricht erhalten, da ihr Lernprozess aufgrund der unter‐ schiedlichen Ressourcen eben auch unterschiedlich sein wird. Evaluation erweist sich beim Feststellen der Ressourcen als ein wichtiges Mittel der Informationsgenerierung und -bewertung. Vor allem die Vorevalua‐ tion beschäftigt sich intensiv mit dem Eruieren, welche Ressourcen überhaupt 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 236 und in welchem Ausmaß vorhanden sind. Die Begleitende Evaluation zeigt auf, wie sich diese im Verlauf des Semesters verändern (können) und mit der End‐ evaluation kann festgestellt werden, inwieweit der Unterricht sich an diese Ver‐ änderungen angepasst hat. 5.3.2.2 Limitierte Ressourcen Aus der Physik ist bekannt, dass für jegliche Verrichtung von Arbeit Energie nötig ist. Diese stammt aus den jeweils vorhandenen Ressourcen, die durch das Verrichten der Arbeit mit der Zeit abnehmen. Energie ist, wenn diese nicht kontinuierlich von außen zugeführt wird, in jedem System nur begrenzt vor‐ handen. Dies trifft auch auf das Lehren / Lernen zu. Ohne Energieaufwand ist kein Lernen / Lehren möglich und kein Lerner / keine Lernerin verfügt über un‐ endlich viele Ressourcen. Das bedeutet: Lehrende und Studierende müssen sich dieser Tatsache bewusst werden / sein und mit dieser Begrenzung umgehen (lernen). Voraussetzung für den erfolgreichen Umgang damit ist das Wissen um diese Herausforderung. Auch wenn manche Menschen von Haus aus über mehr Res‐ sourcen verfügen als andere (z. B. durch besonderes Sprachentalent, Vollzeits‐ tudierende vs. Teilzeitstudierende) und manche Lernszenarien in, für den Lern‐ fortschritt besonders günstigen Umgebungen oder Konstellationen stattfinden (z. B. Einzelunterricht, sehr kleine homogene Gruppen von LernerInnen), so sind letztendlich auch diese Ressourcen - allein schon durch die Tatsache, dass ein bestimmter Kurs nur eine gewisse Anzahl von Einheiten hat oder, wenn man Lernen abseits einer organisierten Lernumgebung autodidaktisch betreibt, im Extremfall durch das natürliche Ende unseres Lebens nur begrenzt vorhanden. Beim Lernen generell, aber auch von Fremdsprachen, zeigt sich dieses limi‐ tierte Vorhandensein der Ressourcen auf unterschiedliche Weise. So verfügen Lernende z. B. nur über eine bestimmte Speicherkapazität und können nur eine bestimmte Menge an Information pro Zeiteinheit aufnehmen. Darüber hinaus haben sie auch nicht unbegrenzt Zeit zum Lernen, weil sie für andere Tätigkeiten ebenso Energie benötigen. Auch Motivation und Konzentration sind begrenzt. All dies ist auch dynamisch und kann an manchen Tagen stärker hervortreten als an anderen. So wird ein und derselbe Lerner / dieselbe LernerIn an unter‐ schiedlichen Tagen unterschiedlich motiviert, konzentriert etc. sein. Demgemäß sind auch bei den Lehrpersonen Ressourcen endlich, wie etwa Motivation, Zeit, Materialien und dergleichen. In seinem Modell des kognitiven Sprachwachs‐ tums verbindet van Geert (vgl. 1991) die vorhandenen Ressourcen mit dem Wachstum der sprachlichen Kompetenzen. 5.3 Sprachentwicklung im komplexen dynamischen Unterricht 237 5.3.1.3 Ressourcen und Wachstum im Unterricht Alle Elemente im System Fremdsprachenunterricht interagieren miteinander. Demgemäß sind auch die für das Lernen vorhandenen Ressourcen in diesem dynamischen System miteinander verbunden, und diese dynamische Interak‐ tion ermöglicht, dass jene Ressourcen, die bei manchen LernerInnen knapp vor‐ handen sind, durch andere bis zu einem bestimmten Grad kompensiert werden können. Verfügt ein Lerner / eine Lernerin beispielsweise über wenig Zeit zum Lernen, kann er / sie dennoch ein gewünschtes sprachliches Niveau erreichen, wenn er / sie diese ihm / ihr zur Verfügung stehende Zeit gut zu nutzen versteht und sehr effizient lernt bzw. die Fähigkeit hat, sich Dinge schnell zu merken. Ebenso könnte fehlendes Talent - zumindest bis zu einem bestimmten Punkt - z. B. durch einen Mehraufwand an Arbeitseifer kompensiert werden. Diese hier angesprochene Dynamik bedeutet, dass sich LernerInnen auf un‐ terschiedlichen Niveaus mit verschiedenen Themen beschäftigen und ungleich viele Ressourcen für die jeweiligen Aufgaben benötigen. So werden Anfänger‐ Innen üblicherweise viele zeitliche Ressourcen für z. B. Aussprache, Vokabeln, Basisgrammatik etc. benötigen, wohingegen Fortgeschrittene diese verstärkt für komplexe Syntaxstrukturen, Kollokationen oder Idiomatik aufwenden. Berück‐ sichtigt man an dieser Stelle auch die Individualität der Studierenden, kann man daraus schließen, dass kein Lerner / keine Lernerin über die gleichen oder über gleich viele Ressourcen verfügt. Ebenso lässt sich daraus ableiten, dass sie zu unterschiedlichen Zeitpunkten für die jeweiligen Aufgaben ungleich viele Res‐ sourcen benötigen. In jedem Fall müssen die Ressourcen genährt werden. Jegliches Zuführen von Energie beeinflusst die einzelnen Elemente des Sys‐ tems. Führt man einem bestimmten Entwicklungsaspekt, wie etwa dem münd‐ lichen Ausdruck, Energie zu, wirkt sich dies auch positiv oder negativ auf andere Aspekte aus. Van Geert (vgl. 1994: 189ff) spricht in diesem Zusammenhang von drei möglichen Beziehungen, die die einzelnen Entwicklungsaspekte (grower) im Hinblick auf Veränderungen durch Energiezufuhr zueinander einnehmen können: Erstens, eine unterstützende Verbindung (supportive relationship), von der man dann spricht, wenn das Nähren eines Aspektes A dazu beiträgt, dass auch ein Aspekt B genährt wird. Zweitens eine konkurrierende Verbindung, wenn das Nähren des Aspektes A zu einer Schwächung des Aspektes B führt. Drittens, eine konditionale Verbindung (conditional relationship), wenn es sich um eine Kombination aus unterstützender und konkurrierender Verbindung handelt. Dies wäre dann der Fall, wenn beispielsweise A eine Kondition für das Wachstum von B wäre und B erst wachsen könnte, wenn A über einen be‐ stimmten Wert kommt. 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 238 Auf den Fremdsprachenunterricht angewandt wäre eine unterstützende Ver‐ bindung etwa dann vorhanden, wenn die LernerInnen aufgrund eines zeitlichen Energieüberschusses (z. B. Ferien) mehr Zeit für das Entwickeln von Wortschatz aufwenden (also diesem Energie in Form von Zeit zuführen) und sich dadurch konsequenterweise auch das Textverständnis beim Lesen verbessert. In Folge würden sie im Unterricht weniger zeitliche Ressourcen benötigen, um etwa einzelne Worte im Wörterbuch nachzuschlagen, und die dadurch gewonnene Zeit / Energie könnte auf andere Weise genutzt werden, z. B. um noch mehr neue Vokabeln zu erarbeiten, was erneut eine Reduktion der Lesezeit zur Folge hätte etc. Stünde den LernerInnen aber beispielsweise nur eine begrenzte Zeit t für das Entwickeln aller Kompetenzen zur Verfügung, und würden sie den Mehr‐ aufwand (in Form von Zeit für das Vokabellernen) von anderen Bereichen wie etwa dem Entwickeln von Grammatikstrukturen abzweigen, dann wäre dies eine konkurrierende Verbindung. So würde zwar der Wortschatz wachsen, aber die Grammatikkompetenz sinken bzw. nicht wachsen. Von einer konditionalen Verbindung spräche man dann, wenn LernerInnen z. B. erst den Konjunktiv II beherrschen müssen, um in weiterer Folge Bedingungssätze bilden zu können. Dann würde A (das Beherrschen des Konjunktivs) das Wachsen von B (das Ver‐ wenden von Konditionalsätzen) zur Folge haben, und je mehr Verben im Kon‐ junktiv verwendet werden können, desto größer wäre auch die Fähigkeit, Kon‐ ditionalsätze damit zu bilden. Daraus ist auch abzuleiten, dass sich Lehrende und Studierende gleichsam der Tatsache bewusst sein müssen, mit den vorhandenen und begrenzten Res‐ sourcen derart zu arbeiten, dass eine maximale Progression für das Individuum möglich ist. Hat beispielsweise ein Lerner / eine Lernerin schon ein, für ein be‐ stimmtes Niveau überdurchschnittliches Vokabular, aber eine vergleichsweise schlechte Aussprache, wäre es im Sinne einer ausgewogenen Sprachbeherr‐ schung sinnvoller, wenn dieser Lerner / diese Lernerin weniger Ressourcen in Form von Zeit für das Erarbeiten von Wortschatz aufwenden würde, aber dafür z. B. mehr Ausspracheübungen durchführt. Hierfür ist es besonders wichtig zu wissen, wie ausgeprägt die einzelnen Kompetenzen der Studierenden sind bzw. wie viel Energie aufzuwenden ist, um unterentwickelte Kompetenzen zu för‐ dern. Dies könnte durch einen Einstufungstest oder durch eine Evaluation der Kompetenzen vor Kursbeginn erfolgen. Dieser letzte Punkt verdeutlicht nochmals die Wichtigkeit eines lernerIn‐ nenzentrierten Unterrichts, weil in der Unterrichtsrealität im Wesentlichen alle Gruppen in der einen oder anderen Form heterogen sind. Unterschiedliche LernerInnen haben unterschiedliche Voraussetzungen, Ressourcen und Defizite, auf die die Lehrperson eingehen sollte, damit jedeR der LernerInnen maximal 5.3 Sprachentwicklung im komplexen dynamischen Unterricht 239 vom Unterricht profitieren kann. Dies ist jedoch nur dann möglich, wenn so‐ wohl Studierende als auch Lehrende über ihre Kompetenzen und Defizite Be‐ scheid wissen und demgemäß handeln. Natürlich muss an dieser Stelle auch angeführt werden, dass man als Lehr‐ person im beschriebenen Kontext nie in vollem Umfang auf alle Defizite, Wün‐ sche, Probleme, Vorstellungen etc. aller Individuen gleichermaßen eingehen kann. Dies ist auch ein Grund, warum meiner Ansicht nach völlig differenziertes Unterrichten im realen Unterrichtsgeschehen im Kontext eines universitären Sprachkurses - wenn überhaupt - dann nur unter erheblichem Ressourcenver‐ brauch umsetzbar ist. Als mögliche Alternative erweist sich jedoch, jene Schnitt‐ menge herauszufinden, die alle oder ein Großteil der LernerInnen gemeinsam haben und den Unterricht diesbezüglich zu adaptieren und einen weiteren Fokus darauf zu richten, die Studierenden dabei zu unterstützen ExpertInnen für ihr eigenes Lernen zu werden, Lernmethoden und Techniken aufzuzeigen und sie dabei zu unterstützen gerade auch außerhalb des Unterrichts selbständig jene Bereiche zu optimieren, die bei den einzelnen Individuen weniger gut ausge‐ bildet sind. Abb. 26: Schnittmenge der einzelnen Studierenden 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 240 Im Hinblick auf den tatsächlichen positiven oder negativen Effekt, den das Wachstum eines Aspektes A auf einen Aspekt B hat, führt van Geert (vgl. 1994: 189) drei verantwortliche Komponenten an: erstens die Stärke der Verbin‐ dung, zweitens bzw. drittens die Wachstumsrate von Aspekt A und B jeweils zum Zeitpunkt, zu welchem der Effekt ausgelöst wird. Dies verdeutlicht erneut die Prozesshaftigkeit des Lernvorgangs, weil das Wachstum sich in Form einer Funktion aus dem bereits erreichten vorangegangenen Wert ergibt und nicht etwa eine einfache Addition oder Subtraktion ist. Für den Fremdsprachenunterricht würde das bedeuten, dass die (Weiter-) Entwicklung des Wortschatzes der Studierenden auf einem bestimmten Gebiet (z. B. Wirtschaftsenglisch) auch einen Zuwachs im schriftlichen und mündlichen Ausdruck in demselben Themenbereich erfährt. Auf einem anderen Gebiet (z. B. Kunst) würde sich dadurch jedoch kein bzw. nur ein geringerer Zuwachs hin‐ sichtlich der kommunikativen Kompetenz der Studierenden ergeben, weil die erlernten Worte im ersten Bereich (Wirtschaft) z. B. aufgrund der Spezialisie‐ rung im zweiten Bereich (Kunst) nicht zum Einsatz kämen. 5.4 Zusammenfassung Ähnlich wie Lernen und Lehren Ressourcen benötigen bzw. verbrauchen, bedarf es dieser auch beim Verbessern des Fremdsprachenunterrichts. Keine Optimie‐ rung kann ohne Ressourcenverbrauch erfolgen. Das ist ein Faktum, welches auch den, an den Optimierungsprozessen Beteiligten, ins Bewusstsein gerückt werden muss, damit die Maßnahmen, die zur Verbesserung beitragen sollen, angenommen werden und wirken können. Es muss, im Sinne des KAIZEN eine Verbesserungskultur entstehen, in wel‐ cher die, an der aktiven Problemlösung und Optimierung einer Situation Betei‐ ligten erkennen, dass de nihilo nihil fit. Problematisch ist in dieser Hinsicht, wenn die aufgewendeten Mittel weder effektiv noch effizient sind, also erheblich mehr an Ressourcen verbrauchen, als sie an Optimierungsarbeit leisten, denn dann werden sie von vielen als Zeit- und Energieverschwendung abgestempelt und nicht genutzt. Werden die für die Verbesserung benötigten Informationen beispielsweise mittels Evaluation erhoben, fließt ein Teil der Ressourcen in den Evaluations‐ vorgang selbst und ein weiterer in das Follow-up. Während somit durch die Evaluation und die darauffolgenden Maßnahmen auf der einen Seite Ressourcen verbraucht werden, können diese auf der anderen Seite durch die Folgen der 5.4 Zusammenfassung 241 Optimierungen wiedergewonnen bzw. vielleicht sogar vergrößert werden, wenn das eingesetzte Modell effektiv ist und effizient arbeitet. Auf LernerInnenseite könnte dies wie folgt aussehen: LernerInnen erkennen durch Selbstevaluation, dass sie z. B. über keine effektiven Mittel verfügen, ihre Vokabelkenntnisse zu verbessern. In einem Feedback teilen sie dies der Lehr‐ person mit, die das aktive Erarbeiten derartiger Methoden in den Unterricht integriert. Die Folge ist im optimalen Fall, dass die LernerInnen in kürzerer Zeit mehr Wortschatz erarbeiten können als zuvor. Da damit auch Kompetenzen erworben werden, die die LernerInnen im Wesentlichen ihr gesamtes Leben als SprachlernerInnen nutzen können, kann der Ressourcenaufwand für die Eva‐ luationen und Maßnahmen durchaus gerechtfertigt werden, denn auf lange Sicht werden dadurch viele Ressourcen eingespart. Daraus resultiert, dass ein umfassendes Optimierungsprogramm nur dann funktionieren kann, wenn die Personen, die mit diesem Hilfsmittel arbeiten, bereit sind, einen potentiellen Mehraufwand in Kauf zu nehmen. Die Bereit‐ schaft hierfür wird dann umso eher vorhanden sein, wenn sich der Aufwand lohnt. Wird Evaluation suboptimal eingesetzt, hat dies über kurz oder lang eine Evaluitis zur Folge. Die Schaffung einer Verbesserungskultur wird in der KDE zum einen bei den Lehrenden durch eine spezifische Einschulung geschaffen, in welcher ihnen die Vorteile dieses neuen Ansatzes aufgezeigt werden, die sie in Folge an die Lern‐ erInnen weitergeben, um so auch bei ihnen diese Kultur schaffen zu können. Zum anderen wird diese Verbesserungskultur durch die KDE selbst begünstigt, weil der potentielle Mehraufwand - vor allem in zeitlicher Form - durch die Effizienz des Evaluationsprogramms weitgehend ausgeglichen werden kann. Dies ist möglich, weil bei der Konzeption der KDE modernste Technik zum Ein‐ satz kommt und viele der Fragebögen beispielsweise nicht mehr von den Lehr‐ enden selbst bearbeitet werden müssen, sondern die von den Studierenden ge‐ tätigten Einträge von einem Computerprogramm ausgewertet werden und die Lehrpersonen direkt auf die Ergebnisse zugreifen können. Darüber hinaus werden die Ergebnisse bereits in einer übersichtlichen Form dargestellt, so dass für die Lehrperson entscheidende Zusammenhänge aus Tabellen und Dia‐ grammen schnell ersichtlich sind. Für die Studierenden kann der Aufwand z. B. dadurch eigeschränkt werden, dass sie sämtliche Einträge auch über ihr Handy tätigen können, weil geplant ist, dass die KDE auch als App zur Verfügung steht und dadurch der Zugriff jederzeit und von jedem Ort aus möglich ist. Die Eva‐ luation kann durchgeführt werden, wo auch immer man sich befindet und wann immer man die Muse dazu hat. Diese Tatsache ist entscheidend, wie sich aus den 5 Komplexe Dynamiken beim Lehren, Lernen und Evaluieren 242 Interviews mit den Studierenden zeigte, da gerade bei den Vorevaluationen der zeitliche Faktor eine wichtige Rolle spielte. Die KDE muss sich auch hinsichtlich der gewonnenen Daten durch Effekti‐ vität und Effizienz auszeichnen. Sie sollte nur eine minimal nötige Information erheben, die jedoch maximalen Nutzen bringt. Welche Informationen sich bei der Vergrößerung des Lernerfolges im Detail als wesentlich herausstellen, ist ein Bereich des folgenden Kapitels, welches auch zeigt, wie die KDE im Detail aussieht. 5.4 Zusammenfassung 243 6 KDE im Fremdsprachenunterricht Man kann nie so kompliziert denken, wie es plötzlich kommt. (Willy Brandt) In den vorigen Kapiteln wurden die drei zentralen Themen dieses Buches - Evaluation, Qualität sowie Lehren und Lernen von Fremdsprachen - zuerst all‐ gemein und dann so ausführlich wie nötig - im Kontext des Sprachenlernens an universitären Fremdsprachenzentren aufgerollt. Im Anschluss daran wurde die Complex Dynamic System Theory vorgestellt, mit der die komplexen Dyna‐ miken beschrieben werden können, die im universitären Fremdsprachenunter‐ richt und auch beim Einsatz von Evaluation zu beobachten sind. Sie bietet den Rahmen für das in diesem Kapitel vorgestellte Evaluationsmodell der Komplexen Dynamischen Evaluation ( KDE ). Gemäß diesem Ansatz soll Evaluation in Lehrveranstaltungen auf vielfälti‐ gere und umfassendere Weise als bisher eingesetzt werden, damit relevante Informationen zur Qualitätsoptimierung des Fremdsprachenunterrichts zum richtigen Zeitpunkt generiert werden können, also genau dann, wenn Verän‐ derungsprozesse initiiert werden müssen, um eine Verbesserung zu bewirken. Evaluation wird dabei als dynamischer Vorgang gesehen und soll fixer Bestand‐ teil im Fremdsprachenunterricht bzw. bei dessen Verbesserung sein. Die KDE schafft eine Schnittstelle zwischen Lehrenden und Studierenden und vereinfacht die Kollaboration der AktantInnen bei sämtlichen Optimierungsprozessen. Verbesserungsschritte mit der KDE werden demgemäß immer dann initiiert, wenn aus den Daten der Evaluationen hervorgeht, dass ein Problem vorhanden bzw. eine Verbesserung der aktuellen Situation möglich oder erforderlich ist. Wesentlich für die Optimierung ist somit, dass die richtigen Informationen zum richtigen Zeitpunkt verfügbar sind, um die Ist-Situation im Rahmen der Mög‐ lichkeiten zu verbessern. Welche Daten für den Kontext dieser Arbeit jeweils relevant sind, soll auf den folgenden Seiten erörtert werden, bevor im Anschluss mit diesen Daten und den bereits gewonnenen Erkenntnissen aus vorangegan‐ genen Kapiteln die theoretische Konzeption der KDE durchgeführt wird. 6.1 Sammeln und Auswerten von Daten Das Hauptanliegen jeder Evaluation ist das Sammeln, Analysieren und Be‐ werten von Daten. Große Sorgfalt sollte dabei stets darauf gerichtet werden, mit der eingesetzten Evaluation die richtigen Informationen zu sammeln, also jene Daten, die, wie im gegebenen Fall, für die Optimierung von Programmen, Pro‐ jekten, Prozessen etc. auch tatsächlich benötigt werden. Diese Vorgänge stellen sozusagen die zentralen Faktoren jeder Evaluation dar und entscheiden über den Erfolg oder Misserfolg der weiterführenden Optimierungsprozesse. Meyer (vgl. 2010: 191) weist in diesem Zusammenhang darauf hin, dass die Qualität einer Evaluation weitgehend von der Bereitstellung exakter und für die Beant‐ wortung der Evaluationsfrage adäquater Informationen abhängt. In der Tat scheint jedoch genau das bei vielen Evaluationsprojekten oftmals ein zentrales Problem zu sein, denn gerade diese essentiellen Schritte sind nicht selten sub‐ optimal, wie z.T. auch in Kapitel 1 bereits ausgeführt wurde. Im Rahmen von Lehrveranstaltungsevaluationen kann ein erstes Problem bereits beim Generieren von Daten auftreten. Es zeigt sich darin, dass die ge‐ sammelten Informationen für die eigentlich intendierte Folgehandlung unge‐ eignet sind. In diesem Fall werden die falschen Fragen gestellt und die daraus resultierenden Antworten erweisen sich für die Qualitätsoptimierung als (weit‐ gehend) unbrauchbar. Dies geschieht vor allem dann, wenn der Evaluationsge‐ genstand bzw. die Zielsetzung der Evaluation nicht exakt definiert wurden. Ein zweites Problem tritt in Erscheinung, wenn man zwar die richtigen Fragen stellt und damit auch die benötigten Antworten erhält, dies jedoch nicht zum richtigen Zeitpunkt erfolgt. Dann sind Verbesserungen für die Gruppe, die eva‐ luierte, nicht möglich, weil die Informationen z. B. zu spät generiert wurden. Es wäre auch denkbar, dass zwar die richtigen Fragen zum richtigen Zeitpunkt gestellt wurden, aber in einer Weise, die das Verbessern der einzelnen Prozesse sehr schwer oder sogar unmöglich macht, weil die Art der Fragestellung nicht genügend Information für eine Optimierung liefert. In diesen Fällen wurde die Evaluationsform bzw. die Evaluationsmethode ungünstig gewählt. Eine weitere Unzulänglichkeit ist dann zu beobachten, wenn die AktantInnen nicht die nötige Ernsthaftigkeit an den Tag legen, um die Evaluation durchzu‐ führen oder um aus den gewonnen Daten die richtigen Schlüsse zu ziehen und die für eine Verbesserung nötigen Schritte folgen zu lassen. In diesem Fall konnte keine geeignete Evaluationsbzw. Verbesserungskultur geschaffen werden und die Wichtigkeit der Evaluation in Bezug auf Qualitätsoptimierung wird ver‐ kannt, wodurch sämtliche Bemühungen zunichte gemacht werden und die 6.1 Sammeln und Auswerten von Daten 245 Evaluation als Hilfe zur Unterrichtsoptimierung letztendlich ihren Stellenwert verliert und zur reinen Formsache wird. Die hier in aller Kürze angeführten Punkte haben in der Vergangenheit (und Gegenwart) auch immer wieder dazu geführt, dass Lehrveranstaltungsevalua‐ tionen einen negativen Beigeschmack erhielten bzw. mitunter sogar in Verruf gerieten. Die zentrale Frage, die man sich als EvaluatorIn beim Konzipieren eines Evaluationsmodells stellt, ist, wie man die oben genannten evaluationstechni‐ schen Fauxpas vermeiden kann, damit die Evaluation nicht »konzeptlos« (Spiel 2001: 7) wirkt, sondern genau das erhebt, was damit intendiert wird. Dies ist gerade auch deswegen herausfordernd, weil es, wie u. a. Kromrey (2005: 36) be‐ reits feststellte, kein »Musterdesign für Evaluationen« gibt, sondern immer eine maßgeschneiderte Vorgehensweise zu entwickeln und zu begründen ist, die ganz besonders auch den in Kapitel 3 angesprochenen wissenschaftlichen Kri‐ terien und den (Evaluations-)Standards gerecht werden muss. 6.1.1 Grundfragen beim Evaluieren Aus dem oben Gesagten wird ersichtlich, dass es nicht nur ratsam ist, bereits vor der Durchführung einer Evaluation konkrete inhaltliche und methodische Fragen zu stellen und diese möglichst exakt und auf eine wissenschaftliche Weise, auf Basis theoretischer und praktischer Überlegungen zu beantworten, sondern, dass diese Fragen bereits in die Konzeption des Evaluationsansatzes einfließen müssen. So kann ein Evaluationsmodell konzipiert werden, welches diese notwendigen Kriterien erfüllt und genau jene Informationen (zum rich‐ tigen Zeitpunkt und auf die richtige Weise) fördert, die nötig sind, um - auf diesem Wissen aufbauend - qualitätsoptimierende Schritte einzuleiten. Zudem sollte der Rahmen, in welchem die Evaluation stattfindet, genauestens analysiert werden und, wenn Bedarf vorhanden ist, die an der Evaluation Beteiligten auf die Wichtigkeit dieser Maßnahme und damit einhergehende Optimierungen hinweisen, also die bereits angesprochene Verbesserungsbzw. Evaluations‐ kultur schaffen. Nach dem Evaluationsvorgang setzen mit dem Follow-up die eigentlichen qualitätsoptimierenden Prozesse ein. 6.1.1.1 Grundfragen vor der Evaluation Die Fragen, die vor der Konzeption der Evaluation zu stellen sind, wurden in der Literatur bereits eingehend behandelt. Detaillierte Abhandlungen hierzu finden sich u. a. auch bei Stockmann (2010: 66ff) und Kromrey (2001: 23), die die folgenden Fragen bei jeder Evaluation als essentiell betrachten: Wer oder was soll wann, wo, wozu, für wen, anhand welcher Kriterien, von wem, wie evaluiert 6 KDE im Fremdsprachenunterricht 246 werden? Je nachdem, welche Schwerpunkte man beim Beantworten dieser Fragen setzt, lassen sich in weiterer Folge auch unterschiedliche Arten und Me‐ thoden von Evaluationen unterscheiden. 6.1.1.1.1 Wer oder was soll evaluiert werden? Die Frage, wer oder was evaluiert wird, richtet sich nach dem Evaluationsge‐ genstand, also dem Sachverhalt, der durch eine Evaluation in Erfahrung ge‐ bracht, analysiert und bewertet wird. Stockmann (vgl. 2010: 67) hält diesbezüg‐ lich fest, dass es bei der Wahl des Evaluationsgegenstandes kaum Einschränkungen gibt, was man auch Kapitel 3 entnehmen kann, in welchem die unterschiedlichen Evaluationstypen behandelt wurden, die bei Lehrverans‐ taltungsevaluationen eingesetzt werden können und Unterschiedlichstes eva‐ luieren. Typische Evaluationsgegenstände können u. a. Programme, Projekte, Mate‐ rialien, Dienstleistungen oder gar Evaluationen selbst sein. Wird eine Evaluation evaluiert, spricht man von einer Metaevaluation. Als Programm definiert das Handbuch der Evaluationsstandards (Sanders et al. 2006: 28) »pädagogische Tä‐ tigkeiten, die kontinuierlich stattfinden«. Im Kontext dieses Buches kann als Programm demnach z. B. die Lehrtätigkeit im Allgemeinen verstanden werden oder aber auch das Lernen bzw. ein konkretes Studium. Ebenso kann das Pro‐ gramm Fremdsprachenkurs evaluiert werden. Projekte hingegen sind »Tätig‐ keiten, die auf einen bestimmten Zeitraum begrenzt sind« und Materialien sind »inhaltsbezogene Materialen im pädagogischen Bereich, wie Bücher […] und andere konkrete Gegenstände für Unterricht und Ausbildung« (ibid.). Die KDE ist, wie unten noch ausgeführt wird, sehr weitreichend, nicht nur in Hinblick auf den Umfang, sondern auch die einzelnen Fragestellungen be‐ treffend. Hinsichtlich des Evaluationsgegenstands zielt sie, wenn als überge‐ ordnetes Programm gesehen, primär darauf ab, jene Faktoren und Prozesse zu erheben und zu evaluieren, die dazu beitragen, den Unterricht zu verbessern und den Lehrbzw. Lernerfolg zu optimieren. Die einzelnen Teilevaluationen haben ihrerseits jedoch wiederum sehr konkrete Ziele in Bezug auf den Evaluations‐ gegenstand. So ist das was bei der Vorevaluation zum einen das Kennenlernen der LernerInnen und zum anderen das Abstecken der Rahmenbedingungen, da beide gemäß der CDST und des Qualitätsmanagements wesentlich für den wei‐ teren Verlauf des Kurses sind. Die Vorevaluation Studierende erfragt sämtliche Belange der LernerInnen, die nötig sind, um den Unterricht - im Rahmen der Möglichkeiten - auf sie abzustimmen, während die Vorevaluation Rahmenbe‐ dingungen den jeweiligen Kontext erörtert, in welchem das Unterrichtssetting stattfindet. Ein Hauptanliegen hier ist des Weiteren, die für die betreffende 6.1 Sammeln und Auswerten von Daten 247 Gruppe nötigen Lehrziele gemäß universitärer Zielsetzung und internationaler Standards für das betreffende Niveau abzustecken. Bei der Begleitenden Evaluation stellt sich das was als völlig anders dar. Hier wird zum einen erfragt, welche Probleme und Schwierigkeiten die LernerInnen in den jeweiligen Unterrichtseinheiten hatten, welche Verbesserungsvorschläge sie bezüglich weiterer Unterrichtseinheiten haben, und zum anderen werden sie auch angeregt, über ihren aktuellen Lernerfolg nachzudenken etc. Die Endevaluation stellt einerseits den Bezug zum Kursanfang her und er‐ mittelt, inwieweit die Studierenden die ursprünglich gesetzten Ziele erreicht haben und soll andererseits auch grundsätzliche Fragen beantworten, etwa ob generelle Aspekte bei der Kursplanung und -durchführung überdacht werden sollten etc. Das bedeutet, der Evaluationsgegenstand bei der KDE ist vielschichtig und passt sich den jeweiligen Bedürfnissen an. Je nachdem, was erfragt werden soll, wird die Fragestellung anders lauten. Der Evaluationsgegenstand bei der KDE ist somit dynamisch. Implementationsvs. Wirkungsforschung Die Frage nach dem Was kann sich auch auf die Unterscheidung zwischen Im‐ plementations- und Wirkungsforschung beziehen, wie Kromrey (2001: 24) fest‐ hält. Ist der Evaluationsgegenstand die Erforschung der Ursachen von poten‐ tiellen Abweichungen zwischen Soll- und Ist-Werten, handelt es sich um Implementationsforschung. Die hierfür eingesetzte zielorientierte Evaluation (siehe Kapitel 3) hat häufig Programme zum Gegenstand und es steht primär die Frage im Vordergrund, ob die in einem Programm angestrebten Ziele erreichbar sind (pre-formativ / formativ) oder erreicht wurden (summativ), wie Stockmann (vgl. 2010: 69) ausführt. Dabei werden, wie er fortführt (vgl. ibid.), die Soll-Vor‐ gaben mit dem zum Evaluationszeitpunkt gemessenen Ist-Zustand verglichen, und das Ergebnis gilt als umso besser, je mehr der Ist-Wert dem Soll-Wert ent‐ spricht (oder diesen sogar übertrifft). Zudem können die Ergebnisse genutzt werden, um Programmabläufe zu optimieren, damit die Zielerreichung verbes‐ sert wird oder ggf. die Ziele neu definiert werden. Diese Art der Evaluation eignet sich demnach mehr zum Vergleich von einem gewünschten und einem erreichten Wert und ist weniger geeignet zur Lösung von Problemen oder bei der Optimierung bzw. der Wirksamkeit von Projekten und Programmen, wie Stockmann (vgl. 2010: 69) festhält, weil von ihnen kaum Veränderungen ausgehen. Der Schwerpunkt dieses Evaluationstyps richtet sich, wie Kromrey (vgl. 2001: 24) expliziert, auf die systematische Untersuchung der 6 KDE im Fremdsprachenunterricht 248 Planung, Durchsetzung und des Vollzugs und es stehen primär folgende Fragen im Vordergrund: Was ist passiert? Was wird wann und wie gemacht? Nicht nur die KDE als übergeordnetes Konstrukt ist zielgerichtet, auch die in der KDE eingesetzten Teilevaluationen sind vielfach zielorientierter Natur. So werden beispielsweise mit der Vorevaluation die Unterrichtsziele für einen Kurs bestimmt (Soll-Wert), deren Erreichen (Ist-Wert) mit der Endevaluation am Ende des Kurses überprüft wird. Hierbei handelt es sich jedoch, wie mehrfach er‐ wähnt, nur um die subjektive Einschätzung durch die TeilnehmerInnen, da eine objektive Überprüfung nicht allein durch Lehrveranstaltungsevaluationen er‐ folgen kann. Auf ähnliche Weise kann auch bei den einzelnen Zwischenevalua‐ tionen, die die Begleitende Evaluation ausmachen, von einer Soll-Ist-Überprü‐ fung gesprochen werden. Stehen beim Evaluationsgegenstand die Effekte im Vordergrund, »die von den Maßnahmen eines Programms oder Projektes hervorgerufen werden« (Kromrey 2001: 24), spricht man von einer Wirkungsanalyse. Diese beinhaltet das gesamte Wirkungsfeld eines Programms, also nicht nur die intendierten Effekte (Zielvorgaben), sondern auch mögliche unbeabsichtigte Konsequenzen und Nebenwirkungen (vgl. ibid.). Das bedeutet, dass, wie Stockmann (vgl. 2010: 71) expliziert, im primären Fokus einer wirkungsorientierten Evaluation nicht die Ziele (eines Programms) stehen, sondern die potentiellen Wirkungen, die mit getroffenen Maßnahmen einhergehen. Es geht zum einen darum, mit größt‐ möglicher Zuverlässigkeit festzustellen, ob eine Intervention die beabsichtigten Wirkungen auslöst und zum anderen darum, die Einflüsse anderer Faktoren auszuschließen, die ebenfalls für etwaige Veränderungen verantwortlich sein könnten, wie er (ibid.) ausführt. Fragen in Zusammenhang mit Wirkungsana‐ lysen können wie folgt lauten: • War Maßnahme x erfolgreich? • Sind die mit Maßnahme x intendierten Veränderungen eingetreten? • Sind die eingetretenen Veränderungen auf Maßnahme x zurückzuführen? In der KDE stellt ein Großteil der Evaluationen, die im Verlauf des Kursgesche‐ hens im Rahmen der Begleitenden Evaluation durchgeführt werden, auch die Wirkungen von Maßnahmen fest, die auf Basis der Evaluation der vorangegan‐ genen Unterrichtseinheit durchgeführt wurden. Dadurch soll festgestellt werden, ob die von der Lehrperson getroffenen Optimierungsansätze Wirkung zeigen und zur Vergrößerung des Lernerfolgs beitragen. Ebenso werden auch bei den Selbstreflexionen - sowohl bei Lehrenden als auch Studierenden - diese Aspekte regelmäßig überprüft. Die AktantInnen sollen sich dadurch ihrer Hand‐ lungen stärker bewusst werden und sich u. a. auch die Frage stellen, ob diese 6.1 Sammeln und Auswerten von Daten 249 eigenen Optimierungsversuche den gewünschten Erfolg brachten. Die Endeva‐ luation in der KDE betrachtet dann das gesamte Kursgeschehen im Rückblick, damit eventuelle Makrostrategien hinsichtlich der Optimierung aufgezeigt werden können. Um die hier angesprochenen Unterschiede noch einmal für den Kontext des Fremdsprachenunterrichts zu verdeutlichen, stelle man sich folgendes Szenario vor: Die Zielsetzung einer Englisch-Lehrveranstaltungseinheit ist das Erlernen des zweiten Konditionalsatzes. Der angestrebte Soll-Wert ist, dass die Lern‐ erInnen Sätze nach dem Muster If I won the lottery, I would buy a castle bilden können. Zu Beginn der Lehrveranstaltung erklärt die Lehrperson, wie dieser Konditionaltyp gebildet wird und es werden gemeinsam einige Beispiele be‐ handelt (Maßnahme). Im Anschluss daran füllen die LernerInnen einen Lücken‐ text aus (Maßnahme). Danach werden die Antworten der Studierenden mit Musterlösungen verglichen. Die Implementationsforschung würde in diesem Zusammenhang untersuchen, ob die Übungen richtig gelöst (Vergleich Ist-Soll-Wert) und die initial gesteckten Ziele erreicht wurden, während die Wirkungsforschung analysiert, ob die hierfür verwendeten Maßnahmen (Er‐ klärung + Beispiele) zur Zielerreichung geführt haben. Intendierte und nicht-intendierte Wirkungen Stockmann (vgl. 2010: 70) weist darauf hin, dass zwei Arten von Wirkungen zu beobachten sind. Einerseits die intendierten bzw. geplanten und andererseits die nicht-intendierten, also ungeplanten. Erstere stehen »mit den Zielen eines Pro‐ gramms oder Leistungsangebots in Einklang« und werden demnach in Hinblick auf die Zielerreichung positiv bewertet, während letztere »sowohl positiv - also die Zielerreichung unterstützend - als auch negativ, d. h. der Zielerreichung zuwiderlaufend, ausfallen können«. Ob eine Wirkung als intendiert oder nicht-intendiert, positiv oder negativ bewertet wird, hängt, wie Stockmann (vgl. ibid.) festhält, letztendlich von der Perspektive des Betrachters bzw. den Zielen eines Programms ab. Ein Beispiel für eine positiv intendierte Wirkung im universitären Fremd‐ sprachenunterricht wäre dann gegeben, wenn aufgrund von mehr Budget die Hörsäle mit neuem Equipment ausgestattet würden. Die Intention ist, den Lehr‐ enden die Möglichkeit zu geben, statt antiquierter Overhead-Projektoren PC s und Beamer im Unterricht einzusetzen. Eine nicht erwünschte Wirkung wäre, wenn die Lehrenden die neuen Geräte nicht bedienen könnten und diese daher nicht verwenden, denn dann würde der intendierte Mehreinsatz von Medien im Vergleich zu davor nicht stattfinden und der Unterricht eventuell sogar schlechter zu bewerten sein als vor dem Ankauf der neuen Ausstattung, weil 6 KDE im Fremdsprachenunterricht 250 nun die Lehrenden auch die bis dahin eingesetzten Overhead-Projektoren nicht mehr zur Verfügung haben. Wirkungsdimensionen Wirkungen können sich in der Veränderung von Strukturen, Prozessen oder individuellen Verhaltensweisen zeigen und können geplant oder ungeplant sein und positiv oder negativ bewertet werden, wie Stockmann (vgl. 2010: 70) aus‐ führt. Demgemäß spricht er von drei Dimensionen: • Dimension: Struktur-Prozess-Verhalten, • Dimension: geplant / ungeplant, • Dimension: positiv / negativ. Ein Strukturwechsel wäre im Kontext des universitären Fremdsprachenunter‐ richts z. B. dann gegeben, wenn Evaluationsergebnisse bewirken, dass das Cur‐ riculum eines bestimmten Kurses verändert würde. So wäre es z. B. denkbar, dass ein allgemeinsprachlicher Kurs zwar nach wie vor alle Fertigkeiten bedient, je‐ doch der Schwerpunkt auf der mündlichen Kommunikation liegt. Auf Prozess‐ ebene könnten Evaluationen etwa bewirken, dass Lehrende ihre Unterrichts‐ methoden verändern und z. B. mehr Kleingruppenarbeiten anstelle von Frontalunterricht machen. Damit dies erfolgen kann, müssen sich, wie Stock‐ mann (ibid.) festhält, die individuellen Verhaltensweisen der Lehrenden ändern. Hierfür sind Evaluationen notwendig, denn ohne entsprechendes Feedback von den Studierenden mit anschließender Reflexion von Seiten der Lehrenden würde die Lehrperson u. U. überhaupt nicht bemerken, dass, und in welchem Bereich ggf. welche Veränderungen gewünscht bzw. nötig sind. Die KDE zielt darauf ab, auf all diesen Ebenen Informationen zu generieren. Bruttowirkungen / Nettowirkungen Wie bereits oben angeführt, ist das primäre Ziel einer Wirkungsevaluation, festzustellen, ob die ausgelösten Wirkungen aufgrund einer betreffenden Maß‐ nahme erfolgt sind, oder ob dies mit anderen Faktoren in Verbindung steht. Das stellt im Allgemeinen und konkret auch im universitären Fremdsprachenunter‐ richt eine sehr große Herausforderung dar und man spricht in diesem Zusam‐ menhang von sogenannten Bruttowirkungen und Nettowirkungen. Nettowirkungen (net effects) sind dabei jene Wirkungen, die ausschließlich auf eine konkrete Intervention zurückzuführen sind, und Bruttowirkungen (gross outcome) umfassen alle Wirkungen, wie Stockmann (vgl. 2010: 71) expli‐ ziert. Beim Evaluieren ist es grundsätzlich ratsam, sämtliche externen Effekte, also Effekte, die von anderen Faktoren verursacht werden, oder Effekte, die sich 6.1 Sammeln und Auswerten von Daten 251 auf das Design der Evaluation zurückführen lassen und sich z. B. in Form von Messfehlern manifestieren, zu beseitigen, und auf diese Weise die Nettowir‐ kungen und ihre Verursachung zu isolieren (vgl. ibid.). Je besser dies gelingt, desto wahrscheinlicher ist eine bestimmte Wirkung auf eine konkrete Maß‐ nahme zurückzuführen. Dies ist essentiell, wenn man bei der Unterrichtsopti‐ mierung förderliche Maßnahmen von weniger förderlichen unterscheiden will. Implementationsforschung Wirkungsforschung Ziel • Ermittlung der Ursachen von Abweichungen zwischen Soll-Wert und Ist-Wert • Ermittlung der Effekte, die von Maßnahmen eines Pro‐ gramms oder Projektes her‐ vorgerufen werden. • Bereinigung der Bruttowir‐ kungen und Ermittlung der Nettowirkungen Fragen • Was passiert? • Was wird wann und wie ge‐ macht? • Sind die angestrebten Ziele erreichbar? • Wurden die angestrebten Ziele erreicht? • Welche Effekte bzw. direkten und indirekten Wirkungen hat(t)e eine konkrete Maß‐ nahme? • Hat eine bestimmte Inter‐ vention die beabsichtigten Wirkungen ausgelöst? • Zeigen die Wirkungen Ve‐ ränderungen von Struk‐ turen, Prozessen oder indivi‐ duellen Verhaltensweisen? • Sind die Wirkungen positiv oder negativ? • Sind die Wirkungen geplant oder ungeplant? Ergebnis • Wird umso besser bewertet, je mehr der Ist-Wert dem Soll-Wert entspricht. • Wird genutzt, um Program‐ mabläufe zu optimieren bzw. Zielabläufe zu verbes‐ sern / Ziele neu definieren. • Wird genutzt, um Verände‐ rungen herbeizuführen Tab. 13: Implementationsforschung vs. Wirkungsforschung Mit der KDE werden, wie oben bereits angeführt, beide Arten der Evaluation bedient und kommen oftmals parallel in den einzelnen Fragebögen vor. Will man den Unterricht verbessern, muss zuerst ein Problem oder die jeweilige Aus‐ gangssituation festgestellt werden. Dies erfolgt mit der Implementationsfor‐ schung. Zu Beginn, bei der Planung des Kurses stellt man die Fragen nach dem 6 KDE im Fremdsprachenunterricht 252 was, wann und wie etwas gemacht werden muss, damit es für das gegebene Setting optimal ist. Die Antworten aus dieser Evaluation optimieren die Pla‐ nungsqualität. Fragen nach der Erreichbarkeit des Geplanten sind in vielerlei Hinsicht wesentlich, da damit nicht nur die Progression zusammenhängt, son‐ dern auch, ob die LernerInnen die Voraussetzungen hierfür erfüllen. Ist das Kursniveau zu hoch angesetzt und überfordert es die LernerInnen kontinuier‐ lich, wird dies Auswirkungen auf den Kursverlauf haben. Diese Fragen werden mit der KDE nicht nur zu Beginn des Kurses gestellt, sondern kontinuierlich, da sich die Situation gemäß der CDST ebenso kontinuierlich verändert. Mit der Endevaluation wird dann der erreichte Wert dem intendierten gegenüberge‐ stellt. Ebenso wichtig wie die bereits angeführten Fragen sind jene hinsichtlich der einzelnen Optimierungsschritte. Sollen die Lehr-/ Lernprozesse mit Hilfe kon‐ kret gesetzter Maßnahmen verbessert werden, ist zu untersuchen, ob und in‐ wieweit diese Maßnahmen die intendierte Wirkung zeigten, bzw. welche wei‐ teren (positiven / negativen) Wirkungen damit in Verbindung stehen oder standen und wie auch diese in Zukunft genutzt bzw. verhindert werden können. Dieser Aspekt wird in der KDE hauptsächlich mit den einzelnen Zwischeneva‐ luationen durchgeführt, die nach den jeweiligen Unterrichtseinheiten statt‐ finden. 6.1.1.1.2 Wann soll evaluiert werden? Die Frage, wann evaluiert werden soll, bezieht sich auf den Evaluationszeit‐ punkt, zu welchem die Evaluation durchgeführt wird und ist vorrangig von der Art der Evaluation, sowie vom Zweck, der mit ihr verfolgt wird, abhängig. Hin‐ sichtlich des Zeitpunkts wird üblicherweise zwischen formativer und summa‐ tiver Evaluation unterschieden, eine Einteilung, die im Wesentlichen auf Scriven (1972) zurückgeht. Unter einer formativen Evaluation wird eine begleitende, programmsteuernde bzw. programmformende Evaluation verstanden (vgl. Kromrey 2001: 24), die das Ziel verfolgt, »die Programmdurchführung zu optimieren und die Programm‐ konzeption zu verbessern« (Gollwitzer / Jäger 2009: 124). Sie wird demnach wäh‐ rend der Implementierung eines Programms oder parallel zu einer bestimmten Maßnahme durchgeführt, ist daher sehr »praxisrelevant« (Kromrey 2001: 24) und besonders geeignet »als Instrument der Qualitätsentwicklung und / oder Qualitätssicherung« (ibid.). Zudem eignet sie sich als Hilfsmittel bei der Curri‐ culumentwicklung (vgl. Scriven 1972: 62). Die formative Evaluation dient der »kontinuierlichen Weiterentwicklung und Optimierung eines Programms an‐ hand von wirksamkeitsbezogenen Daten, die während der Programmdurchfüh‐ 6.1 Sammeln und Auswerten von Daten 253 rung gesammelt werden«, wie Gollwitzer / Jäger (2009: 124) subsumieren. In dieser Hinsicht ist sie auch in enger Verbindung mit der Implementationskon‐ trolle, weil damit die Effekte verschiedener Maßnahmen laufend geprüft und optimiert werden können (vgl. ibid.). Die Begleitende Evaluation in der KDE hat formativen Charakter, da sie den Lehr-/ Lernprozess über den gesamten Kurs hindurch begleitet. Die einzelnen Zwischenevaluationen dienen dazu, die in der betreffenden Einheit auftre‐ tenden Probleme festzustellen und nach möglichen Lösungen zu suchen, damit sie bereits in der darauffolgenden Einheit nicht mehr vorhanden sind. Dabei wird kontinuierlich der aktuelle Ist-Wert ermittelt und mit dem gewünschten Soll-Wert verglichen. Auf diese Weise können auch Richtungsänderungen hin‐ sichtlich der Lernziele festgestellt, Verständnisprobleme von Seiten der Lerner‐ Innen erkannt bzw. die eventuell nötigen Korrekturen vorgenommen werden. Die summative Evaluation wird erst gegen Ende oder gar nach Abschluss eines Projektes durchgeführt und verzichtet explizit auf »projektformende« Effekte, wie Kromrey (vgl. 2001: 24) darlegt. Aus diesem Grund ist es umso ver‐ wunderlicher, dass diese Art der Evaluation hauptsächlich und nahezu aus‐ schließlich bei der Optimierung von Lehrveranstaltungen eingesetzt wird, denn sie »verfolgt das Ziel, die Wirksamkeit eines Programmes zu beurteilen, ohne es optimieren zu wollen«, wie Gollwitzer / Jäger (2009: 124) explizieren. Auch in der KDE gibt es an mehreren Stellen summative Evaluationen. Dies beginnt bei einigen Fragen in der Vorevaluation, wo Studierende beispielsweise über ihren aktuellen Ist-Wert in Bezug auf die Fremdsprache reflektieren, wenn sie darüber nachdenken, welche ihrer Kompetenzen in welchem Ausmaß vor‐ handen sind, oder wenn die Lehrperson das Setting analysiert, in welchem der Kurs stattfinden wird. Daneben haben auch die Teilevaluationen der Beglei‐ tenden Evaluation summative Aspekte, da sie zu den ablaufenden Prozessen auch die Wirkungen vorangehender Prozesse überprüfen. Es soll demnach ebenso festgestellt werden, wie wirksam konkrete Optimierungsprozesse waren. Da‐ rüber hinaus handelt es sich bei der am Ende des Kurses durchgeführten Ende‐ valuation um eine summative Evaluation, weil sie die Wirksamkeit des gesamten Kurses überprüft. Dabei wird zum einen festgestellt, ob die anfangs gesteckten Ziele erreicht wurden und auch, wie die, während des Semesters durchgeführten Verbesserungsmaßnahmen gesamtgesehen wirkten. Die folgende Abbildung verdeutlicht die Gegenüberstellung von formativer und summativer Evaluation: 6 KDE im Fremdsprachenunterricht 254 formativ summativ Ziel Optimierung der Pro‐ grammkonzeption und -durchführung Beurteilung der Wirksam‐ keit eines Programms Fragen Wie kann das Programm optimiert werden? Wie effektiv / effizient war das Programm? Ergebnis wird für Optimierungen genutzt wird für Evaluationsguta‐ chen genutzt Tab. 14: formativ vs. summativ Eine weitere Einteilung der Evaluationen hinsichtlich des Evaluationszeit‐ punktes, die jedoch auch als Antwort auf die Frage wie bzw. wozu evaluiert wird, Verwendung findet, ist die Einteilung in (1) ex-ante, (2) on-going und (3) ex-post, welche, von Stockmann (vgl. 2010: 75) als die drei Dimensionen der Evaluationsforschung zusammengefasst werden. Dabei kommt die ex-ante Evaluation im Vorfeld eines Programms zum Einsatz und wird pre-formativ oder formativ durchgeführt. Die on-going Evaluation erfolgt programmbzw. maßnahmenbegleitend und wird formativ (mehrmals und regelmäßig) oder summativ (z. B. Zwischenevaluation) durchgeführt. Die ex-post Evaluation wird summativ nach Abschluss eines Programms eingesetzt. Wie Stockmann (vgl. 2010: 76) resümiert, richtet sich die ex-ante Evaluation auf die Phase der Programmentwicklung, einschließlich ihrer Konzeptualisie‐ rung und Planung. Ihre Aufgabe besteht darin, sämtliche Rahmenbedingungen (materiell, personell, institutionell etc.) zu untersuchen, um so bei der Erstellung des Programmdesigns zu unterstützen. Die on-going Evaluation unterstützt das Programmmanagement vor allem während der Implementationsphase, indem sie für die Programmsteuerung relevante Informationen sammelt, die Korrekt‐ uren am Design oder bei der Durchführung erlauben (vgl. ibid.). Die ex-post Evaluation wird, wie er (vgl. ibid.) ausführt, nach Abschluss der Implementation eines Programms eingesetzt, um die Wirkungen des Programms festzustellen und zu untersuchen. Das wie wird in der KDE durch alle drei oben genannten Evaluationen be‐ antwortet. So entspricht die gesamte Vorevaluation der ex-ante Evaluation, die die Daten u. a. pre-formativ generiert, die Begleitende Evaluation der on-going Evaluation, die die Daten formativ, programmbegleitend und vor allem maß‐ nahmenbegleitend erhebt und die Endevaluation oder ex-post Evaluation, die die Daten summativ am Ende des Kurses erhebt und bewertet. 6.1 Sammeln und Auswerten von Daten 255 6.1.1.1.3 Wo ist die Evaluation angesiedelt? Die Frage, wo die Evaluation angesiedelt ist, richtet sich danach, ob sie von internen oder externen EvaluatorInnen durchgeführt wird. Stockmann (vgl. 2010: 80) expliziert, dass man eine Evaluation dann als intern bezeichnet, wenn sie von der gleichen Organisation durchgeführt wird, die auch das Programm selbst durchführt. Sind diese internen EvaluatorInnen zudem noch Mitarbeiter‐ Innen jener Abteilung, die mit der operativen Durchführung des Programms betraut sind, spricht man von einer Selbstevaluation (vgl. ibid.). Sämtliche Eva‐ luationen, die im Rahmen von Lehrveranstaltungen durchgeführt werden, sind i. d. R. interner Natur und können auch als Selbstevaluation bezeichnet werden, wenngleich dieser Terminus in vorliegendem Ansatz primär dafür gebraucht wird, um das eigene Handeln der Lehrenden und Studierenden zu evaluieren. Die AktantInnen evaluieren ihr Lehren bzw. Lernen. Als extern wird eine Eva‐ luation dann bezeichnet, wenn sie von Personen durchgeführt wird, die nicht der Durchführungsorganisation angehören (vgl. ibid.). Dieser Aspekt wird in der KDE besonders durch die Selektive Evaluation abgedeckt. Die drei Hauptelemente der KDE , Vorevaluation, Begleitende Evaluation und Endevaluation sind ausschließlich interner Natur. Hierbei handelt es sich um Evaluationen, die in den unterschiedlichsten Ausführungen - Befragung der Studierenden, Selbstevaluation durch Lehrende und / oder Studierende, Feed‐ back von Seiten der Studierenden an die Lehrperson etc. - von den AktantInnen des Kurses durchgeführt werden. Die Selektive Evaluation kann - z. B. in Form einer Peer-Evaluation - auch durch externe KollegInnen durchgeführt werden. 6.1.1.1.4 Wozu soll evaluiert werden? Die Frage nach dem wozu orientiert sich im Wesentlichen an den Zielen und Aufgaben bzw. am Zweck der Evaluation. Lehrveranstaltungen werden, abge‐ sehen von Gründen der Rechtfertigung nach außen, politischen und monetären Gründen (siehe Kapitel 2) etc. primär evaluiert, weil man dadurch zwei Dinge intendiert: Zum einen, festzustellen, ob die Studierenden mit einem bestimmten Kurs bzw. der Qualität der Lehre in diesem Kurs zufrieden sind / waren, also dem Ziel der Qualitätssicherung, und zweitens sollten die Evaluationen Punkte auf‐ zeigen, die verbesserungswürdig sind, ob man die Qualität der Lehre durch die aus den Evaluationen gewonnen Erkenntnissen optimieren kann, also zum Zweck der Qualitätsoptimierung. In der Evaluationsforschung spricht man bei ersterem von der Zustandsanalyse, und wenn es um Verbesserungen geht, zum einen von Veränderungen und zum anderen von Wirkungsanalysen der Verän‐ derungen. 6 KDE im Fremdsprachenunterricht 256 Wenn man den Fremdsprachenkurs als Programm betrachtet, versteht man unter der Evaluation, mit Hilfe welcher dieses Programm evaluiert wird, eine Programmevaluation. Dieser Evaluationstyp hat vier primäre Funktionen, wie Stockmann (vgl. 2010: 73) expliziert: • Gewinnung von Erkenntnissen, • Ausübung von Kontrolle, • Auslösung von Entwicklungs- und Lernprozessen, • Legitimation der durchgeführten Maßnahmen, Projekte oder Programme. Erstens ermöglichen Evaluationen die Gewinnung von Erkenntnissen. Diese Erkenntnisse werden benötigt, um in weiterer Folge z. B. Entscheidungen auf rationaler Grundlage zu treffen. Im Kontext der KDE würde dies z. B. Fragen hinsichtlich der Organisation bzw. des Aufbaus eines Kurses beantworten. Diese Informationen könnten der Lehrperson auch Auskunft darüber geben, welche Lernziele, Wünsche, Bedürfnisse etc. die LernerInnen haben und wie er / sie diese z. B. im Laufe des Kurses umsetzen kann bzw. umgesetzt hat. Von Seite der Institutsleitung könnten dadurch Fragen nach der Qualifizierung der einzelnen Lehrenden beantwortet, bzw. auf Defizite bei z. B. den Rahmenbedingungen (zu kleiner Raum, schlechte Akustik, Lernplattform etc.) hingewiesen werden. Zweitens dienen Evaluationen auch der Kontrolle, welche erneut auf unter‐ schiedlichsten Ebenen stattfindet. So hat die Lehrperson am Ende des Kurses die Möglichkeit zu eruieren, ob die zu Beginn gesteckten Ziele erreicht wurden, in welchem Ausmaß und wo Probleme zu verzeichnen sind bzw. wie die Studier‐ enden einzelne Methoden, Unterlagen, Präsentationstechniken etc. bewerten. Der Institutsleitung gibt dieser Aspekt (z. B. der Kontrolle) Aufschluss darüber, ob gewisse Probleme (z. B. schlechter Medieneinsatz, unstrukturiertes Vor‐ gehen, suboptimale Vermittlung der Inhalte etc.) bei bestimmten Lehrenden immer wieder auftreten, oder ob diese (z. B. in Verbindung mit Fortbildungen) reduziert werden konnten. Aus Sicht der LernerInnen wäre diese Kontrollfunk‐ tion auch nutzbar, indem sie beispielsweise die zu Beginn des Kurses festge‐ legten Ziele und Erwartungen mit den aktuell erreichten vergleichen. Drittens dienen Evaluationen der Entwicklung. Dies ist ein besonders we‐ sentlicher Aspekt im Zusammenhang mit Lehrveranstaltungen, denn sie liefern Befunde, die für die Entwicklung der Lehre herangezogen werden können. Eva‐ luationen ermöglichen nicht nur einen Dialog zwischen den einzelnen am Un‐ terrichtsgeschehen Beteiligten, sondern initiieren Lernprozesse, die für die Wei‐ terentwicklung der Lehre genutzt werden sollen. Diese Lernprozesse können dabei auf sämtlichen Ebenen stattfinden, bei LernerInnen, Lehrenden und der Institutsleitung. Mit Evaluation ist daher nicht nur Entwicklung in Hinblick auf 6.1 Sammeln und Auswerten von Daten 257 neue Studienprogramme möglich, sondern auch eine persönliche Orientierung bei den am Unterrichtsgeschehen Beteiligten. Viertens ermöglichen Evaluationen bestimmte Maßnahmen zu legitimieren, weil die gewonnenen Daten jederzeit nachprüfbar sind und man damit belegen kann, welche der Maßnahmen welche Resultate erzielten. So können Lehrende die aus den Evaluationen gewonnenen Informationen nutzen, um für zukünftige Lehreinheiten oder Lehrveranstaltungen etwaige Änderungen an Unterlagen, Methoden, dem Medieneinsatz etc. vorzunehmen. Ähnlich kann die Instituts‐ leitung z. B. Lehrende unterstützen, die in bestimmten Bereichen Hilfe in Form von Coachings oder Fortbildungen benötigen. Eine fünfte, von Stockmann (vgl. 2010: 75) angeführte, taktische Funktion von Evaluationen kann im Zusammenhang mit universitären Sprachkursen zwar nicht negiert werden, wird jedoch in dieser Arbeit nicht weiter untersucht, da sie nicht der Qualitätsoptimierung dient. Die KDE widmet sich sämtlichen hier genannten Bereichen und führt - im Gegensatz zu üblichen Lehrveranstaltungsevaluationen - sowohl regelmäßige Zustandsanalysen als auch Wirkungsanalysen durch. Die erste Zustandsanalyse erfolgt bereits zu / vor Kursbeginn durch die Vorevaluation. Daran anschließend ist jede Zwischenevaluation (als Bestandteil der Begleitenden Evaluation) eine Zustandsanalyse der jeweiligen Lehrveranstaltungseinheit. Dies wird durch die Endevaluation am Ende des Kurses für das gesamte Kursgeschehen erhoben. Ebenso werden durch die einzelnen Zwischenevaluationen die, von der Lehr‐ person gesetzten Optimierungsmaßnahmen auf ihre Wirkung hin überprüft, die gesetzten Maßnahmen legitimiert, weil sie aus den jeweiligen Feedbacks der LernerInnen hervorgingen und auf Basis der Reflexion durch die Lehrenden initiiert wurden. Am Ende des Kurses wird dann die Gesamtwirkung durch die Endevaluation festgestellt. Somit handelt es sich bei der KDE um einen ganz‐ heitlichen Ansatz, wobei jeder der einzelnen Teile der Gewinnung von Erkennt‐ nissen, der Kontrolle, Entwicklung und auch der Legitimierung dient. Selbst eine taktische Funktion kann nicht ganz ausgeschlossen werden, denn durch den Einsatz der KDE werden die Studierenden auch dazu ermutigt, sich aktiv an der Unterrichtsverbesserung zu beteiligen. 6.1.1.1.5 Für wen soll evaluiert werden? Die RezipientInnen der Ergebnisse können im gegebenen Fall die Lehrenden, die Studierenden und die Institutsleitung bzw. auch externe EmpfängerInnen sein, je nachdem, welche Evaluation durchgeführt wurde. Die durch den hier vorgestellten Ansatz gewonnenen Ergebnisse und daraus gezogenen Erkennt‐ nisse dienen primär der Orientierung, der Entscheidungshilfe und der Auslö‐ 6 KDE im Fremdsprachenunterricht 258 sung von qualitätsoptimierenden Prozessen und dadurch in erster Linie Lehr‐ enden und Studierenden, da sie die Hauptverantwortlichen für das Gelingen des Lehrbzw. Lernvorgangs sind. So kann, wie bereits erwähnt, die Vorevaluation den Lehrenden bei der Pla‐ nung des Kurses von Nutzen sein, als Entscheidungshilfe beim Festlegen von Unterrichtsmethoden, dem Lehrmaterial oder gegebenenfalls geeignetem Zu‐ satzmaterial etc. dienen. Die Vorevaluation Studierende zählt dabei nicht nur als Informationsquelle für Lehrende, sondern unterstützt durch die selbstreflexiven Prozesse, die sie auslöst, auch die LernerInnen in vielfacher Weise. Zum einen sind sie gefordert, über sich als LernerInnen nachzudenken, ihre Ziele klar zu definieren und auch darüber zu reflektieren, welche Probleme sie u. U. in der Fremdsprache haben etc. Die einzelnen Zwischenevaluationen der Begleitenden Evaluation sollen den AktantInnen immer wieder den aktuellen Ist-Zustand vor Augen führen. Auf Basis dieser Informationen können die Lehrenden weitere Schritte und Verbesserungsmaßnahmen setzen und die LernerInnen können sich gezielt über den eigenen Lernerfolg Gedanken machen. Dieser Reflexions‐ prozess findet dann in der Endevaluation einen weiteren Höhepunkt, wenn es darum geht, den Kurs Revue passieren zu lassen und die ursprüngliche Ziel‐ vorgabe und die gesetzten Erwartungen mit dem tatsächlichen Ergebnis zu ver‐ gleichen. In ähnlicher Weise dienen diese Informationen den Lehrenden als weitere Orientierung und Entscheidungshilfe bei zukünftigen Kursen. Daraus resultiert: Die KDE dient Lehrenden und Studierenden gleichsam und auf meh‐ reren Ebenen. 6.1.1.1.6 Anhand welcher Kriterien soll evaluiert werden? Die Frage, nach welchen Kriterien evaluiert wird, orientiert sich, wie Kromrey (vgl. 2001: 25) anführt, oftmals an dem zu evaluierenden Programm selbst. In diesem Ansatz wird die Qualitätsoptimierung des universitären Fremdspra‐ chenunterrichts intendiert, die unterschiedliche Dimensionen hat (siehe Kapitel 4). Als Orientierung dienen dabei zum einen die Evaluationsstandards (siehe Kapitel 1) und zum anderen die theoretischen Überlegungen zu Qualität (siehe Kapitel 4) und zum Lehren und Lernen (siehe Kapitel 5), sowie die in Ka‐ pitel 2 angeführten ESG . Weitere Kriterien, die von Rindermann (vgl. 2009) als die zentralen Bedingungsfaktoren für Lehrerfolg determiniert wurden, werden in Abschnitt 6.3 noch expliziert, da sie als zusätzliche Orientierung bei der Kon‐ struktion der einzelnen Fragebögen der KDE herangezogen werden. Durch diesen multidimensionalen Ansatz sind die jeweiligen Fragen in den KDE -Fra‐ gebögen mehrfach abgesichert. 6.1 Sammeln und Auswerten von Daten 259 6.1.1.1.7 Von wem soll evaluiert werden? Die Beteiligten und Betroffenen (stakeholder) der Evaluation sind wie gesagt die Lehrenden und Studierenden. Dabei ist sowohl die Evaluation der eigenen Leis‐ tung wie auch das Evaluieren anderer möglich. Die in der KDE eingesetzte Selbstevaluation beispielsweise dient den LernerInnen als Hilfestellung beim Beobachten des eigenen Lernprozesses, aber in weiterer Folge auch den Lehr‐ enden, denn auf diesen Erkenntnissen aufbauend wird auch das Unterrichtsge‐ schehen analysiert. Diese Daten können die Lehrenden nutzen, um Optimie‐ rungsprozesse einzuleiten, aber auch als Ausgangspunkt für eine Selbstevaluation ihrer Lehrkompetenzen. Da auch die Lehrenden durch die KDE zum ständigen Reflektieren und in Folge Evaluieren angehalten werden, sind beide AktantInnen sowohl Beteiligte als auch Betroffene. 6.1.1.1.8 Wie soll evaluiert werden? Die Frage nach dem Wie richtet sich in erster Linie an die Methoden der Eva‐ luation. Hinsichtlich dieser sind zwei Hauptkategorien zu unterscheiden: (1) quantitative Methoden und (2) qualitative Methoden. Erstere werden, wie Gollwitzer / Jäger (vgl. 2009: 136) ausführen, für das Feststellen der Wirksamkeit bzw. Effizienz einer Maßnahme verwendet, während letztere zum Ermitteln des Bedarfs, der Konzeptionsqualität und der Ausführungsintegrität herangezogen werden. Auf den universitären Fremdsprachenunterricht angewandt, würde man demnach quantitative Methoden einsetzen, um beispielsweise zu erfragen, ob die Studierenden mit dem Kurs zufrieden sind / waren, und qualitative Me‐ thoden, um von ihnen Optimierungsvorschläge zu erhalten, wie der Kurs bzw. Aspekte davon zu verbessern wären. Bei quantitativen Methoden würde man die Antwort aus geschlossenen Fragen (Ich war mit dem Kurs: □ Sehr zufrieden … □ Nicht zufrieden) erhalten, bei welchen LernerInnen einen bestimmten Wert auf der Likert-Skala ankreuzen, der auch Auskunft über den Grad an (Un-)Zu‐ friedenheit gibt, und letztere werden mit offenen Fragen ermittelt (Wie könnte das Unterrichtsklima Ihrer Ansicht nach im Kurs verbessert werden? ). Um Auskunft über einen bestimmten Sachverhalt (z. B. Hat der / die Lehrende bestimmte Inhalte gut erklärt? ) zu bekommen, können zwei unterschiedliche Datenquellen genutzt werden (vgl. Gollwitzer / Jäger 2009: 141): Erstens die Selbsteinschätzung, bei welcher die betreffende Person den Sachverhalt selbst analysiert (Selbstevaluation), oder zweitens die Fremdeinschätzung, indem man bei oben genanntem Beispiel die Studierenden oder KollegInnen (Peer-Evalua‐ tion) befragt. Gollwitzer / Jäger (vgl. 2009: 141) weisen in diesem Zusammenhang darauf hin, dass sich Fremd- und Selbsteinschätzung bis zu einem gewissen Grad entsprechen, dass jedoch nicht mit einem vollständig gleichen Ergebnis zu 6 KDE im Fremdsprachenunterricht 260 rechnen ist. Gerade dann, wenn Differenzen zu verzeichnen sind, können meiner Erfahrung nach viele Optimierungen erfolgen, sofern die Betreffenden offen dafür und bereit dazu sind. Die KDE setzt sich aus mehreren Teilen zusammen, die sich jeweils unter‐ schiedlicher und gemischter Methoden der Informationsgewinnung bedienen. So bestehen die einzelnen Fragebögen immer aus einer Mischung quantitativer und qualitativer, offener und geschlossener Fragen. Was die Fragebögen der KDE von den untersuchten Modellen unterscheidet, ist die Tatsache, dass an die meisten geschlossenen Fragen - z. B. Waren Sie mit der Lehrveranstaltung zu‐ frieden? - weitere (offene) Fragen anschließen, wenn zuvor eine bestimmte Be‐ dingung aktiviert wurde. Im konkreten Fall bedeutet dies, wenn LernerInnen bei der Frage nach der Zufriedenheit beispielsweise den Wert nicht zufrieden angeben (Bedingung), eine weitere Frage gestellt wird, wie etwa: Was waren die Gründe für Ihre Unzufriedenheit? bzw. Welche Aspekte wären zu verändern, damit Sie mit der Lehrveranstaltung zufriedener wären? Durch diese bedingungsab‐ hängige Fragestellung können mit der Evaluation konkrete Daten zur Optimie‐ rung gesammelt werden, über die Lehrende sonst nur spekulieren. Es wird den LernerInnen zudem Gelegenheit gegeben, sich aktiv am Verbesserungsprozess zu beteiligen und reduziert bei den Lehrenden die Zeit, die sie dafür aufwenden, über (eventuelle) Veränderungsmöglichkeiten nachzudenken, vergrößert also ihre Zeitressource, die sie nutzen können, um konkrete Vorschläge zu evaluieren bzw. umzusetzen. 6.1.1.1.9 Womit soll evaluiert werden? Die Frage, womit evaluiert werden soll, geht den unterschiedlichen Instru‐ menten der Evaluation nach. In den Lehrveranstaltungsevaluationen der ana‐ lysierten Sprachenzentren setzte man zum Untersuchungszeitpunkt ausschließ‐ lich Fragebögen ein, die gegen Ende des Semesters verteilt und von den Studierenden ausgefüllt wurden. Fragebögen können im Allgemeinen z. B. als Online-Befragung oder in Papierform distribuiert werden. Während bei ersteren die Auswertung üblicherweise automatisch erfolgt, werden letztere in den Lehr‐ veranstaltungen ausgegeben und nach dem Ausfüllen durch die Teilnehmer‐ Innen von den Lehrenden oder Externen eingesammelt und in Folge manuell bzw. teilmaschinell ausgewertet. Fragebögen haben viele Vorteile, z. B. sind sie relativ leicht zu konstruieren, in standardisierter Form zu vergeben, ökonomisch anzuwenden und leicht aus‐ zuwerten (vgl. Gollwitzer / Jäger 2009: 142). Es gibt aber auch einige Nachteile und Schwächen, wie etwa, dass sie leicht willentlich verfälschbar sind (weil eine befragte Person im Regelfall ahnen kann, was eine erwünschte und uner‐ 6.1 Sammeln und Auswerten von Daten 261 1 LimeSurvey ist eine Software zur Entwicklung, Distribution und Veröffentlichung von Online-Umfragen. 2 Programm, das in ein anderes Programm eingebunden werden kann, um dessen Funk‐ tionalität zu erweitern. wünschte Antwort auf eine Frage ist), und des Weiteren, dass sie das Verständnis der Befragten in Bezug auf die Fragen und das Antwortformat voraussetzen etc. (vgl. Gollwitzer / Jäger, 2009: 142f). Diese Nachteile sind im Kontext der Lehr‐ veranstaltungsevaluation weniger zu beobachten als vielleicht bei Konsument‐ Innenbefragungen, da die LernerInnen grundsätzlich an der Optimierung der Lehre interessiert sind und daher davon ausgegangen werden kann, dass, wenn sie an der Evaluation teilnehmen, ihre Angaben weitgehend mit ihrem Emp‐ finden bezüglich des jeweiligen Sachverhaltes konform gehen. Zudem sind die Fragen in der Regel verhältnismäßig einfach zu verstehen, was Fehleinschät‐ zungen weitgehend ausschließt. Das für die KDE gewählte Instrument der Erhebung ist ein Online-Frage‐ bogen, der mit LimeSurvey 1 erstellt wurde und sowohl aus offenen als auch aus geschlossenen Fragen besteht. Die Antworten werden auf einem Server in einer Datenbank gespeichert und von dort aus automatisch ausgewertet. In Lime‐ Survey kann man selbst die Ausgabe bestimmen: z. B. HTML , für Excel, PDF oder Tortengrafiken, dabei hat man aber kaum Einfluss auf die Darstellung. Sonderwünsche beim Export müssen entweder eigens programmiert werden oder erfolgen mit Hilfe eines Plugins 2 , welches jedoch in der ursprünglichen Version von LimeSurvey nicht vorhanden war. Diese Methode gewährleistet, dass die Befragung nicht nur sehr schnell und einfach durchzuführen ist, son‐ dern auch, dass die Daten vollautomatisch generiert werden und in unter‐ schiedlichen Formaten zur Verfügung stehen, was deren weitere Bearbeitung ermöglicht. Durch diese automatische Handhabung entsteht kaum Mehraufwand für Lehrende oder Studierende in Hinblick auf den Auswertungsprozess. Da die Exportfunktionen von LimeSurvey zum Zeitpunkt, zu welchem dieses Buch ent‐ stand, viele Aspekte nicht in der gewünschten Form darstellte, wurde ein Plugin programmiert, welches es ermöglicht, den Lehrenden die Ergebnisse per Knopf‐ druck in einer bereits ausgewerteten und übersichtlichen Form zukommen zu lassen. Dadurch kann der Mehraufwand an zeitlichen Ressourcen von Lehren‐ denseite enorm reduziert werden, was sich vor allem bei qualitativen Fragen als extrem hilfreich erweist und den Forderungen nach Effektivität und Effizienz gerecht wird. Zudem konnten dabei die jeweiligen Bedürfnisse der Lehrenden berücksichtigt werden, in welcher Form für sie die Ergebnisse am besten ver‐ 6 KDE im Fremdsprachenunterricht 262 wertbar sind. Sollte die Exportfunktion von LimeSurvey in Zukunft noch be‐ nutzerInnenfreundlicher werden, könnte man auf das Plugin auch verzichten. 6.1.1.2 Grundfragen nach der Evaluation Nach Durchführung der Evaluation ergeben sich die Fragen, wie z. B. Welche Informationen brachte die Evaluation zu Tage? Wie sind die Ergebnisse der Evalua‐ tion zu interpretieren? Welche Schlüsse lassen sich daraus ziehen? In welcher Form können die Informationen genutzt und die Ergebnisse umgesetzt werden? Welche Konsequenzen ergeben sich daraus? etc. Diese Fragen sind aber bereits Teil des Qualitätsmanagements und werden im Zuge dieses Buches nur gestreift. Für die praktische Umsetzung bzw. den Einsatz der KDE zeigte sich jedoch bereits bei der Vorevaluation, dass es für die Lehrenden in der Anfangsphase hilfreich wäre, wenn sie im Rahmen von Einschulungen und Workshops beim Auswertungs‐ prozess Unterstützung bekämen. 6.1.1.3 Grundintention der KDE Die Grundintention, die mit der KDE verfolgt wird, ist, dass die richtigen Infor‐ mationen zum richtigen Zeitpunkt auf eine Weise gesammelt, analysiert und be‐ wertet werden, sodass diese dazu beitragen, zentrale Aspekte des universitären Fremdsprachenunterrichts mit dem Ziel zu optimieren, dass sich dadurch der Lehr- und Lernerfolg vergrößert. Sie ist somit primär ihrer Funktion nach ein Evaluationsinstrument, welches jedoch sekundär auch - durch die Daten, die es generiert und den umfangreichen Ansatz, den es dabei verfolgt - als didak‐ tisch-methodisches Hilfsmittel für Lehrende aufgefasst werden kann. In Kapitel 4 wurden unterschiedliche Dimensionen der Qualität aufgezeigt, die bei der Unterrichtsoptimierung berücksichtigt werden können bzw. sollten. Diese sind zum einen Qualität ersten Grades und Qualität zweiten Grades und zum anderen Planungs-, Prozess-, Produktqualität bzw. Struktur-, Prozess-, Orientierungs-, und Ergebnisqualität. Der Versuch, alle Dimensionen gleicher‐ maßen und gleichzeitig optimieren zu wollen, kann in keinem Projekt realisiert werden. Der Königsweg liegt daher darin, Schwerpunkte zu setzen, die jene Bereiche verändern, die von den Lehrenden und Studierenden realistischerweise verbessert werden können, denn weder die einen noch die anderen haben die Möglichkeit, auf alle wichtigen Aspekte mit dem nötigen Umfang einzuwirken. So zeigt sich beispielsweise, dass budgetäre Forderungen, wie sie von den Stu‐ dierenden, Lehrenden und der Universitätsleitung gleichsam immer wieder ge‐ stellt werden, von der Politik weitgehend unberücksichtigt bleiben, wenngleich ein Mehr an Budget auch viele zentrale Aspekte des Unterrichts erheblich (mit)verbessern würde, vor allem im Bereich der Strukturqualität. 6.1 Sammeln und Auswerten von Daten 263 Die Frage, wo nun diese Schwerpunkte genau zu setzen sind, beantwortet im Wesentlichen Abschnitt 5.1, in welchem ausgeführt wurde, dass jeglicher Un‐ terricht an Hochschulen, wie Wildt (vgl. 2006: 5) festhält, von den acht didakti‐ schen Variablen determiniert wird, die erfolgreiches Lehren und Lernen ermög‐ lichen. Diese können auch mit den einzelnen Qualitätsdimensionen aus Abschnitt 4.1.2 in Verbindung gebracht werden. Zudem wurde mehrfach fest‐ gestellt, dass verbesserte Selbstreflexion metakognitive Kompetenzen fördert, die in Folge auch positiv auf unterschiedlichste Qualitätsdimensionen einwirken und so auch dazu beitragen, den universitären Fremdsprachenunterricht zu verbessern. Die Frage nach dem wie beantworten die in Abschnitt 3.3.2 vorge‐ stellten Evaluationsmodelle und die Erläuterungen im Rahmen der Complex Dynamic System Theory (siehe vor allem Abschnitte 5.2.3-5.2.6), und die Frage nach dem wann erläutern die Zugänge aus dem Qualitätsmanagement aus Kapitel 4 sowie die CDST . Die Schlussfolgerungen aus diesen Kapiteln bilden die Basis für den Aufbau und die Funktionsweise der KDE (siehe Abschnitte 6.2 und 6.3). Nach aktuellen didaktisch-methodischen Ansätzen (siehe Abschnitt 5.1.1) stehen die Studierenden im Zentrum des Unterrichtsgeschehens und die Lehr‐ enden unterstützen sie, indem sie gewissermaßen die Makrostruktur des Un‐ terrichts festlegen. Das heißt, dass sie z. B. den Lehrplan erstellen und die Lerner‐ Innen mit unterschiedlichen Methoden und Übungen an das Lernen lernen heranführen bzw. sie dabei anleiten, dies zu verbessern, mit ihnen gemeinsam an den jeweiligen Kompetenzen feilen, eine Vielzahl der im Unterricht ablauf‐ enden Lehr- und Lernprozesse managen und geeignete Lernsituationen schaffen etc. Wichtig für die Unterrichtsoptimierung sind didaktisch-methodische Grundfragen, die auch bei der Konzeption der Fragen der einzelnen Evaluati‐ onsfragebögen der KDE eine zentrale Rolle einnehmen und im Wesentlichen von den didaktischen Variablen inspiriert werden. 6.1.2 Didaktisch-methodische Grundfragen Die in Abschnitt 5.1. angeführten didaktischen Variablen (vgl. Wildt 2006: 5) formen den sogenannten didaktischen Zirkel (vgl. ibid.), der, wie Wildt ausführt, von Lehrenden alleine oder in Zusammenarbeit mit den Studierenden konstru‐ iert wird. Der vorliegende Ansatz der Qualitätsoptimierung zielt darauf ab, Leh‐ rende und Studierende bei der Unterrichtskonzeption bzw. -optimierung kolla‐ borieren zu lassen, wie dies das TQM und KAIZEN , die beiden hier eingesetzten Qualitätsmanagementsysteme, vorsehen. Als Parameter für Qualitätsverbesse‐ rung können besagte Variablen dienen, an welchen sich die LernerInnen und 6 KDE im Fremdsprachenunterricht 264 Lehrpersonen orientieren können, denn diese beantworten im Wesentlichen die Grundfragen guten Unterrichts und ermöglichen bzw. begünstigen erfolgrei‐ ches Lernen und Lehren. Aus diesen Variablen kann man Fragen ableiten, die der Orientierung dienen, damit die angestrebten Unterrichtsziele erreicht werden. Diese Fragen stellen sich viele reflektierte Lehrende und LernerInnen aller Voraussicht nach in der einen oder anderen Form, oft mehrmals pro Kurs / Semester selbst. Bei Personen, die sich diesbezüglich vielleicht weniger Gedanken machen, kann diese Selbst‐ reflexion gezielt durch Fragen im Rahmen einer Evaluation initiiert werden, was zu einem großen Teil durch die Fragen der KDE geschieht. Einige dieser Grundfragen werden in Hinblick auf die Konstruktion der Fra‐ gebögen der KDE in Folge von mir aus den didaktischen Variablen abgeleitet, um das Gesagte zu verdeutlichen. Detaillierter wird mit ihnen jedoch erst in den Folgebänden gearbeitet, wo die jeweiligen Teil-Evaluationen konzipiert werden. 6.1.2.1 Grundfragen aus Studierendensicht Potentielle Fragen, die sich Studierende in Hinblick auf Unterrichtsoptimierung in Anlehnung an die didaktischen Variablen u. a. stellen könnten, wären folgende: 1. Welche Ziele verfolge ich mit dem Besuch dieses Kurses? Habe ich die Ziele erreicht? Warum habe ich sie nicht erreicht? Was kann ich in Zu‐ kunft tun / ändern, um sie zu erreichen? 2. Welche Inhalte interessieren mich besonders? Was möchte ich lernen? Habe ich das gelernt, was ich lernen wollte? 3. Welche Medien würden mir den Lernprozess erleichtern? Waren die ein‐ gesetzten Medien für meinen Lernprozess förderlich? Wie könnten die Medien für mich besser eingesetzt werden? 4. Welche Lehr-/ Lernmethoden sind für mich besonders angenehm? Bei welchen Methoden fühle ich mich eher unwohl? Wie kann ich meine Lernmethoden optimieren? 5. Arbeite ich lieber in Kleingruppen, mit einem Partner / einer Partnerin oder alleine? Welche Übungen mache ich am liebsten in welcher Sozial‐ form? 6. Wie lange kann ich mich effektiv konzentrieren? Wie sollte die Pausen‐ gestaltung im Unterricht sein? Wie muss der Raum beschaffen sein, damit ich mich besonders gut konzentrieren kann? In welcher Sitzordnung fühle ich mich besonders wohl? 7. Welche Lernsituationen sind für mich besonders interessant und zugleich effektiv? 6.1 Sammeln und Auswerten von Daten 265 8. Was habe ich heute / in diesem Kurs gelernt? Was hätte ich besser machen können? Wie hätte mich die Lehrperson besser unterstützen können? 6.1.2.2 Grundfragen aus Lehrendensicht Lehrende könnten sich in ähnlicher Weise überlegen: 1. Welche Ziele verfolge ich aufgrund meines Lehrauftrags mit diesem Kurs? Welche Ziele verfolgen die LernerInnen? Wie kann ich ihnen helfen, diese Ziele zu erreichen? Haben sie ihre Ziele erreicht? Warum haben sie diese u. U. nicht erreicht? 2. Welche Inhalte und Themen interessieren die LernerInnen besonders? Was möchten sie lernen? Haben sie gelernt, was sie lernen wollten? Welche Themen sollten die LernerInnen am Ende des Kurses für diese Niveaustufe beherrschen? 3. Welche Medien stehen mir zur Verfügung? Welche Medien würden den Lernprozess der LernerInnen erleichtern? Wie kann ich die vorhan‐ denen / einzelnen Medien optimal im Unterricht einsetzen? Waren die eingesetzten Medien für den Lernprozess förderlich? Was kann ich ver‐ bessern? 4. Welche Lehr-/ Lernmethoden sind für die LernerInnen besonders ange‐ nehm? Bei welchen Methoden fühlen sie sich unwohl? Wie kann ich meine Lehrmethoden optimieren? Wie können die LernerInnen ihre Lernmethoden verbessern? Wie kann ich ihnen dabei helfen? 5. Arbeiten die LernerInnen lieber in kleinen Gruppen, mit einem Partner / einer Partnerin oder alleine? Welche Übungen machen sie am liebsten in welcher Sozialform? Welche Lernsettings scheinen die pro‐ duktivsten in der Gruppe zu sein? 6. Wie lange können sich die Studierenden effektiv konzentrieren? Wie sollte die Pausengestaltung im Unterricht sein? Wie muss der Raum be‐ schaffen sein, damit sich die LernerInnen gut konzentrieren können? In welcher Sitzordnung fühlen sie sich besonders wohl? 7. Welche Lernsituationen sind für sie interessant und zugleich effektiv? 8. Was haben die LernerInnen heute gelernt? Was hätte ich als LehrendeR besser machen können? Wobei und wie hätte ich die LernerInnen besser unterstützen können? 6.1.2.3 Beantwortung der Grundfragen Diese Fragen stellen nur einen kleinen Ausschnitt aus dem potentiellen didak‐ tisch-methodischen Fragenkanon dar und die Liste diesbezüglich ließe sich auf Lehrenden- und Studierendenseite noch lange fortführen, was jedoch nicht die 6 KDE im Fremdsprachenunterricht 266 Intention hier ist. Vielmehr geht es an dieser Stelle darum, zu erörtern, wie man diese und andere zentrale Fragen der Fremdsprachendidaktik möglichst er‐ giebig, aber zugleich ressourcenschonend beantworten kann. Eine mögliche und in dieser Arbeit vorgeschlagene Antwort hierfür ist die Komplexe Dynamische Evaluation. Die Beantwortung jeder dieser Fragen verbessert, wie aus KAIZEN bekannt, den Unterricht in kleinen Schritten, und je mehr Fragen bereits zu Beginn des Kurses gut beantwortet werden, desto größer ist das Potential, den Unterricht von Beginn an optimal auf die betreffende LernerInnengruppe abzustimmen, was seit der lernerInnenzentrierten Didaktik ein Hauptmerkmal guten Unter‐ richts darstellt. Was gut in diesem Fall bedeutet, ist einfach, wenngleich auch nur im jeweiligen Kontext zu beantworten. Gut bedeutet: auf eine Weise, die effektive Optimierungsschritte ermöglicht. Wie dies im Detail aussieht, ist von Situation zu Situation, von Lehrperson zu Lehrperson und von Gruppe zu Gruppe unterschiedlich, also auch komplex und dynamisch, und ist in vielen Fällen nur individuell zu entscheiden, wenngleich viele Antworten aus der Didaktik und Methodik hilfreich sind bzw. sein können. Wenn es daher gelingt, Evaluation so in den Unterricht zu integrieren, dass sie sich diesen komplexen Dynamiken des Lehrens und Lernen anpasst und gleichzeitig jene Informationen zum richtigen Zeitpunkt generieren kann, die zur Beantwortung der oben gestellten Fragen führt, kann dadurch der Fremd‐ sprachenunterricht nicht nur kontinuierlich auf eine sehr vielschichtige Weise optimiert, sondern bereits von Beginn an optimal auf eine bestimmte LernerIn‐ nengruppe abgestimmt werden. Dadurch geht es nicht mehr nur darum, rück‐ wirkend einen suboptimalen Unterricht verbessern zu wollen, sondern ein po‐ tentielles Optimum von Anfang an zu schaffen, und die sich verändernden komplexen Dynamiken des Unterrichts kontinuierlich zu berücksichtigen. Evaluation unter diesen Gesichtspunkten muss, wie im TQM und KAIZEN gefordert, prozessbegleitend sein und Lehrende und LernerInnen in ihrer Ge‐ samtheit erfassen und kann dadurch das Unterrichtsgeschehen ganzheitlich und auf sämtlichen Ebenen und Qualitätsdimensionen optimieren, auf welche die am Unterrichtsgeschehen primär Beteiligten Einfluss nehmen können. Je nach Unterrichtssituation wird folglich mal mehr dieser, mal mehr jener Aspekt bei der Optimierung verstärkt berücksichtigt werden. Evaluation ist in dieser Hin‐ sicht flexibel und fungiert dort, wo Bedarf ist, oder um es im Sinne von KAIZEN auszudrücken: Evaluation setzt dort an, wo es Probleme gibt. Das bisher Erörterte berücksichtigend, zielt die KDE darauf ab, den Lerner‐ Innen u. a. Folgendes zu ermöglichen: 6.1 Sammeln und Auswerten von Daten 267 • gezielt über sich selbst, den Unterricht und ihren Sprachlernprozess zu reflektieren, • sich aktiver als in bisher eingesetzten Evaluationsmodellen am Unter‐ richt, bei dessen Konzeption und Prozessen, zu beteiligen, • mit den Lehrenden in eine verbesserte Dialogform zu treten und auf Pro‐ bleme, Wünsche, Vorschläge etc. aufmerksam zu machen, • die Lehrendenperspektive besser kennen zu lernen und den Lehrenden durch gezieltes Feedback bei der Verbesserung ihrer persönlichen sowie professionellen Kompetenzen behilflich zu sein, • ihren Lernerfolg zu vergrößern. Für die Lehrenden ermöglicht die KDE u. a. • gezielt über sich selbst, den Unterricht und ihren Sprachlehrprozess bzw. den Sprachlernprozess der LernerInnen zu reflektieren, • nützliche Informationen zur Unterrichtsoptimierung rechtzeitig und in brauchbarer Form zu erhalten, • mit den LernerInnen in eine verbesserte Dialogform zu treten und auf Probleme, Wünsche, Vorschläge etc. verstärkt eingehen zu können, • die LernerInnenperspektive besser kennen zu lernen und das Feedback der Studierenden auch für die Optimierung ihrer eigenen professionellen Kompetenzen zu nützen, • den LernerInnen gezielt dabei helfen zu können, ihren Lernerfolg zu ver‐ größern. Allgemein trägt die KDE demnach dazu bei, u. a. folgendes im Unterrichtsge‐ schehen zu verbessern: • Planungsqualität, • Kommunikationsqualität und -kompetenz, • Diskurs über Lehren und Lernen, • (Selbst-)Reflexionskompetenz, • Lehrkompetenz, Lernkompetenz (Lehrqualität), • unterschiedliche Dimensionen der Unterrichtsqualität, • Lehrerfolg, Lernerfolg, • Zusammenarbeit zwischen Lehrenden und Studierenden, • Verantwortungsbewusstsein für die eigenen Aufgaben im Unterricht, • Verständnis für die jeweils andere Seite (Perspektivenwechsel). 6 KDE im Fremdsprachenunterricht 268 6.2 KDE im Detail Die oben aufgeworfenen didaktisch-methodischen Grundfragen werden aller Vo‐ raussicht nach in der einen oder anderen Form von LernerInnen und Lehrenden zu mehreren Zeitpunkten des Lehrbzw. Lernprozesses gestellt werden: (1) zu Beginn des Kurses (2) in bzw. nach den jeweiligen Unterrichtseinheiten während des Kursverlaufs und (3) am Ende des Kurses. Je besser die einzelnen Fragen zum gestellten bzw. geforderten Zeitpunkt be‐ antwortet werden können, desto schneller und professioneller kann im Unter‐ richtsgeschehen auf etwaige Probleme reagiert und dadurch die Qualität des Unterrichts / Kurses optimiert werden. Die zwei Fragen, die sich in unmittel‐ barem Zusammenhang hiermit ergeben, sind: 1. Wie muss ein Evaluationsmodell hinsichtlich seiner Form und seines Aufbaus aussehen, damit es diese und weitere didaktisch-methodischen Fragen zum gewünschten Zeitpunkt und auf eine Weise beantworten kann, die sämtliche Informationen generiert, die erforderlich sind, um den universitären Fremdsprachenunterricht zu optimieren und dabei ressour‐ censchonend ist? 2. In welchen Rahmen bzw. Kontext muss das Modell gebettet sein, damit Evaluation in dieser Form im Unterricht funktionieren kann? Die Beantwortung dieser Fragen erfolgt im folgenden Abschnitt als Ableitung der bisher ausgeführten Theorie. Da Evaluation jedoch primär einen praktischen Nutzen verfolgt, müssen zu diesem theoretischen Grundgerüst auch die Aspekte aus der Praxis einfließen. Dies geschieht in den folgenden Bänden, in welchen die jeweiligen Teile der KDE auf theoretischem Hintergrund mit Einbezug der Praxis konzipiert werden. 6.2.1 Form und Aufbau der KDE Ein Modell, das darauf abzielt, zentrale Aspekte des Sprachlehrens/ -lernens zu beleuchten und Veränderungen in Form von Verbesserungen auf Basis von Eva‐ luationsergebnissen herbeizuführen versucht, muss im Hinblick auf die Zu‐ gänge möglichst offen sein und so konstruiert werden, dass es - nach eventuell nötigen Adaptionen - auf möglichst viele Sprachlehr- und Lernszenarien an‐ wendbar ist. Der Ansatz, der mit der KDE intendiert wird, ist theoriefundiert, praxiszentriert und lösungsorientiert, was bedeutet, dass er auf den wissen‐ schaftstheoretischen Überlegungen der vorangehenden Kapitel basiert, in der Praxis anwendbar ist und auch in Zusammenarbeit mit Lehrenden aus der Praxis 6.2 KDE im Detail 269 konzipiert wurde und zudem die aktive und informationsgestützte Lösung von potentiellen Problemen angestrebt wird. Letzteres wird vor allem durch eine differenzierte Fragestellung erreicht und durch folgendes Beispiel verdeutlicht: In einem für diese Arbeit untersuchten Fragebogen stand zu lesen: Waren die angegebenen bzw. bereitgestellten Lernun‐ terlagen für Sie hilfreich? Die Studierenden hatten in diesem Fragebogen die Möglichkeit, einen Wert auf einer Skala von 1 (sehr hilfreich) bis 5 (überhaupt nicht hilfreich) anzukreuzen. Antworten die LernerInnen im konkreten Fall mit »1«, kann die Lehrperson daraus schließen, dass die Unterlagen aller Voraus‐ sicht nach auch im nächsten Kurs in der vorliegenden Form eingesetzt werden können, wenn im folgenden Kurs von ähnlichen Voraussetzungen ausgegangen werden kann, also beispielsweise die LernerInnengruppe ähnlich ist, der Kon‐ text vergleichbar wäre etc. Bei allen anderen Werten wird die Lehrperson jedoch vor das Problem gestellt, dass die Antwort kein echtes Optimierungspotential in sich trägt. Es wird lediglich auf ein vorhandenes Problem hingewiesen, näm‐ lich, dass es ein Problem mit den Unterlagen gibt. Was jedoch genau dieses ist und wie man es lösen könnte, kann nur auf spekulative Weise eruiert werden. Ein lösungsorientierter Ansatz wie die KDE offeriert hier den LernerInnen die Mög‐ lichkeit, z. B. Angaben zu machen, welche Aspekte bei den Unterlagen zu ver‐ bessern wären (siehe unten). Folgende zentrale Überlegungen und Forderungen wurden in den bisherigen theoretischen Ausführungen für die Konstruktion eines derart beschaffenen Evaluationsmodells herausgearbeitet: 1. Evaluation ist als umfassender und lösungsorientierter Teilaspekt quali‐ tätsoptimierender und -sichernder Bestrebungen im universitären Fremdsprachenunterricht zu sehen. Dazu muss eine lösungsorientierte Evaluations- und Verbesserungskultur im Bewusstsein aller am Evalua‐ tions- und Optimierungsprozess Beteiligten geschaffen werden. Dies kann zum einen durch gezielte Information der AktantInnen erfolgen und zum anderen durch sichtbare und praxisorientierte nützliche Ergebnisse. Wenn die Evaluation praktischen Nutzen hat und ihre Vorteile augen‐ scheinlich sind und potentielle Nachteile (wie z. B. zeitlicher Aufwand) für alle Beteiligten weitgehend reduziert werden, kann sich eine positive Einstellung zu Evaluation und den damit einhergehenden qualitätsopti‐ mierenden Schritten bilden. 2. Evaluation sollte auf eine konstruktive Weise erfolgen und die Kommu‐ nikation unter den Beteiligten verbessern, denn eine optimierte Kommu‐ nikation trägt auch zu einer Verbesserung des Unterrichts bei. Sämtliche 6 KDE im Fremdsprachenunterricht 270 Fragestellungen sollten zwar ein potentielles Problem aufzeigen, jedoch auch konstruktive Vorschläge für dessen Lösung bringen. 3. Qualitätsoptimierung und -sicherung sollte prozessbegleitend erfolgen. Der Lehrbzw. Lernprozess beginnt, wenn möglich vor der ersten Un‐ terrichtseinheit und endet, auf den Unterricht bezogen, nach der letzten. Idealerweise wurden jedoch bereits während dieses Prozesses sämtliche Kompetenzen dahingehend entwickelt, dass sich bei den Lehrenden und LernerInnen eine (Selbst-)Bewusstheit entwickeln kann, die es den Ak‐ tantInnen ermöglicht, sich selbst als Lehrende / Lernende wahrzunehmen und ein Selbstkonzept von sich in der jeweiligen Funktion zu erlangen. Evaluation mit der KDE soll den Grad der Reflektiertheit verbessern und langfristig autonomes Lernen ermöglichen. 4. Evaluation bzw. Qualitätsverbesserung und -sicherung sollte keinen for‐ malen Status haben, sondern müssen praxiszentriert und real sein. Qua‐ litätsverbesserung endet nicht mit dem Ergebnis einer Evaluation, son‐ dern beginnt mit der Umsetzung der daraus gewonnenen Erkenntnisse. Konkrete qualitätsoptimierende Schritte sind daher essentiell und unab‐ dingbar. Hierfür ist ein Qualitätsmanagement notwendig, in welches das Evaluationsmodell eingebettet ist. 5. Qualität im universitären Fremdsprachenunterricht ist komplex und von unterschiedlichsten Faktoren abhängig. Sie kann nur gemeinsam, in Zu‐ sammenarbeit aller am Sprachlehrbzw. Lernprozess Involvierten gesi‐ chert und optimiert werden. Hierfür ist es nötig, dass alle Beteiligten ihre Rolle im Unterrichtsgeschehen kennen und wahrnehmen. Evaluation durch die KDE soll diesen Prozess fördern. 6. Evaluationen sollten so durchgeführt werden, dass durch die gewon‐ nenen Erkenntnisse Lehrende und Lernende ihre für das Lehren / Lernen nötigen Fähigkeiten und Fertigkeiten optimieren können, denn verbes‐ serte Kompetenzen führen auch zu einem optimierten Unterricht. Evalu‐ ation sollte demnach reflektierende Prozesse fördern. Zentral hierfür ist die Art der Fragestellung, die, wenn es um optimierende Prozesse geht, eher einen qualitativen Zugang haben sollte, weil dadurch diejenigen, die an der Evaluation teilnehmen, genauer (intensiver) über ihre Antworten nachdenken müssen, als wenn sie ausschließlich einer geschlossenen Frage einen bestimmten Wert auf einer Skala zukommen lassen. Letztere erfasst eher die Einstellung der befragten Personen zu einem bestimmten Thema und Zeitpunkt, generiert jedoch weder Optimierungsvorschläge noch löst sie besonders starke Reflexionsprozesse aus. 6.2 KDE im Detail 271 7. Evaluationsergebnisse sollten mit allen am Evaluationsprozess Beteilig‐ ten besprochen und die weiteren Schritte - wo und wenn nötig - ge‐ meinsam entschieden werden. 8. Evaluation sollte auf wissenschaftlichen Erkenntnissen aufbauen, sich an Standards (Nützlichkeit, Durchführbarkeit, Korrektheit, Genauigkeit, Qualität) orientieren, systematisch und ressourcenschonend sein. Das bedeutet, dass die Information gemäß den Informationsbedürfnissen sein muss. Die EvaluatorInnen müssen aufgrund der Evaluation jene Infor‐ mation bekommen, die sie benötigen, um auf deren Basis sinnvolle Ent‐ scheidungen treffen zu können. Zudem müssen die Informationen zum benötigten Zeitpunkt gefördert werden und in einer Art sein, dass sie verarbeitet werden können, also brauchbar sind. Evaluation muss pra‐ xisbezogen und zugleich einfach und schnell durchzuführen sein, ohne dabei an inhaltlichem Gehalt zu verlieren. 9. Evaluation ist auf ethisch, rechtlich korrekte Art durchzuführen und die Ergebnisse sollten aufbereitet, gegebenenfalls diskutiert und weiterver‐ arbeitet werden. 10. Evaluation darf nicht starr, sondern muss dynamisch sein und sich den jeweiligen Gegebenheiten im Unterricht anpassen. Für unterschiedliche Bedürfnisse sind unterschiedliche Evaluationen zu wählen, die aber einem übergeordneten System angehören und dadurch eine Kontinuität gewährleisten, die den Sprachlehrbzw. Lernprozess über die Dauer des jeweiligen Kurses begleitet. Aufbauend auf diesen Überlegungen, den in Kapitel 3 diskutierten Evaluations‐ modellen und in Anlehnung an die drei oben detektierten Fragezeitpunkte, zu welchen die didaktisch-methodischen Grundfragen gestellt werden (können), und unter Berücksichtigung des Grundsatzes von TQM bzw. KAIZEN , dass eine Verbesserung kontinuierlich und prozessbegleitend erfolgen muss, setzt sich die KDE aus den bereits im Verlauf der vorangehenden Kapitel erwähnten fol‐ genden drei Hauptelementen zusammen: (1) Vorevaluation, (2) Begleitende Evaluation und (3) Endevaluation. Bei Bedarf können diese durch ein weiteres Element, die Selektive Evaluation, ergänzt werden. 6 KDE im Fremdsprachenunterricht 272 Abb. 27: Komplexe Dynamische Evaluation (KDE) Die drei Hauptelemente dieses Ansatzes können mit jenen, von Stockmann (vgl. 2010: 75) zusammengefassten Dimensionen der Evaluationsforschung (ex-ante, on-going und ex-post) wie folgt verglichen werden: Die Ex-ante-Evaluation (Vorevaluation) fokussiert sich, wie Stockmann (vgl. 2010: 76) festhält, auf die Phase der Programmentwicklung einschließlich ihrer Konzeptualisierung und Planung, und ihre Aufgabe besteht darin, sämtliche Rahmenbedingungen eines Programms zu untersuchen, um so einen Beitrag zur Erstellung des Programmdesigns zu leisten. Die On-going-Evaluation (Begleit‐ ende Evaluation) unterstützt vor allem das Programmmanagement bei der Im‐ plementierungsphase, wie Stockmann (vgl. ibid.) expliziert, indem Informati‐ onen über den Programmverlauf und die Programmergebnisse gesammelt, systematisiert und bewertet werden, wodurch Entscheidungshilfen für die Durchführung gegeben und Korrekturen am Programmdesign ermöglicht werden. Die Ex-post-Evaluation (Endevaluation) kommt nach Abschluss der Im‐ plementierungsphase eines Programms zum Einsatz und soll, wie Stockmann (vgl. ibid.) ausführt, den vollen Umfang der Wirkungen, die durch ein Programm ausgelöst wurden, erfassen. Alle diese Grundaufgaben fallen auch den bereits erwähnten drei Teilevalua‐ tionen (Vorevaluation, Begleitende Evaluation, Endevaluation) der KDE zu, welche jedoch in vielen Belangen komplexer als deren oben angesprochene Pendants sind. Zum einen besteht jede der KDE -Evaluationen aus weiteren Tei‐ levaluationen, die ihrerseits unterschiedliche Informationen generieren und 6.2 KDE im Detail 273 auch unterschiedliche Ziele verfolgen. So ermittelt ein Teil der Vorevaluation beispielsweise die Rahmenbedingungen, während ein anderer selbstreflexive Prozesse bei den Beteiligten auslösen soll. Ähnliches trifft auch auf die Begleit‐ ende Evaluation und die Endevaluation zu, die neben den oben angeführten Ba‐ sisaufgaben auch jeweils immer um jene Elemente erweitert wurden, die Selbst‐ reflexionen auslösen. Die KDE zeichnet sich zudem dadurch aus, dass es sich hierbei um einen spezifischen und umfassenden Ansatz handelt, der explizit auf dessen Einsatz im universitären Fremdsprachenunterricht hin konzipiert wurde und nicht nur als reines Evaluationsinstrument zum Einsatz kommt, sondern gewissermaßen auch als Schnittstelle zwischen den Lehrenden und den Stu‐ dierenden bzw. als Hilfestellung bei didaktisch-methodischen Fragen zu sehen ist. Durch das Einbeziehen der CDST zeichnen sich die einzelnen Teilelemente vor allem durch ihren dynamischen Zugang und die damit verbundenen Ein‐ satzmöglichkeiten aus, was auch durch die Selektive Evaluation deutlich wird, die zu jedem erdenklichen Zeitpunkt zum Einsatz kommen und die drei Haup‐ telemente umfassend ergänzen kann. 6.2.2 Rahmen und Kontext der KDE Damit diese Art der Evaluation theoretisch möglich und praktisch durchführbar ist, müssen zuerst ein Rahmen und Kontext und darüber hinaus eine Lehrbzw. Lernumgebung geschaffen werden, in welcher Evaluation eingebettet ist und als unterstützende Maßnahme bei qualitätsoptimierenden Prozessen gesehen wird. Neben dem Vorhandensein der oben angesprochenen Verbesserungs- und Evaluationskultur muss das Evaluieren hinsichtlich der technischen Durchfüh‐ rung, für die Lehrenden und LernerInnen nicht nur verhältnismäßig einfach zu handhaben, sondern weitgehend zeitschonend sein. Wie das Setting bei der KDE aussieht, verdeutlicht die Grafik auf Seite 275. 6 KDE im Fremdsprachenunterricht 274 Abb. 28: Komplexe Dynamische Evaluation (KDE) im universitären FSU 6.2 KDE im Detail 275 Evaluation ist in diesem Ansatz direkt in den Rahmen des universitären Fremd‐ sprachenunterrichts integriert und untrennbar mit diesem verbunden. Sie be‐ gleitet den gesamten Lehrbzw. Lernprozess, indem bereits vor der Kurskon‐ zeption mit der Vorevaluation jene, für die optimale Gestaltung und Adaption an die Rahmenbedingungen und Studierendenbedürfnisse relevanten Informa‐ tionen eingeholt werden. Diese und weitere essentielle Daten werden im Laufe des Kurses kontinuierlich erhoben (Begleitende Evaluation), damit eine Anpas‐ sung an die (sich potentiell verändernden) Bedingungen / Bedürfnisse erfolgen kann, sollte dies nötig sein. Am Ende des Kurses zeigt die Endevaluation die Resultate der vorangegangenen Maßnahmen und eventuelle Korrekturnotwen‐ digkeiten bzw. ob und inwieweit diese Wirkung zeigten. Durch diesen Zugang ist eine ständige Verbesserung des Unterrichts in kleinen Schritten ( KAIZEN ) möglich, wobei die KDE nicht bei einem subopti‐ malen Ausgangspunkt beginnt, wie dies etwa der Fall wäre, wenn die Studie‐ rendenfaktoren nicht von Anfang an berücksichtigt würden, sondern aufgrund der mit der Vorevaluation erhobenen Informationen auf einem, für die jeweilige Konstellation und unter Berücksichtigung der jeweils vorherrschenden Bedin‐ gungen bereits bestmöglichen Initialpunkt. Dies bewirkt, dass der Fremdspra‐ chenunterricht von Beginn an auf eine Weise gestaltet werden kann, die für die betreffende LernerInnengruppe zum Erhebungszeitpunkt optimal ist. Dass in dieser Hinsicht nicht auf alle Bedürfnisse aller Beteiligten in gleicher Weise Rücksicht genommen werden kann, wurde bereits in den Kapiteln 4 und 5 expliziert. Wenn es darum geht, das Optimum für eine reale Gruppe zu eru‐ ieren, muss eine Schnittmenge an Daten herangezogen werden, die möglichst viele Aspekte und Anliegen einer möglichst großen Beteiligtenzahl berücksich‐ tigt. Alles kann jedoch nie im vollen Ausmaß erfüllt werden. Dass die Studier‐ enden dies auch nicht erwarten, kam in den Interviews, die mit ihnen geführt wurden, zutage. Was im Endeffekt wie umgesetzt werden kann, ist dabei immer abhängig von der jeweiligen Situation und wird entweder von der Lehrperson alleine oder in Kollaboration mit den Studierenden entschieden, was durch den Aspekt der Dynamik verdeutlicht wird. Auch hier sollten keine fixen Vorgaben gemacht werden, wann welche Vorgehensweise zu wählen ist. Die Endverant‐ wortung bleibt bei der Lehrperson, die aufgrund ihrer Expertise und Lehrerfah‐ rung fähig sein sollte, die weitreichenden Konsequenzen der einzelnen Ent‐ scheidungen einschätzen und abwiegen zu können. Je mehr Verantwortung sie jedoch auch auf die LernerInnen überträgt, desto mehr davon werden diese für sich selbst und das Gelingen des Lernens übernehmen. 6 KDE im Fremdsprachenunterricht 276 6.2.3 Funktionsweise der KDE Die Begründung für die jeweilige Form bzw. der vorgestellte Ablauf der ein‐ zelnen Evaluationsteile wird aus den theoretischen Ausführungen der voran‐ gehenden Kapitel abgeleitet. Wie die einzelnen Schritte in den jeweiligen Eva‐ luationsteilen im Detail aussehen, möchte ich im folgenden Abschnitt kurz darlegen. 6.2.3.1 Vorevaluation Aus Sicht der Lehrenden ist bei der Kurskonzeption immer eine Gratwanderung zu vollziehen, weil ja, wie in Kapitel 4 festgestellt wurde, nicht nur die Bedürf‐ nisse und Ressourcen der LernerInnen guten Unterricht determinieren, sondern auch das Berücksichtigen bzw. Erreichen von Lehrzielen, die sich in Form von erworbenen Kompetenzen zeigen. Die Vorevaluation im hier vorgestellten An‐ satz zielt darauf ab, beides zu ermitteln und die Lehrperson evaluiert aus den Ergebnissen beider Erhebungen, wie diese Gratwanderung bestmöglich und re‐ alistisch umsetzbar ist. Die hierfür nötigen Informationen werden mittels Vor‐ evaluation Studierende, Vorevaluation Lehrende und Vorevaluation Rahmenbe‐ dingungen generiert. Während sich erstere auf die Belange der LernerInnen konzentriert, fokussiert sich zweitere auf die Lehrenden und letztere darauf, neben den jeweiligen Lehrzielen, die für einen bestimmten Kurs bzw. eine kon‐ krete Niveaustufe zu berücksichtigen sind, auch Bedingungen wie die Raum‐ größe, dessen Ausstattung und andere, der Lehrperson zur Verfügung stehende Ressourcen, zu ermitteln. Zudem dient die Vorevaluation Lehrende den Lehrper‐ sonen als Hilfestellung bei der Reflexion hinsichtlich des bevorstehenden Kurses. In Anlehnung an die bisherigen Ausführungen und die didaktisch-methodi‐ schen Grundfragen kann sich die Vorevaluation aus Lehrendenperspektive in Hinblick auf die Studierenden in einem Minimalansatz an folgenden Fragen orientieren: • Warum besuchen die LernerInnen diesen Kurs? • Welche Probleme haben sie in der Fremdsprache? • Welche Ziele verfolgen die LernerInnen im Kurs? • Welche Wünsche haben sie? • Auf welchen Vorkenntnissen (Ressourcen) kann man den Unterricht auf‐ bauen? • Über welche Kompetenzen sollen die LernerInnen nach dem Kurs ver‐ fügen? 6.2 KDE im Detail 277 • Welche Lehrziele werden vom Institut / von einem potentiellen Arbeit‐ geber einer Studierendengruppe vorgegeben? • Welche Indikatoren stehen für dieses Niveau im GERS ? • Welche Ressourcen stehen den Lehrenden zur Verfügung? Die Fragen aus LernerInnenperspektive könnten, wenn sie die nötigen selbst‐ reflexiven Prozesse auslösen sollen, u. a. wie folgt lauten: • Was ist der Grund für meinen Kursbesuch? • Welche Ziele möchte ich gerne am Ende des Kurses erreicht haben? • Wo in der Fremdsprache habe ich Schwierigkeiten? • Wie lerne ich gerne? Bei der Vorevaluation Lehrende treten u. a. folgende Fragen auf: • Habe ich diesen Kurs in der Vergangenheit bereits in gleicher oder ähn‐ licher Konstellation gehalten? • Wenn ja, welche Probleme, Schwierigkeiten und Fragen waren bei den Studierenden besonders dominant? • Welche Hilfestellungen meinerseits zeigten sich als besonders wirkungs‐ voll? • Welche neuen Methoden habe ich seitdem ausprobiert, die auch in diesem Kurs hilfreich sein könnten? • Wie genau definiert sich meine Rolle in diesem Kurs? • Was genau verlange ich von den Studierenden? • Wie werde ich ihre Leistung messen? etc. Bei der Vorevaluation Rahmenbedingungen können unterschiedlichste Fragen hinsichtlich des Settings gestellt werden. Zentrale Aspekte sind dabei immer auch in Verbindung mit dem jeweiligen Unterrichtsraum bzw. dessen Ausstat‐ tung. Mögliche Fragen aus Lehrendenseite wären u. a.: • Habe ich in diesem Raum bereits in der Vergangenheit unterrichtet? • Wie war die Ausstattung? • Was in diesem Raum war besonders vorteilhaft für den Unterricht, was besonders lernhemmend? • Ist die technische Ausstattung ausreichend für den geplanten Unterricht? • Welche Dinge fehlen bzw. müssen ergänzt werden, damit der Unterricht so gestaltet werden kann, wie dies für die LernerInnen und die Lehrperson optimal ist? Die Informationen aller Teilevaluationen werden analysiert (Analyse) und in Folge bei der Kursgestaltung berücksichtigt. Auf diese Weise ist Qualitätssi‐ 6 KDE im Fremdsprachenunterricht 278 cherung, wie sie im Qualitätsmanagement intendiert ist, möglich, denn es werden Kriterien für Qualität ersten Grades und Qualität zweiten Grades be‐ rücksichtigt. Nach der Vorevaluation folgt die Analysephase, in welcher die Ergebnisse aller Evaluationen von der Lehrperson analysiert und bewertet werden. Daran schließt das Follow-up an, welches entweder zur Phase Design oder zur Phase Adaption führt: Abb. 29: Vorevaluation mit Analysephase und Follow-up Handelt es sich z. B. um einen Kurs, der von der Lehrperson neu zu konzipieren ist, folgt auf Basis der gewonnenen Erkenntnisse die Phase Design. Dieser Fall tritt auch dann ein, wenn die Lehrperson beispielsweise aufgrund der Sub-Vor‐ evaluationen feststellen konnte, dass das Kursdesign, welches sie für den be‐ treffenden Kurs a priori konzipierte, nicht, bzw. nicht ausreichend gut geeignet ist. Diese Phase kann z. B. bei Lehrenden vermehrt auftreten, die noch über wenig Lehrerfahrung verfügen, oder dann, wenn Lehrende einen bestimmten Kurs zum ersten Mal abhalten oder den Kurs bereits konzipieren, wenn sie noch nicht genau über die Rahmenbedingungen Bescheid wissen. Konnte aufgrund der Analyse festgestellt werden, dass die Kurskonzeption, wie von der Lehrperson intendiert, weitgehend mit den aus der Vorevaluation 6.2 KDE im Detail 279 gewonnen Erkenntnissen konform geht und nur vereinzelt (geringere) Anpas‐ sungen z. B. hinsichtlich der Methoden, der Unterlagen, der praxisbezogenen Beispiele etc. nötig sind, damit der Kurs optimal auf die betreffende Gruppe angepasst ist, dann wäre das Follow-up die Adaption. Diese Phase kann theo‐ retisch sehr häufig auftreten, sowohl bei mehr als auch weniger erfahrenen Lehrenden, wenngleich zu erwarten ist, dass die Adaptionen von Mal zu Mal geringer ausfallen bzw. leichter von der Hand gehen werden, je öfter die Lehr‐ person den betreffenden Kurs abhält. Dadurch würde die Evaluation zu einem Teil auch weiterbildende Funktion bei den Lehrenden haben, da sie aus den Er‐ fahrungen der Vorevaluation lernen und Gruppen, die diesen Kurs in der Regel besuchen, im Allgemeinen besser einschätzen können. Dies trifft besonders auch auf die Vorevaluation Lehrende zu, die vor allem dafür gedacht ist, die (selbst-)reflexiven Prozesse der Lehrperson zu fördern. Ein weiteres mögliches Szenario, in vorangehender Graphik durch die strich‐ lierte Linie gekennzeichnet, ist ein Follow-up, das keinerlei Änderungen vor‐ sieht. In diesem Fall ergab die Analyse der Vorevaluationen, dass der Kurs und die Unterlagen, wie sie von der Lehrperson konzipiert wurden, bereits optimal zur betreffenden Gruppe passen bzw. etwaige Veränderungen kaum Verbesse‐ rungen herbeiführen würden. Dieses Szenario ist beispielsweise bei Kursen zu erwarten, die sich durch sehr homogene Gruppen (z. B. reine Anfängerkurse, LernerInnen stammen aus demselben kulturellen Raum, verfügen über weitge‐ hend gleichen Sprachlernhintergrund, verfolgen die gleichen Ziele mit dem Kurs etc.) auszeichnen, und ist vor allem auch dann zu beobachten, wenn die Lehr‐ person diese Kurse bereits in der Vergangenheit sehr häufig abgehalten oder durch mehrfache Vorevaluationen im Laufe der Zeit gelernt hat. Eine weitere und für alle Beteiligten eher frustrierende Erklärung wäre, wenn potentielle Änderungen zwar nötig, aber aufgrund der gegebenen Rahmenbedingungen - wie beispielsweise der monetären oder räumlichen Ressourcen - nicht möglich sind. 6.2.3.2 Begleitende Evaluation Die Begleitende Evaluation setzt im Wesentlichen dort an, wo die Vorevaluation endet und legt den Hauptfokus auf das kontinuierliche Generieren von Infor‐ mationen, das der ständigen Optimierung der einzelnen Prozesse dient, welche in den jeweiligen Unterrichtseinheiten ablaufen, und die auch die Wirkungen von gesetzten Maßnahmen diesbezüglich feststellt. Die Grundidee der kontinu‐ ierlichen Verbesserung stammt aus dem TQM und nutzt vor allem die Grund‐ züge des KAIZEN , wie diese in Kapitel 4 ausgeführt wurden, wobei die kom‐ plexen Dynamiken des Fremdsprachenunterrichts aus Kapitel 5 berücksichtigt 6 KDE im Fremdsprachenunterricht 280 werden. Hauptziel aus Sicht des Qualitätsmanagements ist, die Prozessqualität der einzelnen Lehr- und Lernprozesse kontinuierlich zu optimieren, da davon auszugehen ist, dass die kontinuierliche Verbesserung der Teilprozesse zu einer Verbesserung des gesamten Lehrbzw. Lernprozesses und somit auch erheblich zum Lernerfolg beiträgt. In vielen Fällen wird die Prozessqualität auch zu einer optimierten Produktqualität führen, wie im Abschnitt Qualitätsmanagement ausgeführt wurde. Das bedeutet, die Begleitende Evaluation verfolgt vor allem die kontinuierliche Vergrößerung des Lehrbzw. Lernerfolges, der sich am Ende des Kurses darin zeigt, dass die LernerInnen ihre sprachlichen Kompetenzen im Verlauf des Unterrichts ausbauen konnten. Evaluation wird in dieser Hinsicht zum einen eingesetzt, um den jeweiligen Ist-Zustand zu einem konkreten Zeitpunkt während des Kurses zu ermitteln, was strenggenommen einer summativen Evaluation entspricht, und zum an‐ deren, um diesen mit dem gewünschten Soll-Zustand zu vergleichen. Ist der Ist-Zustand ident mit dem Soll-Zustand, sind keine Veränderungen nötig. Ist eine Differenz vorhanden, muss ermittelt werden, wodurch diese verursacht wurde, und gleichzeitig sind jene Schritte zu setzen, die Verbesserungen nach sich ziehen. Neben dem Ermitteln des Ist-Zustandes und dem Vergleich mit dem Soll-Wert muss auch die Wirkung der einzelnen Veränderungen kontrolliert werden, denn das alleinige Setzen von Maßnahmen bewirkt nicht automatisch Verbesserungen. Nur das Setzen der für bestimmte Situationen richtigen Maß‐ nahmen zum dafür richtigen Zeitpunkt kann zu einer Optimierung führen. Diese Überlegung entspricht auch Aspekten aus Stufflebeams Ansatz, der eine pro‐ zessbegleitende Evaluation vorschlägt, um die systematische und kontinuier‐ liche Kontrolle und Optimierung der einzelnen Maßnahmen zu untersuchen, wie bereits in Kapitel 3 ausgeführt wurde. In einer Grafik dargestellt, sieht dieser kontinuierliche Optimierungsprozess wie folgt aus: 6.2 KDE im Detail 281 Abb. 30: Kontinuierliche Optimierung des Fremdsprachenunterrichts Die Zwischenevaluationen (Begleitende Evaluation) sind auch für den Selbstre‐ flexionsprozess der LernerInnen wesentlich, da sie kontinuierlich dazu ange‐ halten werden, über ihr Lernen nachzudenken. Sie müssen sich mit ihrer Ent‐ wicklung - in welche der beiden Richtungen auch immer - auseinandersetzen und nach Möglichkeiten suchen, den Lernerfolg zu verbessern. Gleichzeitig er‐ kennen sie durch das Reflektieren jedoch auch, dass sie Fortschritte machen, was sich positiv auf ihre Motivation auswirken kann, oder, dass sich Fortschritte nicht einstellen bzw. nicht in die richtige Richtung gehen. Dann können sie mit der Lehrperson über das Feedback in Kontakt treten oder andere Maßnahmen setzen. Ein potentielles Problem wird demnach möglichst frühzeitig detektiert und es können umgehend Lösungsprozesse eingeleitet werden. In ähnlicher Weise werden auch die Lehrenden kontinuierlich dazu ermutigt, über ihr Lehren nachzudenken. Aus den Feedbacks der LernerInnen können sie viele Informationen gewinnen, die auch dazu beitragen, ihre eigenen Kompe‐ tenzen zu verbessern. Dadurch können sich auch die Lehrenden weiterentwi‐ ckeln. Gleichzeitig können sie Schritte setzen, die die LernerInnen im Lernpro‐ zess noch besser unterstützen. 6 KDE im Fremdsprachenunterricht 282 Die einzelnen Zwischenevaluationen erfolgen während des gesamten Kurses jeweils am Ende der Lehrveranstaltungen und haben sowohl summativen als auch formativen Charakter, weil die einzelnen Fragen den Evaluationen sowohl prozessorientierten als auch ergebnisorientierten Charakter zuweisen. Da die einzelnen Evaluationen jeweils mit konkreten Maßnahmen verbunden sind, wird jedoch der prozessbegleitende, formative Charakter betont, den die Begleitende Evaluation als Ganzes gesehen hat. Abb. 31: Begleitende Evaluation Im Unterrichtsgeschehen wird dieser Ansatz in der Praxis wie folgt umgesetzt: Ausgehend von den Daten der Vorevaluation und dem eventuell nötigen Follow-up (Design oder Adaption) beginnt der Unterricht mit Unterrichtsein‐ heit 1. Nach Ende dieser wird eine erste Zwischenevaluation (Begleitende Eva‐ luation) durchgeführt. Dabei kommen zum einen der Ansatz des Vorschlagswe‐ sens aus dem KAIZEN zum Tragen, welcher in Form von Feedbacks von Seiten der Studierenden an die Lehrenden realisiert wird, und zum anderen die Selbst‐ evaluationen durch die Studierenden und die Lehrenden. Im Anschluss werden die Ergebnisse der Zwischenevaluationen (Studierende, Lehrende) miteinander verglichen und von der Lehrperson analysiert. In einem ersten möglichen Szenario würden beide Evaluationen weitgehend die gleichen 6.2 KDE im Detail 283 Ergebnisse zutage fördern. Wenn diese positiv sind und keine weiteren Schritte folgen müssen, könnte der Unterricht in der darauffolgenden Unterrichtsein‐ heit 2 mit genau jenen Mitteln und Methoden durchgeführt werden, wie dies initial geplant war (in der Grafik durch die strichlierte Linie gekennzeichnet). Wenn die Ergebnisse weniger positiv wären, würde auf die Analyse das Follow-up Adaption oder, wenn am Design Veränderungen durchgeführt werden müssten, das Follow-up Design folgen und die getroffenen Verände‐ rungen würden bereits in der darauffolgenden Einheit zum Tragen kommen. Sollten die Ergebnisse aus der Evaluation der Lehrenden und jener der Stu‐ dierenden völlig unterschiedlich ausfallen, müssten dies Lehrende und Lern‐ erInnen gemeinsam analysieren und weitere Schritte planen. Nach der zweiten Unterrichtseinheit erfolgt erneut eine Zwischenevaluation durch die Lehrenden und Studierenden. Das Ergebnis wird wiederum analysiert und je nach Bedarf die weiteren Schritte gesetzt, wie dies bereits bei Zwischenevaluation 1 exemp‐ lifiziert wurde. Will man Komponenten der Selbstreflexion (bei den Lehrenden und Studier‐ enden) und jene oben angeführten Forderungen der Wirkungsanalyse in die Evaluation einbauen, müssen dementsprechende Fragen im Evaluationsfrage‐ bogen enthalten sein. Sämtliche Fragen sind zudem auf eine Weise zu stellen, die es ermöglicht, damit zum einen reflexive Prozesse auszulösen und zum an‐ deren Optimierungsvorschläge abzugeben. Aus LernerInnensicht könnten diese u. a. wie folgt lauten: • Wie habe ich den heutigen Unterricht empfunden? • Habe ich heute etwas gelernt? • Was habe ich heute gelernt? • Hatte ich Schwierigkeiten / Probleme? • Was habe ich nicht verstanden? • Was könnten Gründe hierfür sein? • Was kann ich selbst tun, um diese Probleme zu lösen? • Was könnte der / die Lehrende tun? • War die Unterrichtsgeschwindigkeit passend für mich? • Was war für mich zu schnell? • Was war für mich zu langsam? • Welche Verbesserungsvorschläge habe ich für die kommende Unter‐ richtseinheit? • Wie bzw. inwieweit wurden die Vorschläge aus meiner letzten Evaluation umgesetzt? 6 KDE im Fremdsprachenunterricht 284 Aus Lehrendenperspektive wären folgende Fragen denkbar: • Wie habe ich den Unterricht heute empfunden? • Konnte ich die relevanten Inhalte aus meiner Sicht gut vermitteln? • Was war gut? • Wo war ich mir unsicher? • Wo müsste ich Optimierungen anstreben? • Wie könnten diese Maßnahmen aussehen? • Waren die Unterlagen für die Inhalte geeignet? • Wo müsste ich in Zukunft mehr Unterlagen bereitstellen? • Welche Bereiche waren vielleicht zu (wenig) ausführlich? • Wie könnte ich den Unterricht in Zukunft besser gestalten? etc. 6.2.3.3 Endevaluation Die Endevaluation wird am Ende des Kurses durchgeführt und erfüllt mehrere Aufgaben: Zum einen soll sie die Gesamtzufriedenheit der LernerInnen mit dem Kurs und der Lehrperson erheben, wie dies auch bei den bisher eingesetzten Lehrveranstaltungsevaluationen überwiegend der Fall ist. Sie sagt in der Regel sehr viel über die subjektiv empfundene Qualität eines Kurses aus und kann nicht nur für die Lehrenden, sondern auch für die Zentrumsbzw. Institutsleitung sehr aufschlussreich sein. Darüber hinaus wird mit der Endevaluation auch der subjektive Ist-Wert am Ende des Kurses ermittelt und mit dem Soll-Wert zu Be‐ ginn des Kurses verglichen. Im Idealfall sind der initiale Soll-Wert und der tat‐ sächlich erreichte Ist-Wert annähernd gleich. Ist dies wirklich der Fall, würde es bedeuten, dass z. B. die ursprünglich gesteckten Ziele erreicht wurden. Je mehr der Ist-Wert dabei dem ursprünglichen Soll-Wert entspricht, desto besser ist der Unterricht bzw. der Kurs zu bewerten. Das trifft natürlich nur dann zu, wenn diesbezüglich während des Semesters durch die Begleitende Evaluation keine maßgeblichen Kurskorrekturen erfolgt sind, denn dies würde bedeuten, dass eventuell auch die Ziele modifiziert wurden. In vielen Fällen ist der Vergleich Ist-Soll-Wert durch eine Selbstevaluation der Studierenden und Lehrenden möglich. Hinsichtlich des objektiv feststellbaren Lehr-/ Lernerfolgs ist eine Selbstevaluation jedoch nicht ausreichend, wie dies auch bereits in Kapitel 4 ausgeführt wurde. 6.2 KDE im Detail 285 Die Endevaluation, wie sie in der KDE realisiert wird, besteht aus den beiden Teilevaluationen Endevaluation Studierende und Endevaluation Lehrende: Abb. 32: Endevaluation Die Endevaluation Studierende richtet sich in erster Linie natürlich an die Stu‐ dierenden und soll, ähnlich wie bei der Vorevaluation, zum einen zur Reflexion über das eigene LernerInnenselbst und den persönlichen Lernerfolg anregen, und zum anderen der Lehrperson ein konstruktives Feedback zum Kurs geben. Fragen, die sich aus den oben angeführten methodisch-didaktischen Grund‐ fragen aus Sicht der LernerInnen ergeben, sind u. a.: • Wie habe ich den Kurs als Ganzes empfunden? • Habe ich etwas gelernt? • Konnte ich die anfangs gesteckten Ziele erreichen? • Woran lag es, dass ich bestimmte Ziele nicht erreichen konnte? • Wie bewerte ich meinen eigenen Lernfortschritt? • Welche globalen Verbesserungsvorschläge würde ich der Lehrperson gerne weitergeben? etc … In ähnlicher Weise kann auch die Lehrperson den Kurs aus ihrer Sicht bewerten und reflektieren, wie er / sie selbst den Kurs wahrgenommen hat bzw. über die 6 KDE im Fremdsprachenunterricht 286 LernerInnen und ihren Lernerfolg nachdenken. Letzteres kann in Folge auch mit den Prüfungsergebnissen verglichen werden. Die Kombination dieser beiden Ergebnisse gibt dann Auskunft über die Gesamtqualität des Kurses. Im Anschluss an die beiden Teilevaluationen erfolgt, wie in der vorangeh‐ enden Grafik verdeutlicht, die Analyse der beiden Evaluationen durch die Lehr‐ person. Wie bei den anderen beiden Teilevaluationen sind auch hier wieder mehrere Szenarien denkbar. Erstens kann der Fall eintreten, dass z. B. die Eva‐ luation der Lehrenden und der Studierenden relativ ähnliche Ergebnisse zutage fördert und ein durchwegs positives Kursbild generiert, das zudem noch mit guten Prüfungsergebnissen harmoniert. In diesem Fall sind keine Verände‐ rungen für kommende Kurse notwendig (Follow-up 0). Sollten die beiden Evalua‐ tionen ähnliche Ergebnisse generieren, aber den Kurs eher negativ bewerten, sind im Anschluss an die sorgfältige Analyse entweder größere Adaptionen für weitere Kurse notwendig, oder überhaupt das gesamte Kursdesign zu über‐ denken (Follow-up 1, Follow-up 2). Dieses Szenario ist jedoch eher unwahr‐ scheinlich oder selten, wenn die Vorevaluation sorgfältig durchgeführt wurde und bereits zu Beginn die nötigen Adaptionen erfolgten. In diesem Fall könnten eventuell Probleme bei der Umsetzung der Optimierungsvorschläge vorhanden sein. Vor allem, wenn auch die Begleitende Evaluation während des Kurses mit den jeweiligen Verbesserungen in der gedachten Form durchgeführt wurde, ist es eher unwahrscheinlich bis nahezu ausgeschlossen, dass wirklich große Defi‐ zite im Kurs zu verzeichnen sind und Lehrende und Studierende den Kurs sum‐ mativ negativ bewerten. Sollten die Lehrenden beispielsweise das Gefühl haben, dass sie in einzelnen Kursabschnitten bei diversen didaktisch-methodischen Herausforderungen Unsicherheiten hatten, wäre es auch möglich, auf Basis der Selbstevaluationsergebnisse gezielt Kurse oder Fortbildungen (Follow-up 1) zu besuchen, was dann in das Follow-up 2 mündet. Follow-up 2 bedeutet, dass sämt‐ liche Modifizierungen von der Lehrperson ohne Hilfe durch z. B. eine Fortbil‐ dung oder ein Coaching etc. durchgeführt werden können. 6.2.3.4 Selektive Evaluation Auf die bereits kurz erwähnte Selektive Evaluation wird an dieser Stelle nicht im Detail eingegangen, da dies einer Vielzahl weiterer Evaluationstypen bedarf, wie beispielsweise der Peer-Evaluation, einer Evaluation durch interne und / oder externe ExpertInnen u. Ä. Dies stellt einen weiteren Abschnitt eines sehr komplexen Themenbereiches dar und ist nicht mehr Teil des vorliegenden Buches. Die Idee hinter dieser Art des Feedbacks soll jedoch kurz expliziert werden: Die Selektive Evaluation kann - je nach Ausführung - unterschiedliche Zwecke 6.2 KDE im Detail 287 3 HILVE wurde von Heiner Rindermann und Manfred Amelang 1994 konzipiert. verfolgen. Zum einen könnte sie bewusst nach Prüfungen eingesetzt werden, um von den LernerInnen Informationen zu generieren, wie sie die Prüfungen empfunden haben, ob sie sich ausreichend darauf vorbereitet fühlten bzw. welchen Aufwand sie selbst im Rahmen der Vorbereitung hatten etc. Ebenso könnte diesbezüglich, wenn der Unterricht beispielsweise in Modulform ange‐ boten und zudem von unterschiedlichen Lehrenden abgehalten wird, eine Art Zwischenevaluation nach den einzelnen Themenabschnitten durchgeführt werden. Des Weiteren gäbe es die Möglichkeit, in Form einer Evaluation durch KollegInnen (Peer-Evaluation) nützliche Hinweise von Seiten externer oder in‐ terner BeobachterInnen zu generieren, welche die didaktisch-methodischen Details analysieren oder das Unterrichtsgeschehen von psychologischer o.a. Seite beleuchten, wie dies bereits in einigen Lehrveranstaltungen Usus ist. Der Einsatz dieser Evaluation kann im Wesentlichen nur durch die Vorstellungskraft der daran Beteiligten eingeschränkt werden. 6.2.4 Aufbau der Fragebögen der KDE Wie oben bereits angeführt, verfolgt die KDE einen praxisorientierten Ansatz, der sich auf eine theoretische Basis im Bereich der Evaluationsforschung, des Qualitätsmanagements und der Fremdsprachendidaktik stützt und in den Rahmen der Complex Dynamic System Theory eingebettet ist. Für die Konstruk‐ tion der einzelnen Fragebögen wird daher auch der Zugang aus Theorie und Praxis gewählt, der zusätzlich noch durch ein bereits etabliertes und vielfach eingesetztes Evaluationsmodell ergänzt wird. Hierbei handelt es sich um das Multifaktorielle Modell der Lehrveranstaltungsqualität ( HILVE II ), welches von Rindermann (2001), aufbauend auf Erfahrungen mit dem Heidelberger Inventar zur Lehrveranstaltungsevaluation 3 ( HILVE ) (vgl. Rindermann 2009: 68) konzipiert wurde und im folgenden Abschnitt kurz vorgestellt wird. Dieses Modell soll die bisherigen Ausführungen ergänzen bzw. untermauern und wurde vor allem deswegen gewählt, weil es auf die Vergrößerung des Lehrbzw. Lernerfolgs abzielt, was auch im Sinn der KDE ist. 6 KDE im Fremdsprachenunterricht 288 6.3 Lehrerfolg und Lernerfolg im komplexen dynamischen FSU Qualitativ hochwertige Lehre zeichnet sich vor allem durch messbaren Lehrbzw. Lernerfolg aus. Je größer dabei der Kompetenzzuwachs im Vergleich zum Ausgangswert ist, desto erfolgreicher war die Lehrveranstaltung in dieser Hin‐ sicht. Die Studierenden haben somit durch die Teilnahme am Kurs einen quan‐ titativen und qualitativen Lerngewinn erfahren. Zwei in diesem Zusammen‐ hang für Lehrende sehr wichtige, aber gleichzeitig nicht leicht zu beantwortende Fragen sind, welche Faktoren diesen Zuwachs letztendlich bedingen und wie man diesen Zuwachs messen kann. Die Frage der Messung lässt sich zum einen durch eine Befragung der Stu‐ dierenden (subjektiv) beantworten und zum anderen durch den Vergleich ihrer Kompetenzen (objektiv) am Beginn und am Ende des Kurses, wie dies bereits expliziert wurde. Erstere kann durch eine Befragung (Lehrveranstaltungseva‐ luation) erfolgen, letztere durch eigens dafür entwickelte Testverfahren. Die Frage nach den jeweiligen Faktoren bzw. Ressourcen, die diesen Lehr-/ Lerner‐ erfolg bedingen, erweist sich ungleich schwerer, da Lernen und Lehren, wie oben bereits verdeutlicht, von vielen unterschiedlichen Variablen abhängt und nicht nur von den einzelnen daran beteiligten Individuen, sondern auch von unter‐ schiedlichsten Rahmenbedingungen beeinflusst wird. Gegenstand der KDE ist, jene Komponenten ausfindig zu machen, die durch Lehrveranstaltungsevalua‐ tion beantwortet werden können und die dazu beitragen, die Prozessqualität zu optimieren, was in weiterer Folge auch die Ergebnisqualität verbessert. 6.3.1 Das Multifaktorielle Modell der LV-Qualität Rindermann (2009) kommt - ähnlich wie im vorliegenden Ansatz ausgeführt - zu der Erkenntnis, dass zum Gelingen des Lehr-/ Lernprozesses Lehrende und Studierende zum einen über gewisse Voraussetzungen (Ressourcen) verfügen und zum anderen miteinander interagieren müssen. Zudem sind die gesell‐ schaftlichen und curricularen sowie institutionellen Rahmenbedingungen zu berücksichtigen, unter welchen der Unterricht stattfindet. Er konzipierte ein multifaktorielles Modell der Lehrveranstaltungsqualität ( HILVE II ), wobei er sich auf Erfahrungen mehrerer empirischer Studien, wie beispielsweise Befra‐ gungen von Studierenden und Lehrenden nach Kriterien zur Beurteilung der Lehre und Auswertungen bis dahin eingesetzter Verfahren, Orientierung an Lehrzielen sowie die Berücksichtigung unterschiedlicher unterrichtsdidakti‐ scher und anderer Theorien stützt (siehe Rindermann 2009: 65). 6.3 Lehrerfolg und Lernerfolg im komplexen dynamischen FSU 289 Dieses, den Grundzügen nach bereits vor über 20 Jahren entwickelte und mittlerweile in einigen Bereichen gestraffte bzw. teilweise erweiterte Modell, basiert nicht nur auf fundierten wissenschaftlichen Untersuchungen und mehr‐ dimensionalen Zugängen, sondern wird auch erfolgreich an zahlreichen deutschsprachigen Universitäten zur Lehrveranstaltungsbeurteilung durch Studierende eingesetzt. Es erweist sich besonders hinsichtlich der von ihm ge‐ wählten Items, die nach inhaltlichen Kriterien ausgesucht, zu Dimensionen zu‐ sammengefasst und nach statistischen Merkmalen (Faktorenanalyse) auf Ob‐ jektivität, Reliabilität und Validität überprüft wurden, als ein sehr hilfreiches und wissenschaftlich fundiertes Basismodell für weitere Überlegungen. Bei seinem Modell setzt Rindermann (vgl. 2009: 66) die drei Hauptfaktoren »Dozent«, »Studierende« und »Rahmenbedingungen« als Bedingungsbzw. Prozessvariable mit der Produktvariablen »Lehrerfolg« in Beziehung, wie dies auch in diesem Buch intendiert wird, denn diese bewirken den Erfolg der Lehre in Form von guter und günstig beurteilter Lehrveranstaltungen und in Form intendierter Veränderungen auf Seiten der VeranstaltungsteilnehmerInnen, wobei in seinem Modell einzelne Skalen zu Faktoren in einem Determinations‐ gefüge universitärer Lehre gebündelt werden, wie er expliziert. Wenngleich Rindermann konkret nur von »Lehrerfolg« spricht, was u. U. als eher lehren‐ denzentrierter Zugang verstanden werden kann, wird im vorliegenden Ansatz in weiterer Folge von Lehr- und Lernerfolg gesprochen, da - wie oben bereits verdeutlicht - die beiden im Kontext des Unterrichts in Verbindung miteinander erfolgen. Lehren wäre ohne Lernen bestenfalls ein Be-lehren. Lernen hingegen kann jedoch in einer ungesteuerten Form in vielen Lebensbereichen stattfinden und auf unterschiedlichste Weise erfolgen (siehe z. B. Schröder 2002: Kapitel 1). 6 KDE im Fremdsprachenunterricht 290 Abb. 33: Multifaktorielles Modell der LV-Qualität (Rindermann 2009: 66) Wie in der oben angeführten Grafik durch Pfeile verdeutlicht, resultiert der Lehr-/ Lernerfolg nicht aus dem voneinander isolierten Wirken der einzelnen Bedingungsfaktoren, sondern ist als Zusammenspiel zu sehen, wie dies auch in diesem Buch schon mehrfach betont wurde. Alle Variablen und Faktoren be‐ einflussen sich auf eine komplexe und dynamische Art gegenseitig. Zentral für Lehr-/ Lernerfolg sind Lehrende, Studierende und Rahmenbedingungen, die in weiterer Folge, aufbauend auf Rindermanns Modell, im folgenden Abschnitt in den Kontext der Complex Dynamic System Theory eingebettet werden. 6.3.2 Lehrende als komplexe dynamische Systeme Lehrende sind gemäß der Theorie der komplexen dynamischen Systeme so‐ genannte offene Systeme, da sie, wie bereits angeführt, mit ihrer Umwelt in In‐ teraktion stehen. Zudem sind sie als Menschen auch lebende Systeme, was be‐ deutet, dass sie nicht nur durch physikalische Größen beeinflusst werden, sondern auch in ein soziales System eingebettet sind und mit diesem inter‐ agieren und zudem viele andere biologische und psychologische Faktoren in enger Wechselwirkung mit ihnen stehen. Alle diese Faktoren sind auch im Hin‐ 6.3 Lehrerfolg und Lernerfolg im komplexen dynamischen FSU 291 blick auf den Fremdsprachenunterricht zu berücksichtigen, können jedoch nicht in vollem Umfang in diesem Buch behandelt werden. Die Elemente, die für das Unterrichtsgeschehen besonders relevant sind, sind jene, die von Seiten der Lehrenden auf den Lehr-/ Lernerfolg einwirken. 6.3.1.1 Einflussfaktoren von Lehrendenseite Rindermann (vgl. 2009: 68ff) führt neun Bedingungsfaktoren an, die in seinem Modell von Seiten der Lehrenden zum Lehr-/ Lernerfolg beitragen und stützt sich dabei auf unterschiedliche Studien. Die Inhalte werden auf den kommenden Seiten wiedergegeben und durch Spezifika aus dem Fremdsprachenunterricht ergänzt. 6.3.1.1.1 Strukturiertheit / Klarheit Wie Rindermann (vgl. 2009: 68) ausführt, zählen Strukturiertheit und Klarheit zu den wichtigsten Faktoren im Unterricht - nicht nur, weil damit ein Großteil der universitären Lehrveranstaltungen beurteilt wird, sondern auch, weil in Studien ein positiver Zusammenhang zwischen klarer Strukturiertheit und ob‐ jektiver studentischer Leistung nachgewiesen werden konnte. In diesen Bereich fällt alles, was den Unterricht für die Studierenden gut nachvollziehbar macht, wie etwa klare Anweisungen hinsichtlich einzelner Aufgabenstellungen, aber auch, dass die Studierenden die Unterrichtsziele kennen und wissen, was genau von ihrer Seite aus zu tun ist, um den Kurs positiv zu absolvieren. Dieser Punkt ist vor allem auch deswegen wichtig, weil eine gute Strukturierung den Ver‐ ständnisprozess fördert, indem sie erlaubt, die Inhalte besser zu gruppieren. 6.3.1.1.2 Breite / Auseinandersetzung Zu diesem Faktor zählen z. B. anschauliche, vielfältige und praxisbezogene Bei‐ spiele, die den Lernstoff in unterschiedlichste Kontexte einbetten. Dies ist im Fremdsprachenunterricht an universitären Sprachenzentren besonders wichtig, da die hier entwickelten (vor allem fremdsprachlichen) Kompetenzen einen direkten Praxisbezug haben (sollten). Das Erarbeitete müsste in der einen oder anderen Form direkt im Alltag anwendbar sein. Diese Forderung gilt nicht nur im Rahmen allgemeinsprachlicher Kurse, sondern ist auch bei fachspezifischen Kursen, wie etwa Business English, zentral, da diese Inhalte direkt im Studium bzw. danach im Arbeitsleben benötigt werden. 6.3.1.1.3 Verarbeitungstiefe Unter der Verarbeitungstiefe versteht Rindermann u. a. die aktive Erarbeitung des Stoffes und die damit einhergehende Erreichung höherer kognitiver Ziele, 6 KDE im Fremdsprachenunterricht 292 die vor allem für ein besseres Verständnis und die praktische Anwendung der Inhalte nötig sind. Dies erfolgt durch einen lösungsorientierten Ansatz, bei wel‐ chem die Studierenden Aufgaben und Probleme selbständig bewältigen. Erneut wird hier, ähnlich wie in der vorherigen Kategorie, auch die praxisorientierte Einbettung in unterschiedliche Kontexte hervorgehoben, aber es ist darunter auch die tatsächliche Tiefe zu verstehen, wie weit man in einen Themenbereich eindringt. 6.3.1.1.4 Lehrkompetenz Lehrkompetenz ist ein sehr umfangreicher Begriff und meint die »allgemeine Fähigkeit zu lehren« (Rindermann 2009: 69). Diese alles und zugleich nichtssa‐ gende Explikation, die im anglo-amerikanischen Raum häufig als teaching effectiveness bezeichnet wird, subsumiert im Prinzip sämtliche Bedingungsfak‐ toren, die der Lehrperson zugeschrieben werden können. Sie beginnt bei der guten Vorbereitung (was meiner Auffassung nach jedoch nicht von den Stu‐ dierenden beurteilt werden kann), zeigt sich darin, dass die Lehrperson auch komplizierte Inhalte verständlich erklären kann und inkludiert sämtliche didaktisch-methodischen Kompetenzen - bis hin zur guten Rhetorik. 6.3.1.1.5 Engagement / Motivierung Das Engagement der Lehrperson für das Fach und das Unterrichten ist ebenso wichtig wie die Fähigkeit, die LernerInnen motivieren zu können. Wenngleich allein extrinsische Motivation bei den Studierenden nur einen bestimmten Bei‐ trag zum Lernerfolg leisten kann, so ist diese besonders bei jenen Themen wichtig, die per se in der Regel keine besonders große Motivation bei den Lern‐ erInnen hervorrufen. Dazu zählt im Fremdsprachenunterricht oft das aktive Er‐ arbeiten von Vokabeln und Grammatik. 6.3.1.1.6 Kooperativität / Klima Wenn die Lehrperson erfolgreich ein angenehmes Lernklima schaffen kann und sich auch kooperativ zeigt, wird dies sehr oft in den Rückmeldungen als beson‐ ders positiv hervorgehoben. Ein gutes und angenehmes Klima ist auch im Fremdsprachenunterricht sehr wichtig, weil viele Studierende Hemmungen haben, vor der Gruppe oder überhaupt in der Fremdsprache zu sprechen. Je angenehmer das Klima ist, desto leichter wird ihnen das Interagieren im Un‐ terricht fallen. Da die Fremdsprachenkurse an den Sprachenzentren meist nicht zu den Pflichtsondern zu den Wahlfächern zählen und die Studierenden oft Prioritäten setzen müssen - wenn sich der Fremdsprachenkurs beispielsweise 6.3 Lehrerfolg und Lernerfolg im komplexen dynamischen FSU 293 mit einer Prüfung etc. überschneidet - ist auch die Kooperation von Seiten der Lehrenden wichtig, hierfür passende Lösungen zu finden. 6.3.1.1.7 Interaktion (Förderung, Leitung) Dieser Aspekt ist vor allem im Fremdsprachenunterricht wesentlich, denn viel‐ fach sind die Gruppen zu groß und nicht alle Studierenden kommen in allen Einheiten ausreichend zu Wort. Gruppenarbeiten, PartnerInnenarbeiten und andere interaktive Lernformen sind nicht nur aus didaktisch-methodischer Sicht wesentlich, sondern auch aus rein pragmatischen Gründen. Eine Sprache wird vor allem durch ihr aktives Verwenden gelernt und davon sollte es im Fremd‐ sprachenunterricht ausreichend Möglichkeiten geben. Eine erfolgreiche Lehr‐ person schafft nicht nur viele derartige Interaktionen, ihr gelingt es auch, schüchterne oder weniger motivierte LernerInnen in diese zu integrieren und zur Interaktion zu animieren bzw. größere Diskussionen zu lenken. 6.3.1.1.8 Betreuung / Feedback Feedback ist nicht nur für die Lehrenden wichtig, sondern ganz besonders auch für die Studierenden. Es gibt unterschiedlichste Formen, wie man als LehrendeR Feedback geben kann - und die Wünsche diesbezüglich variieren von Gruppe zu Gruppe oft stark. Während in anderen Kursen vor allem die Inhalte zählen, ist in Fremdsprachenkursen auch der linguistische Aspekt wichtig, was Korri‐ gieren und Feedbackgeben oft zu einer sehr sensiblen Angelegenheit macht. Ähnlich verhält es sich mit der Betreuung der Studierenden. Nicht nur, dass diese oft über das Unterrichtsgeschehen hinausgeht, auch die Vorstellungen, was gute Betreuung durch die Lehrperson ausmacht, differieren oft stark. 6.3.1.1.9 Wissenschaftliche Fachkompetenz Die wissenschaftliche Kompetenz zählt im universitären Fremdsprachenunter‐ richt auch zu einer wesentlichen Komponente, ist im Kontext der meisten Spra‐ chenkurse jedoch nicht so wichtig wie die sprachliche Kompetenz (vor allem dann, wenn die Lehrperson kein native speaker ist). Wie Rindermann (vgl. 2009: 71) auch festhält, kann die wissenschaftliche Fachkompetenz nicht durch die Studierenden erfasst werden, sondern nur durch KollegInnen. Üblicherweise trifft dies auch auf die fremdsprachliche Kompetenz zu, jedoch kann es im Fremdsprachenunterricht passieren, dass die Studierenden - vor allem im Be‐ reich des Vokabulars - oft sehr konkrete Fragen haben, und wenn die Lehr‐ person diese nicht beantworten kann, ist es denkbar, dass sie dadurch an kom‐ petentem Auftreten einbüßt. 6 KDE im Fremdsprachenunterricht 294 6.3.3 LernerInnen als komplexe dynamische Systeme Ebenso wie Lehrende sind auch LernerInnen gemäß der Theorie der komplexen dynamischen Systeme offene und lebende Systeme, die von unterschiedlichsten und vielfältigen Faktoren beeinflusst werden. Die Elemente, die für das Unter‐ richtsgeschehen als besonders relevant gelten, sind an dieser Stelle jene, die von Seiten der LernerInnen auf den Unterrichtsablauf und somit auf den Lehrbzw. Lernerfolg einwirken. 6.3.3.1 Einflussfaktoren von Studierendenseite Rindermann (vgl. 2009: 71ff) grenzt in seinem Modell die Faktoren, die von Studierendenseite aus auf den Lehr-/ Lernerfolg einwirken, auf acht ein, die auf den folgenden Seiten inhaltlich wiedergegeben und durch Aspekte aus dem Fremdsprachenunterricht ergänzt werden: 6.3.3.1.1 Vorwissen Das Vorwissen stellt insofern einen wichtigen Bedingungsfaktor dar, als es, wenn bei den LernerInnen für einen bestimmten Kurs zu stark ausgebildet, für diese im Unterricht u. U. Langeweile nach sich ziehen kann und, wenn zu gering ausgebildet, die Betreffenden im Kurs überfordert werden. Beides kann dazu führen, dass die Studierenden den Kurs abbrechen. Diese Problematik zeigt sich in universitären Fremdsprachenkursen leider sehr häufig, vor allem dann, wenn es keine Einstufungstests gibt, da die Gruppen oftmals sehr heterogen sind und es dadurch für die Lehrpersonen besonders schwierig wird, auf diese Niveau‐ differenzen einzugehen, aber gleichzeitig auch die für die bestimmte Niveau‐ stufe nötigen Kursziele zu verfolgen. Ebenso wichtig ist es, an das Vorwissen anzuknüpfen und dies im Unterricht zu nützen. 6.3.3.1.2 Fähigkeiten Zu den Fähigkeiten der LernerInnen gehören zum einen all jene kognitiven Kompetenzen, die die Studierenden benötigen, damit Lernen gelingen kann. Hierzu zählen neben einer bestimmten Grundintelligenz auch Aufmerksamkeit bzw. die Fähigkeit zu denken und sich Dinge zu merken. Des Weiteren fallen in diesen Bereich ebenso nichtkognitive Fähigkeiten, wie Kommunikationskom‐ petenz, Organisationsgeschick, Frustrationstoleranz etc. All diese Fähigkeiten sind auch beim Erlernen einer Sprache fundamental. 6.3.3.1.3 Vorinteresse Vorinteresse bzw. Interesse an den Themen des Kurses zählen zu den wichtigsten Bedingungen von Seiten der Studierenden, denn sie sind ein wichtiger Teil der 6.3 Lehrerfolg und Lernerfolg im komplexen dynamischen FSU 295 intrinsischen Motivation, die einen Großteil des Lernerfolgs bewirkt. Je besser die Vorinteressen der Studierenden bereits in die Unterrichtsplanung einbe‐ zogen werden, desto größer wird auch das Interesse am Kurs ausfallen und desto motivierter werden die LernerInnen sein. 6.3.3.1.4 Fleiß / Arbeitshaltung / Arbeitsbelastung Zu diesem Bereich zählt Rindermann die Vor- und Nachbereitung einer Veran‐ staltung außerhalb der Kurseinheiten, den Fleiß, die Lernzeit, die die Studier‐ enden in das Fach investieren. Mag diese Komponente in vielen Fächern sehr wichtig sein, so ist sie im Fremdsprachenunterricht geradezu essenziell, vor allem im Kontext der Fremdsprachenkurse an universitären Sprachenzentren, da während des Kurses Themen oft nur gestreift werden können und ein nicht unerheblicher Anteil des Lernens außerhalb der Einheiten stattfindet. Erfolgen kann dies in Lesearbeit, die als Vorbereitung für kommende Einheiten nötig ist, in Form von schriftlichen Arbeiten, die die Lehrperson korrigiert, oder als Wort‐ schatzarbeit etc. Diese erachte ich auch insofern als wichtige Komponente, als sie u. U. auch jenen LernerInnen das positive Absolvieren des Kurses ermöglicht, die zu Beginn der Veranstaltung weniger gute Voraussetzungen in Form von Vorwissen etc. hatten. 6.3.3.1.5 Beteiligung Die Beteiligung ist ganz besonders in Verbindung mit dem shift from teaching to learning wesentlich. Es geht nicht nur mehr um eine Beteiligung an einem lehrendenzentrierten Unterricht, sondern darum, dass die Studierenden in einem Großteil dieses Prozesses die HauptaktantInnen sind. Erfahrungen aus dem eigenen Unterricht zeigen, dass dieses neue Rollenbild bzw. diese zentrale Funktion, die die Studierenden im Unterricht einnehmen sollen, bei vielen noch nicht oder nur gering ausgebildet sind. Vielfach erwarten sie, dass die Lehrperson allein die Initiative ergreift und ihnen genau mitteilt, wann sie was, wie und in welchem Umfang zu machen haben. Dies kann viele Ursachen haben, beispiels‐ weise veraltete Unterrichtsmethoden aus der Schulzeit oder aus anderen Ver‐ anstaltungen. 6.3.3.1.6 Referate Referate stellen in vielen universitären Lehrveranstaltungen ein wichtiges In‐ strument zur Erarbeitung des Stoffes dar. In Sprachlehrveranstaltungen ver‐ größert sich ihr Wert erneut, weil nicht nur auf den Inhalt, sondern auch auf fremdsprachliche Aspekte wie etwa Wortwahl und Ausdruck zum speziellen Thema geachtet wird bzw. auf die Herstellung eines direkten Praxisbezuges. 6 KDE im Fremdsprachenunterricht 296 Wollen Studierende später in Firmen oder in der Wissenschaft tätig sein / bleiben, dann haben sie auch in diesem Kontext damit zu rechnen, Prä‐ sentationen in der Fremdsprache halten zu müssen. Sie erwerben dadurch zu‐ sätzliche Kompetenzen wie beispielsweise die Fähigkeit, sich in ein bestimmtes Themengebiet einzuarbeiten und das für sie Relevante herauszufiltern, ebenso Präsentationskompetenz und Teamkompetenz, wenn das Referat in Klein‐ gruppen gehalten wird. Mit Referaten stehen auch immer Feedbacks von Seiten der Lehrperson in Verbindung. 6.3.3.1.7 Störungen Störungen können im Unterricht auf vielfältige Weise zutage treten und auf Unterschiedliches zurückzuführen sein. Manchmal sind sie abhängig von Rah‐ menbedingungen (Studierende kommen zu spät oder müssen früher gehen, weil sich der Kurs mit anderen Kursen überschneidet), manchmal - z. B. in Form von Gesprächen zwischen Studierenden - können sie auf Langeweile oder aber auch auf Verständnisschwierigkeiten hinweisen. 6.3.3.1.8 Fehlzeiten Wenn Studierende häufig fehlen, kann dies ebenfalls unterschiedlichste Gründe haben, die von suboptimalen Rahmenbedingungen, über schlechten Unterricht bis hin zu Absenzen wegen Krankheit etc. reichen. Im Fremdsprachenunterricht sollten diese weitgehend reduziert werden, denn ein besonders wichtiger Aspekt dieses Unterrichts ist, dass er die Möglichkeit schafft, mit anderen in der Fremd‐ sprache zu kommunizieren. Je öfter Studierende dazu im Kursgeschehen die Möglichkeit haben, desto besser wird sich dies auf viele Aspekte der fremd‐ sprachlichen Kompetenzen auswirken. Das verdeutlicht einen zentralen Unter‐ schied des Fremdsprachenunterrichts im Vergleich zu Vorlesungen. 6.3.4 Rahmenbedingungen als komplexe dynamische Systeme Ähnlich wie Lehrende und Studierende sind auch die Rahmenbedingungen komplexe dynamische Systeme, die mit den anderen Systemen und ihrer Um‐ welt in Interaktion stehen und somit auf den Lehrbzw. Lernerfolg einwirken. 6.3.4.1 Einflussfaktoren durch Rahmenbedingungen Rindermann (vgl. 2009: 74f) grenzt in seinem Modell die Faktoren, die sich auf‐ grund von Rahmenbedingungen auf den Lehr-/ Lernerfolg auswirken, auf sieben Punkte ein, diese werden auf den folgenden Seiten inhaltlich kurz wiederge‐ geben und durch Aspekte aus dem Fremdsprachenunterricht erweitert. 6.3 Lehrerfolg und Lernerfolg im komplexen dynamischen FSU 297 6.3.4.1.1 Thema In diesen Bereich fallen jene Stoffgebiete, die die Studierenden als für sie und im Rahmen des Kurses relevant und interessant erachten. Hat man als Lehr‐ person die Möglichkeit auf diese einzugehen, fördert dies die Motiviertheit und Mitarbeit der Studierenden. Im Fremdsprachenunterricht ist das in einem sehr großen Rahmen und oftmals relativ einfach möglich, weil man hier - vor allem wenn es sich um einen allgemeinsprachlichen Kurs handelt - eine relativ breite Palette an Möglichkeiten hat - sei dies in Form von Gruppenarbeiten, Diskus‐ sionen, Referaten, Hausübungen oder anderen Aktivitäten. 6.3.4.1.2 Überschneidungen Überschneidungen mit anderen Lehrveranstaltungen kann es im Kontext des Fremdsprachenunterrichts an universitären Sprachenzentren mitunter häufig geben, da die dort besuchten Kurse oftmals als Wahlpflicht- oder Freifächer gewählt werden und eine (inhaltliche und zeitliche) Abstimmung mit den an‐ deren Instituten kaum möglich ist. Die für den Kurs relevante Frage ist in diesem Zusammenhang, wie man als LehrendeR bzw. als StudierendeR damit umgeht. 6.3.4.1.3 Anforderungen In diesen Abschnitt fallen sämtliche Anforderungen in Bezug auf Stoffschwere, Stoffumfang und Tempo. Diese Größe korreliert laut Rindermann (vgl. 2009: 74) zum einen negativ mit dem selbsteingeschätzen Lernerfolg der Studierenden und mit der Dimension Breite / Auseinandersetzung und zum anderen positiv mit Fleiß. Derselbe Bedingungsfaktor ist auch im Fremdsprachenunterricht wesent‐ lich, denn hier kommen die Unterrichtsziele zum Tragen, die sich in einem op‐ timalen Unterricht einerseits aus den objektiven und andererseits aus den sub‐ jektiven Lernzielen ergeben. Wenn beide im Unterricht vereint werden sollen, dann kann dies höhere Anforderungen bedeuten, also mehr Stoff bei gleicher Zeit. Die Lösung dieser Problematik hängt wiederum von vielen Faktoren ab, allen voran von der Gruppenzusammensetzung, dem Kurstyp und den Kompe‐ tenzen der Lehrperson. 6.3.4.1.4 Besuchszahl Je mehr Studierende sich in einem Sprachkurs befinden, desto schwieriger kann das Unterrichten werden. Oftmals ist ein sinnvolles Lehren / Lernen dann nur mehr über viele interaktive Tätigkeiten in kleineren Gruppen möglich. Sinkende Besuchszahlen können hingegen auch ein Zeichen für schlechte Lehre sein. Bei den Sprachkursen an universitären Sprachenzentren (siehe z. B. treffpunkt spra‐ chen) wird üblicherweise eine Obergrenze bei 24 Studierenden festgelegt. Diese 6 KDE im Fremdsprachenunterricht 298 Zahl steht natürlich nicht selten mit der vorhandenen Raumgröße in Verbindung und kann dementsprechend auch kleiner sein. 6.3.4.1.5 Prüfung Wie Rindermann (vgl. 2009: 75) ausführt, motivieren Prüfungen einerseits zum Lernen, können aber andererseits auch bewirken, dass sich die Studierenden in der Lehrveranstaltung weniger beteiligen, wenn der Prüfungscharakter nicht immanent ist. Fremdsprachenkurse haben in der Regel einen gemischten Prü‐ fungscharakter, der sich aus Anwesenheit, Mitarbeit und Hausübungen etc. zu‐ sammensetzt, und der durch schriftliche und / oder mündliche Klausuren er‐ gänzt wird. In dieser Hinsicht ist für die Studierenden wichtig, dass sie z. B. genau über die Prüfungsmodalitäten Bescheid wissen und welchen Anteil die aktive Mitarbeit an der Gesamtnote hat. Beides fällt auch in den Bereich der Klarheit. 6.3.4.1.6 Besuchsgrund Der Besuchsgrund ist für die Bewertung vieler Kurse wesentlich, wie Rindermann (vgl. 2009: 75) ausführt, weil die Studierenden hier bei ihrer Bewer‐ tung sehr oft eine Unterscheidung treffen, nämlich in Kurse, die sie absolvieren müssen und solche, die sie freiwillig besuchen. Erstere werden oftmals kritischer beurteilt als letztere. Im Hinblick auf die Gründe, warum Studierende Fremd‐ sprachenkurse an universitären Sprachenzentren besuchen, ist festzustellen, dass es zwei Typen gibt: Jene, die den Kurs aus reinem Interesse besuchen und oftmals auch nicht an einem Zeugnis interessiert sind und jene, die ein Zeugnis benötigen, sei dies, um in Folge einen anderen eventuell weiterführenden Kurs besuchen zu können, oder weil sie die ECTS -Punkte für das Absolvieren ihres Studiums benötigen. Dies bestätigten auch die im Rahmen dieses Buches durch‐ geführten Vorevaluationen. 6.3.4.1.7 Veranstaltungstyp Rindermanns Modell eignet sich nach eigenen Angaben für Vorlesungen und Seminare, nicht jedoch für Laborpraktika oder einübende Veranstaltungen. Fremdsprachenkurse an universitären Sprachenzentren sind vom Typus her als eigene Veranstaltungen einzustufen, da sie üblicherweise interaktiv, aber auch gesteuert sind. Die Studierenden sind im Mittelpunkt des Geschehens und die Lehrenden unterstützen ihr Lernen. Um dies - unter Berücksichtigung der Rah‐ menbedingungen - optimal tun zu können, ist es für sie umso wichtiger, mög‐ lichst viel über die einzelnen Studierenden bzw. Gruppen in Erfahrung zu 6.3 Lehrerfolg und Lernerfolg im komplexen dynamischen FSU 299 bringen und möglichst oft Rücksprache mit ihnen zu halten, wie sich ihr Lern‐ fortschritt gestaltet. 6.3.5 Lehrbzw. Lernerfolg als komplexes dynamisches System Da die für den Lehrbzw. Lernerfolg verantwortlichen Größen komplex und dynamisch sind, liegt nahe, dass auch der Lehrbzw. Lernerfolg komplex und dynamisch ist. Dies zeigt sich beispielsweise dadurch, dass Studierende in man‐ chen Unterrichtseinheiten mehr lernen als in anderen, auch dadurch, dass ge‐ nerell nicht alle LernerInnen den gleichen Lernerfolg haben, dass an manchen Tagen gewisse Rahmenbedingungen einen größeren Einfluss ausüben als an anderen, dass die Lehrperson in bestimmten Gruppen und unterschiedlichen Einheiten ein anderes Lehrverhalten an den Tag legt etc. 6.3.5.1 Zielgröße Lehr-/ Lernerfolg Rindermann (vgl. 2009: 76f) definiert für sein Modell fünf Zielgrößen erfolgrei‐ cher Lehre, deren Inhalt hier wieder kurz besprochen bzw. die durch Aspekte aus dem Fremdsprachenunterricht ergänzt und verdeutlicht werden. 6.3.5.1.1 Interessantheit der Veranstaltungsgestaltung Rindermann (vgl. 2009: 76) sieht die Interessantheit der Veranstaltungsgestal‐ tung als »Effektvariable des Dozentenhandelns und im geringen Maße als die des studentischen Vorinteresses« und zählt dazu die abwechslungsreiche Un‐ terrichtsgestaltung, den Wechsel von Sozialformen und Medien und die Be‐ rücksichtigung der Vorinteressen der Studierenden. Gleichzeitig verweist er auf Untersuchungen, die den Prozesscharakter der Interessantheit hervorheben, weil die allgemeine Veranstaltungsqualität den Lernerfolg und die Einstellungs‐ änderungen positiv beeinflusst. 6.3.5.1.2 Allgemeine Veranstaltungsqualität Die allgemeine Veranstaltungsqualität gibt Auskunft darüber, wie zufrieden die Studierenden mit dem Kurs im Allgemeinen waren. Dies kann sowohl für Leh‐ rende als auch die Institutsleitung interessant sein und wird in vielen Evaluati‐ onsfragebögen bereits verwendet. 6.3.5.1.3 Lerngewinn (quantitativ / qualitativ) Dieser Aspekt ist für die Ermittlung des Lehr-/ Lernerfolgs wahrscheinlich am wichtigsten, denn gute Lehre zeichnet sich unter dem Strich vor allem dadurch aus, dass die einzelnen TeilnehmerInnen nach dem Kurs mehr wissen und die 6 KDE im Fremdsprachenunterricht 300 Sprache besser anwenden können als zuvor. Dabei ist der persönliche Vergleich entscheidend und nicht der interindividuelle mit KollegInnen. Bei Fremdspra‐ chenkursen handelt es sich um vielfältiges Wissen und unterschiedlichste Kom‐ petenzen und man beschränkt sich nicht nur auf linguistische Strukturen oder Wortschatz, sondern inkludiert beispielsweise auch landeskundliches Wissen. Es muss erneut betont werden, dass es sich bei dieser Größe im Rahmen der Lehrveranstaltungsevaluation um eine subjektive Einschätzung der Studier‐ enden handelt. Den tatsächlich und objektiv bestimmbaren Lerngewinn kann man nur ermitteln, indem man die Ergebnisse eines Eingangstests mit jenen eines Abschlusstests vergleicht. Selbst dann kann dieser in einem natürlichen Setting nie zu 100 Prozent festgestellt werden, denn die LernerInnen treten auch außerhalb des Kurses mit der Fremdsprache in Kontakt und erweitern damit ihr Wissen und ihre Kompetenzen selbständig, und es ist daher nicht exakt zu klären, welche Bereiche des neuen Wissens dezidiert im Unterricht und welche außerhalb davon erworben wurden, wie dies bereits expliziert wurde. Nichts‐ destotrotz ist diese Größe entscheidend, denn das subjektive Empfinden, dass man etwas gelernt hat, kann auch als zusätzlicher Motivationsfaktor für das weitere Interesse an der Sprache gesehen werden. 6.3.5.1.4 Einstellungsänderungen Gute Lehre soll zum einen die Neugierde der Studierenden wecken und zum anderen die Motivation steigern, sich mit dem Gegenstand auch außerhalb des Unterrichts zu beschäftigen. Dadurch ändern sich die Einstellungen der Stu‐ dierenden hinsichtlich des Gegenstandes. Wenn der Unterricht das Interesse bei den Studierenden geweckt oder gesteigert hat, werden sie sich aller Voraussicht nach auch nach dem Kurs mit der Sprache befassen, was lebenslanges Lernen nach sich ziehen kann. 6.3.5.1.5 Kompetenzenerwerb Dieser Faktor verweist auf einen, in Prüfungen nachweisbaren Lernerfolg und auf einen Zuwachs bei sämtlichen nichtkognitiven Fähigkeiten und Fertig‐ keiten, wie z. B. soziale Kompetenzen, kulturelle Kompetenzen, Präsentations‐ kompetenzen etc. Vor allem der kulturelle Aspekt ist im Zusammenhang mit dem Fremdsprachenerwerb besonders wichtig, denn das Lernen von Fremd‐ sprachen ist zu einem Großteil auch das Kennenlernen einer neuen und oftmals im Vergleich zur eigenen sehr unterschiedlichen Kultur, wie oben bereits ange‐ führt. 6.3 Lehrerfolg und Lernerfolg im komplexen dynamischen FSU 301 6.3.6 Fazit und Einbindung in die KDE Als besonders positiv hervorzuheben ist bei Rindermanns Modell, dass es auf einem wissenschaftlich fundierten Zugang beruht und er sich bei der Konstruk‐ tion des Modells nicht nur auf verschiedene theoretische Annahmen und Theo‐ rien stützt, sondern zudem praktische Aspekte wie die Befragung der Studier‐ enden und Lehrenden miteinbezieht, und er außerdem eine Vielzahl an Verfahren analysiert bzw. auswertet, die vor der Konzeption seines Modells ein‐ gesetzt wurden. Dabei greift er auf Modelle aus dem deutsch- und englisch‐ sprachigen Raum zurück. Rindermanns Modell ist sehr umfangreich, deckt alle wesentlichen Items zur Bestimmung des Lehrbzw. Lernerfolgs ab und zeigt sich in den von ihm durch‐ geführten Tests objektiv, valide und reliabel. Darüber hinaus überschneiden sich die einzelnen Faktoren in vielen Fällen auch mit jenen, die in den vorangehenden Kapiteln dieser Arbeit als wichtige Erfolgsdeterminanten für Lehrbzw. Lern‐ erfolg herausgearbeitet wurden. Zu bemängeln wäre aber zum einen, dass das Modell - wie alle anderen un‐ tersuchten Modelle - in seiner ursprünglichen Form nicht besser in das Unter‐ richtsgeschehen eingebunden werden kann und nur am Ende des Kurses ein‐ malig zum Einsatz kommt. Dadurch treten für Sprachlehrveranstaltungen viel zu spät Optimierungsvorschläge zu Tage. Zum anderen ist zu kritisieren, dass die Lehrperson eine vergleichsweise dominante Rolle einnimmt. Mag dies viel‐ leicht für Vorlesungen nicht weiter störend sein, so sollte es für den modernen universitären Fremdsprachenunterricht gemäß der in Kapitel 5 ausgeführten Erläuterungen adaptiert werden. Zudem ist auch den Dynamiken, die während des Unterrichtsgeschehens zu beobachten sind, größere Aufmerksamkeit zu schenken. Alle hier genannten Forderungen werden in der KDE umgesetzt. Dies erfolgt derart, dass die jeweiligen Bedingungsfaktoren aus Rindermanns Modell in den einzelnen Teilevaluationen zur Orientierung bei der Itemsgenerierung herangezogen werden und somit mehrfach und dynamisch zum Einsatz kommen, und jene zur Selbstreflexion anregenden, bereits erläuterten Prozesse eine zentrale Rolle in den einzelnen Fragebögen der KDE einnehmen. Dadurch werden auch die für den Lernerfolg metakognitiven Fähigkeiten gestärkt. 6.3.6.1 Dimensionen zur Itemsgenerierung Konkret können die einzelnen Bedingungsfaktoren aus Rindermanns Modell mit untenstehenden Orientierungsfragen, die hier bereits an die Bedürfnisse des universitären Fremdsprachenunterrichts adaptiert wurden, wie folgt in die KDE eingebaut werden: 6 KDE im Fremdsprachenunterricht 302 6.3.6.1.1 Strukturierung / Klarheit • Was macht einen Fremdsprachenkurs, eine Lehrveranstaltung, eine kon‐ krete Übung klar nachvollziehbar und strukturiert? • Wann ist ein Kurs / eine Einheit / eine Übung gut organisiert? 6.3.6.1.2 Breite / Auseinandersetzung (Praxis) • Welche Beispiele im Unterricht regen den Lernfortschritt an? • Wie viele Beispiele sind für das Veranschaulichen eines bestimmten Aspektes nötig? • Wie müssen Beispiele aufgebaut sein, damit sie einen Bezug zur Praxis herstellen? 6.3.6.1.3 Verarbeitungstiefe • Wie können die Studierenden aktiv in das Unterrichtsgeschehen einge‐ baut werden? • Wie detailliert müssen bestimmte Themen für bestimmte Niveaustufen behandelt werden? 6.3.6.1.4 Lehrkompetenz • Inwieweit kann die Lehrperson auf die Belange der Studierenden ein‐ gehen? • Wie kann die Lehrperson dies tun? • Welche Studierendenbelange sollten in welcher Form und in welchem Umfang berücksichtigt werden? • Welche Materialien unterstützen das Lernen besonders gut? 6.3.6.1.5 Engagement / Motivierung • Was motiviert / demotiviert LernerInnen? • Wie kann die Lehrperson die Studierenden im Unterricht motivieren? • Welche Methoden können die Studierenden einsetzen, um sich selbst zu motivieren? • Wie kann die Motivation während des Semesters / Kurses aufrechter‐ halten / wiedergefunden / gesteigert werden? 6.3.6.1.6 Kooperativität / Klima • Was schafft ein gutes Lernklima? 6.3 Lehrerfolg und Lernerfolg im komplexen dynamischen FSU 303 • Wie kann das gute Lernklima aufrechterhalten werden? • Wie kann die Zusammenarbeit zwischen Lehrenden und LernerInnen im Idealfall aussehen? Wie kann sie verbessert werden? • Welcher Umgang motiviert die LernerInnen? 6.3.6.1.7 Interaktion (Förderung / Leitung) • Welche Lernformen sprechen die Studierenden besonders positiv an? • Welche Lernformen begünstigen den Lernerfolg? • Wie kann die Abfolge der einzelnen Lernformen optimiert werden? 6.3.6.1.8 Betreuung / Feedback • Wann fühlen sich LernerInnen gut betreut? • Welche Art des Feedbacks schätzen die LernerInnen? • Welche Aspekte sollte das Feedback beinhalten? 6.3.6.1.9 Wissenschaftliche Fachkompetenz • Wie kann sich die Lehrperson weiterbilden? • Welche wissenschaftlichen Aspekte können / sollten in den Unterricht einfließen und in welchem Umfang? 6.3.6.1.10 Vorwissen • Welches Vorwissen ist bei den LernerInnen aktuell vorhanden? • Wie können sich Studierende mangelhaftes Vorwissen für einen be‐ stimmten Kurs möglichst schnell aneignen? • Wie kann das Vorwissen sinnvoll in den Unterricht eingebaut werden? 6.3.6.1.11 Fähigkeiten • Über welche Fähigkeiten verfügen die LernerInnen? • Wie kann auf diesen Fähigkeiten aufgebaut werden? • Welche weiteren Fähigkeiten benötigen sie für das erfolgreiche Absol‐ vieren des Kurses? • Wie können diese Fähigkeiten innerhalb und außerhalb des Kurses an‐ geeignet werden? 6.3.6.1.12 Vorinteresse • Welche Themenbereiche interessieren die LernerInnen (besonders)? 6 KDE im Fremdsprachenunterricht 304 • Welche Themenbereiche (davon) können in den Unterricht in welchem Umfang integriert werden? • Welche Interessensbereiche decken sich mit Lehrzielen für den Kurs? • Wie können Themenbereiche, die nicht explizit in den Lehrzielen vor‐ handen, aber für die Studierenden interessant sind, in den Kurs integriert werden? 6.3.6.1.13 Fleiß, Arbeitshaltung, Arbeitsbelastung • Wie viel Lernzeit müssen / können / sollen die LernerInnen vor und nach der Kurseinheit aufbringen? • In welchen Bereichen ist in Bezug auf den Kurs mehr an Zeit zu inves‐ tieren? 6.3.6.1.14 Beteiligung • Wie kann der Unterricht aufgebaut werden, damit er möglichst teilneh‐ merInnenorientiert ist? • Was fördert die aktive Beteiligung der LernerInnen? 6.3.6.1.15 Referate • In welchem Ausmaß sind Referate für den Kurs sinnvoll? • Welche Themen sind relevant? • In welcher Form sollten die Referate durchgeführt werden? • Wie sollten das Feedback bzw. die Notengebung bei Referaten sein? 6.3.6.1.16 Störungen • Welche Störungen können in einem bestimmten Kurs vorkommen? • Wie ist mit diesen Störungen umzugehen? • Welche Ursachen haben Störungen und wie können diese behoben werden? 6.3.6.1.17 Fehlzeiten • In welchem Ausmaß dürfen LernerInnen dem Unterricht fernbleiben? • Wie sind Fehlzeiten zu kompensieren? 6.3.6.1.18 Thema • Welche Themen sind für die LernerInnen interessant? 6.3 Lehrerfolg und Lernerfolg im komplexen dynamischen FSU 305 • Welche Themen sind im Sinne der Standards zu berücksichtigen? • In welchem Ausmaß und wie können Themen miteinbezogen werden, die die LernerInnen interessieren, aber nicht direkt Gegenstand des Kurses sind? 6.3.6.1.19 Überschneidungen • Welche inhaltlichen Überschneidungen kann es mit anderen Kursen geben? • Wie ist damit umzugehen? • Gibt es zeitliche Überschneidungen mit anderen Kursen? • Wie können diese gemanagt werden? 6.3.6.1.20 Anforderungen • Wann ist der Stoff zu schwer / leicht für die betreffenden LernerInnen? • Wann ist der Stoff zu (wenig) umfangreich für die Anforderungen des Kurses? • Wie kann die Unterrichtsgeschwindigkeit an die Lerngeschwindigkeit der betreffenden Gruppe angepasst werden? 6.3.6.1.21 Besuchszahl • Welche Lehr-/ Lernmethoden erlaubt die Besuchszahl? • Welche Sitzanordnung zeigt sich in Verbindung mit dem Hörsaal als sinn‐ voll / möglich? 6.3.6.1.22 Prüfung • Welche Art der Prüfungen ist für das Lernsetting zu wählen? • Wie umfangreich sollten die Prüfungen sein? • Welche Aspekte werden abgefragt? • Wie wird benotet? 6.3.6.1.23 Besuchsgrund • Aus welchen Gründen besuchen die LernerInnen den Kurs? • Wie und in welchem Umfang können die einzelnen Gründe berücksich‐ tigt werden? • Stimmen die Gründe mit den Zielen des Kurses überein? 6 KDE im Fremdsprachenunterricht 306 4 Die Dimension Veranstaltungstyp wird nicht berücksichtigt, da diese bereits durch die Universität vorgeben ist. 6.3.6.1.24 Interessantheit • Was macht einen Fremdsprachenkurs interessant? • Wie können die Interessen der LernerInnen (auch bei vielleicht weniger interessanten Aspekten) geweckt / verstärkt werden? 6.3.6.1.25 Allgemeine Veranstaltungsqualität • Wann sind die LernerInnen mit einem Kurs zufrieden? • Wann sind die Lehrenden zufrieden? • Welche Kriterien werden für die Beurteilung der Qualität herangezogen? 6.3.6.1.26 Lerngewinn • Wann ist von einem Lerngewinn zu sprechen? • Ist der Lerngewinn qualitativ und quantitativ relevant? 6.3.6.1.27 Einstellungsänderungen • Wie kann das Interesse der Studierenden im Fremdsprachenunterricht geweckt bzw. forciert werden? • Wie kann Interesse / Motivation auch außerhalb des Unterrichts gestärkt werden? 6.3.6.1.28 Kompetenzenerwerb • Welche Kompetenzen sind für das Absolvieren des Kurses erforder‐ lich / bereits vorhanden / noch zu erwerben? • Wie und in welchem Ausmaß können sie durch welche Methoden ent‐ wickelt werden? Die oben angegebenen Dimensionen 4 aus Rindermanns Modell dienen, zu‐ sammen mit den didaktisch-methodischen Grundfragen, als Orientierungs‐ rahmen bei der Konstruktion der einzelnen Evaluationsteile der KDE . Sie bilden Anhaltspunkte aus der Theorie und werden, da der Ansatz der KDE auch die Praxisorientierung ist, mit den Vorschlägen von Lehrenden an den Fremdspra‐ chenzentren kombiniert, an welchen die KDE eingesetzt werden kann. Im kon‐ kreten Fall dieses Buches handelt es sich um treffpunkt sprachen, dem Fremd‐ sprachenzentrum der Universität Graz, an welchem verschiedene Aspekte der 6.3 Lehrerfolg und Lernerfolg im komplexen dynamischen FSU 307 KDE bereits getestet wurden. Daher stellen die einzelnen Fragen, die in den jeweiligen Evaluationen der KDE zum Einsatz kommen, eine Symbiose aus Theorie und Praxis dar. Wie dies im Detail für die jeweiligen Evaluationen der KDE aussieht, ist von diesen selbst sowie dem Kontext, in welchen sie im Endeffekt eingebettet sind, abhängig und kann an dieser Stelle nicht generell pars pro toto exemplifiziert werden. Diese werden im jeweiligen Folgeband angeführt. 6.4 Beantwortung der Forschungsfragen Zielsetzung des vorliegenden Buches war, den Leser / die Leserin mit dem Themengeflecht Evaluation, Qualität und universitärer Fremdsprachenunterricht vertraut zu machen und auf Basis der behandelten Inhalte ein theoriebasiertes Evaluationsmodell (Komplexe Dynamische Evaluation, KDE ) zu entwerfen, wel‐ ches nicht nur auf den Evaluationsstandards basiert und weitere wesentliche Qualitätsstandards berücksichtigt, sondern auch einen expliziten Beitrag zur Optimierung des universitären Fremdsprachenunterrichts leistet und sich durch Effektivität und Effizienz auszeichnet. Die Annäherung an dieses Modell wurde durch die folgende Hauptfor‐ schungsfrage geleitet: Wie kann ein Evaluationsmodell aussehen, damit es den universitären Fremdsprachenunterricht für die evaluierende LernerInnengruppe wirksam und umfassend verbessert? Aus dieser Frage ergaben sich die folgenden Unterfragen, deren Beantwor‐ tung der Approximation dienlich sein sollten: 1. Was bedeutet Qualität im universitären Fremdsprachenunterricht? 2. Was bedeutet Verbesserung des universitären Fremdsprachenunterrichts? 3. Welche Evaluationsmethoden können zur Optimierung des Fremdspra‐ chenunterrichts beitragen? 4. Was bedeuten wirksam und umfassend in Zusammenhang mit Qualitäts‐ optimierung auf Basis von Lehrveranstaltungsevaluation? 5. Welche Informationen werden im Detail für die Qualitätsverbesserung benötigt? 6. Wann ist der richtige Zeitpunkt, um die benötigten Informationen zu ge‐ nerieren bzw. allfällige Verbesserungsmaßnahmen einzuleiten? 7. Auf welche Weise (wie) müssen die Informationen generiert werden, damit sie zur Qualitätsoptimierung genutzt werden können? 6 KDE im Fremdsprachenunterricht 308 Die Beantwortung der einzelnen Forschungsfragen erfolgte implizit bereits in den Kapiteln 3, 4, 5 und 6, was letztendlich auch zur theoretischen Konstruktion der KDE führte. Der besseren Übersicht wegen sollen die wesentlichen Punkte jedoch an dieser Stelle noch einmal kurz zusammengefasst wiedergegeben werden: Was bedeutet Qualität im universitären Fremdsprachenunterricht? Ausgehend von der Unterfrage, was Verbesserung im Fremdsprachenunterricht konkret bedeutet, wurde in Kapitel 4 zuerst der Qualitätsbegriff aufgerollt, der in direktem Zusammenhang mit Verbesserung steht. Dabei konnte festgestellt werden, dass die Qualität ebenso wenig zu definieren ist wie die Unterrichts‐ qualität und dass es daher auch die Verbesserung nicht gibt. Es können immer nur einzelne Aspekte bzw. Qualitätsdimensionen optimiert werden, die zur Ge‐ samtverbesserung beitragen. Dabei sind stets die jeweiligen Perspektiven zu berücksichtigen, aus welchen heraus Qualität betrachtet wird. In Zusammen‐ hang mit dem universitären Fremdsprachenunterricht zeigte sich, dass Qualität aus den Perspektiven der (1) LernerInnen, der (2) Lehrenden und aus (3) externer Perspektive betrachtet werden muss, und dass man gleichzeitig objektive und subjektive Qualitätskriterien auf den unterschiedlichen Dimensionen zu be‐ rücksichtigen hat. Nur aus der Kombination all dieser Faktoren kann ein mög‐ lichst umfassender Qualitätsbegriff entstehen. In Folge wurde konkludiert, dass guter universitärer Fremdsprachenunter‐ richt (Unterrichtsqualität) auf sorgfältiger Planung (Planungsqualität) basiert und das gelungene Zusammenspiel von erfolgreichem Lehren und Lernen (Pro‐ zessqualität) darstellt. Dies findet in einem optimalen (universitären) Rahmen (Strukturqualität) statt, wird von unterschiedlichsten Faktoren determiniert bzw. positiv beeinflusst (z. B. von Orientierungsqualität) und führt über die Zu‐ friedenheit der LernerInnen (Qualität zweiten Grades) hinaus zum erfolgreichen Erreichen der gesetzten Unterrichtsziele (Ergebnisbzw. Produktqualität), welche durch das Vorhandensein konkreter, standardisierter und überprüfbarer und davor nicht bzw. in geringerem Ausmaß vorhandener (vor allem fremd‐ sprachlicher) Kompetenzen nachweisbar sind (Qualität ersten Grades). Diese Komplexität verdeutlichte einerseits, dass Verbessern im Rahmen des universitären Fremdsprachenunterrichts generell kein leichtes Unterfangen darstellt und andererseits nur mit einem umfassenden Instrument machbar ist, welches in Verbindung mit einem Qualitätsmanagementsystem steht. Als mög‐ liche und in dieser Arbeit verwendete Basismethode wurde Evaluation in Ver‐ bindung mit TQM und KAIZEN vorgestellt. Für jede Verbesserung müssen laut KAIZEN zuerst Probleme detektiert werden, was im Rahmen der KDE durch 6.4 Beantwortung der Forschungsfragen 309 einzelne Teilevaluationen geschieht, die zu unterschiedlichen Zeitpunkten ein‐ gesetzt werden und verschiedene Ziele verfolgen. Da erfolgreiches Lehren / Lernen à la longue zu einem Lehr-/ Lernerfolg in Form eines Kompetenzzuwachses bei den LernerInnen führen soll, wurden in Kapitel 5 jene Faktoren bzw. Variablen erörtert, die aus didaktischer Hinsicht den Lernerfolg determinieren. Diese wurden mit dem multifaktoriellen Modell der Lehrveranstaltungsqualität (vgl. Rindermann 2009) verquickt und in Folge Fragen abgeleitet, die einerseits Informationen für Lehrende hinsichtlich einer Optimierungsmöglichkeit generieren und die andererseits bei den LernerInnen (und Lehrenden) selbstreflexive Prozesse auslösen sollen, da Selbstreflexion und die damit in Verbindung stehende potentielle Bildung eines Selbstkonzeptes als wesentliche Verbesserungsfaktoren festgelegt werden konnten. Wie die Umsetzung der theoretischen Ausführungen in die Praxis erfolgt, wurde durch das in Kapitel 6 vorgestellte Modell der Komplexen Dynamischen Evaluation verdeutlicht. Die Konkretisierung der Teilevaluationen muss für jeden einzelnen Fall unter Einbezug der Praxis gesondert erfolgen. Diese Schritte können aber auch bei der Konstruktion der verbleibenden Elemente als Anhalts‐ punkte gesehen werden. Was bedeutet Verbesserung des universitären Fremdsprachenunterrichts konkret? Verbesserung im universitären Fremdsprachenunterricht kann allgemein als das gezielte und kontinuierliche Berücksichtigen bzw. das planmäßige Verändern unterschiedlicher komplexer, dynamischer, den Lehrbzw. Lernprozess deter‐ minierender Faktoren, Variablen und Prozesse angesehen werden, welches auf eine Weise erfolgt, die zu einer Vergrößerung des Lehrbzw. Lernerfolges führt. Mit der KDE sollen diese Determinanten, wie beispielsweise Lehrziele, Lern‐ ziele, Lernstrategien, Probleme etc. mit Hilfe von Evaluationen (Vorevaluation Studierende, Vorevaluation Rahmenbedingungen, Vorevaluation Lehrende) für eine konkrete Unterrichtskonstellation erfasst werden (Ermittlung des Ist-Wertes). Daran anschließend werden auf diesen empirischen Daten und den auf Reflexion aufbauenden Überlegungen Unterrichtsziele festgelegt und ge‐ zielte Maßnahmen in Form von Lehr-/ Lernmethoden gesetzt, die zu einer posi‐ tiven Veränderung der erfassten Ausgangssituation und im Idealfall zum Errei‐ chen eines festgesetzten Soll-Wertes (Unterrichtsziele) führen. Nach Durchlaufen der jeweiligen Prozesse wird evaluiert (Begleitende Evaluation, Endevaluation), ob die Maßnahmen zur gewünschten Veränderung führten (Ver‐ gleich Ist-Soll-Wert) und wenn nicht, woran dies lag bzw. welche potentiellen Schritte hierfür in Zukunft nötig sind. Verbesserung wird demnach in dieser 6 KDE im Fremdsprachenunterricht 310 Arbeit, gemäß der Complex Dynamic System Theory, als Veränderung in Form einer positiven Entwicklung gehen. Welche Evaluationsmethoden können zur Optimierung des Fremdsprachenunterrichts beitragen? Für einen detaillierten Überblick über die einzelnen Modelle, die zur Optimie‐ rung des universitären Fremdsprachenunterrichts beitragen können, siehe Ab‐ schnitt 3.3.2. Wichtiger als das jeweilige Modell ist jedoch, dass die Methode, die zum Einsatz kommt, bestimmte Anforderungen erfüllt. Diese werden in Ab‐ schnitt 3.3.4 zusammengefasst, weswegen sie an dieser Stelle nicht erneut an‐ geführt sind. Was bedeuten wirksam und umfassend in Zusammenhang mit Qualitätsoptimierung auf Basis von Lehrveranstaltungsevaluation? Wirksam bedeutet effektiv, also auf eine Art und Weise, mit der die gesetzten Ziele erreicht werden, und umfassend bedeutet erschöpfend. Für den Kontext dieser Arbeit heißt das, dass die KDE , welche den Anspruch erhebt, wirksam und umfassend zur Optimierung des Fremdsprachenunterrichts beizutragen, zum einen genau dort ansetzt, wo ein Problem vorhanden ist, aufgrund dessen die gesetzten Ziele (Lehr-/ Lernziele) nicht erreicht werden. Dies erfolgt durch Teilevaluationen, die genau jene Daten erheben, die erstens erforderlich sind, um das Problem festzustellen und zweitens gebraucht werden, um dieses Problem lösen zu können. Umfassend bedeutet, dass dies in einer erschöpfenden, also ausführlichen Weise getan wird und man dabei auf sämtlichen hierfür nöti‐ gen Ebenen ansetzt und allfällige Faktoren und Variablen berücksichtigt. Mit der KDE wird diese Forderung einerseits durch die Grundkomplexität des Programms selbst erfüllt, weil es ermöglicht, den Lehr-/ Lernprozess auf sämtlichen Ebenen und von verschiedenen Blickwinkeln aus zu betrachten, und weil es zudem die Daten auf eine Weise erhebt, die den Lehrenden / Studierenden dabei behilflich ist, Maßnahmen zu setzten, die sich für die jeweilige Situation verbessernd auswirken. Es kann demnach nicht nur das Problem ausfindig ge‐ macht, sondern durch die Art der Fragestellung implizit auch ein Lösungsansatz angeboten werden. Darüber hinaus ermöglicht die KDE aufgrund ihrer Dynamik die Erhebung sämtlicher relevanter Daten zu jedem für die Unterrichtverbesserung zentralen Zeitpunkt im Verlauf des Unterrichtsprozesses. Dies kann, wie aus der Theorie hervorgeht, vor Kursbeginn, während des Kursverlaufs und nach Beendigung des Kurses passieren. Gemäß der CDST berücksichtigt die KDE die jeweilige Aus‐ gangssituation, baut demnach zu jedem Zeitpunkt auf dem jeweils gegebenen 6.4 Beantwortung der Forschungsfragen 311 Ist-Zustand auf und ermöglicht durch die einzelnen Teil-Evaluationen, diesen kontinuierlich mit einem gesetzten Soll-Wert zu vergleichen. Dabei ist der Per‐ spektivenzugang stets mehrdimensional, weil Lehrende und Studierende (in‐ terne) Blicke auf die konkrete Situation werfen können, aber das Programm durch die Selektive Evaluation auch (externen) Betrachtern von außen diese Blicke ermöglicht. Dadurch ist ein umfassender Optimierungsansatz gegeben, der Wirkung zeigt. Welche Informationen werden im Detail für die Qualitätsverbesserung benötigt? Gemäß den theoretischen Ausführungen - vor allem in Hinblick auf den Lern‐ prozess und der Theorie der komplexen Dynamiken - erfordert jede Situation unterschiedliche Daten, weil die Grundkonstellation immer einzigartig ist. Keine LernerInnengruppe hat jemals die absolut gleichen Voraussetzungen oder Ziele, noch wird das Unterrichtssetting jemals wiederholbar sein. Jeder Lerner / jede LernerIn und jede Lehrperson sind von sich aus komplexe dyna‐ mische Systeme, die sich in einem weiteren komplexen dynamischen System, dem Fremdsprachenunterricht, befinden. Es ist daher nicht möglich, die Daten zu ermitteln, die für die Qualitätsverbesserung benötigt werden. Nach Be‐ stimmen des jeweiligen Ausgangszustandes bzw. der jeweiligen Vorbedin‐ gungen müssen die Ziele für einen Kurs, eine Einheit oder eine Übung explizit gesetzt werden. Die Ausgangssituation liefert dabei jene Daten, die nötig sind, damit die richtigen Maßnahmen getroffen werden können, die den LernerInnen ermöglichen, sich in die gesetzte Richtung zu bewegen. Zudem wird definiert, welche Hilfestellungen erforderlich sind, damit dies gelingt. Während dieses Prozesses muss jedoch immer wieder rückgekoppelt werden, damit eventuell nötige Adaptionen folgen können. Das bedeutet, dass, je nachdem, wo mit dem Ermitteln der Daten begonnen wird, unterschiedliche Hilfsmittel zur Verfügung stehen müssen, welche diese Daten generieren. Die theoretischen Ausführungen verdeutlichen, dass zuerst immer feststehen muss, was genau verbessert werden soll, damit das jeweils richtige Instrument eingesetzt werden kann. Bei der Ermittlung der Ausgangssituation sind dies die bereits erwähnten Belange der LernerInnen (subjektive Qualitätskriterien), sowie die zu erreichenden sprachlichen Kompetenzen, die Auskunft über die Ergebnisqualität geben. Ersteres wird über die Vorevaluation Studierende und letzteres über die Vorevaluation Rahmenbedingungen ermittelt. Die dritte Kom‐ ponente, Vorevaluation Lehrende, unterstützt die Vorbereitung des jeweiligen Kurses, indem sie weitere nützliche Informationen in Verbindung mit der Lehr‐ person generiert bzw. eine Beziehung mit von der Lehrperson in der Vergan‐ 6 KDE im Fremdsprachenunterricht 312 genheit abgehaltenen und eventuell ähnlichen Kursen herstellt. Während des Unterrichts ist primäres Augenmerk auf die einzelnen Prozesse und deren Wir‐ kungen zu legen, damit nötige Kurskorrekturen weitgehend ohne Zeitverlust vonstattengehen. Dies erfolgt durch die Begleitende Evaluation. Am Ende einer Übung, Einheit oder des Kurses müssen dann jene Daten (mit der Endevaluation) erhoben werden, mit welchen man feststellen kann, ob die LernerInnen dort angekommen sind, wohin sie kommen wollten (Endevaluation Studierende) und sollten (Endevaluation Lehrende bzw. Überprüfung der Kompetenzen). Wann ist der richtige Zeitpunkt, um die benötigten Informationen zu generieren bzw. allfällige Verbesserungsmaßnahmen einzuleiten? Gemäß der CDST sind komplexe dynamische Systeme einem kontinuierlichen Wandel unterworfen. Die Zeitpunkte zur Informationsgewinnung sind daher vom jeweiligen System, den jeweiligen Subsystemen, der Systemumwelt(en) sowie den einzelnen Prozessen abhängig und müssen für den jeweiligen Kontext explizit definiert werden. Der Ansatz, den die KDE verfolgt, ist eine prozess‐ begleitende Evaluation, was bedeutet, dass neben den Anfangs- und Endwerten auch möglichst viele Zwischenwerte erhoben werden und der Lehrbzw. Lern‐ prozess als Gesamtheit beobachtet und gefördert wird. Dadurch kann verhindert werden, dass die LernerInnen zu weit vom gesetzten Lernweg abkommen und im schlimmsten Fall die gesetzten Ziele nicht erreichen und den Kurs abbrechen, oder sich der gewünschte Lernerfolg nicht einstellt. Da die KDE dynamisch und flexibel im Einsatz ist, können und müssen die Lehrenden (zusammen mit den Studierenden) festlegen, zu welchen Zeitpunkten jeweils Evaluationen durch‐ geführt werden sollten. Der empfohlene Zugang ist durch die Vorevaluation, Begleitende Evaluation und Endevaluation gegeben, die bei Bedarf oder nach Wunsch bzw. Sinnhaftigkeit durch die Selektive Evaluation ergänzt werden kann. Das bedeutet, es gibt nicht einen Zeitpunkt, zu welchem evaluiert werden sollte, sondern mehrere. Auf welche Weise müssen die Informationen generiert werden, damit sie zur Qualitätsoptimierung genutzt werden können? Damit Verbesserungen möglich sind, müssen die für die Verbesserungsprozesse nötigen Informationen zum richtigen Zeitpunkt auf eine Weise erhoben werden, die den AktantInnen ermöglicht, auf Basis dieser Daten Aktionen zur Optimie‐ rung folgen zu lassen. Je nachdem, was genau mit der Evaluation intendiert wurde, sind die Daten und auch die Art und Weise, wie diese erhoben werden, unterschiedlich. Die KDE bietet eine breite Palette an verschiedenen Methoden an. So werden beispielsweise Daten, die bei den LernerInnen selbstreflexive 6.4 Beantwortung der Forschungsfragen 313 Prozesse auslösen sollen und dadurch beispielsweise zu einer Verbesserung ihres LernerInnenselbstbildes beitragen, überwiegend durch offene Fragen er‐ hoben. Die Ergebnisse der Vorevaluation Studierende bestätigen, dass diese Fragen bei den LernerInnen die gewünschten Effekte auslösten. Soll die Lehr‐ person auf ein vorhandenes Problem hingewiesen werden, wäre dafür das An‐ kreuzen eines bestimmten Wertes auf einer Skala mit geschlossenen Fragen ausreichend. Müssten hingegen Lösungsvorschläge erhoben werden, ist erneut offenen Fragen der Vorrang zu geben. Daraus resultiert, dass die Art der Fragestellung darüber entscheidet, wie die Daten erhoben werden sollen. In der KDE können sämtliche Informationen über Online-Fragebögen generiert und computergesteuert ausgewertet werden, was bedeutet, dass ein hoher Arbeitsaufwand für die Lehrenden bei der Auswertung weitgehend ausgeschlossen wird, da diese durch das Programm selbst erfolgt. Es kann somit ein vernünftiges Maximum an Daten generieren und den Aus‐ wertungsaufwand minimal halten, was es zu einem effizienten Hilfsmittel macht. Natürlich ist es auch möglich, die einzelnen Fragebögen mit Papier und Stift auszufüllen und manuell auszuwerten, wovon aber abzuraten ist, weil dies gegen das Effizienzkriterium verstößt. Denkbar wäre auch eine Mischform. Um nun wieder zur ursprünglichen Hauptfrage dieses Buches zurückzu‐ kommen, wie ein Evaluationsmodell aussehen kann, damit es den universitären Fremdsprachenunterricht für die evaluierende LernerInnengruppe wirksam und umfassend verbessert, kann aus dem bisher Gesagten resümiert werden, dass es hierzu grundsätzlich verschiedenste Möglichkeiten gibt. Der Ansatz, den die KDE verfolgt, ist ein dynamischer, der ermöglicht, die unterschiedlichsten Kom‐ plexitäten beim Lernen und Lehren von Fremdsprachen und auch beim Evaluie‐ ren zu berücksichtigen, indem das Evaluationsprogramm aus den drei Haupt‐ bestandteilen Vorevaluation, Begleitende Evaluation und Endevaluation besteht, welche bei Bedarf durch die Selektive Evaluation ergänzt werden können. Die einzelnen Teilmodelle sind ihrerseits vom Aufbau her wiederum komplex, er‐ möglichen nicht nur das gezielte Erfassen sowie das kontinuierliche Berück‐ sichtigen der, den Lehrbzw. Lernprozess determinierenden Faktoren, Variablen und Prozesse, sondern auch das planmäßige Durchführen und Beleuchten von nötigen Veränderungen, die infolge zu einer Vergrößerung des Lehrbzw. Lern‐ erfolges führen und empirisch belegbar sind. 6 KDE im Fremdsprachenunterricht 314 7 Resümee und Ausblick suchen wissen ich was suchen ich nicht wissen was suchen ich nicht wissen wie wissen was suchen ich suchen wie wissen was suchen ich wissen was suchen ich suchen wie wissen was suchen ich wissen ich suchen wie wissen was suchen ich was wissen (Ernst Jandl) Die Hauptthemenbereiche dieser Arbeit befassen sich mit den Begriffen Quali‐ tät, Evaluation und ihrer Verbindung zum universitären Fremdsprachenunter‐ richt. Ziel war, die drei Gebiete derart miteinander zu verknüpfen, dass daraus ein Evaluationsinstrument entstand, welches in umfassender Weise dazu bei‐ tragen kann, die Qualität(en) im Unterricht für jene LernerInnengruppen und ihre Lehrenden wirksam zu verbessern, die das besagte Instrument einsetzen. 7.1 Resümee Vertieft man sich in die Literatur, in welcher die drei oben genannten Haupt‐ themenbereiche behandelt werden, kann man zum einen schnell feststellen, dass das Licht am Ende des Tunnels aufgrund der Fülle, der Komplexität, aber auch der oftmals inflationären Verwendung - ganz besonders der ersten beiden Termini - nicht in Sicht ist, und zum anderen gewinnt man den Eindruck, dass diese Themen unter dem Motto der Lehrveranstaltungsevaluation in den letzten 40 Jahren so intensiv wie fast kein zweiter Bereich behandelt wurden. Der Ter‐ minus wurde nicht nur für viele Lehrende und WissenschaftlerInnen, sondern ganz besonders auch für viele Studierende im Laufe der Jahre zu einem Reizwort, nicht nur, weil vielfach zu Tode evaluiert wurde (und nach wie vor wird), sondern auch, weil die letztendlich intendierte Wirksamkeit, die seit Beginn der Lehr‐ veranstaltungskritik durch Studierende heftig diskutiert wird, bei vielen Instru‐ menten auch aktuell nicht immer nachgewiesen werden kann. Dies ist oftmals auf die den Evaluationen zugrundeliegenden - und vielfach nicht oder nur mäßig vorhandenen - Konzepte zurückzuführen und steht auch mit der Tatsache in Verbindung, dass das Follow-up, welches an die Evalua‐ tionen anschließen soll(te), oftmals überhaupt nicht erfolgt bzw. nicht schlüssig nachvollziehbar ist und bis dato auch kaum systematisch untersucht wurde. Die zwei Hauptprobleme, die meiner Ansicht nach mit vielen aktuellen Ansätzen zur Qualitätsoptimierung auf Basis von Evaluation eruiert werden können, sind zum einen die Annahme, dass sich durch die Evaluation allein bereits eine Qua‐ litätsverbesserung einstellen würde, was jedoch nicht der Fall ist. Evaluation generiert und bewertet Informationen, ist aber nicht für Optimierung verant‐ wortlich, was in den Bereich des Qualitätsmanagements fällt. Die eigentliche Arbeit der Qualitätsverbesserung beginnt somit nach der Evaluation und muss genauso systematisch durchgeführt werden wie die Evaluation selbst, was nicht immer der Fall ist. Ein weiterer und vielleicht noch wichtigerer Aspekt ist, dass sich die üblichen Evaluationsmodelle, wie sie auch an den untersuchten Zentren und an anderen Instituten vielfach zum Einsatz kamen / kommen, so etabliert haben, darunter auch die mit ihnen in Verbindung stehende Methode der einmaligen summa‐ tiven Evaluation am Ende eines Kurses, dass neue Zugänge vielfach nicht vor‐ handen sind oder nicht zum Einsatz kommen. Es ist zwar zu beobachten, dass in regelmäßigen Abständen an vielen Universitäten und Instituten neue Evalua‐ tionsmodelle kreiert bzw. eingesetzt werden, diese den vorangehenden jedoch sehr ähnlich sind und, wie es scheint, man nicht wagt, außerhalb der etablierten Box zu denken. Vielfach wird dabei ein altes Medikament unter neuem Namen verkauft, das jedoch die gleiche Wirkung hat wie das Vorgängermodell. Das bisher Gesagte trifft auf Lehrveranstaltungsevaluation im Allgemeinen, aber ganz besonders auch auf den Bereich des universitären Fremdsprachen‐ unterrichts zu, in welchem Evaluation meiner Erfahrung nach noch erhebliches Potential für Verbesserung hat, was die Begründung dafür ist, warum ein so intensiv untersuchtes Thema erneut aufgerollt werden kann und muss. Für den Kontext dieses Buches wurden die Instrumente und Methoden der Lehrver‐ anstaltungsevaluation an den fünf österreichischen Fremdsprachenzentren des Verbandes der universitäreren Sprachenzentren und -institutionen untersucht und es wurde festgestellt, dass Lehrveranstaltungsevaluation, sollen damit wirksame Optimierungen in Verbindung stehen, unter anderen Gesichtspunkten als bisher zu betrachten ist. 7 Resümee und Ausblick 316 Lehrveranstaltungsevaluation sollte nicht nur am Ende des Kurses in Form einer summativen Endevaluation durchgeführt, sondern als fixer Bestandteil des Unterrichtsgeschehens betrachtet werden und Lehrende und Studierende wäh‐ rend des gesamten Lehr-/ Lernprozesses begleiten. Ähnliche Überlegungen sind nicht völlig neu, wurden jedoch überraschenderweise, zumindest für den uni‐ versitären Fremdsprachenunterricht, wie er an Sprachenzentren stattfindet, bis dato nicht in Betracht gezogen, bzw. kam bei den untersuchten Institu‐ ten / Zentren zum Untersuchungszeitpunkt kein Instrument zum Einsatz, wel‐ ches die hierfür nötigen Voraussetzungen in einem sinnvollen Rahmen erfüllen würde. Evaluation muss, wenn sie Wirkung zeigen soll, neu gedacht werden. Sie sollte, wie ausgeführt, bereits vor Kursbeginn ansetzen und sowohl die Rah‐ menbedingungen als auch die Studierenden analysieren, damit die Lehrperson die genauen Voraussetzungen für ihren Kurs kennt, die nicht nur im Rahmen des Qualitätsmanagements, sondern auch gemäß der Complex Dynamic System Theory einen erheblichen Einfluss auf die Gestaltung des weiteren Kursverlaufes haben. Darüber hinaus sollte mit Evaluation der Lehr- und Lernprozess konti‐ nuierlich beleuchtet werden können, denn Lehren und Lernen finden in einem komplexen dynamischen System statt, welches sich ständig verändern kann, nicht zuletzt, weil auch die am Unterrichtsgeschehen Beteiligten, die Lehrenden und Studierenden, aufgrund ihrer Komplexität und Dynamik diesem Wandel unterliegen. Während man zu Beginn des Kurses auf Basis der aus der Vorevaluation gewonnen Daten die Richtung und die Methoden festlegt und anschließend durch die Begleitende Evaluation die einzelnen Wegabschnitte sowie Prozesse, die zu diesen Zielen führen sollen, beobachtet und evaluiert, setzt man auf Basis der aus den Evaluationen gewonnenen Daten gezielt Maßnahmen, um auf dem Weg zu bleiben bzw. wieder dorthin zurückzukommen oder gezielt davon ab‐ zuweichen. Am Ende des Kurses bewertet man mit der Endevaluation, ob und wie gut man die initial festgelegten Ziele erreicht bzw. eventuell nötige Verän‐ derungen umgesetzt hat. Diese Herangehensweise kann als holistischer Zugang gewertet werden und wird durch die in diesem Buch konzipierte Komplexe Dynamische Evaluation ( KDE ) erreicht. Gleichzeitig sollte das Potential, welches mit Evaluationen in Verbindung stehen kann, stärker als bisher ausgeschöpft werden. Die übliche Bewertung am Ende des Kurses ist nur ein Aspekt von vielen, der mit Evaluation verfolgt werden kann. So zielt die KDE beispielsweise auch darauf ab, die LernerInnen und Lehrpersonen in engeren Kontakt miteinander zu bringen, indem sie als Schnittstelle zwischen den beiden HauptaktantInnen fungiert. Sie kann dazu 7.1 Resümee 317 beitragen, die Kommunikation zu erleichtern und einen Perspektivenwechsel zu ermöglichen, sodass Lehren und Lernen zu einer gemeinsamen Angelegen‐ heit werden und die LernerInnen stärker in das Unterrichtsgeschehen, dessen Konzeption und Optimierung miteingebunden sind. Dies schafft eine Verbes‐ serungskultur und trägt auch dazu bei, dass durch die Evaluation selbstreflexive Prozesse ausgelöst werden, die zur Bildung und / oder Stärkung des Lehrenden bzw. LernerInnen-Selbstbildes führen und auch auf diese Weise zur Optimierung des Unterrichts beitragen. Damit auch eine Evaluationskultur geschaffen werden kann, muss Evaluation effektiv und effizient sein, was die KDE dadurch gewährleistet, dass alle der einzelnen Evaluationen über Online-Fragebögen durchgeführt werden und deren Auswertungen maschinell erfolgen können. Dadurch generiert man ein relevantes Maximum an Informationen, das für die Lehrenden keinen erhebli‐ chen Auswertungsaufwand bedeutet. Durch den Einsatz dieser neuesten Technologien, die in der KDE auch durch eine app für Mobiltelefone ergänzt wird, gehören unzählige Papierfragebögen, die nicht selten als Karteileichen enden, der Vergangenheit an. Natürlich muss an dieser Stelle erneut darauf hin‐ gewiesen werden, dass keine Optimierung ohne Ressourcenverbrauch möglich ist und alle am Unterrichtsgeschehen Beteiligten müssen sich darüber im Klaren sein, dass, wenn eine echte und nachweisbare Verbesserung einer suboptimalen Situation angestrebt wird, dies mit einem gewissen Aufwand verbunden ist. In diesem ersten Band zur Komplexen Dynamischen Evaluation wurden die theoretischen Grundlagen aufbereitet, die diesen Evaluationsansatz definieren. Nachdem die einzelnen Themenbereiche Evaluation, Qualität und Fremdspra‐ chenunterricht sinnvoll miteinander verknüpft wurden, wurde die theoretische Konzeption der KDE skizziert und die einzelnen Bestandteile dieses Programms (Vorevaluation, Begleitende Evaluation, Endevaluation, Selektive Evaluation) vor‐ gestellt, sowie deren Einsatz expliziert. Diese theoretischen Ausführungen richten sich vor allem an Fremdsprachenlehrende, die einen neuen Ansatz der Qualitätsoptimierung in ihrem Unterricht testen oder sich mit den Grundlagen der einzelnen Themenbereiche vertraut machen möchten, kann jedoch auch für ForscherInnen in den Bereichen der Evaluation und des Qualitätsmanagements interessant sein. Wichtig ist an dieser Stelle festzuhalten, dass dieser Ansatz keinen Anspruch auf Vollständigkeit erhebt, denn wie alles, so ist gerade auch die KDE einem kontinuierlichen Wandel unterworfen; vielmehr ist die Intention dieses Bei‐ trags, neue Wege beim Evaluieren aufzuzeigen und den Leser / die Leserin auf Basis der hier aufbereiteten Theorie zum Reflektieren anzuregen, damit er / sie jene Aspekte aus der KDE nutzen kann, die für den eigenen Unterricht hilfreich 7 Resümee und Ausblick 318 sind und diese, wenn nötig, so zu adaptieren versteht, dass sie sich für das je‐ weilige Lernsetting optimal eignen. Besonders beim Evaluieren und beim Ver‐ bessern auf Basis der mit einer Evaluation generierten Daten gilt folgendes Zitat von Goethe (1829: 259): „Es ist nicht genug, zu wissen, man muß auch anwenden; es ist nicht genug, zu wollen, man muß auch tun.“ 7.2 Ausblick In diesem ersten Band wurden, wie bereits erwähnt, die theoretischen Grund‐ lagen geschaffen, die bei allen am Unterrichtsgeschehen Beteiligten ein neues Verständnis von Evaluation generieren sollen. Dies ist nur ein erster von vielen weiteren Schritten. Das konzipierte Modell ist natürlich nicht zuletzt auch ein komplexes dynamisches System und somit offen für Veränderungen und Opti‐ mierungen, die auch aus Vorschlägen des einen oder der anderen Lesenden stammen können und gerne entgegengenommen werden. Als nächster Schritt sind die einzelnen Evaluationsteile der KDE praktisch zu entwickeln und zu testen. Darüber hinaus wäre es sinnvoll, die KDE als Meta-Evaluationstool nach dessen Fertigstellung nicht nur auf seine Funktio‐ nalität und Gesamtwirkung hin zu überprüfen, sondern auch dessen optimalen Einsatz im universitären Fremdsprachenunterricht zu analysieren und Modifi‐ kationen zur Effizienzsteigerung durchzuführen. Das bedeutet konkret, fol‐ gende Projekte stehen noch an: 1. Konzeption und Test der Vorevaluation, 2. Konzeption und Test der Begleitenden Evaluation, 3. Konzeption und Test der Endevaluation, 4. Konzeption und Test der Selektiven Evaluation, 5. Schaffen einer Plattform i.e.S, die die Interaktion dieser Teilevaluationen ermöglicht, 6. Test der KDE als übergeordnetes Evaluationsinstrument. Wenn die einzelnen Teile zu einem zukünftigen Zeitpunkt zum sogenannten großen Ganzen zusammengefügt sind und die KDE als übergeordnetes Evalua‐ tionsinstrument funktionsfähig ist, beginnt die eigentliche Arbeit, die mit diesem Beitrag eingeleitet wurde: die Optimierung des universitären Fremdspra‐ chenunterrichts und die Förderung von reflektiertem Lernen und Lehren mit Hilfe der KDE . Hierbei stehen dann einerseits die didaktisch-methodischen Aspekte im Vor‐ dergrund, wie die durch die KDE erhobenen Informationen in den jeweiligen 7.2 Ausblick 319 Settings des Fremdsprachenunterrichts zu nutzen sind, damit auf Basis dieser der Unterricht auf eine Weise optimiert werden kann, die es ermöglicht, dass die KDE nicht nur dazu beiträgt, die subjektiven Qualitätskriterien zu verbes‐ sern, sondern der Einsatz dieses Instruments auch die objektiv überprüfbaren Outcomes vergrößert, was bislang eingesetzte summative Lehrveranstaltungs‐ evaluationen für die evaluierende Gruppe nicht können. Zum anderen ist auch zu untersuchen, inwieweit die KDE dazu beitragen kann, den Grad an Reflektiertheit bei Lehrenden und Lernenden zu erhöhen. Wenn es gelingt, bei den AktantInnen durch das Programm eine Verbesserungs‐ kultur entstehen zu lassen, dann kann die KDE auch als Hilfsmittel zur Förde‐ rung von Lern- und Lehrkompetenzen gesehen werden und kann vor allem auch im Bereich der Aus- und Fortbildung von Lehrenden zum Einsatz kommen, einem Bereich, der besonders im Kontext des universitären Fremdsprachenun‐ terrichts noch viel Verbesserungspotential in sich birgt - oder um mit den Worten von Ernst Ferstl zu schließen: Am Ende wird alles gut. Leider befinden wir uns erst am Anfang vom Ende. ∞ 7 Resümee und Ausblick 320 8 Literaturverzeichnis Ahrens, Rüdiger (2005): Der Nutzen von Bildungsstandards und Lernstandserhebungen im Fremdsprachenunterricht. In: Karl-Richard Bausch, Eva Burwitz-Melzer, Frank G. Königs und Hans-Jürgen Krumm (Hg.): Bildungsstandards für den Fremd‐ sprachenunterricht auf dem Prüfstand. Arbeitspapiere der 25. Frühjahrskonferenz zur Erforschung des Fremdsprachenunterrichts. Tübingen: Narr (Gießener Beiträge zur Fremdsprachendidaktik), S. 9-16. Alphei, Jörn (2006): Vorwort. Qualitätsentwicklung an Hochschulen - Erfahrungen und Lehren aus 10 Jahren Evaluation. In: HRK - Hochschulrektorenkonferenz (Hg.): Qua‐ litätsentwicklung an Hochschulen. Erfahrungen und Lehren aus 10 Jahren Evaluation. Dokumentation zur gleichnamigen Veranstaltung des Projekts Qualitätssicherung der HRK am 3. und 4. November 2005 im Bonner Wissenschaftszentrum (Beiträge zur Hochschulpolitik, 8), S. 7-9. Alphei, Jörn; Michalk, Barbara: (2006): Standards und Leitlinien für die Qualitätssiche‐ rung im Europäischen Hochschulraum. Bonn: HRK (Beiträge zur Hochschulpolitik, 2006,9). Anderson, Neil J. (2008): Metacognition and good language learners. In: Carol Griffiths (Hg.): Lessons from good language learners. Cambridge, New York: Cambridge Uni‐ versity Press, S. 99-109. AQ (2014): Gutachten. Verfahren zur Akkreditierung des Masterstudiums »Entrepre‐ neurship & Innovation« der Privatuniversität der Kreativwirtschaft (New Design University), St. Pölten. Gutachten Version vom 4. Juni 2014. Online verfügbar unter https: / / www.aq.ac.at/ de/ akkreditierte-hochschulen-studien/ dokumente-akkreditierte-hochschulen-studien/ NDU_MA_Entrepreneurship_Gutachten.pdf, zuletzt geprüft am 22. 04. 2017. AQ (2013): Richtlinie für ein Audit des hochschulinternen Qualitätsmanagementsystems. Beschluss des [SIC] Board der AQ Austria vom 14. Juni 2013. Online verfügbar unter: https: / / www.aq.ac.at/ de/ audit/ dokumente-audit-verfahren/ Richtlinie-Audit_2013- 06.pdf, zuletzt überprüft am 22. 04. 2017 AQA (2012): Tätigkeitsbericht 2011. Wien, 26. 06. 2012. Aristoteles (1876): Kategorien oder Lehre von den Grundbegriffen. Leipzig: Erich Koschny (Philosophische Bibliothek, 70). Online verfügbar unter http: / / www.zeno.org/ Philosophie/ M/ Aristoteles/ Organon/ Kategorien+oder+Lehre+von+den +Grundbegriffen, zuletzt geprüft am 07. 03. 2017. Aristotles; Rath, Ingo W. (1998): Die Kategorien: Griechisch / deutsch. Stuttgart: Reclam. Balzer, Lars (2005): Wie werden Evaluationsprojekte erfolgreich? Ein integrierender the‐ oretischer Ansatz und eine empirische Studie zum Evaluationsprozess. Landau: Verl. Empirische Pädagogik. Bauer, Karl-Oswald; Bohn, Andreas; Kemna, Pierre; Logemann, Niels (2010): Pädagogi‐ sche Qualität messen: Ein Handbuch. Münster, New York, NY, München, Berlin: Waxmann. Bausch, Karl-Richard; Christ, Herbert; Krumm, Hans-Jürgen (2007): Fremdsprachendi‐ daktik und Sprachlehrforschung. In: Karl-Richard Bausch, Herbert Christ und Hans-Jürgen Krumm (Hg.): Handbuch Fremdsprachenunterricht. 5. Aufl. Tübingen & Basel: Francke Verlag, S. 1-8. Bell, Amani; Mladenovic, Rosina (2008): The benefits of peer observation of teaching for tutor development. In: Higher Education 55, S. 735-752. Berendt, Brigitte (2006) (2002laufend): »Gut geplant ist halb gewonnen …«. Teilneh‐ merzentrierte Struktur- und Verlaufsplanung von Lehrveranstaltungen. In: Brigitte Berendt (Hg.): Neues Handbuch Hochschullehre: Lehren und Lernen effizient ge‐ stalten, B 1.1. Stuttgart: Raabe, S. 1-78. Berk, Ronald A. (2005): Survey of 12 Strategies to Measure Teaching Effectiveness. In: International Journal of Teaching and Learning in Higher Education 17 (1), S. 48-62. Beywl, Wolfgang; Widmer, Thomas (2006): Die Übertragbarkeit der Evaluationsstandards auf unterschiedliche Anwendungsfelder. In: James R. Sanders (Hg.): Handbuch der Evaluationsstandards: Die Standards des »Joint Committee on Standards for Educa‐ tional Evaluation«. Unter Mitarbeit von Wolfgang Beywl und Thomas Widmer. 3. Aufl. Wiesbaden: VS, Verl. für Sozialwiss. BFUG (2015): EQUIP-Project: Comparative Analysis of the ESG 2015 and ESG 2005. Online verfügbar unter: http: / / www.equip-project.eu/ wp-content/ uploads/ EQUIP_comparative-analysis-ESG-2015-ESG-2005.pdf., letzter Zugriff am 22. 04. 2017 Blom, Hermann (2000): Der Dozent als Coach. Berlin: Luchterhand. Bortz, Jürgen; Döring, Nicola (2006): Forschungsmethoden und Evaluation: Für Human- und Sozialwissenschaftler. 4., überarbeitete Auflage. Berlin, Heidelberg. Bösel, Rainer (1977): Signalverarbeitung in Nervennetzen: Eine Einführung in die Kyber‐ netik der neuralen Datenverarbeitung. 1. Aufl. München, Basel: E. Reinhardt (Uni-Ta‐ schenbücher). Bot, Kees de (2007): Dynamic systems theory, lifespan development and language attri‐ tion. In: Köpke, Barbara et al (Hg.): Language attrition: Theoretical perspectives. Ams‐ terdam, Philadelphia: J. Benjamins Pub. Co. (Studies in bilingualism, v. 33), S. 53-68. Bot, Kees de; Lowie, Wander; Verspoor, Marjolijn (2007): A Dynamic System Theory approach to second language acquisition. In: Bilingualism: Language and Cognition 10 (1), S. 7-21. Online verfügbar unter http: / / www.rug.nl/ staff/ w.m.lowie/ debot_etal_2007_-_bilingualism.pdf, zuletzt geprüft am 07. 03. 2017. 8 Literaturverzeichnis 322 Bot, Kees de; Lowie, Wander; Thorne, Steven L., Verspoor, Marjolijn (2013): Dynamic Systems Theory as a comprehensive theory of second language development. In: del Pilar García Mayo, María, Junkal Gutierrez Mangado, María und María Martínez Adrián (Hg.): Contemporary Approaches to Second Language Acquisition. Ams‐ terdam: John Benjamins, S. 199-220. Breloer, Gerhard; Dauber, Heinrich; Tietgens, Hans (1980): Teilnehmerorientierung und Selbststeuerung in der Erwachsenenbildung. Braunschweig: Westermann (Wester‐ mann-Taschenbuch, 204). Bundeskanzleramt Österreich (2013): Bundesgesetz über die externe Qualitätssicherung im Hochschulwesen und die Agentur für Qualitätssicherung und Akkreditierung Austria. Hochschul-Qualitätssicherungsgesetz - HS-QSG, vom 22. 04. 2017. Online abrufbar unter https: / / www.ris.bka.gv.at/ GeltendeFassung.wxe? Abfrage=Bundesnormen&Gesetzesnummer=20007384, zuletzt geprüft am 22. 04. 2017. Cramer, Friedrich (1993): Der Zeitbaum: Grundlegung einer allgemeinen Zeittheorie. Frankfurt am Main und Leipzig: Insel Verlag. DeGEval (2008): Standards für Evaluation. Unter Mitarbeit von Wolfgang Beywl. Köln: Geschäftsstelle DeGEval. Online verfügbar http: / / www.degeval.de/ fileadmin/ user_upload/ Sonstiges/ STANDARDS_2008-12.pdf, zuletzt geprüft am 22. 04. 2017 Deming, W. Edwards (1982): Out of the crisis. Cambridge, Massachusetts: MIT Press. Der Standard (2007): Schwache Performance am Uni-Parkett. In: Sonderbeilage »Der Unistandard«, 09. 05. 2007. Online verfügbar unter http: / / derstandard.at/ 2442124/ Schwache-Performance-am-Uni-Parkett, zuletzt geprüft am 07. 03. 2017. Dill, David D. (2000): Capacity Building as an Instrument of Institutional Reform: Im‐ proving the Quality of Higher Education through Academic Audits in the UK, New Zealand, Sweden, and Hong Kong. In: Journal of Comparative Policy Analysis (2), S. 211-234. Online verfügbar unter Ditton, Hartmut (2010): Evaluation und Qualitätssicherung. In: Rudolf Tippelt (Hg.): Handbuch Bildungsforschung. 3., durchges. Wiesbaden: VS, Verl. für Sozialwissen‐ schaften, S. 607-623. Dohr, Andrea (1998): Selbstevaluation (Klagenfurter Beiträge zur Technikdiskussion, 87). Donabedian, Avedis (2003): An introduction to quality assurance in health care. New York: Oxford University Press. Drechsel, Michael (2007): Zertifizierung von Qualitätsmanagementsystemen. In: Tilo Pfeifer und Robert Schmitt (Hg.): Masing: Handbuch Qualitätsmanagement. 5., voll‐ ständig neu bearbeitete Auflage. München [u. a.]: Hanser, S. 343-368. Duden (1982): Duden. Band 5: Fremdwörterbuch. Mannheim. Edmondson, Willis J. (1894): Methods, Approaches, Principles and Practices. In: 8 Literaturverzeichnis 323 Wil Knibbeler und Bernards Marij (Hg.): New Approaches in Foreign Language Metho‐ dology. Brüssel, S. 53-62. Edmondson, Willis J.; House, Juliane (2011): Einführung in die Sprachlehrforschung. 4. Aufl. Tübingen: Francke Verlag. ENQA (2015): Standards and guidelines for quality assurance in the European Higher Education Area (ESG). Brussels, Belgium. Online verfügbar unter http: / / www.enqa.eu/ wp-content/ uploads/ 2015/ 11/ ESG_2015.pdf, zuletzt geprüft am 22. 04. 2017. ENQA (2012): Quality Procedures in the European Higher Education Area and beyond and Beyond. Visions for the future. Third ENQA Survey. Brüssel (ENQA Occasion Papers, 18). Online verfügbar unter http: / / www.enqa.eu/ indirme/ papers-and-reports/ occasional-papers/ ENQA_op18.pdf, zuletzt geprüft am 22. 04. 2017 ENQA (2005): Standards and guidelines for quality assurance in the European Higher Education Area. Helsinki: European Association for Quality Assurance in Higher Education (ENQA report on standards and guidelines for Quality Assurance in the European Higher Education Area, [8]). Ernst, Stefanie (2008): Manual Lehrevaluation. 1. Aufl. Wiesbaden: VS Verlag für Sozial‐ wissenschaften. Ertl-Wagner, Birgit; Steinbrucker, Sabine; Wagner, Bernd C. (2009): Qualitätsmanage‐ ment & Zertifizierung: Praktische Umsetzung in Krankenhäusern, Reha-Kliniken und stationären Pflegeeinrichtungen. Berlin, Heidelberg: Springer Berlin Heidelberg. EURASHE (2015): Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG). Brüssel: Belgien. Online verfügbar unter http: / / www.enqa.eu/ wp-content/ uploads/ 2015/ 11/ ESG_2015.pdf, zuletzt geprüft am 07. 03. 2017. Europäische Union (07. 10. 1998): Empfehlung des Rates vom 24.September 1998 betref‐ fend die europäische Zusammenarbeit zur Qualitätssicherung in der Hochschulbil‐ dung, (98 / 561 / EG). In: Amtsblatt der Europäischen Gemeinschaften. Online ver‐ fügbar unter http: / / eur-lex.europa.eu/ LexUriServ/ LexUriServ.do? uri=OJ: L: 1998: 270: 0056: 0059: DE: PDF, zuletzt geprüft am 22. 04. 2017. Europäische Union (17. 12. 2007): Amtsblatt der Europäischen Union C 306. Vertrag von Lissabon. 2007 / C 306 / 01. Online verfügbar unter http: / / eur-lex.europa.eu/ LexUriServ/ LexUriServ.do? uri=OJ: C: 2007: 306: FULL: DE: PDF, zuletzt geprüft am 07. 03. 2017. European Organisation for Quality Control (EOQC) (Hg.) (1972): Glossary of terms used in quality control. 3. Aufl. Rotterdam. Frey, Bruno S. (2007): Evaluierungen, Evaluierungen … Evaluitis. In: Perspektiven der Wirtschaftspolitik 8 (3), S. 207-220. Online verfügbar unter https: / / www.bsfrey.ch/ articles/ _462_2007.pdf zuletzt geprüft am 07. 03. 2017. 8 Literaturverzeichnis 324 Friedrich, Hans-Jürgen (2007): Entscheiden Sie bitte jetzt! : Technische Unterstützung von Rückkoppelung in Lehrveranstaltungen mit großen Teilnehmerzahlen - theoretische Einordnung des Verfahrens und praktische Erfahrungen. In: Neues Handbuch Hoch‐ schullehre (D2.3), S. 1-20. Geiger, Walter (1994): Qualitätslehre: Einführung, Systematik, Terminologie; mit Ta‐ bellen. 2., völlig neubearb. und erw. Aufl. Braunschweig: Vieweg. Geiger, Walter (2001): Qualität als Fachbegriff des QM. In: Hans-Dieter Zollondz (Hg.): Lexikon Qualitätsmanagement: Handbuch des modernen Managements auf der Basis des Qualitätsmanagements. München: R. Oldenbourg Verlag, S. 801-810. Georges, Karl Ernst (1998): Ausführliches lateinisch-deutsches Handwörterbuch. Band 2. Nachdruck. Darmstadt. Online verfügbar unter http: / / www.zeno.org/ Georges-1913/ A/ qualitas, zuletzt geprüft am 07. 03. 2017. Goethe, Johann Wolfgang von (1829): Wilhelm Meisters Wanderjahre oder die Entsa‐ genden. Buch 3. Stuttgart; Tübingen: Cotta. Online verfügbar unter http: / / www.mdz-nbn-resolving.de/ urn/ resolver.pl? urn=urn: nbn: de: bvb: 12-bsb10128331-0, zuletzt geprüft am 17.06.2017. Gollwitzer, Mario; Jäger, Reinhold S. (2009): Evaluation kompakt. 1. Aufl. Weinheim, Basel: Beltz, PVU. Götz, Klaus (1999): Zur Evaluierung beruflicher Weiterbildung: Band 1: Theoretische Grundlagen. 3. Aufl. Weinheim: Beltz - Deutscher Studien Verlag. Guba, Egon G.; Lincoln, Yvonna, S. (1989): Fourth Generation Evaluation. Newbury Park, London, New Delhi: Sage. Hackl, Peter; Sedlacek, Günther (2001): Evaluierung als Chance zur kontinuierlichen Verbesserung der Lehre: Das Beispiel der Wirtschaftsuniversität Wien. In: Spiel Christiane (Hg.): Evaluation universitärer Lehre: Zwischen Qualitätsmanagement und Selbstzweck. Münster: Waxmann, S. 111-129. Handt, Gerhard von der (2007): Qualitätssicherung und -entwicklung. In: Karl-Richard Bausch, Herbert Christ und Hans-Jürgen Krumm (Hg.): Handbuch Fremdsprachen‐ unterricht. 5. Aufl. Tübingen & Basel: Francke Verlag, S. 390-394. Harvey, Lee; Green, Diana (2000): Qualität definieren. Fünf unterschiedliche Ansätze. In: Andreas Helmke, Walter Hornstein und Ewald Terhart (Hg.): Qualität und Qualitäts‐ sicherung im Bildungsbereich: Schule, Sozialpädagogik, Hochschule. Weinheim [u. a.]: Beltz (Zeitschrift für Pädagogik: Beiheft, 41), S. 17-39. Helmke, Andreas (2009): Unterrichtsqualität und Lehrerprofessionalität: Diagnose, Evaluation und Verbesserung des Unterrichts. 3. Aufl. Seelze-Velber: Kallmeyer / Klett (Unterricht verbessern-Schule entwickeln). Helmke, Andreas; Hornstein, Walter; Terhart, Ewald (2000): Qualität und Qualitätssi‐ cherung im Bildungsbereich. Zur Einleitung in das Beiheft. In: Andreas Helmke, Walter Hornstein und Ewald Terhart (Hg.): Qualität und Qualitätssicherung im Bil‐ 8 Literaturverzeichnis 325 dungsbereich: Schule, Sozialpädagogik, Hochschule. Weinheim [u. a.]: Beltz (Zeit‐ schrift für Pädagogik: Beiheft, 41), S. 7-14. Helmke, Andreas; Hornstein, Walter; Terhart, Ewald (2000): Qualität und Qualitätssi‐ cherung im Bildungsbereich: Schule, Sozialpädagogik, Hochschule. Weinheim: Beltz (Zeitschrift für Pädagogik Beiheft, 41). Herrmann, Joachim (2007): Audit. In: Tilo Pfeifer und Robert Schmitt (Hg.): Masing: Handbuch Qualitätsmanagement. 5., vollständig neu bearbeitete Auflage. München [u. a.]: Hanser, S. 331-368. Herrmannstorfer, Udo (1999): Die Arbeit am Menschen: ein Produktionsvorgang? Zur Charakteristik von Beziehungsdienstleistungen. Online verfügbar unter http: / / www.dreigliederung.de/ essays/ 1999-02-002.html, zuletzt geprüft am 07. 03. 2017. Hildebrandt, Kurt. Plato; (2002): Phaidros oder vom Schönen. [Nachdr.]. Stuttgart: Reclam. Hommelhoff, Peter (2008): Begrüßung und Eröffnung. In: HRK (Hg.): Aktuelle Themen der Qualitätssicherung und Qualitätsentwicklung: Systemakkreditierung - Rankings - Learning Outcomes: Beiträge zur einer Veranstaltung des Projekts Qua‐ litätsmanagement der Hochschulrektorenkonferenz am 5./ 6. 11. 2007 Bonn. Bonn: Hochschulrektorenkonferenz (Beiträge zur Hochschulpolitik), S. 7-9. HRK (Hg.) (2015): Standards und Leitlinien für die Qualitätssicherung im Europäischen Hochschulraum (ESG). Unter Mitarbeit von Barbara Michalk. Bonn: HRK (Beiträge zur Hochschulpolitik, 3 / 15). Online verfügbar unter http: / / www.enqa.eu/ indirme/ esg/ ESG%20in%20German_by%20HRK.pdf, zuletzt geprüft am 07. 03. 2017 HRK (Hg.) (2008): Aktuelle Themen der Qualitätssicherung und Qualitätsentwickling: Systemakkreditierung - Rankings - Learning Outcomes: Beiträge zur einer Veran‐ staltung des Projekts Qualitätsmanagement der Hochschulrektorenkonferenz am 5./ 6. 11. 2007 Bonn. Bonn: Hochschulrektorenkonferenz (Beiträge zur Hochschulpo‐ litik). HRK (Hg.) (2007): Verfahren der Qualitätssicherung und Qualitätsentwicklung. Projekt Qualitätsmanagement. Unter Mitarbeit von Barbara Michalk und Heike Richter. Bonn (Beiträge zur Hochschulpolitik, 8). Online verfügbar unter http: / / www.hrk.de/ fileadmin/ redaktion/ hrk/ 02-Dokumente/ 02-10-Publikationsdatenbank/ Beitr-2007- 08_Verfahren_der_QS.pdf, zuletzt geprüft am 07. 03. 2017. Huisman, Jeroen; Currie, Jan (2004): Accountability in higher education: Bridge over troubled water? In: Higher Education 48 (4), S. 529-551. Hummel, Diana; Kluge, Thomas (2006): Regulationen. In: Egon Becker und Thomas Jahn (Hg.): Soziale Ökologie: Grundzüge einer Wissenschaft von den gesellschaftlichen Naturverhältnissen. Frankfurt am Main, New York: Campus, S. 248-258. Imai, Masaaki (1992): Kaizen. Der Schlüssel zum Erfolg der Japaner im Wettbewerb. 5.Aufl. München: Langen Müller. 8 Literaturverzeichnis 326 Jerusalem, Matthias (1993): Die Entwicklung von Selbstkonzepten und ihre Bedeutung für Motivationsprozesse im Lern- und Leistungsbereich. Antrittsvorlesung. Institut für Schulpädagogik und Pädagogische Psychologie. Philosophische Fakultät IV. Hum‐ boldt-Universität zu Berlin, 23. 05. 1993. Kaempfer, Wolfgang (1991): Die Zeit und die Uhren. Frankfurt am Main und Leipzig: Insel Verlag. Kamiske, Gerd F.; Brauer, Jörg-Peter (2008): Qualitätsmanagement von A bis Z: Erläute‐ rungen moderner Begriffe des Qualitätsmanagements. 6. Aufl. München: Hanser. Karl-Franzens-Universität Graz (2013): Mitteilungsblatt der Karl-Franzens-Universität Graz. Curriculum für das Lehramsstudium in den geistes- und kulturwissenschaft‐ lichen Unterrichtsfächern. Bosnisch / Kroatisch / Serbisch, Englisch, Französisch, Ita‐ lienisch, Russisch, Slowenisch, Spanisch. Graz (61.Sondernummer, 38.a). Online ver‐ fügbar unter https: / / online.uni-graz.at/ kfu_online/ wbMitteilungsblaetter.display? pNr=512952, zuletzt geprüft am 07. 03. 2017. Kaufmann, Benedict (2009): Qualitätssicherungssysteme an Hochschulen. Maßnahmen und Effekte. Eine empirische Studie. Bonn: Hochschulrektorenkonferenz. Knoll, Jörg (2005): Anwendung des DIN EN ISO 9000 ff.-Ansatzes auf die Hochschule: Ein Fallbeispiel. In: HRK (Hg.): Qualität messen - Qualität managen: Leistungspa‐ rameter in der Hochschulentwicklung; Dokumentation zur gleichnamigen Tagung am 26./ 27. Oktober 2004 in Köln; [Herbsttagung Qualität Messen - Qualität Managen Leistungsparameter in der Hochschulentwicklung, Oktober 2004, Köln; diese Publi‐ kation ist im Rahmen des Projektes Qualitätssicherung entstanden]. Bonn: HRK (Bei‐ träge zur Hochschulpolitik, 2005,6), S. 154-163. Koch, Stefan (2005): Berufliches Selbstkonzept und eigenverantwortliche Leistung. In: Gruppendynamik und Organisationsberatung 36 (2), S. 157-174. Kohler, Alexander (2009): Evaluation im österreichischen Hochschulsystem. In: Thomas Widmer, Wolfgang Beywl und Carlo Fabian (Hg.): Evaluation: Ein systematisches Handbuch. Wiesbaden: VS Verlag für Sozialwissenschaften / GWV Fachverlage, Wiesbaden, S. 177-181. Kommuniqué der Konferenz der europäischen Hochschulministerinnen und Hochschul‐ minister am 19. September 2003 in Berlin (2003): Den Europäischen Hochschulraum verwirklichen. Online verfügbar unter https: / / europass.cedefop.europa.eu/ sites/ default/ files/ berlin.pdf. zuletzt geprüft am 07. 03. 2017 Konrad, Klaus; Traub, Silke (2005): Kooperatives Lernen: Theorie und Praxis in Schule, Hochschule und Erwachsenenbildung. 2. Aufl. Baltsmannsweiler: Schneider-Verl. Hohengehren. Kostolnik, Paul (2007): Weiterbildung an der Universität: Evaluation des Projekts PROFiL-TT am Institut für Psycholinguistik der Ludwig-Maximilians-Universität München. Dissertation, München. Fakultät für Sprach- und Literaturwissenschaften. 8 Literaturverzeichnis 327 Online verfügbar unter http: / / edoc.ub.uni-muenchen.de/ 7198/ 1/ Kostolnik_Paul.pdf. zuletzt geprüft am 07. 03. 2017. Kriz, Jürgen (1990): Erkennen und Handeln. Zum besonderen Verhältnis von (konstruk‐ tivistisch-systemischer) Theorie und Praxis in der klinischen Psychologie. In: Humberto R. Maturana, Volker Riegas und Christian Vetter (Hg.): Zur Biologie der Kognition: Ein Gespräch mit Humberto R. Maturana und Beiträge zur Diskussion seines Werkes. 1. Aufl. Frankfurt am Main: Suhrkamp (Suhrkamp Taschenbuch Wis‐ senschaft, 850), S. 189-204. Kriz, Willy Christian (2000): Lernziel Systemkompetenz: Planspiele als Trainingsme‐ thode. Göttingen: Vandenhoeck und Ruprecht. Kromrey, Helmut (1996): Qualitätsverbesserung in Lehre und Studium statt sogenannter Lehrevaluation: Ein Plädoyer für gute Lehre und gegen schlechte Sozialforschung. In: Zeitschrift für Pädagogische Psychologie 10 (3 / 4), S. 153-166, zuletzt geprüft am 16. 05. 2013. Kromrey, Helmut (2001): Evaluation von Lehre und Studium - Anforderungen an Methodik und Design. In: Spiel Christiane (Hg.): Evaluation universitärer Lehre: Zwi‐ schen Qualitätsmanagement und Selbstzweck. Münster: Waxmann, S. 21-59. Kromrey, Helmut (2005): Evaluation - ein Überblick. In: Heidrun Schöch (Hg.): Was ist Qualität? Die Entzauberung eines Mythos. Berlin: Wiss. Verl. Berlin (Wandel und Kontinuität in Organisationen, Bd. 6), S. 31-85. Krüger, Cornelius (2014): Projekte effektiver planen: Schnelle Erfolge durch bessere Pla‐ nungsqualität. 1., Aufl. Hamburg: Diplomica Verlag. Krumm, Hans-Jürgen; Portmann-Tselikas, Paul R. (2003): Vorwort. In: Hans-Jürgen Krumm und Paul R. Portmann-Tselikas (Hg.): Schwerpunkt: Lernen im Beruf. Inns‐ bruck, Wien, München, Bozen: Studien-Verl. (Theorie und Praxis - österreichische Beiträge zu Deutsch als Fremdsprache, 7), S. 13-14. Küpers, Wendelin (2001): Qualität als philosophischer Begriff. In: Hans-Dieter Zollondz (Hg.): Lexikon Qualitätsmanagement: Handbuch des modernen Managements auf der Basis des Qualitätsmanagements. München: R. Oldenbourg Verlag, S. 848-857. Lamnek, Siegfried (2010): Qualitative Sozialforschung. Lehrbuch. Unter Mitarbeit von Claudia Krell. 5., überarb. Aufl. Weinheim, Basel: Beltz. Landfried, Klaus (1999): Vorwort. In: Hochschulrektorenkonferenz (Hg.): Ein Schritt in die Zukunft: Qualitätssicherung im Hochschulbereich. Berliner Bildungsdialoge, Hochschulrektorenkonferenz und Veranstaltungsforum der Verlagsgruppe Georg von Holtzbrinck Berlin, 26. Oktober 1998. Bonn (Beiträge zur Hochschulpolitik; Projekt Qualitätssicherung, (1993 / 3)), S. 5-6. Laozi; Wilhelm, Richard (2010): Tao-te-king: Das Buch vom Sinn und Leben. Hamburg: Nikol. 8 Literaturverzeichnis 328 Larsen-Freeman, Diane (1997): Chaos / complexity science and second language acquisi‐ tion. In: Applied Linguistics 18 (2), S. 141-165. Online verfügbar unter http: / / xa.yimg.com/ kq/ groups/ 13328543/ 711110716/ name/ 1997_larsen-freeman.pdf, zuletzt geprüft am 07. 03. 2017. Liessmann, Konrad P. (2005): Wie viel wiegt Wissen? Zur Kritik der evaluierenden Ver‐ nunft. In: Heidrun Schöch (Hg.): Was ist Qualität? Die Entzauberung eines Mythos. Berlin: Wiss. Verl. Berlin (Wandel und Kontinuität in Organisationen, Bd. 6), S. 15-30. Lorenz, Edward N. (1972): Predictability: Does the Flap of a Butterfly’s Wings in Brazil Set Off a Tornado in Texas? Online verfügbar unter http: / / eaps4.mit.edu/ research/ Lorenz/ Butterfly_1972.pdf, zuletzt geprüft am 22. 04. 2017 Luchte, Katja (2001): Teilnehmerorientierung in der Praxis der Erwachsenenbildung. Weinheim: Deutscher Studien Verlag (System und Organisation, 7). Mainzer, Klaus (2004): Was sind komplexe Systeme? : Komplexitätsforschung als integ‐ rative Wissenschaft, 01. 01. 2004. Online verfügbar unter http: / / www.integrative-wissenschaft.de/ Archiv/ dokumente/ Mainzer-14_10_04.pdf, zuletzt geprüft am 07. 03. 2017. Marques, Todd E.; Lane, David M.; Dormand, Peter W. (1979): Toward the Development of a System for Instructional Evaluation: Is There Consensus Regarding What Con‐ stitutes Effective Teaching? In: Journal of Educational Psychology 71 (6), S. 840-849. Marsh, Herbert W. (1987): Students’ evaluations of university teaching: Research fin‐ dings, methodological issues, and directions for future research. In: International Journal of Educational Research 11, S. 253-388. Masing, Walter; Pfeifer, Tilo (2007): Handbuch Qualitätsmanagement: Masing Handbuch Qualitätsmanagement. 5., vollst. neu bearb. Aufl. München: Hanser. McKeachie, Wilbert J. (1997): Student ratings: The validity of use. In: American Psycho‐ logist 52 (11), S. 1218-1225. DOI: 10.1037 / 0003-066X.52. 11. 1218. Meyer, Wolfgang (2010): Informationssammlung und -bewertung. In: Reinhard Stock‐ mann und Meyer Wolfgang (Hg.): Evaluation: Eine Einführung. Opladen & Farmington Hills: Budrich, S. 191-234. Meyer, Wolfgang; Stockmann, Reinhard (2010): Evaluationsansätze und ihre theoreti‐ schen Grundlagen. In: Reinhard Stockmann und Meyer Wolfgang (Hg.): Evaluation: Eine Einführung. Opladen & Farmington Hills: Budrich, S. 101-157. Mittag, Sandra (2006): Qualitätssicherung an Hochschulen: Eine Untersuchung zu den Folgen der Evaluation von Studium und Lehre. Münster, New York, München, Berlin: Waxmann. Mittag, Sandra; Mutz, Rüdiger; Daniel, Hans-Dieter (2012): Anforderungen an Qualitäts‐ sicherungsinstrumente für Lehre und Studium an Hochschulen. Ergebnisse einer Meta-Evaluation an der ETH Zürich. In: Bayerisches Staatsinstitut für Hochschulfor‐ 8 Literaturverzeichnis 329 schung und Hochschulplanung (Hg.): Qualitätssicherung in Lehre und Forschung (Beiträge zur Hochschulforschung, 3). Müller-Kohlenberg, Hildegard (2004): Empfehlungen zur Anwendung der Standards für Evaluation im Handlungsfeld der Selbstevaluation. Alfter: Deutsche Gesellschaft für Evaluation e. V. Neave, Guy (2012): The Evaluative State, Institutional Autonomy and Re-engineering Higher Education in Western Europe: The Prince and His Pleasure: Palgrave Macmillan. Newby, David (2008): Pedagogical Grammar: A Cognitive+Communicative Approach. In: Werner Delanoy und Laurenz Volkmann (Hg.): Future perspectives for English language teaching. Heidelberg: Winter (Anglistische Forschungen, Bd. 388), S. 29-44. Newby, David; Rebecca, Allan; Fenner, Anne-Brit; Jones, Barry; Komorowska, Hannah; Soghikyan, Kristine (2008): Europäisches Portfolio für Sprachlehrende in Ausbildung (EPOSA). Ein Instrument zur Reflexion. [Strasbourg]: Council of Europe Publishing (Languages for social cohesion). Nowakowski, André; Vervecken, Dries; Braun, Edith; Hannover, Bettina (2012): Was Hochschuldozierende aus Lehrevaluations-Rückmeldungen lernen können. Der dif‐ ferenzielle Einfluss prozess-versus ergebnisorientierten Feedbacks auf Lehrorientie‐ rungen. In: Zeitschrift für Erziehungswissenschaft 15 (2), S. 253-271. Nuissl, Ekkehard (2013): Evaluation in der Erwachsenenbildung. Bielefeld: Bertelsmann (Studientexte für Erwachsenenbildung). Österreichisches Normungsinstitut (1995): ÖNORM EN ISO 8402: Qualitäts‐ management - Begriffe. Wien: Österreichisches Normungsinstitut, 01. 06. 1995. Österreichisches Normungsinstitut (2005): ÖNORM EN ISO 9000: Qualitätsmanage‐ mentsysteme - Grundlagen und Begriffe. Wien: Österreichisches Normungsinstitut, 01. 12. 2005. Österreichisches Sprachen-Kompetenz-Zentrum (2008): Das Europäische Sprachenport‐ folio in der Schulpraxis: Unterrichten mit dem ESP 15+. Unter Mitarbeit von Marga‐ rete Nezbeda und Eva Annau. Graz: ÖSZ (ÖSZ Praxisreihe, 7). Paetz, Nadja-Verena; Ceylan, Firat; Fiehn, Janina; Schworm, Silke; Harteis Christian (2011): Kompetenz in der Hochschuldidaktik. Ergebnisse einer Delphi-Studie über die Zukunft der Hochschullehre. 1., Aufl. Wiesbaden: VS Verlag für Sozialwissenschaften. Parri, Janne (2006): Quality in Higher Education. In: Economics and Management: Ekonomika ir Vadyba 2 (11), S. 107-111. Online verfügbar unter http: / / www.leidykla.eu/ fileadmin/ Vadyba/ 11/ Janne_Parri.pdf, zuletzt geprüft am 24. 02. 2014. Pasternack, Peer (2009): Qualität als Hochschulpolitik. Chancen und Risiken. Online ver‐ fügbar unter http: / / peer-pasternack.de/ texte/ Pasternack_Qualitaet.pdf, zuletzt ge‐ prüft am 07. 03. 2017. 8 Literaturverzeichnis 330 Patton, Michael Quinn (1997): Utilization-focused evaluation: The new century text. 3rd. Thousand Oaks, Calif: Sage Publications. Patton, Michael Quinn (2000): Utilization-Focused Evaluation. In: Daniel L. Stufflebeam, George F. Madaus und Thomas Kellaghan (Hg.): Evaluation models. Viewpoints on educational and human services evaluation. Boston: Kluwer Academic, S. 425-438. Patton, Michael Quinn (2013): Utilization - Focused Evaluation (U-FE) Checklist. Online verfügbar unter https: / / wmich.edu/ sites/ default/ files/ attachments/ u350/ 2014/ UFE_checklist_2013.pdf, zuletzt geprüft am 07. 03. 2017. Pechar, Hans (2006): Vom Vertrauensvorschuss zur Rechenschaftspflicht: der Paradig‐ menwechsel in der britischen Hochschul- und Forschungspolitik seit 1980. In: Öster‐ reichische Zeitschrift für Politikwissenschaft 35 (1). Pfundtner, Raimund (2001): Geschichte des Qualitätsmanagements. In: Hans-Dieter Zoll‐ ondz (Hg.): Lexikon Qualitätsmanagement: Handbuch des modernen Managements auf der Basis des Qualitätmanagements. München: R. Oldenbourg Verlag, S. 294-299. Pirsig, Robert M. (2013): Zen und die Kunst, ein Motorrad zu warten. Ein Versuch über Werte. 33. Ungekürzte Ausg. Frankfurt am Main: Fischer-Taschenbuch-Verl ([Fischer-Taschenbücher], 2020). Plato. Hildebrandt, Kurt.; (2002): Phaidros oder vom Schönen. [Nachdr.]. Stuttgart: Reclam. Prigogine, Ilya (1982): Vom Sein zum Werden: Zeit und Komplexität in den Naturwis‐ senschaften. 3. Aufl. München: R. Piper & Co. Rapp, Reinhold (1995): Kundenzufriedenheit durch Servicequalität. Konzeption - Mes‐ sung - Umsetzung. Wiesbaden, Wiesbaden: Dt. Univ.-Verl.; Gabler (Gabler Edition Wissenschaft). Rea-Dikins, Pauline; Kevin, Germaine (1992): Evaluation. 6 (2003). Oxford: Oxford Uni‐ versity Press. Rhyn, Heinz (2009): Evaluation im Bildungsbereich in der Schweiz. In: Thomas Widmer, Wolfgang Beywl und Carlo Fabian (Hg.): Evaluation: Ein systematisches Handbuch. Wiesbaden: VS Verlag für Sozialwissenschaften / GWV Fachverlage, Wiesbaden, S. 182-192. Riegler, Karin (2010): Qualitätssicherung: Unde venis et quo vadis? In: Zeitschrift für Hochschulrecht 9, 157-167. Rindermann, Heiner (2009): Lehrevaluation: Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen mit einem Beitrag zur Evaluation computerbasierten Unterrichts. 2. Aufl. Landau: Empirische Pädagogik e. V. Rindermann, Heiner (2001): Lehrevaluation.: Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen mit einem Beitrag zur Evaluation computerbasierten Unterrichts. Landau: Empirische Pädagogik. 8 Literaturverzeichnis 331 Ritter, Joachim; Gründer, Karlfried; Kranz Margaritha (Hg.) (1971-2007): Historisches Wörterbuch der Philosophie. 13 Bände. Basel: Schwabe. Rossi, Peter Henry; Lipsey, Mark W.; Freeman, Howard E. (2004): Evaluation: A syste‐ matic approach. 7. Aufl. Thousand Oaks, CA: Sage. Rothlauf, Jürgen (2010): Total-quality-Management in Theorie und Praxis. Zum ganz‐ heitlichen Unternehmensverständnis. 3., überarb. und aktualisierte Aufl. München: Oldenbourg. Sanders, James R. (Hg.) (2006): Handbuch der Evaluationsstandards: Die Standards des »Joint Committee on Standards for Educational Evaluation«. Unter Mitarbeit von Wolfgang Beywl und Thomas Widmer. 3. Aufl. Wiesbaden: VS, Verl. für Sozialwiss. Schiepek, Günter; Strunk, Guido (1994): Dynamische Systeme: Grundlagen und Analy‐ semethoden für Psychologen und Psychiater. Heidelberg: R. Asanger. Schlippe, Arist von; Schweitzer, Jochen (1997): Lehrbuch der systemischen Therapie und Beratung. 3. Aufl. Göttingen [u. a.]: Vandenhoeck & Ruprecht. Schmidt, Uwe (2009): Evaluation an deutschen Hochschulen: Entwicklung, Stand, Per‐ spektiven. In: Thomas Widmer, Wolfgang Beywl und Carlo Fabian (Hg.): Evaluation: Ein systematisches Handbuch. Wiesbaden: VS Verlag für Sozialwissenschaften / GWV Fachverlage, Wiesbaden, S. 163-169. Schöch, Heidrun (2005): Qualität an Hochschulen. In: Heidrun Schöch (Hg.): Was ist Qualität? Die Entzauberung eines Mythos. Berlin: Wiss. Verl. Berlin (Wandel und Kontinuität in Organisationen, Bd. 6), S. 149-180. Schröder, Hartwig (2002): Lernen - Lehren - Unterricht: Lernpsychologische und didaktische Grundlagen. 2. Aufl. München, Wien: Oldenbourg. Schröder, Thomas; Sehl, Ilka (Hg.) (2010): Internationalisierung von Hochschulen. Ergebnisse eines deutsch-österreichischen Benchmarking-Verfahrens. Hannover: HIS Hochschul-Informations-System GmbH (HIS: Forum Hochschule, 8). Online ver‐ fügbar unter http: / / www.his.de/ pdf/ pub_fh/ fh-201008.pdf, zuletzt geprüft am 07. 03. 2017. Scriven, Michael (1972): Die Methodologie der Evaluation. In: Christoph Wulf (Hg.): Evaluation. Beschreibung und Bewertung von Unterricht, Curricula und Schulversu‐ chen. München: R. Piper (Erziehung in Wissenschaft und Praxis, 18), S. 60-91. Seneca, Lucius Annaeus: Epistularum Moralium ad Lucilium. Liber Octavus. Epist. 71. Online verfügbar unter: http: / / www.thelatinlibrary.com/ sen/ seneca.ep8.shtml, zuletzt geprüft am 18.06.2017. Simon, Dieter (2000): Aspekte der Qualität. In: Berlin-Brandenburgische Akademie der Wissenschaften (Hg.): Gütesiegel für die Wissenschaft? (Gegenworte - Zeitschrift für den Disput über Wissen). Online verfügbar unter http: / / edoc.bbaw.de/ volltexte/ 2010/ 1500/ pdf/ simon.pdf, zuletzt geprüft am 07. 03. 2017. 8 Literaturverzeichnis 332 Spiel, Christiane (2001): Vorwort. In: Spiel Christiane (Hg.): Evaluation universitärer Lehre: Zwischen Qualitätsmanagement und Selbstzweck. Münster: Waxmann, S. 7-8. Spiel, Christiane; Gössler, Martin (2001): Zwischen Selbstzweck und Qualitätsmanage‐ ment - Quo vadis, evaluatione? In: Spiel Christiane (Hg.): Evaluation universitärer Lehre: Zwischen Qualitätsmanagement und Selbstzweck. Münster: Waxmann, S. 9-20. Stake, Robert E. (1967): The Countenance of Educational Evaluation. In: Teachers College Record 68 (7), S. 523-540. Stake, Robert E. (1975): Program Evaluation. Particularly Responsive Evaluation. #5 Occasional Paper Series. In: Occasional Paper Series. Stake, Robert E. (1976): To Evaluate an Arts Program. In: Journal of Aesthetic Education 10 (3 / 4), S. 115-133. Stangl, Werner (o.J): werner stangl’s arbeitsblätter: Was Sie immer schon über Psycho‐ logie wissen wollten. Online verfügbar unter http: / / arbeitsblaetter.stangl-taller.at/ FEEDBACK/ zuletzt geprüft am 07. 03. 2017. Stieger, Stefan; Burger, Christoph (2010): Let’s Go Formative: Continuous Student Ratings with Web 2.0 Application Twitter. In: Cyberpsychology, Behaviour, and Social Net‐ working 13 (2), S. 163-167. Stockmann, Reinhard (2004): Was ist eine gute Evaluation? Einführung zu Funktionen und Methoden von Evaluationsverfahren. Saarbrücken (CEval-Arbeitspapiere, 9). Stockmann, Reinhard (2010): Wissenschaftsbasierte Evaluation. In: Reinhard Stockmann und Meyer Wolfgang (Hg.): Evaluation: Eine Einführung. Opladen & Farmington Hills: Budrich, S. 55-100. Stockmann, Reinhard (Hg.) (2006): Evaluationsforschung: Grundlagen und ausgewählte Forschungsfelder. 3. Aufl. Münster, New York, München, Wien: Waxmann. Stockmann, Reinhard; Meyer Wolfgang (Hg.) (2010): Evaluation: Eine Einführung. Opladen & Farmington Hills: Budrich. Stufflebeam, Daniel L. (1972): Evaluation als Entscheidungshilfe. In: Christoph Wulf (Hg.): Evaluation. Beschreibung und Bewertung von Unterricht, Curricula und Schul‐ versuchen. München: R. Piper (Erziehung in Wissenschaft und Praxis, 18), S. 113-145 Sturm, Michael (1994): »Die Reise ins Ich …«: Selbstevaluation im Hochschulunterricht. In: Brigitte Berendt, Helmut Börkircher, Claus Peter Ortlieb und Gerlinde Sponholz (Hg.): Handbuch Hochschullehre. Bonn: RAABE, Fachverl. für Wiss.-Information, S. 1-28 (D1.2). Suchman, Edward A. (1967): Evaluative research: principles and practice in public service and social action programs. New York: Russell Sage Foundation. The Danish Evaluation Institute (2003): Quality procedures in European higher education: An ENQA survey. Helsinki: European Network for Quality Assurance in Higher Education (ENQA Occasional Papers 5). 8 Literaturverzeichnis 333 The Danish Evaluation Institute (2009): Standards and Guidelines for Quality Assurance in the European Higher Education Area. The Five Graces Group (2009): Language Is a Complex Adaptive System: Position Paper. In: Nick C. Ellis und Diane Larsen-Freeman (Hg.): Language as a complex adaptive system. Chichester, West Sussex, U.K, Malden, MA: Wiley-Blackwell (Language Learning, v. 59, suppl. 1). Thielsch, Mainald T.; Weltzin, Simone (2012): Online-Umfragen und Online-Mitarbeiter‐ befragungen. In: Torsten Brandenburg und Mainald T. Thielsch (Hg.): Praxis der Wirt‐ schaftspsychologie II. Themen und Fallbeispiele für Studium und Anwendung. 2., überarb. Aufl. Münster: Monsenstein und Vannerdat (MV-Wissenschaft), S. 109-127. Timischl, Wolfgang (2007): Qualitätssicherung: Statistische Methoden; mit 19 Tabellen. 3., überarb. Aufl., [Nachdr.]. München, Wien: Hanser. Töpfer, Armin (1992): Total Quality Management der Schlüssel zum Erfolg. In: Personal‐ wirtschaft 19 (8), S. 12-16. Töpfer, Armin; Mehdorn, Hartmut (1994): Total-Quality-Management. Anforderungen und Umsetzung im Unternehmen. 3., aktualisierte Aufl. Neuwied, Kriftel, Berlin: Luchterhand. treffpunkt sprachen - Zentrum für Sprache, Plurilingualismus und Fachdidaktik (2014): Selbsteinstufungsformulare. A1 bis C2. Online verfügbar unter http: / / treffpunktsprachen.uni-graz.at/ de/ lehre/ niveaus-kursstufen/ , zuletzt geprüft am 07. 03. 2017. Trim, John; North, Brian; Coste, Daniel; Quetz, Jürgen; Butz, Marion (2001): Gemeinsamer europäischer Referenzrahmen für Sprachen: Lernen, lehren, beurteilen. Niveau A1, A2, B1, B2, C1, C2. Berlin, Zürich: Langenscheidt. Trow, Martin A. (2005): Reflections on the Transition from Elite to Mass to Universal Access: Forms and Phases of Higher Education in Modern Societies since WWII: Working Papers, Institute of Governmental Studies UC Berkeley, 05. 08. 2005 (07. 03. 2013). Online verfügbar unter http: / / escholarship.org/ uc/ item/ 96p3s213. Zu‐ letzt geprüft am 07. 03. 2017 Tyler, Ralph Winfred (1942): General Statement on Evaluation. In: The Journal of Educational Research, Vol. 35, No. 7 (Mar., 1942), pp. 492-501 van Geert, Paul (1991): A dynamic systems model of cognitive and language growth. In: Psychological Review 98 (1), S. 3-53. DOI: 10.1037/ / 0033-295X.98.1.3. van Geert, Paul (1994): Dynamic Systems of Development.: Change between Complexity and Chaos. New York: Harvester (The Developing Body and Mind Series). Online verfügbar unter http: / / www.paulvangeert.nl/ publications_files/ Dynamic%20systems %20of%20development%201994%20b.pdf, zuletzt geprüft am 07. 03. 2017. 8 Literaturverzeichnis 334 van Vught, Frans et al. (2010): Benchmarking in European higher education. A university benchmarking handbook. Brussels: ESMU European Centre for Strategic Manage‐ ment of Universities. Vielau, Axel (2007): Die aktuelle Methodendiskussion. In: Karl-Richard Bausch, Herbert Christ und Hans-Jürgen Krumm (Hg.): Handbuch Fremdsprachenunterricht. 5. Aufl. Tübingen & Basel: Francke Verlag, S. 238-241. Watzlawick, Paul; Bavelas, Janet Beavin; Jackson, Don D. (2007): Menschliche Kommu‐ nikation: Formen, Störungen, Paradoxien. Bern: Huber. Weingart, Peter (2003): Wissenschaftssoziologie. Bielefeld: Transcript-Verl. Weizsäcker, Carl Friedrich von (1992): Der Garten des Menschlichen: Beiträge zur ge‐ schichtlichen Anthropologie. Ungekürzte Ausg., 41.-45. Tsd. Frankfurt am Main: Fischer-Taschenbuch-Verlag (Fischer, 6543). Wessel, Karl-Friedrich (2003): Qualität - ein Kulturbegriff in Geschichte und Gegenwart. In: Walter Masing, Michael Ketting, Wolfgang König und Karl-Friedrich Wessel (Hg.): Qualitätsmanagement - Tradition und Zukunft: Festschrift zum 50-jährigen Bestehen der Deutschen Gesellschaft für Qualität e. V. München [u. a.]: Hanser, S. 1-18. Wiesen, Brigitte (2003): System. In: Wulff D. Rehfus (Hg.): Handwörterbuch Philosophie. Göttingen, [Stuttgart]: Vandenhoeck & Ruprecht UTB (UTB, 8208). Wildt, Johannes (2006): Ein hochschuldidaktischer Blick auf Lehren und Lernen. Eine kurze Einführung in die Hochschuldidaktik. In: Neues Handbuch Hochschullehre, A 1.1, S. 1-10. Berlin: DUZ Verlags- und Medienhaus GmbH. Willke, Helmut (1993): Systemtheorie. 4. Aufl. Stuttgart [u. a.]: Fischer (Uni-Taschenbü‐ cher, 1161). Winteler, Adi (2006): Lehrende an Hochschulen. In: Andreas Krapp und Bernd Weiden‐ mann (Hg.): Pädagogische Psychologie: Ein Lehrbuch. 5. Aufl. Weinheim [u. a.]: Beltz, S. 334-347. Winteler, Adi (2008): Professionell lehren und lernen: Ein Praxisbuch. 3. Aufl. Darmstadt: Wissenschaftliche Buchgesellschaft. Wirtschaftslexikon24.com: http: / / www.wirtschaftslexikon24.com/ d/ zertifizierung/ zertifizierung.htm, letzter Zugriff: 28. 02. 2017 Wolbring, Tobias (2013): Fallstricke der Lehrevaluation. Möglichkeiten und Grenzen der Messbarkeit von Lehrqualität. Zugl.: München, Univ., Diss. 2013 u.d.T.: Wolbring, Tobias: Methodische Fallstricke bei der Evaluation universitärer Lehre. 1. Aufl. Frank‐ furt am Main: Campus Verlag (Hochschule und Gesellschaft, 1). Wottawa, Heinrich; Thierau, Heike (1998): Lehrbuch Evaluation. 2. Aufl. Bern: Huber. Zollondz, Hans-Dieter (2001a): Kaizen. In: Hans-Dieter Zollondz (Hg.): Lexikon Quali‐ tätsmanagement: Handbuch des modernen Managements auf der Basis des Qualitäts‐ managements. München: R. Oldenbourg Verlag, S. 401-410. 8 Literaturverzeichnis 335 Zollondz, Hans-Dieter (2001b): KVP - Kontinuierlicher Verbesserungsprozess. In: Hans-Dieter Zollondz (Hg.): Lexikon Qualitätsmanagement: Handbuch des modernen Managements auf der Basis des Qualitätsmanagements. München: R. Oldenbourg Verlag, S. 472-475. Zollondz, Hans-Dieter (2011): Grundlagen Qualitätsmanagement: Einführung in Geschichte, Begriffe, Systeme und Konzepte. 3., überarb. aktualisierte und erw. Auf‐ lage München [u. a.]: Oldenbourg. 8 Literaturverzeichnis 336 Abkürzungsverzeichnis AQ Agentur für Qualitätssicherung und Akkreditierung Austria AQA Österreichische Qualitätssicherungsagentur BFUG Bologna Follow-Up Group CDST Complex Dynamic System Theory CIPP Context, Input, Process, Product DaF Deutsch als Fremdsprache DeGeval Gesellschaft für Evaluation e. V. DIN Deutsches Institut für Normung EN Europäische Norm ENQA European Association for Quality Assurance in Higher Education EOQC European Organization for Quality Control ESG European Standards and Guidelines ESIB European Student Information Bureau ESP Europäisches Sprachenportfolio ESU European Students’ Union EUA European University Association EURASHE European Association of Institutions in Higher Education FGE Fourth Generation Evaluation FS Fremdsprache FSU / FU Fremdsprachenunterricht GERS Gemeinsamer Europäischer Referenzrahmen für Sprachen HILVE Heidelberger Inventar zur Lehrveranstaltungsevaluation HRK Hochschulrektorenkonferenz ISO Internationale Organisation für Normung ISO-Norm eine von der ISO publizierte Norm KAIZEN ständige Verbesserung unter Einbeziehung aller AktantInnen KDE Komplexe Dynamische Evaluation KVP Kontinuierlicher Verbesserungsprozess LV Lehrveranstaltung ÖNORM Norm, publiziert vom Austrian Standards Institute PDCA Plan-Do-Check-Act PDSA Plan-Do-Study-Act PTCA Planen, Tun, Checken und Aktion QM Qualitätsmanagement TQM Total Quality Management Abkürzungsverzeichnis 338 Abbildungsverzeichnis Abb. 1 Annäherung an die KDE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 Abb. 2 Beispiel einer Kommunikationssituation im Unterricht mit Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 Abb. 3 Layout der Äußerungen und Daten, die die EvaluatorInnen sammeln (Stake 1976: 120) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 Abb. 4 Klassifizierung nach Guba / Lincoln (vgl. 1989) . . . . . . . . . . 115 Abb. 5 Qualität ersten und zweiten Grades (Töpfer / Mehdorn 1994: 10) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 Abb. 6 Referenzniveaus des GERS (vgl. Trim et al. 2001: 34) . . . . . . 137 Abb. 7 Evaluation von Qualität im Fremdsprachenkurs . . . . . . . . . 144 Abb. 8 Qualität des Fremdsprachenunterrichts . . . . . . . . . . . . . . . . . 153 Abb. 9 KundInnen einer Universität (vgl. Schöch 2005) . . . . . . . . . 159 Abb. 10 Unterrichtsziele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 Abb. 11 Ziele, Grundannahmen und Axiome von KAIZEN (Zollondz 2001a: 405) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 Abb. 12 Deming-Rad im Setting des Total Quality Managements (Timischl 2007: 4) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 Abb. 13 Problemlösungsmodell (Imai 1992: 104) . . . . . . . . . . . . . . . . . 175 Abb. 14 Prozessorientierte Kriterien (P) versus ergebnisorientierte Kriterien (E) (Imai 1992: 41) . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 Abb. 15 Evaluation und KAIZEN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184 Abb. 16 Didaktischer Rahmen, didaktischer Zirkel, didaktisches Dreieck (Wildt 2006: 6) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188 Abb. 17 Didaktisches Dreieck im universitären Fremdsprachenunterricht . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190 Abb. 18 Fremdsprachenunterricht als Faktorenkomplex . . . . . . . . . . 197 Abb. 19 Rückkopplung (in Anlehnung an Kriz 2000: 24) . . . . . . . . . . 219 Abb. 20 S-R-C-Modell der Interaktion zwischen Lehrenden und Studierenden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222 Abb. 21 Universitärer Fremdsprachenunterricht als komplexes dynamisches System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224 Abb. 22 Universitärer Fremdsprachenunterricht mit Einflussfaktoren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 Abb. 23 Rückkopplung im Unterricht . . . . . . . . . . . . . . . . . . . . . . . . . 227 Abb. 24 Die KDE im komplexen dynamischen Fremdsprachenunterricht . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228 Abb. 25 Ressourcen nach van Geert (1991) . . . . . . . . . . . . . . . . . . . . . 234 Abb. 26 Schnittmenge der einzelnen Studierenden . . . . . . . . . . . . . . 240 Abb. 27 Komplexe Dynamische Evaluation (KDE) . . . . . . . . . . . . . . . 273 Abb. 28 Komplexe Dynamische Evaluation (KDE) im universitären FSU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275 Abb. 29 Vorevaluation mit Analysephase und Follow-up . . . . . . . . . 279 Abb. 30 Kontinuierliche Optimierung des Fremdsprachenunterrichts . . . . . . . . . . . . . . . . . . . . . . . . . . . 282 Abb. 31 Begleitende Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283 Abb. 32 Endevaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286 Abb. 33 Multifaktorielles Modell der LV-Qualität (Rindermann 2009: 66) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291 Abbildungsverzeichnis 340 Tabellenverzeichnis Tab. 1 Inhalte der Evaluationsstandards in Anlehnung an Sanders (vgl. 2006: 31f) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 Tab. 2 Evaluationsstandards im Detail (vgl. Sanders 2006) . . . . . . . . . 21 Tab. 3 Gemeinsamkeiten zwischen Qualitätsmanagement und Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 Tab. 4 Unterschiede zwischen Qualitätsmanagement und Evaluation 70 Tab. 5 Gemeinsamkeiten und Unterschiede zw. Evaluation und Grundlagenforschung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 Tab. 6 Gemeinsame Referenzniveaus: Globalskala (vgl. Trim et al. 2001: 35) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 Tab. 7 Vierfelderschema der prozessvs. produktorientierten Sichtweise der Unterrichtsqualität (vgl. Helmke 2009: 25) . . . . 146 Tab. 8 Planungs-, Prozess-, Produkt-/ Ergebnisqualität durch die KDE 147 Tab. 9 Struktur-, Prozess-, Orientierungs-, Produkt / Ergebnisqualität in der KDE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 Tab. 10 Studierende als interne und externe KundInnen (vgl. Schöch 2005: 160) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 Tab. 11 Merkmale von KAIZEN und Innovation (Imai 1992: 48) . . . . . . 171 Tab. 12 DozentInnenorientierte vs. studierendenorientierte Lehrpraxis (vgl. Blom 2000: 11f) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191 Tab. 13 Implementationsforschung vs. Wirkungsforschung . . . . . . . . . 252 Tab. 14 formativ vs. summativ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 Komplexe Dynamische Evaluation (KDE): Ein Instrument zur Optimierung des universitären Fremdsprachenunterrichts Waldhaus Komplexe Dynamische Evaluation (KDE) Christoph Waldhaus Die Komplexe Dynamische Evaluation (KDE) generiert Daten zur Verbesserung des universitären Fremdsprachenunterrichts und fördert die selbstreflexiven Kompetenzen der Lehrenden und Studierenden. Durch den Einsatz dieses Evaluationsmodells rücken die Studierenden nicht nur verstärkt ins Zentrum des Unterrichtsgeschehens, sondern beteiligen sich auch aktiv an dessen Optimierung. KDE stärkt die Autonomie der Lernerinnen und Lerner und verdeutlicht ihre zentrale Rolle am Gelingen von gutem Unterricht. Für die Lehrenden stellen die gewonnenen Informationen eine wichtige Quelle bei der Optimierung der Lehre und der Entwicklung ihrer eigenen Lehrkompetenz dar. KDE ermöglicht ein umfassendes Verständnis von Evaluation im Unterricht und schöpft bisher ungenutztes Potential bei Lehrveranstaltungsevaluationen aus. ISBN 978-3-8233-8012-2 Die theoretischen Grundlagen