Werner Kieweg • Evaluation fremdsprachlicher Leistungen im schulischen Kontext Abstract. Tue article deals with some of the main problems involved in testing the competence and performance offoreign language learners at school. Some alternative methods are discussed in detail, e.g. how to measure the decoding competence within a reading task, how to test learning strategies and sociocultural knowledge, how to evaluate the learners' ability as shciwn in project work and in oral presentations. Attention is focused on the following ten principles which should be taken into consideration when a test is being constructed: (1) tasks should be set clearly and measurements should be orientated towards learning aims only, (2) tasks should be created in teams, (3) declarative knowledge and procedural knowledge should be tested equally, (4) tasks with different levels of difficulties should be set, (5) a variety of discrete point tasks vs. integrative/ pragmatic tasks should be given, (6) written tasks and oral tasks should have the same impact on marks, (7) the importance of validity should be taken into consideration, (8) the time for constructing a test and evaluating the results should be reasonable, (9) the team should agree on error gravity and error tolerance beforehand, (10) and one part of the test should measure socio-cultural knowledge. 1. Leistungsmessung und Verantwortung Die „Lebensqualitätschancenverteilungsinstitution Schule" erfüllt oder verhindert individuelle schulische und/ oder berufliche Laufbahnen und kann mit ihrer obligatorischen Zensurenvergabe nicht selten auch den häuslichen Familienfrieden erheblich gefährden. Vor und während einer Leistungsmessung kommt es sowohl schülerseits als auch eltemseits zur erhöhten Adrenalinausschüttung, die sich später bei der „Besprechung und Herausgabe" einer Probearbeit und schließlich bei der leidigen „Beichte" zu Hause nochmals wiederholen kann, wenn dem Proband keine guten Leistungen bestätigt wurden. Die Palette an Emotionen beginnt bei kurz- oder längerfristigem schmerzlichen Liebesentzug durch die Erziehungsberechtigten und endet in ernsten Fällen bei verstärkten suizitären Neigungen. So muss es nicht besonders betont werden, dass jede Art der Leistungsmessung und Leistungsbeurteilung ein Höchstmaß an Verantwortung einfordert, der sich eine Lehrkraft bewusst sein muss. Diese Verantwortlichkeit umfasst sowohl die sichere Beherrschung der Messinstrumentarien als auch die Interpretationstüchtigkeit der gewonnenen Messergebnisse. Korrespondenzadresse: Dr. Werner KIEWEG, M.A., Akad. Direktor am Lehrstuhl für die Didaktik der Englischen Sprache und Literatur an der Ludwig-Maximilians-Universität München, Schellingstraße 3, 4. Stock, Zimmer 429, 80799 MÜNCHEN.E-mail: wemer.kieweg@anglistik.uni-muenchen.de Arbeitsbereiche: Didaktische Ausbildung für alle Schulkategorien, Lehrwerkerstellung, Mitherausgeber der Zeitschrift Der fremdsprachliche Unterricht, Fortbildungsreferent. JI1LuL 30 (2001) 66 Werner Kieweg Leistung zu messen und zu bewerten ist ohne eine grundlegende wissenschaftliche Ausbildung nicht möglich. So ist es schon recht blauäugig anzunehmen, dass ein gewisses Maß an Sprachbeherrschung automatisch die Fähigkeit einschließt, eine valide und objektive Leistungskontrolle zu konzipieren, .Von diesem Automatismus scheint man allerdings vielerorts auszugehen, da Probleme der Leistungsmessung und Leistungsbeurteilung nur selten thematisiert werden. Selbst in den universitären Ausbildungsplänen für zukünftige Lehrkräfte erscheint dieses Thema nicht explizit. Es ist schon verwunderlich, dass nur an wenigen Universitäten ein sog. Pflichtschein für das Messen und Beurteilen von mündlichen und schriftlichen Leistungen vorgeschrieben ist. Das Ergebnis dieser Missachtung ist allenorts bekannt. Einschlägig unausgebildete Lehrkräfte arbeiten mit teilweise recht dubiosen und grotesken Lernzielkontrollverfahren, die, wie das folgende authentische Beispiel aus einer Schule „X" im Bundesland „Y" zeigt, an Sinnlosigkeit wohl kaum noch zu überbieten sind. 1. Dictation II What are girls and boys doing in the classroom when their teachers aren't there? (about 60 words) m. Translation 1. Am Nachmittag würde Conny nicht gern zu Fuß zur Schule gehen. 2. Kleine Jungen dürfen mit Frauen nicht über verstauchte Handgelenke reden. 3. Ich bin sicher, dass junge Männer wie Roman um ½ 3 Uhr auf dem Fußboden liegen dürfen. 4. Ihr müßt einen Verband auf eure Augen legen, wenn (when) ihr fernseht. 5. Probier sie (PI.! ) jetzt nicht! 6. Darf Maxi mit V. in die Turnhalle gehen? -Nein. Auf dem Sektor der Leistungskontrolle ist ferner ein sehr traditioneller Methodenmonismus weit verbreitet. Ungebrochen attraktiv und allseits beliebt sind Prüfungsbereiche wie das Diktat, die Grammatik, die Übersetzung oder die sog. Textaufgabe, wo die Lernenden mehrere Fähigkeiten und Fertigkeiten an einem vorgegebenen Text demonstrieren dürfen. Die Hör- und Sehverstehensaufgaben, die Mündlichkeit und das freie Schreiben werden weniger geschätzt und fehlen an manchen Schulen völlig. Auch im Bereich der Gewinnung mündlicher Zensuren sind iinmer noch zahlreiche Kuriosa zu beobachten, die bedenkenlos tradiert und einfach nicht hinterfragt werden. So ist es durchaus üblich, dass die Lernenden durch das Aufsagen der englischen Äquivalente zu den lehrerseits vorgegebenen deutschen Wörtern eine „mündliche Note" bekommen. Dieses allseits bekannte und gefürchtete „Ausfragen" im Beisein feixender Mitschüler/ -innen hat mit der zu diagnostizierenden mündlichen Sprechfertigkeit ebenso wenig zu tun wie die obigen sechs Beispielsätze mit einer Übersetzungsleistung. Von Verantwortung in der Schülerbeurteilung kann hier nur sehr bedingt gesprochen werden. Die Leistungskontrolle wird oftmals sehr kontrovers diskutiert. In regelmäßigen Abständen fordert man sogar ihre baldige Abschaffung mit dem Ziel, einen stressfreieren lFL\IIL 30 (2001) Evaluation fremdsprachlicher Leistungen im schulischen Kontext 67 Unterricht zu ermöglichen. Diese Debatten sind in einer leistungsorientierten Gesellschaft mit einem ausgeprägten Berechtigungswesen für bestimmte Ausbildungswege und Berufskarrieren nur wenig hilfreich. Die Lehrenden brauchen eine Rückmeldung über ihre Unterrichtserfolge (evaluative Funktion der Lernzielkontrolle), die Lernenden müssen ihre Lernaufgaben regelmäßig erfüllen (pädagogische Funktion der Lernzielkontrolle), die Lernenden wollen sich mit anderen messen (orientierende Funktion der Lernzielkontrolle), die Lehrenden müssen ihren Unterricht an den tatsächlich erbrachten Leistungen orientieren (diagnostische und therapeutische Funktion der Lernzielkontrolle) und schließlich müssen Messwerte im Bildungssystem gesetzt werden, die dessen zeitgerechte Passung in einer komplexen Welt auf den Prüfstand bringen (politische Funktion der Leistungskontrolle). Die Bemühungen des Council of Europe, einen Sprachenpass in der Funktion eines Portfolio zu installieren, der eine Vergleichbarkeit der Leistungsprofile ermöglicht, sind sicherlich der richtige Ansatz. 2. Leistungsmessung und die Komplexität der Sprachkompetenz Modeme Formen der Leistungsmessung orientieren sich an der Komplexität der in der Fremdsprache zu vermittelnden kommunikativen Kompetenz. Diese kann nur erreicht werden, wenn alle mündlichen und schriftlichen Aktivitäten aus den Bereichen der Sprachrezeption (reception), der Sprachprodnktion (production), der Interaktion (interaction) und der Vermittlung (mediation) berücksichtigt werden (vgl. Council of Europe 1998: 15): "The language learner/ user's communicative language competence is activated through various language activities, related to teception, production, interaction or mediation (in particular interpreting or translating), each of these types of activities being possible in oral or written form, or both". RECEPTION ~ INTERACTIO MEDIATION PRODUCTION Daraus ergeben sich für den Unterricht vier Bereiche, die in ihren soziokulturellen, rein sprachlichen und pragmatischen Dimensionen gleichwertig unterrichtet und überprüft werden müssen. Die soziokulturelle Dimension umfasst dabei alle Bedingungen des Sprachgebrauchs, wie beispielsweise die Konventionen der Höflichkeit im Umgang der Generationen und der Geschlechter miteinander, der sozialen Schichtzugehörigkeit, der Rituale und Tabus. Die rein sprachliche Dimension bezieht sich auf die lexikalischen, phonologischen und syntaktischen Inhalte und schließt ebenfalls das Wissen um deren FLIIL 30 (2001) 68 Werner Kieweg Lern- und Abrufstrategien ein. Die pragmatische Dimension zeigt sich in den Sprachfunktionen und Sprechakten, die absichtsgeleitet im Zusammenspiel von Mimik, Gestik und Körpersprache eingesetzt und mit dem individuellen Weltwissen in Verbindung gebracht werden. Für den Fremdsprachenunterricht an den Schulen können die folgenden vier Aktionskomplexe unterschieden werden, die auf den Feldern des Kulturellen, des Beruflichen, der Erziehung/ Bildung und des individuell Persönlichen zu beobachten sind: 1 2 3 4 Sprachrezeption Sprachproduktion Interaktion Vermittlung - Hörverstehen - Sprechen: monologisch - Sprechhandeln - Dolmetschen - Sehverstehen - Präsentation - Aushandeln, dialo- - Übersetzen - Leseverstehen -Schreiben logisch, multilo- - Textveränderungen - Vorträge verstehen gisch (z.B. summaries, - Informationsquellen records, etc.) nutzen Daraus ergibt sich eine bunte Vielfalt an Lerninhalten, die ebenso differenziert zu überprüfen sind. Die folgende Tabelle der Prüfungsbereiche und der geeigneten Prüfungsverfahren erhebt keinen Anspruch auf Vollständigkeit und kann jederzeit erweitert werden. 2 3 Hörverstehen nicht-schriftliche Verfahren: multiple choice, Bilder identifizieren, Bilder nach Hörtext verändern (etwas ergänzen oder wegstreichen), Bilder in die richtige Reihenfolge bringen, Wegbeschreibungen in Karten/ Pläne einzeichnen, eine passende Zusammenfassung des Hörtextes aussuchen, etc. halbschriftliche Verfahren: grids ausfüllen, Memos erstellen, Lückensätze oder -texte ergänzen, Notizen anfertigen, true/ false/ not in the text, etc. schriftliche Verfahren: Fragen beantworten, eigene Meinung zum angesprochenen Problem darstellen, Aussagen verbessern, etc. Hör- und Sehverstehen vgl. Hörverstehen + gezielte Aufgaben zum Sehverstehen Sprechen monologisch Kurzvortrag, Berichte, Erzählungen, Witze, Episoden, Bildinhalte versprachlichen, graphische Darstellungen versprachlichen, etc. Flow ch11rts, defective dialogues, pros & cons, auf provozierende Bilder und Äußerungen reagieren, etc. lFLllllL 30 (2001) Evaluation fremdsprachlicher Leistungen im schulischen Kontext 69 7 8 9 10 11 12 13 15 16 17 18 19 20 Sprechen multilogisch Aussprache Dolmetschen Übersetzen Ll-L2 Übersetzen L2-Ll Leseverstehen - Vollverstehen Leseverstehen - Detailverstehen Leseverstehen - Meinungsäußerungen Schreiben Schreiben kreativ Rechtschreiben Grammatik Vokabular JFLIIL 30 (2001) Simulationen, Aushandlungen, Diskussionen, etc. Minimal pairs, expressive reading, Imitationsverfahren, Graphem- Phonem-Zuordnungen (Eintrag in Lauttabellen), etc. Interaktive Simulationen, Geschriebenes mündlich übermitteln, etc. geeignete Ausgangs- und Zieltexte geeignete Ausgangs- und Zieltexte Zusammenfassung, Textsortentransformation, searching for missing words, Widersprüche im Text aufzeigen, personal reactions to the text, Zuordnung von Fotos zu entsprechenden Abschnitten, Inhaltsangabe auf deutsch, etc. Fragen zum Text, Lückentext und Lückensätze, right/ wrong/ not in the text, true/ false, finding sub-headings, summarising each paragraph, making up a flow chart of the main events ~~~-~~--._----t Precis, comment, etc. Briefe beantworten, jumbled text, Gegenstandsbeschreibungen, Formulare ausfüllen, four pictures/ items stories, ten words for a story, public writing (letters of enquiry, complaint, request, application, lost property, excuses for school), describing the way, curriculum vitae, summaries, etc. Social writing (letters, invitations, telephone messages) Bildgeschichten, open ended stories, Leerstellen eines Gedichts füllen, filling speech bubbles, essays, etc. Diktate (Lücken- und Voll(liktate), Graphem-Phonem-Zuordnungen, error spotting, Buchstabensalat, X-word puzzles, etc. Lückenaufgaben, Sätze vervollständigen, Transformationsaufgaben, error spotting/ correction, MC Aufgaben, deutsche Sprechabsichten und Schreibabsichten versprachlichen, mixed grammar, Satzverkürzungen, komplexe Sätze erstellen, Bild-Satz-Zuordnung, cloze test, C-Test, Bildinhalte versprachlichen, nach unterstrichenen Satzteilen fragen, error spotting, etc. Lückenaufgaben, Zuordnungsaufgaben, error spotting, Buchstabensalat, X-Word Puzzles, Wörter zu vorgegebenen Definitionen suchen, Gegenteile suchen, Ober- und Unterbegriffe, semantische Achsen ergänzen, odd man out, Bild-Wort-Zuordnungen, Definitionen ausformulieren (paraphrasing), concept testing (e.g. bring vs. take), Kollokationsaufgaben, Ablaufgliederung (put in the logical order), Wort durch ein anderes Wort ersetzen (replacing), cloze test, C-Test, displays ausfüllen, etc. 70 Werner Kieweg haftliche, kulturelle Fragen beänzen, Ereignisse ordnen, etc. ... ' ,fü~o1: ~n~ge~': na<JJ1, F{öflichkeit, .. v~ l'asstjng erlref111en (appr.opriacy , acters/ ound, etc. Die grau unterlegten Bereiche (4, 5, 14, 23 und 25) sollen im Folgenden etwas genauer beschrieben werden, zumal für deren Leistungsmessung noch keine allgemein akzeptierten Kriterien vorliegen. 3. Alternativen zur traditionellen Notengewinnung Die traditionelle Leistungsbeurteilung orientiert sich überwiegend an der Fehlerhäufigkeit und an der Fehlerschwere, wobei man das Prädikat „sehr gut" nur dann vergibt, wenn eine fehlerfreie oder nahezu fehlerfreie Leistung erbracht wurde. Um den Lernenden eine solche Leistung zu ermöglichen, wählt man in der Regel geschlossene Aufgaben, die durch die Reproduktion des Gelernten gelöst werden können. Offene Aufgabentypen sind weniger beliebt, zumal diese eine Massierung der Regelverstöße mit sich bringen wür 0 den, die sowohl die Korrekturarbeit der Lehrkräfte wesentlich erschweren als auch die traditionellen Vorstellungen von Schülerleistungen torpedieren würde. Deswegen ist in vielen Lernzielkontrollen die pädagogische Funktion übergewichtet, obwohl eine verständliche, wenn auch defizitäre frei formulierte Schüleräußerung als weitaus wertvoller eingeschätzt werden müßte als eine fehlerfrei reproduzierte Satzleiche. Die favorisierten Testformate sind nach wie vor der Lückensatz oder der Lückentext, die grammatisch motivierten Transformationsaufgaben (z.B. Put the following sentences into the passive voice), die vermischten Grammatikaufgaben (mixed grammar), die questions on the text und die Auswahlverfahren (multiple choice, true/ false, etc.). Die Leistungsmessung steht somit fest in der Tradition der Überprüfung des deklarativen Wissens und somit der regelgeleiteten Sprachproduktion. Das prozedurale Wissen, die strategische Kompetenz und die lernprozessorientierten Fähigkeiten bleiben dabei auf der Strecke. Einige Lehrkräfte versuchen mit Erfolg, diese Dimensionen, die einen beachtlichen Bestandteil von Schlüsselqualifikationen ausmachen, stärker zu berücksichtigen. lFlLid. 30 (2001) Evaluation fremdsprachlicher Leistungen im schulischen Kontext 71 3.1 Die· Dekodierungsfähigkeit als Leistungsnachweis Wenn die strategische Kompetenz ein Teilbereich der allgemeinen kommunikativen Kompetenz ausmacht, dann ist es nicht länger zu verantworten, diese aus der Leistungsmessung herauszuhalten. Die Aufgaben dazu sind problemlos zu beschaffen (Druckmedien, Internet) und überzeugen die Lernenden allein schon wegen ihrer durchaus realistischen Dimension, z.B. Reading comprehension There are six words you haven't leamt so far. Read the text carefully and try to find out the meaning of these words without using the dictionary. Snatched Vicky, 17, disappears just 3 mins from home MISSING teenager Vicky Hall was last night feared to have been snatched off the street just three minutes' walk from herhome. The pretty A-level student, 17, vanished as she walked back from a nightclub. She was last seen 500 yards from her home, at the end of her own road, when she said goodnight to her best friend at 2: 30 am on Sunday. Police were yesterday carrying out a massive hunt for blonde Vicky in Felixstone, Suffolk. lt involved house-to-house inguiries, with specialist search teams combing verges and gardens for clues. A girl of 19 was raped a week ago after visiting the same nightclub, _and detectives are "very concemed" about Vicky. Tracker dogs and a helicopter with thermal imaging gear were also being used. vanished: house-to-house inquiries: verges: ............................................................................................ ·················································· raped: tracker dogs: thermal imaging gear: ••••••••••••••u•••••••••••••••••••••••••••••• •••••••••••••••••••••••••••••••••••••••••••••• •••••••••••••••••••••••••••••••••••••••••••••••••• Die Lernenden müssen bei solchen Aufgaben weitaus höherwertigere Intelligenzleistungen erbringen als dies bei traditionellen Wissensüberprüfungen durch Reproduktion und Rekonstruktion erforderlich ist. Es ist deshalb nicht einzusehen, weshalb dieses strategische Wissen nicht zur Beschreibung eines individuellen Leistungsprofils herangezogen werden soll. Das Dekodieren unbekannter Wörter aus Texten erfordert eine breite AktilFL1.IIL 30 (2001) 72 Werner Kieweg vierung vorhandener Informationsnetze, wobei Ähnlichkeiten zu bereits vorhandenen Wissensbeständen, Wortbildungsregularitäten, Weltwissen etc. erkannt und genutzt werden. Es ist durchaus empfehlenswert, einen Teil des zu vergebenden Punktekontos in einer mehrteiligen Lernzielkontrolle für eine derartige Aufgabe zu reservieren und zu verrechnen. Voraussetzung dafür ist natürlich, dass den Schüler/ -innen die Dekodierungsstrategien explizit erläutert wurden, was gerade am Ende der Mittelstufe und dann verstärkt in der Oberstufe geschehen sollte. 3.2 Die Paraphrasierungsstrategie als Leistungsnachweis In Gesprächen müssen wir des öfteren ein lexikalisches Defizit in unseren Fremdsprachenkenntnissen wahrnehmen. Wenn uns das englische Äquivalent nicht einfällt oder wenn wir es einfach nicht kennen, entsteht Stress. Da wir uns aus einer dialogischen Situation jedoch nicht einfach ausklinken können, ist es äußerst hilfreich, sich der bekannten Umschreibungsstrategien (circumlocution strategies) bzw. Paraphrasierungsstrategien zu bedienen. Auf solche Stresssituationen können die Lernenden sehr leicht im Unterricht vorbereitet werden. Dies geschieht i.d.R. mit Hilfe kleiner Aufgaben, die zum einen sehr amüsant und zum anderen ungemein nützlich sind, z.B. Your car has a puncture and you can't drive any further. You're on a lonely road and it's getting dark. You open the boot of your car to take the spare wheel and the tools out. You find everything you mied to change the wheel, except for the Wagenheber. Luckily a car stops and the driver offers to help. Ask him if you can use his Wagenheber. 3.3 Präsentationen und Leistungsmessung Die schriftlichen Leistungen werden an unseren Schulen immer noch als weitaus bedeutsamer eingestuft als das Mündliche. Deswegen ist die Tradition der Leistungsnachweise fast ausschließlich in der Schriftlichkeit zu finden, was sich auch in den Abschlussprüfungen der unterschiedlichen Schulkategorien (Abitur, Realschulabschlussprüfung) zeigt. Dies steht allerdings im krassen Widerspruch zu fast allen nachschulischen Kompetenzerwartungen in Wissenschaft und Wirtschaft, wo man als oberstes Unterrichtsziel viel lieber die Fähigkeit sähe, frei in der Fremdsprache kommunizieren zu können sowohl schriftlich als auch mündlich. Der moderne Fremdsprachenunterricht sollte demnach einen Spannungsbogen aufweisen, der mit der Bewältigung der „lebensweltlichen Hier-und-Jetzt-Situationen" beginnt (Kommunizieren im Alltag) und in die Fähigkeit mündet, auch abstraktere Tatbestände in anspruchsvolleren Kommunikationssituationen zu diskutieren. Dazu gehören selbstverständlich auch die Präsentationen, die gerade in der gymnasialen Oberstufe stärker im Mittelpunkt des fremdsprachenvermittelnden Bemühens stehen sollten. Die dafür notwendige Beschreibung der progressiven Leistungsprofile stehen bereits zur Verfügung (vgl. Council of Europe 1998: 196). lFJL1.DlL 30 (2001) Evaluation fremdsprachlicher Leistungen im schulischen Kontext 73 ADRESSING AUDIENCES C2 Can present a complex topic confidently and articulately to an audience unfamiliar with it, structuring and adapting the talk flexibly to meet the audience's needs. Can handle difficult and even hostile questioning. Cl Can give a clear, well-structured presentation of a complex subject, expanding and supporting points of view at some length with subsidiary points, reasons and relevant examples. Can handle interjections well, responding spontaneously and almost effortlessly. B2 Can give a clear, systematically developed presentation, with highlighting significant points, and relevant supporting detail. Can depart spontaneously from a prepared text and follow up interesting points raised by members of the audience, often showing remarkable fluency and ease of expression. Can give a clear, prepared presentation, giving reasons in support of or against a particular point of view and giving the advantages and disadvantages of various options. Can take a series of follow-up questions with a degree of fluency and spontaneity which poses no strain for either him/ herself or the audience. Bl Can give a prepared straightforward presentation on a familiar topic within his/ her field which is clear enough to be followed without difficulty most of the time, and in which the main points are explained with reasonable precision. Can follow up questions, but may have to ask for repetition if the speech was rapid. Can give a short, rehearsed presentation on a topic pertinent to his everyday life, briefly give reasons and explanations for opinions, plans and actions. Can cope with a limited number of straightforward follow-up questions. A2 Can give a short, rehearsed, basic presentation on a familiar subject. Can answer straightforward follow-up questions if he/ she can ask for repetition and if some help with the formulation of his/ her reply is possible. Can read a very short, rehearsed statement. Al Die Anspruchsprofile müssen schulartenspezifisch modifiziert und durch verbindliche Beschlüsse den Fachschaften dokumentiert werden. Ebenso sollten sich die Fachlehrkräfte auf einen Kriterienkatalog einigen, der die jeweilige Leistung eines Probanden relativiert. Hierzu eignen sich relativ einfach zu beobachtende Merkmale in Verbindung mit Schätzskalen (rating scales). Es ist empfehlenswert, aus der Vielzahl von m9glichen Beobachtungskriterien die jeweils passenden auszusuchen, um eine kognitive Überforderung der Evaluatoren zu vermeiden. Erfahrungsgemäß sollten es nicht mehr als fünf Kriterien sein, z.B. lFLulL 30 (2001) 74 Werner Kieweg Task Achievement Low High 1 2 3 4 5 6 Interactive Communication Low High 1 2 3 4 5 6 Fluency Low High - - - - 1 2 3 4 5 6 Accuracy (grammatical) & Low High Range (general + lexical) - - - - - - 1 2 3 4 5 6 Pronunciation Low High - - - - - _; _ 1 2 3 4 5 6 Eine Fachschaft könnte sich natürlich auch auf andere Kriterien einigen, wenn diese für eine spezielle Aufgabe als zutreffender. erachtet werden, z.B. Flexibility, coherence, thematic development, precision, global interaction (turntaking strategies and eo-operative strategies), delivery, self-correction, the quality of handouts, visual aids, time allotted, presentation techniques, etc. Für die endgültige Gewinnung von Zensuren empfehlen sich die gängigen Umrechnungsverfahren mit Punkten. An dieser Stelle soll allerdings noch darauf hingewiesen werden, dass immer noch nicht alle Lehrkräfte für eine relativ objektive Prädikatsvergabe bei offenen Testaufgaben ausreichend ausgebildet sind. Hier bed,arf es der zentralen Schulungsmaßnahmen seitens der Lehrerfortbildungsinstitute, um die dafür nötige Sensibilisierung für Leistungseinschätzung, Fehlergewichtung und Fehlertoleranz zu erreichen. 3.4 Soziokulturelle Kompetenz und Leistungsmessung Soziokulturelle Inhalte sind neben den rein sprachlichen und strategischen Inhalten die dritte Säule in den Vermittlungsbemühungen für den Aufbau einer grundlegenden Sprachkompetenz. Es ist kaum vorstellbar, dass man unter schulischen Bedingungen eine Sprache eines Volkes erlernen kann, ohne über dessen Geschichte und gegenwärtigen kulturellen Entitäten wenigstens grob informiert zu sein. So haben Motivationspsychologen immer wieder darauf hingewiesen, welche bedeutsame Rolle die integrative Motivation beim Erlernen einer Fremdsprache spielt. Die soziokulturellen Inhalte utnfassen die sprachlichen Konventionen (z.B. socializing, apologizing) und nichtsprachlichen Konventionen (z.B. handshaking, proximity), soziale Rituale (z.B. punctuality, accepting and FLuL 30 (2001) Evaluation fremdsprachlicher Leistungen im schulischen Kontext 75 refusal rituals), umfassende Erfahrungen zum Alltagsleben (z.B. eatingldrinking table manners), das Wohnen (z.B. housing, living standards, ethnic composition), die interpersonalen Beziehungen (z.B.formality, informality, relation within sexes, interracial relations) und Werte und Einstellungen (z.B. tradition, national identity, politics, religion). Aus diesem recht umfangreichen Inventar können ebenfalls Wissenselemente überprüft werden, wenn man auch generell diese emotional besetzten Inhalte nicht primär lernzielorientiert vermittelt. Die Überprüfung geschieht auf der verbalen Ebene der Kommunikation mit Hilfe recht amüsanter Auswahlverfahren, die zumindest eine Sensibilisierung der Probanden für Diskurskonventionen, Themen, Register, Sprechakte und inhaltliche Unterschiede im Lexikon an den Tag bringen, z.B.: Kreuze die passenden Antworten an. • Du sitzt am Frühstückstisch mit deiner Gastfamilie. Man fragt dich, ob du noch etwas Toast haben möchtest. Du lehnst dankend ab. Was sagst du? Thankyou. No, thank you. No. No, thank you. I've had enough. • Du bist in einem Restaurant und möchtest bestellen. Was sagst du? t= Waiter. Get me a steak, please. Waiter. I would be very grateful if you could possibly bring me a steak. Sir! Can I have a steak, please? l'd like a steak, please. Zukünftig werden auch Überprüfungsmöglichkeiten für die paraverbale Ebene (Prosodie, Rhythmus, Lautstärke und temporale Gliederung) und für die nonverbale Ebene der Kommunikation (Mimik, Gestik, Proxemik, Blickkontakt) zur Verfügung stehen, wenn die notwendigen Testprogramme für die entsprechenden Multimedialabors erstellt sind. 3.5 Projektarbeit und Leistungsmessung Das Konzept des projektorientierten Unterrichts erfreut sich allgemein größter Beliebtheit, obgleich die damit verbundenen Vorbereitungen und Mehrbelastungen für die Unterrichtenden teilweise recht erheblich sein können. Man hat erkannt, dass im projektbezogenen Englischunterricht die Lernenden das eigenverantwortliche Arbeiten kennen lernen, dass sich der Unterricht öffnet (Internet, Experten und native speakers im Unterricht, etc.), dass eine vielfältige authentische Textarbeit möglich ist, dass Handlungsorientierung ermöglicht wird, JI1L1.IIL 30 (2001) 76 Werner Kieweg dass sich alternative Unterrichtsformen mit neuen Unterrichtstechnologien anbieten, dass Teamarbeit in allen Phasen notwendig ist, dass multikulturelles Lernen in kognitiv-konstruktivistischen Kontexten erfolgt, u.v.a.m. (vgl. Der fremdsprachliche Unterricht Englisch, Heft 40, 1999: "Offener Unterricht: Projekte") Für die Bewertung der Projektarbeit müssen jedoch andere Kriterien gefunden werden, die i.d.R. den klassischen Vorstellungen von Evaluierung schulischer Leistungen im Fremdsprachenunterricht nicht entsprechen. Nachdem die Leistungen der Schüler/ -innen sowohl bei der Planung und Durchführung als auch bei der abschließenden Manöverkritik über die erreichten Ergebnisse und praktizierten Methoden durchaus zu bewerten sind, sollten sich die Lehrkräfte auch nicht scheuen, entsprechende Beurteilungen auszusprechen. Die folgende Übersicht enthält erprobte Beispiele zur Messung von projektbezogenen Leistungen, die zunächst wiederum mit einer Schätzskala erfasst, anschließend in ein Punktesystem gebracht und abschließend einer Benotung zugeführt werden können. Dabei können die Selbstbeurteilung durch die Lernenden und die Fremdbeurteilung durch die Lehrenden interessante Einsichten in relevante qualifizierende Aspekte von Leistung erbringen und somit zu einer höheren Transparenz in der Notenfindung beitragen. ►► (vgl. evaluation sheetfor project 3, S. 77) Diese Art der Leistungsbewertung, die auch die Prädikate der Teamfähigkeit, der Organisationstüchtigkeit, der Geschicklichkeit zur Informationsbeschaffung und -auswertung mit einschließt, sollte allein aus aktuellen Gründen der veränderten Leistungsprofile in der außerschulischen Welt stärker berücksichtigt werden, auch wenn sie mit traditionellen und damit liebgewonnenen Bewertungssystemen und Beurteilungskriterien oftmals kollidiert. lFLlllL 30 (2001) Evaluation fremdsprachlicher Leistungen im schulischen Kontext 77 1 1 2 3 4. 5 ability to work in a team 1 2 3 4 5 2 1 2 3 4 5 ability to see or solve problems 1 2 3 4 5 3 1 2 3 4 5 aJ>ility to speak English all the time 1 2 3 4 5 4 1 2 3 4 5 ability to organize work 1 2 3 4 5 5 1 2 3 4· 5 creativity 1 2 3 4 5 6 1 2 3 4 5 ability to get information 1 2 3 4 5 7 1 2 3 4 5 ability to plan a project 1 2 3 4 5 8 1 2 3 4 5 ability to give a good presentation 1 2 3 4 5 9 1 2 3 4 5 ability to work independently when necessary 1 2 3 4 5 10 1 2 3 4 5 ability to work neatly 1 2 3 4 5 11 1 2 3 4 5 accuray in Ianguage 1 2 3 4 5 12 1 2 3 4 5 ability to criticize one's own work 1 2 3 4 5 FLuL 30 (2001) 78 Werner Kieweg Points/ Marks 60- 57 (95%) 56- 51 (85%) 50- 45 (70%) 44- 30 (50%) 39 -19 (30%) 1 2 3 4 5 4. Zehn Prinzipien zur Konzeption von Lernzielkontrollen Für die Erstellung einer aussagekräftigen Lernzielkontrolle sollten die folgenden zehn Prinzipien beachtet werden, die sich in der Schulpraxis bewährt haben: Das Prinzip der Transparenz und der lernzielorientierten Leistungsmessung (4.1), das Prinzip der Konzeption und Bewertung in Teamarbeit (4.2), das Prinzip der Mehrteiligkeit in den Aufgabenkomplexen (4.3), das Prinzip der vereinbarten Trennschärfe und Distanzen (4.4), das Prinzip der Mischung von „discrete point-Aufgaben" und „integrative/ pragmatic- Aufgaben" (4.5), das Prinzip der Gleichwertigkeit von mündlichen und schriftlichen Leistungen (4.6), das Prinzip der validen Gestaltung von Prüfungsaufgaben (4.7), das Prinzip der ökonomischen Erstellung und Korrektur (4.8), das Prinzip der konsequenten Fehlergewichtung und der verantwortlichen Fehlertoleranz (4.9) und schließlich das Prinzip der Aufnahme sozio-kultureller Lerninhalte (4.10) (vgl.: Der fremdsprachliche Unterricht Englisch, Heft 37, 1999: "Lernerfolge bewerten") 4.1 Das Prinzip der Transparenz und der lernzielorientierten Leistungsmessung Ohne eine bestimmte hierarchische Ordnung zu favorisieren steht an erster Stelle das Prinzip der Transparenz. In der Testpsychologie versteht man darunter die Deutlichkeit und Verstehbarkeit der formulierten Testaufgaben, aber auch das Erkennbarsein der einzubringenden individuellen Leistungen eines Probanden, einschließlich deren Bewertung. Die Ersteller von Lernzielkontrollen bemühen sich um Transparenz, wenn sie die Aufgabenstellung so deutlich formulieren, dass die unter Stress stehenden Schüler/ -innen keine Mühe haben, das Aufgabenziel zu erkennen. Diese scheinbar triviale Forderung wird nicht immer beachtet, was sich z.B. in der folgenden Aufgabe zur Messung der Dialogtüchtigkeit deutlich zeigt. Imagine you are on the dole and you have to visit Mr Smith, the owner of a big company, for an interview. He treats you in an unfriendly manner and he looks down on you. Invent a dialogue in which you try to convince Mr Smith that you are the right man/ woman for the job. Diese sicherlich recht reizvolle Aufgabe ist für die Leistungsmessung kaum geeignet, zumal sie sehr deutlich an die Grenzen des Möglichen stößt. Wem gelingt es tatsächlich, emotional gefärbte Sprechaktäußerungen in einer fiktiven Situation zu produzieren? Transparenz wird weiterhin dadurch erreicht, dass die zu vergebenden Punkte und der fLlllL 30 (2001) Evaluation fremdsprachlicher Leistungen im schulischen Kontext 79 angewendete Notenschlüssel auf dem Testblatt (Angabeblatt) stehen. Die Lernenden müssen genau informiert werden, wie ihre Zensuren zustande kommen, denn oftmals haben sie (und ihre Eltern) den Eindruck, dass die Notenvergabe primär von der jeweiligen Stimmungslage im Verhältnis zwischen der Lehrkraft und den Schüler/ -innen abhängig ist und dass eine weniger gute Note gezielt als Repressalie eingesetzt wird. Diese Fehleinschätzung ist bei einer transparenten Lernzielkontrolle nicht möglich. Auch die leidigen Aushandlungsverfahren (das Feilschen) können bei Rückgabe der Leistungskontrollen stärker reduziert werden. Da nach einer Entscheidung der Kultusministerkonferenz aus dem Jahre 1968 ohnehin nur die lernzielorientierte Leistungsmessung möglich ist, dürfen alle anderen Verfahren, die auf Durchschnittsleistungen der gesamten Lerngruppe oder auf individuellem Lernzuwachs beruhen, ohnehin nicht mehr praktiziert werden. In vielen Schulen hat sich der Schwellenwert (Grenze zwischen „ausreichend" und „mangelhaft") bei 50% der Gesamtleistung eingependelt. Bei einer Lernzielkontrolle mit 100 Punkten stellt sich die Verteilung wie folgt dar. 100-95 94-85 84-70 69-50 49-30 95 85 70 50 30 2 3 4 5 4.2 Das Prinzip der Konzeption und Bewertung in Teamarbeit Die Vorstellungen der Korrektoren über eine gerechte Prädikatsverteilung gehen bei der Leistungsmessung oftmals weit auseinander. So sind die Reglements zwischen den einzelnen Bundesländern für bestimmte Abschlussprofile recht unterschiedlich. Dies ist nicht selten auch innerhalb einer Schule zu beobachten, wo Lehrkräfte mit erheblich unterschiedlichen Vorstellungen zur Leistungsbewertung tätig sind, differenzierte Vorstellungen zur Fehlerschwere haben, sehr verschieden die Fehlertoleranz praktizieren und mit Messverfahren arbeiten, die sich wiederum in ihrer Komplexität wesentlich unterscheiden. Allein aus diesen Gründen empfiehlt sich die kollegiale Zusammenarbeit bei der Erstellung und Bewertung von Lernzielkontrollen. In viele Schulen werden deswegen Fachschaftssitzungen anberaumt, die sich den Problemen einer klassenübergreifenden Beurteilungsgerechtigkeit widmen. Voraussetzung für ein teamkoordiniertes Arbeiten ist allerdings ein paralleles Vorgehen im Unterricht, was nicht immer gelingt. Trotz unterschiedlicher Lern- und Lehrtempi, Stundenausfall wegen Krankheit einer Lehrkraft oder wegen anderer unvorhersagbarer Unregelmäßigkeiten sollte der Versuch unternommen werden, wenigstens die basalen Lernstoffe parallel zu überprüfen. Für die Fachschaft ergeben sich dann erfreuliche Nebenprodukte, wie beispielsweise eine stärkere Problemsensibilisierung in der Leistungsmessung, ein breiteres Angebot an Lernzielkontrolltypen und -techniken, eine bessere Koordination in der Fehlertoleranz und Fehlergewichtung und schließlich eine erhebliche Zeiteinsparung. lFLIIL 30 (2001) 80 Werner Kieweg 4.3 Das Prinzip der Mehrteiligkeit in den Aufgabenkomplexen Die fremdsprachliche Kompetenz ist ein sehr komplexes Zusammenspiel von Wissen, Können, Kenntnissen, Einsichten, Erfahrungen, Fähigkeiten, Fertigkeiten und individuellen Lern- und Leistungsdispositionen, die ein ebenso komplexes Vorgehen in der Leistungsmessung erfordern. Der oftmals zu beklagende Methodenmonismus (Diktat, Übersetzung, Grammatik) wird heute durch mehrteilige Lernzielkontrollaufgaben vermieden. Dafür stehen eine Vielzahl an Messverfahren bereit, die sich als uneingeschränkt tauglich erwiesen haben. So haben sich die folgenden Varianten in den Konstellationen von schriftlichen Arbeiten in der Praxis sehr bewährt. mit Hörtexten (1) gesteuert durch - Wortschatz (6) - Dekodieraufgaben (9) mit Lesetexten (2) Sprechabsichten (4) -Grammatik (7) - Dolmetschaufgaben (10) mit Hör-und Seh- frei (5) - Orthographie (8) - Übersetzungen (11) verstehen (3) - Landeskunde (12) Da man dem sprachlichen Können eine größere Bedeutung als dem sprachlichen Wissen beimessen sollte, könnte sich die prozentuale Anteiligkeit bei einer vierteiligen Lernzielkontrolle auf 100 Punkte z.B. dann so ausmachen: oder: oder: Diese Vorschläge beziehen sich auf die Jahrgangsstufen, in welchen der Englischunterricht noch überwiegend einen reinen Lehrgangscharakter hat, also auf die Klassen 5 bis 8. Der stärker projektorientierte Englischunterricht in den Jahrgangsstufen 9 bis 10 und der sich anschließende überwiegend bilingual ausgerichtete Sachfachund/ oder Literaturunterricht der gymnasialen Oberstufe haben natürlich ihre Eigenständigkeit und bedürfen einer anderen Konzeption, die hier aus Platzgründen nicht thematisiert werden kann. lFLllllL 30 (2001) Evaluation fremdsprachlicher Leistungen im schulischen Kontext 81 4.4 Das Prinzip der vereinbarten Trennschärfe und der Distanzen Bei der Konzeption von Lernzielkontrollen ist ein weiteres Prinzip zu beachten, das in der eigentlichen Testpsychologie als Trennschärfeindex ausgewiesen ist und das im schulischen Alltag durch eine Progression im Anforderungsniveau der einzelnen Überprüfungsaufgaben berücksichtigt wird. So sollten sich im Endergebnis einer Prüfungsaufgabe die real existierenden Unterschiede in den Leistungsprofilen der Lernenden innerhalb einer ganzen Klasse oder eines Kurses durch die ganze Bandbreite der Leistungsprädikate widerspiegeln. Um eine Normalverteilungskurve (in etwa) zu erreichen (bell curve) müssen die Prüfungsaufgaben unterschiedliche Schwierigkeitsstufen aufweisen, die einerseits einfachere und andererseits anspruchsvolle Leistungen einfordern. Im Falle der Erstellung eines Fragenkomplexes für eine Leseverstehenskontrolle könnte mari die referentiellen und nicht referentiellen Fragen und Aufgaben nach der folgenden Progression ordnen: Anforderungsniveau 1 a) Aussagen zum Text werden von den Probanden als richtig oder falsch eingestuft (truelfalse, multiple choice, Bilder in die richtige Reihenfolge bringen, o.Ä.) b) Fragen können durch die konkrete Reproduktion einer Textstelle beantwortet werden (lifting). c) Fragen können durch geringe Veränderungen der Vorgaben beantwortet werden (reconstruction, literal questions). Anforderungsniveau 2 a) Die Beantwortung der Fragen kann nur durch das Verstehen mehrerer Sätze oder ganzer Abschnitte geleistet werden (passage understanding, questions with reorganization). b) Fragen können durch Kombination und Interpretation der entnommenen Inhalte beantwortet werden (interpretation of information, reading between the lines). c) Fragen zur generellen Textaussage (questions involving interpretation). Anforderungsniveau 3 a) Fragen zur Evaluierung von Texten, zur Meinung der Autoren, zur persönlichen Stellungnahme, zur Relevanz der Inhalte für den Leser (evaluation and personal response). b) Fragen zu nicht explizit Genanntem (questions of inference). c) Fragen zur Textstruktur (schema general questions, storyltext-specific questions) Wenn man jeweils zwei Aufgaben auf diesen unterschiedlichen Anforderungsniveaus auswählt, stellt sich die notwendige Trennschärfe automatisch ein. Bei Berücksichtigung der Trennschärfe lassen sich die sog. Ausrutscher im Endergebnis vermeiden, die immer wieder zu erheblichen Unstimmigkeiten bei der Schulleitung, im Kollegium, bei den Eltern und Schüler/ -innen führen, und zwar immer dann, wenn die Notendurchschnitte entweder zu hoch (z.B. 1,4) oder zu gering (z.B. 5,2) ausgefallen sind. IFLllllL 30 (2001) 82 Werner Kieweg 4.5 Das Prinzip der Mischung von „discrete point-Aufgaben" und „integrativ-pragmatischen Aufgaben" In einer schriftlichen Leistungskontrolle in den Schulen sollten Aufgaben, die einen konkreten Lerninhalt der vergangenen Wochen erfassen, abwechseln mit Aufgaben, die eine mehr integrative Leistung einfordern. Zu den eher im pädagogischen Sinne legitimierten Abfragen von Einzelfertigkeiten (discrete point-testing oder Kompetenztest) müssen sich integrative Aufgaben im Sinne einer höher zu wertenden Leistung auf der performativen Ebene anfügen (integrative testing oder Performanztest). Der Grund für diese Forderung liegt in der zu geringen Aussagekraft von „discrete point-Aufgaben" im Hinblick auf das individuelle Leistungsprofil eines Schülers/ einer Schülerin, zumal hier die Aufmerksamkeit weitgehend nur auf die formale Seite der Sprache gelenkt wurde. So ist es durchaus möglich, dass Schüler/ -innen eben gelernte Inhalte in isolierter Form bestens reproduzieren können (z.B. irregular verbs, vocabulary, grammar items in Lückensätzen), aber in einem komplexeren Kontext versagen. Auch die Testpsychologen bezweifeln den Wert solcher Aufgaben erheblich und weisen zurecht darauf hin, dass es sich hierbei um typisch schulische Messmethoden handelt, die es in der realen Welt nicht gibt. Sie folgern daraus, dass Schulnoten, die überwiegend oder gar ausschließlich mit „discrete point-Aufgaben" gewonnen wurden, als relativ wertlos zu betrachten sind. Die Lehrkräfte in allen Schulkategorien stellen dem allerdings die Notwendigkeit des permanenten Überprüfens von Lernaufgaben gegenüber und verweisen dabei, ebenso zurecht, auf die pädagogische Funktion von Lernzielkontrollen. Erheblich aussagekräftiger sind die demonstrierten Leistungen, die in einer integrativ konzipierten Prüfungsaufgabe erbracht wurden, z.B. bei der Versprachlichung einer Bildgeschichte. Hier kommt lexikalisches und grammatisches Wissen zusammen mit dem Können in der Gestaltung eines kohäsiven und kohärenten Texts. Dafür lassen sich auch die Testpsychologen begeistern, besonders dann, wenn die pragmatische Komponente hinzukommt. Sie fordern immer stärker, dass die in den Schulen durchgeführten Leistungsmessungen mit den Verfahren übereinstimmen sollten, die später im Leben ebenfalls anzutreffen sind. Deswegen haben sie bei der Bildgeschichte noch erhebliche pragmatisch legitimierte Zweifel, zumal man eine solche real niemals versprachlicht, sondern nur rezeptiv schmunzelnd genießt. Das Schreiben von Briefen, Bewerbungsschreiben, Erzählen von Episoden, Schreiben von E-Mails, SMS, Einladungen, Karten, Fehler aufsuchen und korrigieren, essays, Verlustanzeigen, etc. werden hingegen ob deren pragmatischer Ausrichtung akzeptiert. Den Lehrkräften bleibt hier eigentlich nur ein Kompromiss in der Hinsicht übrig, dass sie sowohl „discrete point-Aufgaben" als auch „integrativ-pragmatische Aufgaben" in den Lernzielkontrollen stellen, allerdings mit einer Gewichtung von 20-30% zu 80-70% zu Gunsten der letztgenannten Verfahren. Auch diese Thematik müßte in den Fachschaften eingehend diskutiert werden, weil hier oftmals die Ursache für das plötzliche Absinken einer Schülerleistung zu finden ist, nachdem eine andere Lehrkraft die Klasse übernommen hatte. JFLIUIL 30 (2001) Evaluation fremdsprachlicher Leistungen im schulischen Kontext 83 4.6 Das Prinzip der Gleichwertigkeit der mündlichen und schriftlichen Leistungen In vielen Ministerien, pädagogischen Instituten, Seminaren und Fortbildungsinstitutionen wird momentan eifrig darüber nachgedacht, wie man der Mündlichkeit die Position in der Leistungsmessung zukommen lassen könnte, die sie auch tatsächlich verdient. Mit Ausnahme von wenigen Bundesländern spielt die mündliche Note immer noch ein kümmerliches Dasein, was sich zum einen an den dubiosen Prozeduren zeigt, mit welchen sie gewonnen wird, und zum anderen an der geringen Anteiligkeit an der Gesamtnote verdeutlicht Es wird wohl noch einige Jahre dauern, bis man deren Gleichwertigkeit zur schriftlichen Leistung anerkennt. Für die träge Installierung von mündlichen (Abschluss)-Prüfungen werden i.d.R. die zeitaufwendigen Vorbereitungen und Durchführungsverfahren genannt und gleichzeitig wird auf die mangelhafte Objektivität bei der Leistungsmessung in mündlichen Prüfungsprozeduren verwiesen. Um diesen Argumenten etwas entgegenzutreten sind im Folgenden einige Verfahren aufgelistet, die verdeutlichen, dass es auch hier eine Fülle von durchaus praktischen Möglichkeiten gibt, die auch eine (nahezu) objektive Leistungsmessung zulassen: Discussion/ conversation on a topic of common interest (e.g. For and against animal testing) Oralreports and presentations (e.g.Holiday jobs are they really worth it? ) Role play between learner and interviewer (e.g. At the travel agent's) Interviews (e.g. A job interview) Descriptions (e.g. The place where I live) Dilemmas (e.g. Situations that might occur in everyday life) Defective Dialogues (e.g. What sort of accommodation would you prefer? ) Interpreting (e.g. Looking for a place to stay) Talking about a picture or about pictures (e.g. What does it make you think of? What do they have in common? ) Picture Story (e.g. What's so funny about it? ) Making appropriate responses (e.g. Making a complaint about ...) Using authentic materials written in German (e.g. Explaining some details of the Verkehrsordnung) Using Flow Charts (e.g. An argument with the landlord) Explaining tricks, games, computer programmes, brain teasers, etc. Open ended stories Telling jokes Die entsprechenden Evaluierungskriterien für diese mündliche Leistungen sind in den Ausführungen des Council of Europe (1998) sehr umfangreich beschrieben und können i.d.R. ohne Modifikation übernommen werden. JFLl! )L, 30 (2001) 84 Werner Kieweg 4. 7 Das Prinzip der validen Gestaltung von Prüfungsaufgaben Bereits oben wurde darauf hingewiesen, dass der Einsatz von integrativen Prüfungsaufgaben für einen kommunikationsorientierten Fremdsprachenunterricht unverzichtbar ist, auch wenn sich die Evaluierung der Leistung bei offenen Testformaten als wesentlich komplexer und anspruchsvoller erweist. Eine stärkere Berücksichtigung valider Aufgaben zur Überprüfung der produktiven Fertigkeiten könnte dazu führen; dass die Schulnoten zukünftig stärker das Können als das Wissen reflektieren. Tatsächlich sollten sich die Tester viel häufiger die Frage stellen, ob man mit den gewählten Prüfungsaufgaben auch wirklich das messen kann, was man messen möchte. So kann immer wieder nachgewiesen werden, dass beispielsweise bei der Überprüfung des Hörverstehens ein zu hohes Maß an Sprachproduktionsfähigkeit von den Lernenden verlangt wird, was die genuine rezeptive Hörverstehensleistung der Probanden erheblich verzerrt. Weitere Ungereimtheiten auf dem Felde der Validität ergeben sich bei den „discrete-point-Aufgaben" (z.B. multiple choice oder Lückenaufgaben), wenn man damit die situationsangemessene Kommunikationstüchtigkeit der Probanden bzw. deren Performanzstärke messen möchte. Auch die durchgehende Ahndung aller Verstöße gegen die Rechtschreibung entspricht nicht den Prinzipien der validen Testkonstruktion. So ist es heute nicht mehr zu verantworten, dass man beim schriftlichen Teil einer Hörverstehensaufgabe die Rechtschreibleistung beurteilt und dadurch möglicherweise eine erbrachte Schülerleistung bis auf Null reduziert. 4.8 Das Prinzip der ökonomischen Erstellung und Korrektur Der zeitliche Aufwand zur Erstellung, Durchführung und Korrektur ist ein weiteres Kriterium bei der Erstellung von geeigneten Lernzielkontrollen. Hier müssen ökonomische Formen und Verfahren gewählt werden, die leicht handhabbar und dennoch aussagekräftig sind. So kann sowohl die Konzeption von Prüfungsaufgaben im Team als auch die Einrichtung einer Testkartei, einer Lernzielkontrollensammlung oder einer Leistungsmessungsmediothek (Texte, Hörtexte, Videos, Bildersammlung, Bildgeschichtensammlung, Sammlung mündlicher Prüfungsaufgaben, Sammlung von Abschlussprüfungen, alternativen Verfahren und Literatur zur Leistungsmessung) den Mitgliedern einer Fachschaft sehr hilfreich sein. Insbesondere jüngere Kollegen/ -innen sind hier äußerst dankbar, wenn sie auf erprobte Verfahren zurückgreifen können. Man findet oftmals kein Erklärungsmodell dafür, dass bestens erprobte Testformate, wie der C-Test, der Cloze Test oder das Error Spotting, nicht eingesetzt werden, obwohl diese .den erheblichen Gesamtaufwand an Zeit und Mühen doch wesentlich reduzieren können. 4.9 Das Prinzip der konsequenten Fehlergewichtung und der verantwortungsvollen Fehlertoleranz · Die Fehlerschwere (error gravity) orientiert sich heute an den Graden der Irritation, die durch defizitäre mündliche oder schriftliche Sprachproduktion beim native speaker FLlllL 30 (2001) Evaluation fremdsprachlicher Leistungen im schulischen Kontext 85 ausgelöst werden. Ferner sind der unsichere Kommunikationserfolg (meaning vague) oder schlimmstenfalls die nicht mehr erkennbare Kommunikationsabsicht (meaning distorted) ein deutlicher Hinweis auf die Schwere eines Fehlers. Die vielerorts noch übliche höhere Bestrafung von Grammatikfehlern gegenüber anderen Verstößen kann nicht mehr unterstützt werden, zumal sich bereits sog. kleine Fehler im Bereich des Lexikons weitaus sinnzerstörender auswirken. - */ always have to lookfor my dog. (anstatt: to look after) - We're going to France. *We'll meet a boat there. (anstatt: to hire) Wenn ein Fehler die Kommunikationsabsicht nicht mehr erkennen läßt, kann der ganzer Satz nicht mehr gewertet werden, auch wenn die restlichen Satzelemente fehlerfrei sind. Diese aus kommunikativer Relevanz notwendigerweise praktizierte Strenge wird in der Praxis durch ein fehlertolerantes Beurteilungsverhalten ausgeglichen. So müssen die folgenden Fehler zwar angestrichen, aber nicht gezählt werden, wenn die Prüfungsaufgabe nicht gerade im Bereich der Rechtschreibung bzw. Grammatik angesetzt wurde, z.B. *Which sort of accomodation would you like? (anstatt: accommodation) The Titanic was thought of as impossible to sink. *On its first trip in 1912 it hit an iceberg and sank, causing over 1500 deaths. (anstatt: her, she) 4.10 Das Prinzip der Aufnahme sozio-kultureller Inhalte in den Prüfungskontext Die bis dato übliche Praxis, dass den deutschen Schüler/ -innen wegen Fehlern im soziokulturellen Bereich das Punktekonto nicht geschmälert wird, ist aus Gründen der notwendigen und allseits geforderten sozio-kulturellen Sensibilisierung nicht länger zu verantworten. Aus der Wirtschaft erfahren wir immer wieder, dass mangelhaft ausgeprägte Höflichkeit, Missachtung oder Fehlinterpretation bestimmter Rituale und Tabubrüche zu erheblichen Störungen führen und so manchen Vertragsabschluss zunichte machten. Deshalb sollte dieser Teilkomponente der kommunikativen Kompetenz zukünftig auch mehr Aufmerksamkeit geschenkt werden. Dies ist allein schon dadurch zu erreichen, dass man sozio-kulturelles Wissen mit adäquaten Methoden regelmäßig und zielorientiert überprüft. Hier stehen zahlreiche Überprüfungsverfahren zur Verfügung, z.B. Auswahl oder Anordnung nach Höflichkeits- und Dringlichkeitsstufen Vergleiche zwischen Muttersprache und Fremdsprache Verbesserung von rüden Äußerungen Erkennen der Wirkung von unterschiedlichen Intonationskonturen, etc. Voraussetzung dafür ist natürlich, dass bei der Vermittlung der lexiko-grammatischen Lernziele auch diese Funktionen aufgezeigt wurden, z.B. beim future progressive: Son to father: Will you be using your car tomorrow? (Vorsichtiges höfliches Anklopfen) Father: No,Iwon't. Son: Can I borrow it? lFLll! L 30 (2001) 86 Werner Kieweg Abschließend sei darauf hingewiesen, dass es kein Fremdsprachenlernen ohne Fehler gibt. Die fehlerhafte sprachliche Äußerung ist die Normalität und keinesfalls die Sünde, die es mit allen Mitteln aus der Welt zu vertreiben gilt. Deswegen sollten alle Formen der Leistungsmessung human konzipiert sein. Man kann auf einem Schlachtfeld die Anzahl der Toten zählen, aber es ist auch möglich, sich an den Überlebenden zu erfreuen. Eine Veränderung dieser Sichtweise in Form einer Positivkorrektur rückt näher. Literatur COUNCIL OF EUROPE (1998): Modern Languages: Learning, Teaching, Assessment. A Common European Framework. Strasbourg. Der fremdsprachliche Unterricht Englisch, Heft 37: "Lernerfolge bewerten", Jg. 33, 1999. Der fremdsprachliche Unterricht Englisch, Heft 40: "Offener Unterricht", Jg. 33, 1999. JFLulllL 30 (2001)