Louisa ReumermanPhilipp von Samson-Himmelstjerna
„Kijk- en luistertoetsen” und der GER
Nationaal Congres Duits
• „Kijk- en luistertoetsen“ (KLT) und der GER: Einführung in die Problematik
• Theoretischer Rahmen• Methode• Resultate• Schlussfolgerungen • Zeit für Fragen• Literatur
Programm
• Objektive Niveaubestimmung nötig• „Gemeinsamer Europäischer Referenzrahmen“
(GER)• Koppelingsonderzoek 2005• Standaardsetting 2013
Problem Unterschiedliche Einschätzungen des Niveaus
Problem (1)
Mögliche Ursache
Kann-Beschreibungen zu abstrakt
Beispiel
Kann-Beschreibung Hörverstehen (B2)
„Ik kan een langer betoog en lezingen begrijpen en zelfs complexe
redeneringen volgen, wanneer het onderwerp redelijk vertrouwd is.
Ik kan de meeste nieuws- en actualiteitenprogramma’s op de tv
begrijpen. Ik kan het grootste deel van films in standaardtaal
begrijpen.”
(Nederlandse Taalunie, 2008: 28)
Problem (2)
Mögliche Ursache
Kann-Beschreibungen zu abstrakt
Beispiel
Kann-Beschreibung Hörverstehen (B2)
„Ik kan een langer betoog en lezingen begrijpen en zelfs
complexe redeneringen volgen, wanneer het onderwerp redelijk
vertrouwd is. Ik kan de meeste nieuws- en
actualiteitenprogramma’s op de tv begrijpen. Ik kan het grootste
deel van films in standaardtaal
begrijpen.”
(Nederlandse Taalunie, 2008: 28)
Problem (3)
Verschiedene Versuche zur Lösung des Problems
Konkretisierung der Beschreibungen
1. Beispiel
Komponente Textstruktur (Hörverstehen C1)
„Beheerst verschillende ordeningspatronen, verbindingswoorden en
cohesie bevorderende elementen bij het verstaan van complexe
luisterteksten met lange samengestelde zinnen. Herkent
argumentaties en kan ze beoordelen. Kan ook luisterteksten begrijpen
waarin de samenhang impliciet is.”
(Meestringa & de Vries, 2010: 16)
Problem (4)
Verschiedene Versuche zur Lösung des Problems
Konkretisierung der Beschreibungen
1. Beispiel
Komponente Textstruktur (Hörverstehen C1)
„Beheerst verschillende ordeningspatronen, verbindingswoorden en
cohesie bevorderende elementen bij het verstaan van complexe
luisterteksten met lange samengestelde zinnen. Herkent
argumentaties en kan ze beoordelen. Kan ook luisterteksten begrijpen
waarin de samenhang impliciet is.”
(Meestringa & de Vries, 2010: 16)
Problem (5)
Verschiedene Versuche zur Lösung des ProblemsKonkretisierung der Beschreibungen
2. BeispielAdvies-grammaticaleerlijnen Duits en Frans (Meijer, 2006)
3. BeispielProfile Deutsch (Glaboniat et al., 2005)
Problem (6)
Trotz dieses Materials bleibt das Problem
Mögliche LösungQuantitative Spezifizierung der Kann-Beschreibungen
Problem (7)
Forschungsfrage
„In hoeverre is het mogelijk om de Duitse kijk- en luistertoetsen met behulp van een kwantitatieve linguïstische analyse aan het Europese Referentiekader te koppelen?”
Problem (8)
Komplexität
schwierig (subjektiv) vs. komplex (objektiv) (Lindström, 2008: 221-222)
relativ (individuell) vs. absolut (objektiv) (Szmrecsanyi & Kortmann, 2012: 10)
viele Theorien und Modelle
Beispiele für erhöhte Komplexität in unserem Kontext
• Verschachtelte Sätze
• Implizite Satzstrukturen
• Undurchsichtige Verbindung zwischen Form und Bedeutung (DeKeyser 2005: 5-6)
• Unklare Referenzen
Theorie (1)
Komplexität nach dem Goethe-Institut
„Ein besonders komplexer Satzbau verbraucht Aufmerksamkeitsressourcen, die ansonsten für die Verarbeitung inhaltlicher Aspekte zur Verfügung stehen könnten; Beispiele sind lange Sätze mit mehreren Nebensätzen, diskontinuierliche Konstituenten, Mehrfachnegation, mehrdeutige Bezugsbereiche, die Verwendung von Anaphora und deiktischen Ausdrücken ohne eindeutige Vorerwähnung (Antezedenz) oder klare Bezüge (Referenz).“ (Goethe-Institut, 2001: §7.3.2.2)
Theorie (2)
Konzeptionelle Mündlichkeit/Schriftlichkeit(Koch & Oesterreicher, 1989)
medial: Material vs. konzeptionell: Sprachgebrauch
KLT: medial mündlich, konzeptionell mündlich und teilweise schriftlich
Theorie (3)
Aspekte gesprochener Sprache• Flüchtigkeit / Vergänglichkeit• Irreversibilität• Synchronisation
(Auer, 2009: 2-4)
• Produktionsfehler, Versprecher• Interjektionen, Wort- und Satzabbrüche,
Umformulierungen, Pausen
Theorie (4)
Beispiele für Elemente gesprochener Sprache
• Referenz-Aussage-Struktur
„Diese ganzen Knöpfe hier, wie lange braucht man, um sowas zu
beherrschen?“ (HAVO 2005 V1)
• Apokoinukonstruktion
„Normalerweise haben wir beim Spielplatz zwischen 1 und 5 Punkten
zur Verfügung und ich würde sagen, der ist mit einem Punkt ist der
gut bedient.“ (VMBO 2012 KGT V1)
• Wortschatz, Kontraktion, Elision
„Und das ist dann immer so'n bisschen Gefrickel.“
(HAVO 2005 V1)
„Die Küche war versifft, dafür gab’s `ne Neue.“
(HAVO 2012 V2)
Theorie (5)
• Quantitative Analyse aller Niveaus• Material
− Kijk- en Luistertoetsen (KLT) 2004, 2005, 2012, 2013
− Goethe-Tests (online)• Parameter
− Durchschnittliche Wort-, Satz- und Textlänge− Dauer des Fragments, Sprechgeschwindigkeit− Prozentsatz Signalwörter
(eigene Liste, Anzahl: 35)
Methode (1)
Beispiele für die Analyse
1. VWO 2013 V2 Nachtcafé
2. HAVO 2005 V1 Arbeitsplatz TV
3. VMBO kb-gt 2012 V1 Campingplätze
4. Goethe-Test B1 (E)
Methode (2)
1. Beispiel: VWO 2013 V2
Methode (3)
2. Beispiel: HAVO 2005 V1
Methode (4)
3. Beispiel: VMBO kb-gt 2012 V1
Methode (5)
4. Beispiel: GOETHE B1 (E)
Methode (6)
Vorgehen: statistische Analyse der Durchschnittswerte
• Messung der Signifikanz zwischen den Werten (signifikant bei
einem Signifikanzniveau unter 0.05)
Teil 1: Signifikanz der Durchschnittswerte (KLT)
Teil 2: Korrelation zwischen KLT und Goethe-Tests
Parameter
• Anzahl Zeichen, Wörter und Sätze pro Fragment
Wort- und Satzlänge
• Dauer des Fragments Sprechtempo
• Anzahl Signalwörter Prozentsatz
Resultate (1)
Teil 1 Durchschnittswerte KLT
Resultate (2)
Wortlänge (Buchstaben pro Wort)
Satzlänge (Wörter pro Satz)
Sprechtempo (Wörter pro Sekunde)
Prozentsatz Signalwörter
VWO 5,60 16,50 2,42 7,68
HAVO 5,50 16,12 2,51 7,31
VMBO 5,29 14,17 2,53 7,10
Teil 1Signifikanz Durchschnittswerte KLT = signifikant
Resultate (3)
Wortlänge (Buchstaben pro Wort)
Satzlänge (Wörter pro Satz)
Sprechtempo (Wörter pro Sekunde)
Prozentsatz Signalwörter
VWO / HAVO - - - -
HAVO / VMBO
(0.001) (0.000) - -
VWO / VMBO - (0.005) (0.029) -
Teil 2Korrelation KLT / Goethe-TestsDurchschnittswerte
Resultate (4)
Wortlänge (Buchstaben pro Wort)
Satzlänge (Wörter pro Satz)
Sprechtempo (Wörter pro Sekunde)
Prozentsatz Signalwörter
VWO 5,60 16,50 2,42 7,68
HAVO 5,50 16,12 2,51 7,31
VMBO 5,29 14,17 2,53 7,10
C2 5,78 15,45 2,36 7,58
C1 5,39 15,27 2,41 7,47
B2 5,70 13,23 2,09 5,76
B1 5,13 12,09 2,54 7,08
A2 5,19 9,71 2,47 4,01
A1 4,95 6,53 2,71 1,99
Teil 2Korrelation KLT / Goethe-Tests (25%-Regel)Differenzwerte Goethe-Tests – VWO (rot=signifikant, grau=kleinste Differenz)
Resultate (5)
Wortlänge (Buchstaben pro Wort)
Satzlänge (Wörter pro Satz)
Sprechtempo (Wörter pro Sekunde)
Prozentsatz Signalwörter
A1 0,647 9,974 0,287 5,688
A2 0,41 6,796 0,0497 3,674
B1 0,475 4,416 0,115 0,606
B2 0,096 3,276 0,335 1,922
C1 0,207 1,234 0,01 0,218
C2 0,174 1,051 0,061 0,106
Teil 2Korrelation KLT / Goethe-Tests (25%-Regel) Differenzwerte Goethe-Tests – HAVO (rot=signifikant, grau=kleinste Differenz)
Resultate (6)
Wortlänge (Buchstaben pro Wort)
Satzlänge (Wörter pro Satz)
Sprechtempo (Wörter pro Sekunde)
Prozentsatz Signalwörter
A1 0,546 9,591 0,202 5,313
A2 0,309 6,41 0,035 3,298
B1 0,374 4,033 0,030 0,231
B2 0,198 2,893 0,421 1,547
C1 0,105 0,851 0,095 0,158
C2 0,275 0,668 0,146 0,27
Teil 2Korrelation KLT / Goethe-Tests (25%-Regel):Differenzwerte Goethe-Tests – VMBO (rot=signifikant, grau=kleinste Differenz)
Resultate (7)
Wortlänge (Buchstaben pro Wort)
Satzlänge (Wörter pro Satz)
Sprechtempo (Wörter pro Sekunde)
Prozentsatz Signalwörter
A1 0,339 7,638 0,182 5,108
A2 0,103 4,459 0,055 3,093
B1 0,167 2,08 0,011 0,026
B2 0,404 0,94 0,44 1,342
C1 0,101 1,102 0,115 0,363
C2 0,481 1,285 0,165 0,474
Grobe Einteilung pro Schulniveau / GER-Niveau(grün=eindeutig, rot=nicht eindeutig)
Schlussfolgerung (1)
Wortlänge (Buchstaben pro Wort)
Satzlänge (Wörter pro Satz)
Sprechtempo (Wörter pro Sekunde)
Prozentsatz Signalwörter
Gesamt-Niveau
VWO B2 C1/C2 C2 B1/C1/C2 C2
HAVO (C2) ? C1/C2 B1 B1 B1/C2
VMBO A2/C1 B2/C1/C2 A2/B1 B1 A2/B1/C1
Niveau-Einteilung• Schwierig zu interpretieren• VWO deutlich C2• HAVO zwischen B1 und C2• VMBO zwischen A2 und C1 (aber: BB + KB + GT!)• Vergleich KLT/ Standaardsetting/ Koppelingsonderzoek:
Schlussfolgerung (2)
KLT / Goethe Standaard-setting Koppelings-onderzoek
VWO C2 C1 (+ C2) B2
HAVO B1/C2 B2 (+ C1) B1
VMBO A2/C1/C2 B1 (+ B2) A2 (+ B1)
Parameter pro Niveau: Wortlänge• Abnahme pro Niveau bei den KLT
(signifikant: HAVO/VMBO)• Korrelation GER-Niveau / Schulniveau:
schwierig zu interpretieren
SchlussfolgerungWortlänge spielt keine allzu große Rolle bei der Niveau-Einteilung.
Schlussfolgerung (3)
Parameter pro Niveau: Satzlänge• Deutliche Abnahme pro Niveau bei den KLT
(signifikant: HAVO/VMBO und VWO/VMBO)• Korrelation GER-Niveau / Schulniveau:
Leichte Abnahme GER-Niveau pro Schulniveau
SchlussfolgerungJe höher das Niveau, desto länger sind die Sätze.
Schlussfolgerung (4)
Parameter pro Niveau: Sprechtempo• Deutliche Zunahme pro Niveau bei den KLT
(signifikant: VWO/VMBO)• Korrelation GER-Niveau / Schulniveau:
Deutliche Abnahme GER-Niveau pro Schulniveau
SchlussfolgerungJe niedriger das Niveau, desto schneller wird gesprochen. Möglicher Grund: gesprochene bzw. Umgangssprache.
Schlussfolgerung (5)
Parameter pro Niveau: Prozentsatz Signalwörter• Abnahme pro Niveau bei den KLT, allerdings nicht
signifikant• Korrelation GER-Niveau / Schulniveau:
Keine großen Veränderungen pro Schulniveau
SchlussfolgerungDer Prozentsatz der Signalwörter spielt keine Rolle bei der Niveau-Einteilung.
Schlussfolgerung (6)
Antwort auf die Forschungsfrage
„In hoeverre is het mogelijk om de Duitse kijk- en luistertoetsen met behulp van een kwantitatieve linguïstische analyse aan het Europese Referentiekader te koppelen?”• Eine quantitative linguistische Analyse ist geeignet.• Eine Kopplung an den GER ist möglich, allerdings
nicht immer eindeutig.• Mithilfe der untersuchten Parameter lässt sich eine
leichte Niveau-Einteilung vornehmen.
Schlussfolgerung (7)
Einschränkungen• Eher qualitative Aspekte (z.B. Satzstruktur) wurden
nicht berücksichtigt.• Mit nur vier Parametern kann man noch keine
definitiven Aussagen machen.• Die Datensammlung (vor allem der Goethe-Tests)
müsste größer sein.• Es wurde kein Unterschied zwischen den
verschiedenen VMBO-Niveaus (bb/ kb/ gt) gemacht.
Schlussfolgerung (8)
Tipps• Gesprochene Sprache im Unterricht
berücksichtigen.• Authentisches Audio- und Videomaterial verwenden
(YouTube, Fernsehsendungen, …)• Schüler transkribieren lassen.
Schlussfolgerung (9)
Vielen Dank für Ihre Aufmerksamkeit!
Gibt es noch Fragen oder Anmerkungen?
Zeit für Fragen
• Auer, P. (2009). On-line syntax: Thoughts on the temporality of spoken language. Language Sciences, 31, nr. 1, 1-13.
• Eindtermen VO en ERK (voor havo/vwo en vmbo) http://www.erk.nl/docent/streefniveaus/havo/ en http://www.erk.nl/docent/streefniveaus/vmbo/ (geraadpleegd op 25/02/2015).
• DeKeyser, R.M. (2005). What makes learning second-language grammar difficult? A review of issues. Language Learning, 55, Supplement 1, 1-25.
• Feskens, R., Keuning, J., Til, A. van & Verheyen, R. (2014). Prestatiestandaarden voor het ERK in het eindexamenjaar: Een internationaal ijkingsonderzoek. Arnhem: Cito.
• Glaboniat, M., Müller, M., Rusch, P. & Wertenschlag, L. (2005). Profile Deutsch: gemeinsamer europäischer Referenzrahmen: Lernzielbestimmungen; Kannbeschreibungen; Kommunikative Mittel; Niveau A1-A2. B1-B2. C1-C2. Berlin: Langenscheidt.
• Goethe-Institut. (2001). Gemeinsamer europäischer Referenzrahmen für Sprachen: Lernen, lehren, beurteilen. Online versie via http://www.goethe.de/z/50/commeuro/7030202.htm (geraadpleegd op 16/02/2015).
• Kamphuis, F., Thiel, J. van & Til, A. van. (2007). De koppeling van de Cito kijk- en luistertoetsen moderne vreemde talen aan het Europees Referentiekader. Digitaal beschikbaar via: http://toetswijzer.kennisnet.nl/html/cef/home.htm
• Koch, P. & Oesterreicher, W. (2007). Schriftlichkeit und kommunikative Distanz. Zeitschrift für germanistische Linguistik, 35, nr. 3, 346-375.
• Lindström, E. (2008). Language complexity and interlinguistic difficulty. In M. Miestamo, K. Sinnemäki & F. Karlsson (eds.), Language complexity: Typology, contact, change (pp. 217-242). Amsterdam: John Benjamins.
• Meestringa, T. & Vries, H. de. (2010). Instrumenten voor de beoordeling van taalvaardigheid voor het voortgezet onderwijs. Enschede: SLO.
• Meijer, D. (Red.). (2006). Advies-grammaticaleerlijnen Duits en Frans. Enschede: SLO.
• Nederlandse Taalunie. (2008). Gemeenschappelijk Europees Referentiekader voor Moderne Vreemde Talen: Leren, Onderwijzen, Beoordelen. Den Haag.
• Szmrecsanyi, B. & Kortmann, B. (2012). Introduction: Linguistic complexity: Second Language Acquisition, indigenization, contact. In B. Szmrecsanyi & B. Kortmann (Eds.). Linguistic complexity. Second Language Acquisition, Indigenization, Contact (pp. 6-34). Berlin: Walter de Gruyter.
Literatur
Top Related