Oberstufen-Kolleg Bielefeld
Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen
Der Umgang mit institutioneller und individueller Rückmeldung am Beispiel des Oberstufen-Kollegs
Bielefeld
Oberstufen-Kolleg Bielefeld
Inhalt• (1) Hintergrundinformationen
• Besonderheiten des Oberstufen-Kollegs Bielefeld• Untersuchung zu den Aspekten der
Lernausgangslage und der Lernentwicklung (LAU) – Anlage und Durchführung
• Notwendige Rahmenbedingungen & Voraussetzungen für Large-Scale-Assesments (LSA) an einer Einzelschule
Oberstufen-Kolleg Bielefeld
Inhalt
• (2) LAU am OS• Möglichkeiten und Grenzen der Datenauswertung• institutionelle Rückmeldungen• individuelle Schülerrückmeldungen
• (3) Zusammenfassung und Bewertung• (4) Implikationen für die sich anschließende KESS-
Erhebung, oder: was haben wir gelernt?
Oberstufen-Kolleg Bielefeld
• Versuchsschule des Landes Nordrhein-Westfalen seit 1974
• Wissenschaftliche Einrichtung Oberstufen-Kolleg (an der Fakultät für Erziehungswissenschaft der Universität Bielefeld)
• bis 2002 vierjährig, Anlehnung an das US-amerikanische College- Modell (Teile des Grundstudiums während der Ausbildung)
• ab 2002 Veränderung zur dreijährigen Reformoberstufe Abschluss: Allgemeine Hochschulreife (Abitur)
(1) Hintergrundinformationen: Besonderheiten des Oberstufen-Kollegs Bielefeld I
Oberstufen-Kolleg Bielefeld
• seit 2008 Teilnahme am Zentralabitur in den Studienfächern
• besondere Bedingungen:- eigene Ausbildungs- und Prüfungsordnung- Aufnahme von KollegiatInnen ohne Qualifikationsvermerk- eigenes Curriculum
(1) Hintergrundinformationen: Besonderheiten des Oberstufen-Kollegs Bielefeld
II
Oberstufen-Kolleg Bielefeld
Beispiel: Deutschausbildung am OS
Beginn der Ausbildung
Jahrgang 11 Jahrgang 12 Jahrgang 13
Abschluss der
Ausbildung
Eingangstest in Deutsch, Mathematik und Englisch
Aufgrund der Ergebnisse: Zuweisung von Brückenkursen
vor Beginn
Brückenkursefür einige KollegiatInnen 2 Std.
Basiskurse*für alle KollegiatInnen4 Std.
Studienfachkurse in Deutsch 6 Std.
oder
Deutsch als Querschnittsaufgabe Sequenz in Literatur verpflichtend (8
Std.)
*sofern als 1. oder 2. Studienfach Deutsch gewählt wurde, wird dieser Kurs ab dem zweiten Semester zusätzlich zu
den Basiskursen belegt (6 Std.)
Oberstufen-Kolleg Bielefeld
(1) Hintergrundinformationen: LAU – Anlage und Durchführung I
• bundeslandspezifische Schulleistungsstudie (Hamburg)
• Funktion: Bildungssystem-Monitoring• Erhebungszeitraum: 1996 (LAU 5) bis 2005 (LAU13)
im Abstand von 2 Schuljahren (5,7,9,11,13)• Erhebungsform: flächendeckend, längsschnittlich
Oberstufen-Kolleg Bielefeld
(1) Hintergrundinformationen: LAU – Anlage und Durchführung II
• Testbereiche: Deutsch (Wissen zur Texterschließung/Leseverstehen/ Textproduktion/Rechtschreibung / Fehlersuche/Lesegeschwindigkeit), Mathe, 1. Fremdsprache
• Kontextvariablen: schul- und unterrichtsbezogene Einstellungen (Schülerfragebögen)
• Rückmeldeform: Klassenbezogene Schulrückmeldung in absoluten Zahlen
Oberstufen-Kolleg Bielefeld
Abbildung: Bsp. einer klassenbezogenen Rückmeldung aus LAU 7 (Quelle: Weinert, F. E.
(2002) Leistungsmessungen in Schulen.
Oberstufen-Kolleg Bielefeld
(1) Hintergrundinformationen: LAU – Anlage und Durchführung III
• LAU am OS: Anstoß und Erwartungen
- Anstoß zur Kooperation mit dem LI in HH: durch externe Evaluation des OS (Peer-Review) und des Projektes: Basiskompetenzen im Deutschen
- Kritik an der Konzeption des Projekts- vorgeschlagenes „Curriculum“ sei zu kleinschrittig- Niveau sei nicht angemessen- interne Nachweise von Lernerfolgen wurden als nicht ausreichend beurteilt
• Erwartung des OS an die Vergleichsuntersuchung: Nutzung der Untersuchungsergebnisse für die Schulentwicklung des OS
Oberstufen-Kolleg Bielefeld
(1) Hintergrundinformationen: LAU – Anlage und Durchführung IV
Erwartungen und Ziele• Nutzung der Untersuchungsergebnisse für die
inhaltliche Kurskonzeption der Basis- und Brückenkurse Deutsch
• Instrumentenvergleich: Eingangsdiagnose (internes Instrument) vs. LAU (externes Instrument)
• Ergebnisse für die Entwicklung der Einrichtung nutzbar machen (institutionelle & individuelle Rückmeldung)
• Nutzung der Untersuchungsergebnisse für die Kollegiat/innen in Form individueller Ergebnisrückmeldungen Darstellung der individuellen Lernausgangslage und Lernentwicklung (in anonymisierter Form)
Oberstufen-Kolleg Bielefeld
(1) Hintergrundinformationen: LAU – Anlage und Durchführung V
Beantwortung der Fragen zur:• (Individuellen) Lernentwicklung während der
Kursphase• Nachhaltigkeit der Lernzuwächse bis zum
Ausbildungsabschluss • Lernausgangslage (Benchmark mit Hamburg)
- Welchen Einfluss hat die Zusammensetzung der Schülerschaft auf die Ergebnisse?
Oberstufen-Kolleg Bielefeld
(1) Hintergrundinformationen: LAU – Anlage und Durchführung VI
LAU am OS - Schritte• Grundlegend: Kooperation mit LI in Hamburg
(Kooperationsvertrag) / „Kooperation auf Augenhöhe“• Adaptation der Instrumente (Itemauswahl z.B. in Hinblick auf
curriculare Aspekte)• Fort- und Weiterbildung von Teammitgliedern (z.B.
Testleiterschulungen, Auswertungsmethoden)• Durchführung der Erhebungen am OS (vgl. Design)• regelmäßige Treffen zwischen LI und OS (Austausch, externe
Auswertung durch das LI bzw. HU Berlin)• Verknüpfung der Leistungsdaten mit Hintergrundvariablen• Rückmeldungen auf individueller und institutioneller Ebene
Oberstufen-Kolleg Bielefeld
13.1
12.1
11.1
11.2
12.2
13.2
Schulhalbjahre 13.1
12.1
11.1
Aug/2006 März/2009
11.2
12.2
13.2
März/2007
Schulhalbjahre
LAU 11 (2002)
Untersuchungsdesign LAU
Sept/2007 Feb/2008 Feb/2010
Testzeitpunkte der Jahrgänge
Legende:
= Aufnahmejahrgang 2006
= Aufnahmejahrgang 2007
LAU 13 (2005)
Oberstufen-Kolleg Bielefeld
(1) Hintergrundinformationen: Notwendige Voraussetzungen für
LSA an Einzelschulen I
• die pädagogische Arbeit und die damit verbundenen Ziele der Schule müssen berücksichtigt werden
• Einbringen individueller Fragen der Einzelschule• es müssen wiederholte Messungen stattfinden• es muss eine ausreichend große Stichprobe getestet
werden• ggfs. Adaptation der Instrumente an die Einrichtung
Oberstufen-Kolleg Bielefeld
(1) Hintergrundinformationen: Notwendige Voraussetzungen für
LSA an Einzelschulen II• schulübergreifende Kooperation: Instrumente müssen
verfügbar gemacht werden und externe Auswertung der Daten muss gesichert sein
• Schulungen & Fortbildungen zur Testdurchführung und Datenauswertung
• Rückmeldungen (institutionell & individuell) als Grundlage für Veränderungsprozesse (z.B. zur inneren Differenzierung (institutionell) oder für Beratungs- und Unterstützungsangebote (individuell))
• Kontextmerkmale mit einbeziehen („fairer Vergleich“)
Oberstufen-Kolleg Bielefeld
(2) LAU am OS:Möglichkeiten und Grenzen der
Datenauswertung IBeispiel Textproduktion:• subjektiv erfasste Schwierigkeiten:
- Übungseffekte durch wiederholten Einsatz der gleichen Aufgabe (Beschwerdebrief)- Konkretheit der Aufgabenstellung hat Einfluss auf qualitative und quantitative Aspekte der Textproduktion- es entstand der Eindruck, dass oftmals das
Leistungspotential nicht ganz ausgeschöpft wurde (so konnten bspw. kaum Prozeduren der Selbstkorrektur beobachtet werden)- Faktoren der Testmotivation beeinflussen die Ergebnisse
• Datenauswertung: - Skalierungsschwierigkeiten aufgrund der
Stichprobengröße
Oberstufen-Kolleg Bielefeld
(2) LAU am OS:Institutionelle Rückmeldung I
• die institutionelle Rückmeldung der Leistungsdaten, die auf Grundlage von Large- Scale- Instrumenten erhoben wurden, können folgendermaßen genutzt werden:• inhaltliche Weiterentwicklung des Unterrichts (hier: der Basis- und Brückenkurse Deutsch)• Schwächen und Stärken aufzeigen, Bedarfe ermitteln• Benchmark („Außenvergleich“)
Oberstufen-Kolleg Bielefeld
(2) LAU am OS:Institutionelle Rückmeldung II
• Selbstvergewisserung (durch den Benchmark mit HH)• Nachweis von Leistungszuwächsen• Schülerschaft genauer beschreiben• Nachhaltigkeit der Lernergebnisse prüfen
Oberstufen-Kolleg Bielefeld
(2) LAU am OS:Individuelle Rückmeldung I
• die individuelle Rückmeldung von Leistungsdaten auf Schülerebene, die auf Grundlage von Large- Scale- Instrumenten erhoben wurden, wird derzeit kritisch diskutiert
• Vertreter sprechen sich für die Nutzung dieser Daten auch auf individueller Ebene aus, sofern diese Daten von weiteren Erhebungen (z.B. schulinterne Instrumente, Noten, Schülerbeobachtungen) flankiert werden
• Gegner der Nutzung dieser Daten für die individuelle Rückmeldung betonen, dass für formatives Assessment andere Erhebungsformate notwendig sind (z. B. höhere Reliabilität durch höhere Itemanzahl)
Oberstufen-Kolleg Bielefeld
(2) LAU am OS:Individuelle Rückmeldung II
• Prinzipiell sollte die Impulsgebung für die Instrumentenauswahl immer die Funktionalität des Instrumentes und der diagnostische Ansatz sein („Was will ich wissen?“; „Was ist das Ziel?“)
• Aber: „Nebenprodukte“ können und sollen genutzt werden, auch wenn diese messfehlerbehaftet sind
Oberstufen-Kolleg Bielefeld
(2) LAU am OS:Individuelle Rückmeldung III
Ziele: • Transparenz für die Kollegiat/innen schaffen• Individuelle Ergebnisrückmeldung als Unterstützung
bei der Planung weiterer Ausbildungsschritte (Verknüpfung von Diagnostik und Förderung)
• Rückmeldung sollte abgekoppelt von den schulischen Lernprozessen erfolgen
• Rückmeldung sollte nicht über die Lehrpersonen erfolgen (keine Informationsweitergabe über Individualleistungen)
Oberstufen-Kolleg Bielefeld
(2) LAU am OS:Individuelle Rückmeldung: Konkrete
Durchführung
1. Verfahren der doppelten Anonymisierung2. Rückmeldung durch die Forschungsgruppe3. Präsentation der Ergebnisse in Form eines Booklets 4. Erläuterung der Ergebnisse (auf Wunsch) durch die
Mitglieder des WE-Teams5. Lernberatung auf Grundlage der Ergebnisse (auf
Wunsch)
Oberstufen-Kolleg Bielefeld
Oberstufen-Kolleg Bielefeld
Oberstufen-Kolleg Bielefeld
Oberstufen-Kolleg Bielefeld
(3) Zusammenfassung und Bewertung I
• Rücklaufquote (sinkendes Interesse bei den Kollegiat/innen über die Zeit)
• Ergebnisse spiegeln lediglich Momentaufnahmen wieder
• Einfluss motivationaler Aspekte (insbesondere zum letzten Testzeitpunkt)
• keine prognostische Einschätzung möglich (geringe Itemanzahl)
• Rückmeldung verlief nicht optimal (Potential nicht voll ausgeschöpft)
Oberstufen-Kolleg Bielefeld
(3) Zusammenfassung und Bewertung II
• Benchmarking vs. Qualitätssicherung Abstimmung der Testzeitpunkte aufs Curriculum
• deskriptive Darstellung der Schulleistungen, keine Ursachenforschung Hintergrundinformationen mit einbeziehen, zusätzliche von den Lehrkräften entwickelte Items
• Quasi-Längsschnitt vs. echter Längsschnitt
Stichprobe verringert sich im Verlauf der Erhebung
Oberstufen-Kolleg Bielefeld
(3) Zusammenfassung und Bewertung III
• mit der individuellen Rückmeldung auf Grundlage von Large- Scale-Assessments ist ein Schritt zur Schulevaluation und Schulentwicklung getan
• die Ergebnisse können Einzelpersonen ggfs. für ihre Ausbildungsbiografie nutzen
• Rückmeldung an alle betroffenen Gruppen bilden die Grundlage für einzuleitende Veränderungsprozesse vor Ort
• Verständnissicherung muss gewährleistet sein (Wie kann dies an einer Regelschule gelingen in Hinblick auf Ressourcen?)
• reine Informationsweitergabe nicht sinnvoll, es muss ein Beratungsangebot (Was fange ich mit den Ergebnissen an?) vor Ort bestehen
Oberstufen-Kolleg Bielefeld
(4) Implikationen für KESS
• Motivationale Aspekte mehr beachten• Ausweitung auf andere Fachbereiche (an welchen
Stellen sinnvoll/welche Ziele werden verfolgt)• Optimierung der individuellen Rückmeldung
•Organisatorische Umsetzung der Rückmeldung •Bessere Flankierung der Leistungsdaten mit weiteren Schülerdaten (Verknüpfung)•Bessere Kooperation mit Lehrkräften und Lernberatern•Deutlichere Ableitungen von Empfehlungen und Hilfestellungen für die Kollegiat/innen
Top Related