1

Berufliche Kompetenzen messen – Modellversuchsprojekt KOMET (Metall)

1. Zwischenbericht Juli 2011

2

Berufliche Kompetenzen messen – Modellversuchsprojekt KOMET (Metall) - 1. Zwischenbericht -

Das Projekt wird gefördert durch Mittel des Bundeslandes Hessen.

Das Projekt wird durchgeführt und begleitet durch das Konsortium „KOMET Metall “ (s. u.).

Redaktion: Andrea Maurer, FG I:BB, Tel. 0421-218.62634, amaurer@uni-bremen.de

3

KOMET-Konsortium Industriemechaniker, Kfz-Mechatroniker:

Hessisches Kultusministerium Dieter Wolf, Abteilungsleiter Abteilung III: Berufliche Schulen, Schulen für Erwachsene und Lebensbegleitendes Lernen; Maximilian Philipp, Referent (Fachschulen, Berufsfelder Metall, Elektrotechnik u. a.)

Wissenschaftliche Begleitung Leitung: Prof. Dr. Felix Rauner (Universität Bremen), Dr. Lars Heinemann (Universität Bremen) Andrea Maurer (Universität Bremen) Für das KOMET-Projekt (Kfz-Mechatroniker) China: Prof. Dr. Zhiqun Zhao

Beratend Dr. Thomas Martens, (Deutsches Institut für Internationale Pädagogische Forschung, Frankfurt am Main), PD Dr. Jörg Hupfeld-Heinemann (Universität Bern), Dr. Birgitt Erdwien (Dipl.-Psych., Bremen), Prof. Dr. Bernd Haasler (Pädagogische Hochschule Weingarten)

Berufsschullehrer-Arbeitsgruppen Kfz-Mechatroniker: Hessen: Marc-Alexander Behr, Jan Burger, Dittmar Hackbusch, Christoph Kubens ,Jens Ludwig ,Roland Macht, Achim Mahr, Dirk Nebelung, Lars Opfer, Martin Palzer, Joachim Schulz, Thorsten Sommer, Marcus Tinz, Thorsten Träger, Harald Volkmann, Guido Wehrmann Niedersachsen: Wolf Teggemann (Koordinator) Industriemechaniker: Hessen: Holger Bös, Matthias Ernst, Stefan Faber, Wilhelm Fehr, Steffen Fleischer, André Kaiwi, Heiko Kucklei, Andreas Macht, Claus Reiser, Thomas Scholz, Markus Stamm Nordrhein-Westfalen: Reinhard Beermann, Joachim Czeloth, Markus Dommes, Axel Grubba, Andrea Kaiser, Katrin Lebus, Jürgen Lehberger, Martin Mennes, Ewald Reinhardt, Andreas Rulf

Beteiligte Berufsbildende Schulen Hessen: Adolf-Reichwein-Schule Marburg, Berufliche Schulen Bad Hersfeld, Erasmus-Kittler-Schule Darmstadt, Friedrich-Ebert-Schule Wiesbaden, Ludwig-Geißler-Schule Hanau, Max-Eyth-Schule Kassel, Oskar-von-Miller-Schule Kassel, Radko-Stöckl-Schule Melsungen, Werner-von-Siemens-Schule Wetzlar Nordrhein-Westfalen: Berufskolleg für Technik des Märkischen Kreises in Lüdenscheid

Niedersachsen (Ergebnisse liegen noch nicht vor): Berufsbildenden Schulen für den Land-kreis Wesermarsch, BBS Delmenhorst China: Berufliche Schulen und Hochschulen aus mehreren chinesischen Provinzen nehmen an dem KOMET-Projekt Kfz-Mechatroniker teil. Der erste Testzeitpunkt lag im Juni 2011. Die Testergebnisse lagen zum Zeitpunkt des Erscheinens dieses Berichts noch nicht vor.

4

Inhaltsverzeichnis

Einleitung ................................................................................................................................... 5

1. Die Entwicklung von Test und Lernaufgaben im Projekt KOMET................................... 6

1.1 Testaufgaben für Kfz-Mechatroniker/innen ................................................................... 7

1.2 Testaufgaben für Industriemechaniker/innen ................................................................. 9

2. Erste Testergebnisse im Überblick................................................................................... 11

2.1 Industriemechaniker/innen ........................................................................................... 11

2.2 Kfz-Mechatroniker/innen ............................................................................................. 20

2.3 Berufsübergreifende Vergleiche................................................................................... 29

3. Literatur............................................................................................................................ 31

4. Anhang ............................................................................................................................. 32

5

Einleitung

Die Etablierung einer Large-Scale-Kompetenzdiagnostik im Bereich der beruflichen Bildung ist nicht nur mit zahlreichen methodischen Problemen konfrontiert (vgl. KOMET Bd. 1, 23f; BAETHGE u. a. 2006), sondern hängt ganz entscheidend davon ab, ob die Akteure der Berufs-bildungspraxis – das sind vor allem die Lehrer und Ausbilder – dieses neue Instrumentarium als nützlich und innovativ für die Gestaltung und Evaluation beruflicher Bildungsprozesse an-sehen. Ein Projekt wie PISA, das als Top-down-Projekt von der OECD initiiert und gesteuert wird und in erster Linie auf einen internationalen Vergleich zielt, führt zu Ergebnissen, die vor allem von bildungsplanerischer und bildungspolitischer Bedeutung sind. Die Akzeptanz des KOMET-Projekts basiert vor allem darauf, dass sich die Berufsbildungspraxis dieses Pro-jekt zu Eigen macht.1 Daraus ergibt sich die Frage nach der (fach)didaktischen und berufspä-dagogischen Qualität des KOMET-Instrumentariums. Die von den Koordinatoren des KOMET-Modellversuchs (Elektroniker) dokumentierten und im Rahmen von Transferveran-staltungen präsentierten Ergebnisse und Erfahrungen (vgl. Abb. 1) gaben letztlich den Aus-schlag für das Folgeprojekt in den Berufen Industriemechaniker/innen und Kfz-Mechatroniker/innen.

Abb. 1: Bewertung der Modellversuchsergebnisse (KOMET-Elektroniker) durch die Projektkoordinatoren der beteiligten beruflichen Schulen – Auszüge aus dem Protokoll der Abschlusstagung am 02.12.2010

1 Auf aggregierter Ebene sind die Untersuchungsergebnisse ebenso beim PISA-Projekt von bildungsplanerischer und

bildungspolitischer Bedeutung.

6

1. Die Entwicklung von Test und Lernaufgaben im Projekt KOMET

Die Entwicklung von Test- und Lernaufgaben nach dem KOMET-Kompetenzmodell in enger Zusammenarbeit zwischen den Steuerungsgruppen Industriemechaniker und Kfz-Mechatroniker, der wissenschaftlichen Begleitung sowie unter Mitwirkung von Fachdidakti-kern anderer Bundesländer nimmt einen Zeitraum von circa sechs Monaten in Anspruch. Die Entwicklung der Testaufgaben schließt die Beschreibung der Lösungsräume ein. Die Qualität und relative Vollständigkeit der Lösungsräume ist die Grundlage für die Bewertung der Auf-gabenlösungen im Ratingverfahren. Spätestens beim ersten Ratertraining zeigt sich, ob - auf der Grundlage des Lösungsraumes sowie der Rating-Items ein gemeinsames Ver-

ständnis der zu bewertenden Lösungsaspekte erreicht wird, - relevante Lösungsaspekte in der Beschreibung der Lösungsräume eventuell fehlen, - die Rater in ihren Bewertungsmaßstäben übereinstimmen oder ob ihr Rating von unter-

schiedlichen Leitbildern und Zielen der Berufsausbildung geprägt ist. Erst wenn zu diesen drei Punkten Klarheit und weitgehende Übereinstimmung erreicht ist, sind die Voraussetzungen für den Einsatz der Testaufgaben gegeben. Nach den jeweiligen Projekterfahrungen entscheidet die Qualität der Testaufgabenentwicklung auch über das Ge-lingen der internationalen Vergleichsuntersuchungen.

Das KOMET-Kompetenzmodell ist auch die Grundlage für die Entwicklung von Lernaufga-ben (Abb. 2).

Abb. 2: Zum Zusammenhang von Leitideen beruflicher Bildung und dem Messen beruflicher Kompetenz

Eine Vorgabe für die Beteiligung von Testgruppen an den KOMET-Projekten besteht darin, sicher zu stellen, dass in der Unterrichts- bzw. Ausbildungspraxis Formen des projektförmi-gen Lernens etabliert sind. Die Einführung von Lernaufgaben, anhand derer die Auszubilden-den/Studierenden lernen, berufliche Aufgaben vollständig zu lösen, ihre Lösungen zu begrün-den und nach den Kriterien der holistischen Aufgabenlösung zu bewerten, ist eine wesentliche Voraussetzung für das Gütekriterium Fairness. Dabei geht es nicht um das Einüben von Test-verhalten (Training to tests), sondern um die verstärkte Einführung von Lern- und Ausbil-dungsformen im Sinne des Lernfeldkonzeptes und der Umsetzung der Leitidee, die in allen

7

KMK-Rahmenlehrplänen verankert ist: Befähigung zur Mitgestaltung der Arbeitswelt und der Gesellschaft in sozialer und ökologischer Verantwortung (KMK 1991, 1996).

Bisher zielen die KOMET-Projekte mit ihren Testaufgaben auf das Messen beruflicher Kom-petenz unter Bezugnahme auf die in den Berufsbildern definierten Fähigkeiten, über die die ausgebildeten Fachkräfte am Ende ihrer Ausbildung verfügen sollen.

Die Testaufgaben sind so angelegt, dass sie bereits von Auszubildenden am Beginn der zwei-ten Ausbildungshälfte verstanden werden und lösbar sind. Dies gelingt bei offenen Testaufga-ben auch deshalb recht gut, da das Lösungsniveau nicht vorgegeben wird, sondern erst durch die Ermittlung der Kompetenzausprägung ermittelt wird. Daher sind die KOMET-Testaufgaben in der Regel auch unabhängig von der Form der Ausbildung (duale, berufs-fachschulische oder fachschulische Ausbildung) einsetzbar. Entscheidend ist dafür lediglich, ob die Dozenten, Lehrer bzw. Ausbilder des jeweiligen Bildungsganges die Testaufgaben als inhaltlich valide bewerten.

1.1 Testaufgaben für Kfz-Mechatroniker/innen Bei der Entwicklung der Testaufgaben für Kfz-Mechatroniker wurden die vier für den Beruf charakteristischen Aufgabenfelder zugrunde gelegt. Diesen vier Aufgabenbereichen lassen sich die sechs Testaufgaben zuordnen (Tab. 1).

Aufgabenbereiche Kfz-Mechatroniker/innen Testaufgaben

Standard-Service, Standarderweiterungs-/ -Zusatzinstallationen

Wintercheck

Nachrüsten eines Dieselpartikelfilters

Fehlerdiagnose und Reparatur Ölverbrauch

Sondererweiterungen Autogas

Oldtimer

Expertendiagnose und -reparatur Instandsetzung Fensterheber

Tab. 1: Aufgabenbereiche Kfz-Mechatroniker/innen mit dazugehörigen Testaufgaben

Sie repräsentieren das Berufsbild des Kfz-Mechatronikers (vgl. RAUNER, SPÖTTL 2002, 172-209). Die Testaufgaben wurden von der Kfz-Steuerungsgruppe entwickelt und in einem Pre-test erprobt. Zu jeder Testaufgabe wurde der Lösungsraum beschrieben. Grundlage der Auf-gabenentwicklung war das KOMET-Testaufgabenkonzept (KOMET Bd. 1, S. 103ff.).

Bei fünf der Testaufgaben kommen alle acht Kompetenzkomponenten zum Tragen. Lediglich bei der Testaufgabe ‚Instandsetzung Fensterheber’ entfallen die Kompetenzkomponenten So-zialverträglichkeit (K6) und Umweltverträglichkeit (K7). Beide damit korrespondierenden Lösungsdimensionen spielen bei dieser Aufgabenstellung keine bzw. eine sehr untergeordnete Rolle. Trotzdem repräsentiert diese Testaufgabe einen für den Kfz-Mechatroniker wesentli-chen Aufgabenbereich.

Die durchschnittlichen Lösungsprofile der Testaufgaben repräsentieren die in der Ausbildung

8

vermittelten Kompetenzen. Die Testaufgaben des Aufgabenbereiches ‚Standarderweiterungs-/ -Zusatzinstallationen’ repräsentieren Aufgaben, die sich entwicklungslogisch bereits den Entwicklungsniveaus ‚fortgeschrittene Anfänger und Fortgeschrittene’ zuordnen lassen. Aus der Sicht eines ‚Könners’ – das Kompetenzniveau, das mit dem Abschluss einer Ausbildung erreicht werden soll – verfügen diese Aufgaben über einen geringeren Schwierigkeitsgrad. Al-lerdings impliziert das Konzept der holistischen Aufgabenlösung auch für die Lösung dieser Testaufgaben entsprechend hohe Anforderungen. Die durchschnittlich erreichten Punktwerte von 38,7 und 37,7 für die Lösungen der Aufgaben dieses Aufgabenbereiches (‚Wintercheck’ sowie ‚Nachrüsten eine Dieselpartikelfilters’) bestätigen den geringfügig niedrigeren Schwie-rigkeitsgrad dieser Aufgaben. Das Konzept des Schwierigkeitsgrades unterscheidet sich je-doch bei kriterienorientierten offenen Testaufgaben mit einem umfangreichen Lösungsraum grundlegend von der Definition des Schwierigkeitsgrades von Testitems, die richtig oder falsch gelöst werden können.

Aus den mit den einzelnen Testaufgaben gemessenen Kompetenzprofilen (Abb. 3) lassen sich Erkenntnisse über die Qualität der Testaufgaben und – ggf. – die Korrektur der Situationsbe-schreibung sowie die Beschreibung des Lösungsraums gewinnen.

Abb. 3a)-f):Kompetenzprofile der sechs verwendeten KOMET-Testaufgaben für Kfz-Mechatroniker/innen (Bei Aufgabe Fensterheber keine Wertung für Sozial- und Umweltverträglichkeit (K6, K7); GPW=Gesamt-punktwert; V=Variationskoeffizient; K1=Anschaulichkeit/Präsentation; K2=Funktionalität; K3=Ge-brauchswertorientierung; K4=Wirtschaftlichkeit; K5=Geschäfts- und Arbeitsprozessorientierung; K6=Sozialverträglichkeit; K7=Umweltverträglichkeit; K8=Kreativität; KF=Funktionale Kompetenz; KP=Prozessuale Kompetenz; KG=Ganzheitliche Gestaltungskompetenz)

9

Bei den Aufgaben ‚Dieselpartikelfilter’ sowie ‚Autogas’ variieren die durchschnittlich er-reichten Punktwerte pro Teilkompetenz weniger stark als bei den Aufgaben ‚Wintercheck’, ‚Ölverbrauch’ und ‚Oldtimer’. Dies ist v. a. darauf zurückzuführen, dass insbesondere bei diesen drei Testaufgaben die erreichten Punktwerte bei der Teilkompetenz Umweltverträg-lichkeit (K7) deutlich unter dem Durchschnitt liegen.

1.2 Testaufgaben für Industriemechaniker/innen Es wurden insgesamt vier Testaufgaben für Industriemechaniker/innen entwickelt (Tab. 2).

Aufgabenbereiche Industriemechaniker/innen Testaufgaben

Instandhalten (Warten und Instandsetzen) technischer Systeme

Instandsetzung eines Kolbenkompressors

Einrichten, Umrüsten und Instandsetzen von Produktionsanlagen

Wiederinbetriebnahme einer Drehmaschine

Überwachen und Steuern von Produktionsanlagen Tauchbad

Optimieren technischer Systeme und Produktionsabläufe

Optimierung einer Antriebseinheit

Tab. 2: Aufgabenbereiche Industriemechaniker/innen mit dazugehörigen Testaufgaben

Abb. 4a)-d): Kompetenzprofile der vier verwendeten KOMET-Testaufgaben für Industriemechaniker/innen; Le-gende vgl. Abb. 3, S. 8

10

Das sehr homogene Kompetenzprofil (V=0,132) zur Testaufgabe ‚Wiederinbetriebnahme ei-ner Drehmaschine’ weist auf eine Situationsbeschreibung hin, mit der es gelungen ist, alle acht Lösungsaspekte so hervorzuheben bzw. in die Situationsbeschreibung zu inkorporieren – ohne Spezifikationen und fragengeleitete Hilfestellungen vorzugeben – dass die Testpersonen sich herausgefordert sahen, die Aufgaben „vollständig“ zu lösen. Insofern handelt es sich ge-radezu um eine idealtypische Testaufgabe. Über eine vergleichbar gute Testcharakteristik ver-fügt die Aufgabe ‚Optimierung einer Antriebseinheit’. Daher verweisen die Testdiagramme ‚Tauchbad’ und ‚Instandsetzung eines Kolbenkompressors’ – in diesem Fall – nicht nur auf einseitig ausgeprägte Kompetenzprofile der Testgruppe, sondern auch auf Situationsbeschrei-bungen mit einem zu schwachen Anforderungsprofil zu den Kompetenzkomponenten Sozial- und Umweltverträglichkeit (K6, K7). Das Argument „Darauf muss ein Könner von selbst kommen“ entbindet die Autoren der Testaufgaben nicht von der Aufgabe, eine aus der Kun-denperspektive differenzierte Situations- bzw. Anforderungsbeschreibung zu formulieren. In ihrer Summe repräsentieren die vier Testaufgaben jedoch die Kernaufgabe eines Industrieme-chanikers und verfügen über das Potential zum Messen der Kompetenzausprägung im Sinne des KOMET-Kompetenzmodells.

2 Zum Variationskoeffizient V siehe ausführlich S. 16, Punkt 2.

11

2. Erste Testergebnisse im Überblick

2.1 Industriemechaniker/innen 2011 bearbeiteten in Hessen 282 Auszubildende und in Nordrhein-Westfalen (BK-Lüdenscheid) 63 Auszubildende jeweils eine von vier KOMET-Testaufgaben für Industrie-mechaniker/innen. Die Ergebnisse der anschließenden doppelten Bewertung jeder Testaufga-be durch eine eigens dafür geschulte Ratergruppe werden im Folgenden vorgestellt.

Bewertet man die Testergebnisse Industriemechaniker (IM) unter Bezugnahme auf die Leit-idee beruflicher Bildung „Befähigung zur Mitgestaltung der Arbeitswelt in sozialer und öko-logischer Verantwortung“ (KMK 1991, 1996 sowie Rahmenlehrplan Industriemechaniker), dann zeigt sich, dass über ein Drittel der Testteilnehmer das höchste (dritte) Kompetenzni-veau – Gestaltungskompetenz – erreicht. Ein weiteres Drittel erreicht das zweite Kompetenz-niveau (Prozessuale Kompetenz), 16% der Testteilnehmer erreichen das Niveau funktionaler Kompetenz; lediglich 14% der Teilnehmer erreichen mit ihrem Testergebnis kein Niveau be-ruflicher Kompetenzen (nominelle Kompetenz; Abb. 3).

Abb. 3: Kompetenzniveauverteilung Industriemechaniker/innen, Ergebnis 2011 (n = 345)

Stagnation der Kompetenzentwicklung vom zweiten zum dritten Ausbildungsjahr Das bereits im Modellversuch KOMET (Elektroniker) ermittelte Ergebnis, dass die Kompe-tenzentwicklung vom zweiten zum dritten Ausbildungsjahr stagniert, tritt ebenso bei dieser Untersuchung auf (Abb. 4). Überraschend ist dies insofern nicht, als dieses Phänomen auf die Prüfungs- und Feedbackstruktur der Ausbildung zurückgeführt wurde. Da der zweite Test-zeitpunkt (drittes Ausbildungsjahr) zwölf Monate nach Teil 1 der Prüfung (Zwischenprüfung) und ca. zehn Monate vor Teil 2 der Prüfung liegt, fällt der Testzeitpunkt in eine Phase stark reduzierten Feedbacks in Bezug auf die „Fortschritte“ im Prozess der beruflichen Kompe-

12

tenzentwicklung. Die Stagnation in der Entwicklung des Kompetenzniveaus bedeutet jedoch nicht, dass eine gewisse Verbreiterung bei der Aneignung beruflicher Qualifikationen statt-findet. Dieser Prozess der Qualifikationsentwicklung trägt jedoch ganz offensichtlich nicht zu einer Anhebung des Kompetenzniveaus bei. Aus diesem Befund ergibt sich die naheliegende Schlussfolgerung, dass eine die Ausbildung begleitende Prüfungs- und Feedbackpraxis auch zu einem Zuwachs der Kompetenz führen wird (vgl. KOMET Bd. 2, Kap. 5.2).

Abb. 4: Kompetenzniveauverteilung der Auszubildenden Industriemechaniker/innen nach Ausbildungsjahr

Beim Vergleich der Kompetenzprofile bestätigt sich die Stagnation der Kompetenzentwick-lung vom zweiten zum dritten Ausbildungsjahr auch in Bezug auf alle Teilkompetenzen (Abb. 5).

a) 2. Ausbildungsjahr (n=195): GPW=37,9, V=0,19 b) 3. Ausbildungsjahr (n=147): GPW = 39,5, V=0,2

Abb. 5: Durchschnittliche Kompetenzprofile Industriemechaniker/innen 2011, nach Ausbildungsjahr; Legende s. Abb. 3, S. 8

13

Große Differenzen zwischen den teilnehmenden Klassen3 Bei der Betrachtung der erreichten Kompetenzniveaus auf Klassenebene zeigt sich, dass zwi-schen den Klassen teilweise sehr große Leistungsunterschiede bestehen. Abbildung 6 gibt ei-nen Überblick darüber, wie viel Prozent einer Klasse das Niveau „Ganzheitliche Gestaltungs-kompetenz“ erreichen. In der Hälfte der beteiligten Klassen erreichen zwischen 42% und 65% der Auszubildenden das höchste (dritte) Kompetenzniveau. Bei der anderen Hälfte der Test-klassen liegt der Anteil derer, die das höchste Kompetenzniveau erreichen, immer noch zwi-schen 20% und 29%. Bei der schwächsten Klasse erreichen 17% das dritte Kompetenzniveau.

Abb. 6: Anteil von Auszubildenden, die das Niveau „Ganzheitliche Gestaltungskompetenz“ erreichen, pro Klasse (Industriemechaniker/innen, 2011; GPW = Gesamtpunktwert; Vergabe der Klassennummern erfolgte nach GPW absteigend).

3 Bei der Auswertung auf Klassenebene wurden nur die Klassen mit einer Mindestgröße von sieben Schülern berücksichtigt.

14

Über ein „berufliches Arbeitskonzept“ bzw. das zweite Kompetenzniveau – Prozesskompe-tenz – verfügen in allen Klassen mehr als die Hälfte der Auszubildenden: zwischen 54% und 94% (Abb. 7). Das zweite Kompetenzniveau lässt sich in einer ersten Näherung als ein Indi-kator für die Umsetzung des Lernfeldkonzeptes interpretieren. Danach gelingt es im Zusam-menspiel zwischen schulischem und betrieblichem Lernen in einem beachtenswerten Umfang das Lernfeldkonzept umzusetzen.

Abb. 7: Anteil von Auszubildenden, die das Niveau „Prozessuale Kompetenz“ erreichen, pro Klasse (Indust-riemechaniker/innen, 2011; GPW = Gesamtpunktwert; Vergabe der Klassennummern erfolgte nach GPW absteigend).

Der Anteil der ‚Risiko’-Auszubildenden, der Auszubildenden, die keines der drei berufssfach-lichen Niveaus erreichen, liegt deutlich unter dem nach den PISA-Testergebnissen zu erwar-tenden Werten (Abb. 8). Auffällig ist jedoch die Heterogenität zwischen den Klassen. Pro Klasse sind maximal ein Drittel der Schüler Risiko-Auszubildende; in zwei Klassen erreichen alle Schüler mindestens das erste Kompetenzniveau.

15

Abb. 8: Anteil von Auszubildenden, die lediglich das Niveau „Nominelle Kompetenz“ (Risikoschüler) errei-chen, pro Klasse (Industriemechaniker/innen, 2011; GPW = Gesamtpunktwert; Vergabe der Klassen-nummern erfolgte nach GPW absteigend).

Da der Unterschied zwischen den Klassen nicht auf die allgemeinen kognitiven Fähigkeiten oder die schulische Vorbildung zurückgeführt werden können, lässt sich die Heterogenität zwischen den Klassen nur auf die die Ausbildung determinierenden Faktoren zurückführen (KOMET Bd. 3, Kap. 7).

Diese sind vor allem - eine mehr oder weniger an den betrieblichen Geschäftsprozess orientierte betriebliche

Ausbildung - die fachdidaktische und methodische Gestaltung von Unterricht und Ausbildung sowie - die Qualität der Lernortkooperation.

16

Dass in zwei Klassen alle und in weiteren fünf Klassen fast alle Testteilnehmer wenigstens das erste Kompetenzniveau (funktionale Kompetenz) erreichen, bestätigt die These, dass die duale Berufsausbildung insofern über ein kompensatorisches Potential verfügt, als sie Defizite der Allgemeinbildung ausgleichen kann.

Die Kompetenzprofile Die KOMET-Kompetenzprofile enthalten drei für die Gestaltung und Qualitätskontrolle des Unterrichts bzw. der Ausbildung wichtige Informationen.

1. Der Gesamtpunktwert (GPW) ist ein grobes Maß für das Leistungsniveau und setzt sich aus den erreichten Punktwerten funktionaler, prozessualer und ganzheitlicher Gestal-tungskompetenz zusammen.

2. Die Homogenität eines Kompetenzprofils lässt sich anhand des Variationskoeffizienten V bestimmen. V = 0 entspricht einem vollkommen homogenen Kompetenzprofil; bei allen acht Teilkompetenzen (K1-K8) wurde somit derselbe Punktwert erreicht. Werte von V > 0,5 entsprechen sehr inhomogenen Kompetenzprofilen. Eine zufriedenstellende und gute Homogenität liegt bei Werten von V < 0,25 vor.

3. Die Betrachtung der erreichten Punktwerte in den acht Teilkompetenzen ergibt ein detail-liertes Bild über die in der Ausbildung mehr oder weniger gut vermittelten Kompetenzen.

Das Gesamtergebnis Industriemechaniker zeigt, dass insgesamt ein relativ hohes Ausbil-dungsniveau bei einem hohen Grad an Homogenität (V = 0,2) erreicht wurde (Abb. 9; Tab 3).

Abb. 9: Durchschnittliches Kompetenzprofil Industriemechaniker/innen (n=342), GPW = 38,6; V=0,2 (Legen-de vgl. Abb. 3, S. 8)

17

Teilkompetenz mittlerer Punktwert

K1: Anschaulichkeit und Präsentation 14,6

K2: Funktionalität 16,0

K3: Gebrauchswertorientierung 13,2

K4: Wirtschaftlichkeit 12,5

K5: Geschäfts- und Arbeitsprozessorientierung 14,0

K6: Sozialverträglichkeit 8,9

K7: Umweltverträglichkeit 8,4

K8: Kreativität 12,8

Funktionale Kompetenz 15,3

Prozessuale Kompetenz 13,2

Gestaltungskompetenz 10,0

Gesamtpunktwert 38,6

Tab. 3: Durchschnittlich erreichte Punktwerte pro Teilkompetenz, Ergebnisse Industriemechaniker/innen

Wie unterschiedlich die Kompetenzprofile für einzelne Klassen ausfallen können, zeigt Ab-bildung 10. Die Kompetenzprofile aller Klassen werden im Anhang aufgeführt.

Nr. 1, n=17, GPW=48,5; V=0,21 Nr. 5, n=23, GPW=40,7; V=0,14 Nr. 14, n=19, GPW=35,1;V=0,25

Abb. 10: Durchschnittliches Kompetenzprofile dreier Industriemechaniker-Klassen (Legende vgl. Abb. 3, S. 8)

Perzentilbänder Als weitere Darstellungsform, die die Heterogenität von einzelnen Testgruppen anschaulich darstellt, bieten sich die ebenfalls in den PISA-Untersuchungen verwendeten Perzentilbänder an.

Die Darstellung durch Perzentilbänder erlaubt es, drei unterschiedliche Informationen über verschiedene Gruppen (Schulstandorte, Ausbildungsjahre, Klassen etc.) anschaulich zu bün-deln (Abb. 11). Die mittlere Markierung (MW) zeigt den Mittelwert der Gruppen. Durch den Vergleich der verschiedenen Mittelwerte werden Unterschiede in der durchschnittlichen Leis-tung sichtbar.

18

Abb. 11: Beispiel eines Perzentilbandes

Ob diese Unterschiede bedeutsam sind, zeigt sich an dem um den Mittelwert grau eingefärb-ten Bereich auf den Bändern, dem Konfidenzintervall. In diesem Bereich liegt mit 95%iger Sicherheit der ‚wahre’ Mittelwert, also die Hochrechnung aus der jeweiligen Gruppe auf die Grundgesamtheit. Unterschiede zwischen zwei Gruppen sind entsprechend dann signifikant und höchstwahrscheinlich nicht auf Zufall zurückzuführen, wenn der Mittelwert eines Bandes außerhalb des grauen Bereiches eines anderen liegt. Dies ist in Abbildung 12 beispielsweise bei den Klassen 1 und 15 der Fall.

Die dritte wichtige Information der Perzentilbänder betrifft die Spreizung der Ergebnisse, also den fachlichen Abstand zwischen schlechteren und besseren Testresultaten. Die weißen Be-reiche stellen die Werte für 25–50 Prozent bzw. 50–75 Prozent einer Gruppe dar. In diesem Bereich liegen die Werte für die Hälfte der Schüler, die sich um den Mittelwert gruppieren. Die äußeren grauen Bereiche schließlich beinhalten diejenigen Fälle, die den unteren (10–25 Prozent) bzw. oberen Bereich (75–90 Prozent) bilden. Die besten und schlechtesten 10 Pro-zent der Resultate werden von den Bändern nicht erfasst, um deren Breite nicht durch einzel-ne Ausreißer zu verzerren. Es gilt also: Der weiße Teil der Bänder (inklusive des grau einge-färbten Konfidenzintervalls) zeigt den Bereich an, in dem sich die mittleren 50 Prozent der Testergebnisse bewegen. Das gesamte Band zeigt die Spannweite der Resultate von 80 Pro-zent der Teilnehmer. Die 10 Prozent besten bzw. schlechtesten Resultate liegen rechts bzw. links des Bandes.

Es hat sich bei PISA als praktisch erwiesen, Kompetenzunterschiede zwischen Gruppen in ungefähre Entwicklungszeiten (Schuljahre) zu übersetzen. Als eine grobe Faustregel werden Unterschiede in der Größenordnung von etwa 40 Punkten als eine Differenz von einem Schul-jahr interpretiert (PISA-KONSORTIUM DEUTSCHLAND 2005, 38) In Anlehnung an die Interpre-tation der PISA-Ergebnisse lassen sich auch mit dem KOMET-Testverfahren Punktdifferen-zen als Lernzeitdifferenzen interpretieren (KOMET Bd. 2, 124). Für KOMET kann von einer Differenz von ca. 50 bis 60 Punkten zwischen einem Novizen und einem Spitzenkönner aus-gegangen werden. Das entspricht der Zeit für eine vollständige Berufsausbildung. Für ein Ausbildungsjahr ergibt sich nach der ‚PISA-Faustregel’ daher etwa ein Punktwert von 15.

In Abbildung 12 sind alle Kfz-Mechatroniker-Klassen mit einer für diese Darstellungsform ausreichenden Teilnehmeranzahl (mindestens 14 Personen) absteigend nach Mittelwert ge-ordnet. Zusätzlich zu den Leistungsdifferenzen zwischen den verschiedenen Klassen, die be-reits in den Abbildungen 6 bis 8 deutlich wurden, zeigt sich hier, wie viele Punktwerte bei-spielsweise die besten und die schwächsten Schüler einer Klasse trennen. Bei Klasse Nummer 5 haben die schwächsten Schüler (10%) weniger als 16 Punkte und die stärksten Schüler (10%) mehr als 70,5 Punkte erreicht.

19

Abb. 12: Perzentilbänder für die berufliche Kompetenz über alle Klassen Industriemechaniker (nur Klassen mit n>13 berücksichtigt)

Auch bei der Unterscheidung nach Schulstandort zeigen sich große Differenzen zwischen den Schülern ein und derselben Schule (Abb. 13).

Abb. 13: Perzentilbänder für die berufliche Kompetenz über alle Schulen (Industriemechaniker)

20

2.2 Kfz-Mechatroniker/innen In Hessen nahmen 373 Auszubildende am KOMET-Test Kfz-Mechatroniker/innen teil, in Niedersachsen 83 Auszubildende und in China ca. 800 Studierende und Auszubildende. Für diesen Zwischenbericht wurden die Ergebnisse der hessischen Teilnehmer ausgewertet.

Ebenso wie bei den Testergebnissen der Elektroniker und Industriemechaniker zeigt sich auch bei den Kfz-Mechatronikern eine große Heterogenität bei der Kompetenzausprägung. 14% der Teilnehmer erreichen das höchste Niveau beruflicher Kompetenz, weitere 50% das Ni-veau prozessualer Kompetenz, 24% zumindest das Niveau funktionaler Kompetenz. Lediglich 12% der Teilnehmer erreichen kein berufliches Kompetenzniveau und werden somit als Risi-ko-Auszubildende eingestuft (Abb. 14). Vergleicht man diesen Wert mit dem Anteil der Risi-koschüler beim PISA-Test (Naturwissenschaftliche Grundbildung/Hessen) von 30,8% (2000), dann zeigt sich auch für diesen Beruf eine positivere Kompetenzentwicklung als die PISA-Prognose erwarten ließ. Wir führen dies auf die kompensatorische Wirkung zurück, die die duale Berufsausbildung vor allem bei Auszubildenden entfaltet, die in ihrem Wunschberuf ausgebildet werden und ihre Ausbildungssituation positiv bewerten.4

Abb. 14: Kompetenzniveauverteilung Kfz-Mechatroniker/innen, Ergebnis 2011 (n = 373)

Beim Vergleich der Ergebnisse des zweiten und dritten Ausbildungsjahres zeigt sich wie auch bei den Kfz-Mechatronikern keine bzw. nur eine unerhebliche Kompetenzsteigerung (Abb. 15).

4 Empirische Ergebnisse zu dieser Hypothese können dazu erst nach Auswertung der Kontextbefragung vorgelegt werden.

21

Abb. 15: Kompetenzniveauverteilung der Auszubildenden Kfz-Mechatroniker/innen nach Ausbildungsjahr

Vergleich auf Klassenebene Betrachtet man die Verteilung der Risikoauszubildenden auf die Testgruppen, dann fällt auf, dass in sechs Klassen alle Auszubildenden das funktionale oder ein höheres Kompetenzni-veau erreichen, während am unteren Ende der Rangreihe nomineller Kompetenz (Risikoaus-zubildende) in zwei Klassen (22 und 23) der sehr hohe Anteil von 38 Prozent ermittelt wurde (Abb. 16).

22

Abb. 16: Anteil von Auszubildenden, die lediglich das Niveau „Nominelle Kompetenz“ erreichen, pro Klasse (Kfz-Mechatroniker/innen 2011; GPW = Gesamtpunktwert; nur Klassen mit n>7 berücksichtigt))

Komplementär zu diesem Ergebnis zeigt Abbildung 17 die Ausprägung der ganzheitlichen Gestaltungskompetenz in den 23 Klassen. Im Mittel erreichen 14% der Auszubildenden die-ses höchste Kompetenzniveau. Didaktisch interessant ist dabei die Varianz zwischen den Klassen: In drei Klassen (Nr. 2, 4, 8) erreicht etwa ein Drittel der Auszubildenden das höchste (dritte) Kompetenzniveau. Im Gegensatz dazu erreicht in vier Klassen (Nr. 9, 15, 21, 23) kein Auszubildender dieses Kompetenzniveau.

23

Abb. 17: Anteil von Auszubildenden, die das Niveau „Ganzheitliche Gestaltungskompetenz“ erreichen, pro Klasse (Kfz-Mechatroniker/innen, 2011; GPW = Gesamtpunktwert; nur Klassen mit n>7 berücksich-tigt)

Interessant ist in diesem Beruf der relativ hohe Anteil der Auszubildenden, die bereits im zweiten Ausbildungsjahr über ein ausgeprägtes berufliches Arbeitskonzept verfügen und das Niveau Prozesskompetenz erreichen (Abb. 18). Im Durchschnitt gilt das für zwei Drittel aller Auszubildenden. In zwei Klassen (Nr. 1 und 7) erreichen neun von zehn Auszubildenden die-ses Kompetenzniveau. Am unteren Ende der Rangreihe sinkt der Anteil der Auszubildenden, die das zweite Kompetenzniveau erreichen, auf unter ein Drittel der Teilnehmer einer Klasse ab.

24

Abb. 18: Anteil von Auszubildenden, die das Niveau „Prozessuale Kompetenz“ erreichen, pro Klasse (Kfz-Mechatroniker/innen, 2011; GPW = Gesamtpunktwert; nur Klassen mit n>7 berücksichtigt))

Insgesamt verweist dieses Ergebnis auf ein Qualifizierungspotential, das durch die Einfüh-rung von Lernformen, die sich auf das KOMET-Kompetenzmodell stützen, weiter ausge-schöpft werden kann.

Kompetenzprofile Analysiert man die Ergebnisse der Kfz-Mechatroniker/innen auf der Grundlage der Kompe-tenzprofile, dann lassen sich die Stärken und Schwächen der Kompetenzentwicklung deutlich identifizieren. Auf den ersten Blick repräsentiert die Höhe des mittleren Gesamtpunktwertes

25

(Tab. 4) mit 35,4 Punkten ein relativ gutes Ergebnis. Das Kompetenzprofil zeigt, dass dies auf die überdurchschnittlich hohen Werte der Teilkompetenzen Anschaulichkeit/Präsentation (K1), Funktionalität (K2) und Gebrauchswertorientierung (K3) zurückgeführt werden kann (Abb. 19). Deutlich unterentwickelt sind dagegen die Kompetenzen Sozialverträglichkeit (K6), Umweltverträglichkeit (K7) und Kreativität (K8). In der Summe begründet diese Kom-petenzausprägung einen relativ hohen Punktwert für funktionale Kompetenz (MW = 16,4) sowie einen akzeptablen Wert für prozessuale Kompetenz (12,0). Dagegen fällt der Durch-schnittswert für Gestaltungskompetenz mit 7,0 niedrig aus.

Teilkompetenz mittlerer Punktwert

K1: Anschaulichkeit und Präsentation 15,8

K2: Funktionalität 16,9

K3: Gebrauchswertorientierung 13,8

K4: Wirtschaftlichkeit 11,0

K5: Geschäfts- und Arbeitsprozessorientierung 11,3

K6: Sozialverträglichkeit 4,2

K7: Umweltverträglichkeit 6,2

K8: Kreativität 9,4

Funktionale Kompetenz 16,4

Prozessuale Kompetenz 12,0

Gestaltungskompetenz 7,0

Gesamtpunktwert 35,4

Tab. 4: Durchschnittlich erreichte Punktwerte pro Teilkompetenz, Ergebnisse Kfz-Mechatroniker/innen (n=373; bei K6/K7 n=313)

26

Abb. 19: Durchschnittliches Kompetenzprofil Kfz-Mechatroniker/innen (n=373), GPW = 35,4; V=0,37 (Legende vgl. Abb. 3, S. 8

Die Kompetenzprofile der Klassen Nummer 2, 4 und 8 (Abb. 20) zeigen, dass die Testaufga-ben zu Lösungen herausfordern, die ein homogenes Kompetenzprofil auf einem hohen Kom-petenzniveau voraussetzen. Der Variationskoeffizient von 0,37 kann daher – in einer ersten Annäherung an die Interpretation dieses Testergebnisses – als Ausdruck einer werkstattbezo-genen Ausbildungstradition bewertet werden, die vor allem auf die Vermittlung funktionaler Kompetenz ausgerichtet ist und die Leitidee der „Gestaltungskompetenz“ – im Sinne des Lernfeldkonzeptes – in der Ausbildungs- und Arbeitspraxis eher der „Meisterschaft“ zuord-net.

Nr. 2, n=17, GPW=43,1; V=0,26 Nr. 4, n=19, GPW=41,2; V=0,28 Nr. 8, n=13, GPW=37,7; V=0,30

Abb. 20: Kompetenzprofile dreier Kfz-Mechatroniker-Klassen (Legende vgl. Abb. 3, S. 8)

27

Perzentilbänder Ebenso wie die Ergebnisse der Industriemechaniker (vgl. S. 17) werden im Folgenden die Kfz-Mechatroniker-Ergebnisse anhand von Perzentilbändern dargestellt (Abb. 21, 22). Auch hier zeigt sich die große Differenz innerhalb einzelner Klassen bzw. Schulen. Bemerkenswert ist, dass in den vier besten Klassen die besten Schüler ein Ergebnis von über 60 Punkten er-zielen. Zudem gibt es Klassen, bei denen bei ähnlichem durchschnittlichem Gesamtpunktwert die Ergebnisse der Schüler unterschiedlich weit auseinanderliegen: In Klasse (11)+(17) er-zielten die Schüler/innen, die zwischen dem 10. und dem 90. Perzentil liegen, zwischen 24 und 48 Punkte; in Klasse 15, die denselben mittleren Gesamtpunktwert erzielt, liegt diese Spanne zwischen 14 und 59 Punkten.

Abb. 21: Perzentilbänder für die berufliche Kompetenz über alle Klassen Kfz-Mechatroniker (nur Klassen mit n>13 berücksichtigt)

28

Abb. 22: Perzentilbänder für die berufliche Kompetenz über alle Klassen Kfz-Mechatroniker

Abbildung 23 stellt die Ergebnisse der Berufe Kfz-Mechatroniker und Industriemechaniker unterschieden nach Ausbildungsjahr dar.

Abb. 23: Perzentilbänder für die berufliche Kompetenz nach Beruf und Ausbildungsjahr (IM = Industriemecha-niker, KFZ = Kfz-Mechatroniker)

29

2.3 Berufsübergreifende Vergleiche Vergleicht man die Testergebnisse zwischen den Berufen Elektroniker/innen für Betriebs-technik, Industriemechaniker/innen und Kfz-Mechatroniker/innen, dann fallen charakteristi-sche Unterschiede ins Auge (Abb. 24). Während der größte Anteil der Industriemechaniker (38%) das dritte Kompetenzniveau erreicht, ist das mit 50% bei den Kfz-Mechatronikern das zweite und mit 40% bei den Elektronikern für Betriebstechnik das erste Kompetenzniveau.

Abb. 24: Kompetenzniveauverteilung von drei Ausbildungsberufen im Vergleich (Ergebnisse 2009 bzw. 2011)

Sehr auffällig ist im Vergleich der Industriemechaniker mit den Kfz-Mechatronikern, dass zwar die Gesamtpunktwert nur um 3,2 Punkte (IM:38,6; Kfz-M.: 35,4) auseinander liegt, dass jedoch der Variationskoeffizient mit 0,2 (IM) und 0,37 (Kfz-M.) und damit die Homogenität der Kompetenzprofile sehr weit auseinander liegen (Abb. 24) .Dies ist insbesondere auf das vergleichsweise schwache Abschneiden der Kfz-Mechatroniker bei den Teilkompetenzen Umwelt- und Sozialverträglichkeit zurückzuführen Bei einem deutlich niedrigeren Gesamt-punktwert (28,8) verfügen auch die Elektroniker für Betriebstechnik über ein homogeneres Kompetenzprofil als die Kfz-Mechatroniker.

30

Abb. 24: Kompetenzprofile von drei Testgruppen im Vergleich (GPW = Gesamtpunktwert; V = Variationskoeffi-zient)

31

3. Literatur Baethge, M. u. a. (2006): Berufsbildungs-PISA. Machbarkeitsstudie. Stuttgart: Franz Steiner Verlag. KMK – Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik

Deutschland (Hrsg.) (1991): Rahmenvereinbarung über die Berufsschule. Beschluss der Kultusministerkonferenz vom 14./15.3.1991. In: Zeitschrift für Berufs- und Wirtschaftspädagogik, Heft 7, 590–593 Bonn.

KMK-Kultusministerkonferenz; Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (1996): Handreichungen für die Erarbeitung von Rahmenlehrplänen der Kultusministerkonferenz für den berufsbezogenen Unterricht in der Berufsschule und ihre Abstimmung mit Ausbildungsordnungen des Bundes für anerkannte Ausbildungsberufe: Bonn.

PISA-Konsortium Deutschland (Hg.) (2005): PISA 2003. Der Bildungsstand der Ju-gendlichen in Deutschland – Ergebnisse des zweiten internationalen Vergleichs. Münster: Waxmann.

Rauner, F.; Haasler, B.; Heinemann, L.; Grollmann, P. (2009): Messen beruflicher Kompetenzen. Band I. Grundlagen und Konzeption des KOMET-Projektes (2. Aufl.). Berlin: LIT.

Rauner, F. u. a.: (2009): Messen beruflicher Kompetenzen. Band II. Ergebnisse KOMET 2008. Berlin: LIT.

Rauner, F. u. a.: (2011): Messen beruflicher Kompetenzen. Band III. Drei Jahre KOMET-Testerfahrung. Berlin: LIT.

Rauner, F.; Spöttl, G. (2002): Der Kfz-Mechatroniker – Vom Neuling zum Experten. Bielefeld: Bertelsmann.

32

4. Anhang

Kompetenzprofile der Industriemechaniker-Klassen (Hessen, Nordrhein-Westfalen)

Nr. 1, n=17, GPW=48,5; V=0,21

Nr. 2, n=20, GPW=48,0; V=0,12

Nr. 3, n=21, GPW=45,8; V=0,17

Nr. 4, n=13, GPW=4,5,8; V=0,21

Nr. 5, n=23, GPW=40,7; V=0,14

Nr. 6, n=17, GPW=40,7; V=0,12

Nr. 7, n=22, GPW=40,1; V=0,16

Nr. 8, n=22, GPW=39,4; V=0,17

Nr. 9, n=24, GPW=38,0; V=0,25

Nr. 10, n=25, GPW=37,7; V=0,23

Nr. 11, n=17, GPW=35,7; V=0,25

Nr. 12, n=15, GPW=35,2; V=0,28

33

Nr. 13, n=14, GPW=35,2; V=0,27

Nr. 14, n=19, GPW=35,1;V=0,25

Nr. 15, n=21, GPW=32,9; V=0,26

Nr. 16, n=21, GPW=32,2; V=0,26

Nr. 17, n=18, GPW=31,3; V= 0,29

Nr. 18, n=13, GPW=30,0; V=0,24

Kompetenzprofile der Kfz-Mechatroniker-Klassen (Hessen)

Nr. 1, n=11, GPW=48,1; V=0,34

Nr. 2, n=17, GPW=43,1; V=0,26

Nr. 3, n=20, GPW=41,3; V=0,41

Nr. 4, n=19, GPW=41,2; V=0,28

Nr. 5, n=9, GPW=41,1; V=0,40

Nr. 6, n=23, GPW=40,2; V=0,42

34

Nr. 7, n=10, GPW=37,9; V=0,43

Nr. 8, n=13, GPW=37,7; V=0,30

Nr. 9, n=16, GPW=37,5; V=0,40

Nr. 10, n=16, GPW=37,0; V=0,46

Nr. 11, n=12, GPW=36,5; V=0,33

Nr. 12, n=18, GPW=36,5; V=0,39

Nr. 13, n=26, GPW=36,0; V=0,40

Nr. 14, n=19, GPW=35,5; V=0,29

Nr. 15, n=14, GPW=33,9; V=0,50

Nr. 16, n=13, GPW=33,7; V=0,48

Nr. 17, n=13, GPW=32,5; V=0,33

Nr. 18, n=16, GPW=31,8; V=0,38

35

Nr. 19, n=14, GPW=29,5; V=0,37

Nr. 20, n=13, GPW=28,9; V=0,40

Nr. 21, n=19, GPW=24,9; V=0,38

Nr. 22, n=8, GPW=23,6; V=0,44

Nr. 23, n=16, GPW=20,8; V=0,58