Was PISA sagt und wie wir es interpretieren

Originalbeitrag: Lo que PISA dice y lo que le hacemos decir

Von Dr. Jorge Miranda Ossandón, Fakultät für Bildung, U. Católica de Temuco

Alle drei Jahre, zwei Tage nach der Veröffentlichung der Ergebnisse, klingelt das Telefon. Am anderen Ende ist ein freundlicher Journalist mit wenig Zeit und einer einzigen Frage: Professor, wo stehen wir?

Die ehrliche Antwort ist unangenehm, denn der Platz ist die unzuverlässigste Zahl im gesamten Bericht.

Es ist wichtig zu verstehen, was ein PISA-Punktwert ist, bevor wir diskutieren, ob er gestiegen oder gefallen ist. Kein Schüler beantwortet den gesamten Test. Die Aufgaben werden in rotierten Heften verteilt, jeder Jugendliche beantwortet einen anderen Teil (niemals denselben wie sein Sitznachbar), und was veröffentlicht wird, sind keine Noten, sondern statistische Schätzungen, wie sich die Bevölkerung verhalten würde, wenn alle alles beantwortet hätten.

Streng genommen gibt es den Punktwert eines chilenischen Schülers nicht. Es gibt eine probabilistische Beschreibung der fünfzehnjährigen Chilenos als Gruppe. Es ist ein Instrument, das dazu gemacht ist, Länder und nicht Personen abzubilden, und es funktioniert gut, solange man es danach fragt.

Das Problem beginnt, wenn wir Präzision auf Nachkommastellen verlangen. 2014 zeigte Svend Kreiner, ein Statistiker der Universität Kopenhagen, dass das Modell, mit dem PISA Antworten in Punktwerte umwandelt, nicht vollständig mit den Lese-Daten übereinstimmt, und dass durch die Auswahl unterschiedlicher Untergruppen von Fragen, die alle technisch vertretbar sind, ein Land in der Tabelle um Dutzende Plätze nach oben oder unten springen kann.

Es gab anschließend Diskussionen. John Jerrim und sein Team schränkten 2018 das Ergebnis ein: Die Durchschnittswerte halten den Modellwechsel gut stand, obwohl sie nicht völlig indifferent gegenüber ihm sind. Die praktische Schlussfolgerung aus diesem akademischen Streit findet jedoch nie ihren Weg in die Schlagzeilen. Der Durchschnitt bleibt stabil. Der Platz nicht.

Chile belegte den 37. Platz von 90 in Lesen, den 43. von 91 in Wissenschaften und den 61. von 90 in Mathematik. Diese drei Zahlen sind die, die in dieser Woche am meisten zirkulierten, und sie sind die verletzlichsten des Berichts.

Zwischen Chile und Uruguay liegen zwei Punkte in Mathematik und drei in Wissenschaften, Unterschiede, die gut innerhalb der Fehlerquote liegen; zu behaupten, dass einer den anderen anführt, ist eine falsche Interpretation. Im Lesen hält Chiles Vorteil allerdings stand, denn es sind dreizehn Punkte.

Es gibt etwas Schlimmeres als die Fragilität des Platzes, nämlich die Falle des regionalen Vergleichs.

PISA bewertet die fünfzehnjährigen Jugendlichen, die noch im Schulsystem sind. Diejenigen, die nicht mehr dabei sind, werden nicht gemessen. Im Zyklus 2022 waren in Chile etwa 86 % seiner Jugendlichen in dieser Altersgruppe in der Stichprobe; Uruguay 85 %; Argentinien 84 %. Guatemala hatte 48 %. Panama 58 %. Mexiko 64 %.

Wenn wir sagen, dass Chile Lateinamerika anführt, vergleichen wir einen Jahrgang, in dem fast alle vertreten sind, mit mehreren Jahrgängen, aus denen die Hälfte fehlte, und wo die Fehlenden voraussichtlich die schlechtesten Leistungen erbracht hätten. Ich äußere das mit Unbehagen, denn ich selbst habe diese Daten in einer Präsentation gezeigt, mit einer Karte der Region und Chile an der Spitze, ohne ein Wort über die Abdeckung zu verlieren. Es ist eine Art der Unterlassung, die man in bester Absicht begeht und die dennoch das Gespräch verfälscht.

Außerdem kann PISA aus designtechnischen Gründen nichts beantworten. Es ist nicht möglich, Regionen zu vergleichen: Die chilenische Stichprobe in diesem Zyklus bestand aus 6.574 Schülern aus 222 Einrichtungen, eine Zahl, die dazu gedacht war, das gesamte Land zu repräsentieren und nicht La Araucanía mit Antofagasta zu vergleichen.

Jede regionale Tabelle, die kursiert, hat Fehlerquoten, die so groß sind, dass die Unterschiede verwischen. Außerdem gibt es keine Informationen über eine bestimmte Schule, über einen bestimmten Schüler oder Lehrer.

Und es gibt eine Abwesenheit, die in dieser Region besonders schmerzt. PISA erfasst nicht die Zugehörigkeit zu indigenen Völkern in Chile. Ein großer Teil der Schulbildung in La Araucanía ist Mapuche (58.610 Schüler, etwa 28,5 %), und was diese betrifft, hat das international meistzitierte Instrument des Landes absolut nichts zu sagen.

Es ist nicht so, dass die Ergebnisse schlecht oder gut sind, sondern dass diese Schüler für die Zwecke dieser Messung statistisch unsichtbar sind.

Darüber hinaus gibt es alles, was der Test nicht misst, weil er niemals beabsichtigt hat, es zu messen. Demokratisches Zusammenleben, staatsbürgerliche Bildung, künstlerischer Ausdruck, interkulturelle Kompetenz, Beherrschung einer indigenen Sprache, die Fähigkeit, ein Projekt zu unterstützen. Nichts davon generiert alle drei Jahre vergleichbare Zahlen, weshalb nichts davon im öffentlichen Diskurs über Bildungsqualität Raum einnimmt.

Wir enden damit, über das zu sprechen, was zählt, anstatt über das, was wir für wichtig halten und in den verschiedenen institutionellen Bildungsprojekten festgehalten wurde.

Trotz allem wäre es ein Fehler, diese Einwände zu nutzen, um das Instrument abzulehnen. PISA ist das beste vergleichbare technische Werkzeug, das wir haben, und es gibt Dinge, die es mit Nachdruck aussagt, ohne von dem Skalierungsmodell oder dem Platz in der Tabelle abhängig zu sein. Drei davon wurden jedoch nicht in der Presse behandelt.

Das erste: 59 % der chilenischen Jugendlichen von fünfzehn Jahren erreichen nicht das Mindestniveau in Mathematik. Anders ausgedrückt: In einer Klasse von vierzig erreichen vierundzwanzig nicht die vorgeschlagenen Lernziele. Dieser Prozentsatz ändert sich nicht, auch wenn man die Untergruppe von Aufgaben ändert oder die Abdeckung korrigiert; er ist zu groß, um ein Artefakt der Messung zu sein.

Das zweite ist, dass die Untergrenze gewachsen ist. Seit 2015 wachste der Anteil unter diesem Schwellenwert um zehn Prozentpunkte in Mathematik und weiteren zehn in Lesen. Es ist ein anhaltender Trend über drei Zyklen, kein Rückschlag nach der Pandemie.

Das dritte ist das, was am wenigsten gesagt wurde und möglicherweise das gravierendste ist. Zwischen 1 % und 2 % der chilenischen Schüler erreichen die höheren Leistungsniveaus in jedem Bereich, im Vergleich zu 7 % oder 8 % in den OECD-Ländern. In Mathematik liegt die chilenische Zahl praktisch bei null.

Wir haben kein Problem mit einem Nachzügler, der eine Gruppe von Exzellenz anführt. Wir haben eine gesamte Verteilung, die nach unten verschoben und abgeflacht ist, ohne oberen Ausreißer. Ein Land, das obsessiv über seinen Durchschnitt diskutiert und niemals über sein Potenzial, sieht nur die Hälfte des Diagramms.

Hier sieht man, denke ich, den Unterschied zwischen der Nutzung der Daten und der Befolgung derselben. Der Platz in der Tabelle ist eine nervöse Zahl, die das Schlagwort liefert und keine Entscheidungen trägt. Die Form der Verteilung ist harte, unangenehme und umsetzbare Information, die seit Jahren verfügbar ist, ohne dass jemand sie in effektive Politik zur Verbesserung des Lernens im Klassenzimmer umgesetzt hat.

Ich vermute, dass ein Teil des Problems darin besteht, dass die erste Frage in eine Schlagzeile passt und die zweite nicht. Aber auch, dass eine Frage nach dem Platz die Konversation in dreißig Sekunden beenden kann, während eine Frage nach der Form zur Auseinandersetzung zwingt.

Beim nächsten Mal, wenn das Telefon klingelt, werde ich versuchen, anders zu antworten. Ich habe das Gefühl, dass sie mich nicht veröffentlichen werden.

(*) Dr. Jorge Miranda Ossandón ist verantwortlicher Forscher des Fondecyt-Projekts Initiation 11240073