Pisa : Studie kritisiert OECD-Bildungsranking
Der Pisa-Test 2018 ist im vollen Gange. Ein US-Forscherteam hat jetzt methodische Mängel bei den internationalen Rankings aufgezeigt, doch die OECD hat auf viele der genannten Kritikpunkte bereits reagiert.
Alle drei Jahre treten Schülerinnen und Schüler im Alter von 15 Jahren weltweit zum Pisa-Leistungstest an, und auch in diesem Mai ist es wieder so weit. Für Pisa 2018 [MO1] werden derzeit allein in Deutschland 6.400 Jugendliche an etwa 230 Schulen getestet. Die Schulen und die beteiligten Schülerinnen und Schüler in den etwa 80 Ländern werden zufällig ausgesucht. Im Dezember 2019 soll dann der Bericht mit verschiedenen Rankings zur Kompetenzentwicklung von 15-Jährigen in den beteiligten Staaten veröffentlicht werden.
Und wie in den vergangenen Jahren werden Wissenschaftler und Bildungspolitiker diskutieren, welche Schlüsse daraus gezogen werden müssen. Doch wie verlässlich sind die Daten überhaupt? Welche Aussagekraft haben die Rankings, und durch welche Faktoren werden die Leistungen der 15-Jährigen tatsächlich beeinflusst?
Kritik an der Pisa-Studie gibt es seit der ersten Erhebung im Jahr 2000. Oft bezog sie sich auf die getesteten Kompetenzen in den Kernbereichen Lesen, Mathematik und Naturwissenschaften. Durch diesen eingeengten Fokus würden soziale Kompetenzen oder kreative Fähigkeiten außen vor bleiben. Andere kritisierten die Aufgabenart oder das Rankingsystem.
Nun hat eine Untersuchung aus Boston die internationale Bildungsstudie erneut umfassend unter die Lupe genommen. Darin weisen die Wissenschaftlerinnen und Wissenschaftler unter anderem auf methodische Mängel hin, die die Platzierung der Nationen im Ranking infrage stellt. Judith B. Singer (Harvard) und Henry I. Braun (Boston College) stellten ihre Untersuchung zu der von der OECD durchgeführten Pisa-Studie im April im Wissenschaftsmagazin „Science“ [MO2] vor – genau zu jenem Zeitpunkt, als die Testung für PISA 2018 an den ausgewählten Schulen begonnen hat.
Stichproben sind nicht immer repräsentativ
Ein wesentlicher Kritikpunkt ist auch in dieser Studie die Auswahl der Testpersonen. In einigen Ländern würden gerade 15-Jährige aus vermeintlich bildungsfernen Familien ausgespart. So hätten zum Beispiel in Schanghai die 15-Jährigen aus Familien, die aus ländlichen Gebieten Chinas zugewandert sind, gar kein Recht auf einen Platz an den städtischen Schulen. Dadurch würden 27 Prozent der Chinesen in diesem Jahrgang nicht erfasst. Schanghai gehörte 2012 zusammen mit Singapur und Hongkong zu den Pisa-Spitzenreitern. Nicht besonders repräsentativ seien die Stichproben auch in Ländern wie Mexiko oder der Türkei. Dort würden 40 Prozent der Jugendlichen im Alter von 15 Jahren gar keine Schule mehr besuchen. Dabei handelt es sich vermutlich vor allem um jene Schülerinnen und Schüler aus bildungsfernen Familien.
Ein weiterer Kritikpunkt der Forscherinnen und Forscher liegt darin, zentralisierte Länder wie Stadtstaaten mit dezentralisierten Ländern wie Kanada oder Deutschland im Ranking zu vergleichen. In föderalen Ländern wiederum sei der Durchschnittswert nur wenig aussagekräftig, da es durch die unterschiedliche Bildungspolitik eine große Spreizung der Werte gebe.
Und dann könnten die Testergebnisse auch von außerschulischen Faktoren beeinflusst werden, heißt es in der Studie von Singer und Braun. Beim Pisa-Test 2012 hatten zum Beispiel die Hälfte der getesteten 15-Jährigen in Südkorea angegeben, dass sie privat Nachhilfe erhalten. Singer und Braun warnen daher vor geradlinigen Schlüssen aus der Pisa-Studie. So sei es beispielsweise ratsam, auch nationale Vergleichsstudien bei der Auswertung mit zu betrachten. Auch Verlaufsstudien, die die Entwicklung von Schülerinnen und Schüler über einen längeren Zeitraum darstellen, könnten hilfreich sein.
Für Bildungsforscher Olaf Köller vom Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik (IPN) der Universität Kiel sind die Ergebnisse der Studie nicht neu. „Wir wissen seit jeher, dass die Vorgaben bei der Stichprobenziehung in einigen Ländern nicht erreicht werden“, sagte Köller. Das sei in der Regel auch in den Berichten zu Pisa dokumentiert. Auch sei nicht neu, dass in dezentralen Staaten die Ergebnisse keine Aussagekraft über einzelne Bundesstaaten oder Bundesländer erlauben. In Deutschland habe die Kultusministerkonferenz darauf auch reagiert, indem sie zusätzliche Ländervergleiche auf der Basis der Bildungsstandards vom Institut zur Qualitätsentwicklung im Bildungswesen (IQB) durchführen lässt.
Pisa 2018 testet auch die globale Kompetenz
Und wie werden Kritikpunkte der Vergangenheit bei der aktuellen Pisa-Studie berücksichtigt? Pisa-Chef Andreas Schleicher sagte dazu dem Deutschen Schulportal: „Viele der benannten Kritikpunkte werden schon jetzt bei der aktuellen Pisa-Erhebung berücksichtigt. Wir haben die Stichproben erweitert, damit sie repräsentativer sind“, so der Leiter des für die Studie verantwortlichen Bildungsdirektorats der OECD. In China würden zum Beispiel nun auch Schülerinnen und Schüler aus zusätzlichen Provinzen miteinbezogen.
Auch bei den getesteten Kompetenzbereichen gebe es Änderungen, betonte Schleicher. In diesem Jahr sei erstmals auch die globale Kompetenz der Schülerinnen und Schüler ein eigener Testbereich. Dabei gehe es darum, wie sich die Testpersonen in interkulturellen Kontexten bewegen und wie sie mit Verschiedenheiten umgehen. Bei der nächsten Pisa-Runde in drei Jahren soll dann das kreative Denken eine Rolle spielen.