Neue JKU-Studie bringt PISA-Ergebnisse "ins Schwanken"   

erstellt am
12. 03. 12

Linz (jku) - Alle drei Jahre erscheint eine neue PISA-Studie - auch 2012 werden wieder Schüler im OECD-Raum auf ihre Kompetenzen in den Bereichen Lesen, Mathematik und Naturwissenschaften getestet. Die Ergebnisse sorgen regelmäßig - nicht nur in Österreich - für heftige Debatten von bildungspolitischer Brisanz. Eine Studie der Johannes Kepler Universität (JKU) Linz hat nun die Genauigkeit der PISA-Studie unter die Lupe genommen - und mahnt zur Vorsicht.

Länderrankings sind wesentlicher Bestandteil der PISA-Diskussionen. Gerade diese Reihungen sind aber oft nicht durch die PISA-Studienergebnisse gedeckt. "Es werden ja nicht alle Schüler in Österreich oder anderen Ländern geprüft, sondern nur eine auf sehr komplexe Art und Wiese ausgewählte Stichprobe daraus", erklärt Andreas Quatember vom Institut für Angewandte Statistik der JKU. Durch Hochrechnung erhält man dann den PISA-Wert.

Ungenauigkeit bei knappen Ergebnissen
"Der gibt aber nicht die wahre durchschnittliche Kompetenz der österreichischen Schülern an, sondern nur den auf Basis der Stichproben-Jugendlichen errechneten Schätzwert dafür", so der Statistiker. Mit anderen Worten: Der Wert unterliegt einer durchaus beträchtlichen Ungenauigkeit. "Wenn Länder da halbwegs knapp beieinander liegen, sind die Resultate wegen der Stichprobenschwankung statistisch gar nicht unterscheidbar", mahnt Quatember. Diese Einschränkung wird in den offiziellen OECD-Veröffentlichungen zur PISA-Studie auch stets betont, geht in der öffentlichen Diskussion aber meist unter.

"Unklarer ist aber, wie die Ungenauigkeit für PISA offiziell berechnet wird. Die Details zur Methodik werden leider nicht bekannt gegeben." Also hat Quatember gemeinsam mit Alexander Bauer mittels einer adaptierten Bootstrap-Methode die Stichprobenschwankung aus den Daten herausgerechnet. "Am Computer wurden quasi immer wieder 10.000 PISA-Studien nach verschiedenen Stichprobenszenarien durchsimuliert und Methoden zur Genauigkeitsbestimmung angewendet", erklärt der Forscher die Vorgehensweise. Das brachte eine weitere interessante Tatsache zutage. "Die komplexe Stichproben-Auswahl der PISA-Studie führt zu etwa vierfach ungenaueren Ergebnissen, als wenn einfach zufällig Schüler für den Test ausgewählt würden."

PISA-Studie auch Geldfrage
Dies sei aber keine Kritik an der PISA-Studie an sich. "Eine einfache zufällige Auswahl wäre viel teurer, weil dann weitaus mehr Schulen besucht werden müssten. Im Gegenteil: Unter dem gegebenen Budget liefert die PISA-Studie offenbar ausgezeichnete Ergebnisse. Man muss aber im Auge behalten, was sich nun wirklich daraus ablesen lässt", so Quatember. Ob nun tschechische oder slowakische SchülerInnen, die im Ranking knapp vor den österreichischen liegen, tatsächlich besser lesen können gehört wohl eher nicht dazu.
     
zurück