Linz (jku) - Alle drei Jahre erscheint eine neue PISA-Studie - auch 2012 werden wieder Schüler im OECD-Raum
auf ihre Kompetenzen in den Bereichen Lesen, Mathematik und Naturwissenschaften getestet. Die Ergebnisse sorgen
regelmäßig - nicht nur in Österreich - für heftige Debatten von bildungspolitischer Brisanz.
Eine Studie der Johannes Kepler Universität (JKU) Linz hat nun die Genauigkeit der PISA-Studie unter die Lupe
genommen - und mahnt zur Vorsicht.
Länderrankings sind wesentlicher Bestandteil der PISA-Diskussionen. Gerade diese Reihungen sind aber oft nicht
durch die PISA-Studienergebnisse gedeckt. "Es werden ja nicht alle Schüler in Österreich oder anderen
Ländern geprüft, sondern nur eine auf sehr komplexe Art und Wiese ausgewählte Stichprobe daraus",
erklärt Andreas Quatember vom Institut für Angewandte Statistik der JKU. Durch Hochrechnung erhält
man dann den PISA-Wert.
Ungenauigkeit bei knappen Ergebnissen
"Der gibt aber nicht die wahre durchschnittliche Kompetenz der österreichischen Schülern
an, sondern nur den auf Basis der Stichproben-Jugendlichen errechneten Schätzwert dafür", so der
Statistiker. Mit anderen Worten: Der Wert unterliegt einer durchaus beträchtlichen Ungenauigkeit. "Wenn
Länder da halbwegs knapp beieinander liegen, sind die Resultate wegen der Stichprobenschwankung statistisch
gar nicht unterscheidbar", mahnt Quatember. Diese Einschränkung wird in den offiziellen OECD-Veröffentlichungen
zur PISA-Studie auch stets betont, geht in der öffentlichen Diskussion aber meist unter.
"Unklarer ist aber, wie die Ungenauigkeit für PISA offiziell berechnet wird. Die Details zur Methodik
werden leider nicht bekannt gegeben." Also hat Quatember gemeinsam mit Alexander Bauer mittels einer adaptierten
Bootstrap-Methode die Stichprobenschwankung aus den Daten herausgerechnet. "Am Computer wurden quasi immer
wieder 10.000 PISA-Studien nach verschiedenen Stichprobenszenarien durchsimuliert und Methoden zur Genauigkeitsbestimmung
angewendet", erklärt der Forscher die Vorgehensweise. Das brachte eine weitere interessante Tatsache
zutage. "Die komplexe Stichproben-Auswahl der PISA-Studie führt zu etwa vierfach ungenaueren Ergebnissen,
als wenn einfach zufällig Schüler für den Test ausgewählt würden."
PISA-Studie auch Geldfrage
Dies sei aber keine Kritik an der PISA-Studie an sich. "Eine einfache zufällige Auswahl wäre
viel teurer, weil dann weitaus mehr Schulen besucht werden müssten. Im Gegenteil: Unter dem gegebenen Budget
liefert die PISA-Studie offenbar ausgezeichnete Ergebnisse. Man muss aber im Auge behalten, was sich nun wirklich
daraus ablesen lässt", so Quatember. Ob nun tschechische oder slowakische SchülerInnen, die im Ranking
knapp vor den österreichischen liegen, tatsächlich besser lesen können gehört wohl eher nicht
dazu. |