Sicher, fair und exzellent   

erstellt am
12. 10. 11

Psychologe der Uni Graz entwickelt Innovation auf dem Gebiet der Testkonstruktion
Graz (universität) - Ein Platz im Wunschstudium oder ein Job in der Traumfirma: Jedes Jahr stellen sich weltweit tausende KandidatInnen Aufnahmeprüfungen im Hochschul- und Wirtschaftsbereich. Bei den dabei üblichen Tests werden verschiedene Fähigkeiten der KandidatInnen, wie etwa verbales und nummerisches Können oder Raumvorstellung, gemäß etablierten Standards gemessen. „Manchmal jedoch auf eine zwischen den Bewerbergruppen nicht vergleichbare Art und Weise“, erklärt Univ.-Prof. Dr. Martin Arendasy vom Institut für Psychologie der Karl-Franzens-Universität Graz. „Beispielsweise berücksichtigen manche Testverfahren gruppenspezifische Bearbeitungsunterschiede bei den ProbandInnen noch nicht ausreichend“, erklärt der Wissenschafter und nennt ein Beispiel: „Beim räumlichen Denken etwa, das in vielen Studienrichtungen und im Bereich unterschiedlichster beruflicher Tätigkeiten eine große Rolle spielt, wenden Männer und Frauen erwiesenermaßen verschiedene Lösungsstrategien an. Testverfahren die zum Beispiel auf mehrere, jedoch unterschiedlich schwierige, gruppenspezifische Lösungsansätze ausgerichtet sind, können dazu führen, dass bestimmte Gruppen schlechter abschneiden als andere, ohne dass in der Realität Unterschiede vorhanden sein müssen. Es handelt sich um ein Grundproblem psychologischen Messens.“

Der Wissenschafter hat nun eine neue Möglichkeit entwickelt, maßgeschneiderte, psychometrischen Standards entsprechende Testaufgaben schnell und einfach in größeren Mengen zu erzeugen: die „Automatischen Item-Generatoren“. Die Produkte dieser Technologie werden in Österreich und Deutschland zum Beispiel im tertiären Bildungssektor oder in privatwirtschaftlichen Unternehmen zur BewerberInnenauswahl eingesetzt, der anglo-amerikanische Raum soll folgen. Für diese hinsichtlich Qualitätskriterien und Standards richtungsweisende Arbeit wurde Arendasy kürzlich mit dem Fachgruppenpreis für computergestützte psychologische Diagnostik der Fachgruppe „Differentielle Psychologie, Persönlichkeitspsychologie und Psychologische Diagnostik“ der Deutschen Gesellschaft für Psychologie ausgezeichnet.

„Bei jeder Form von Aufnahmetest werden Bildungseinrichtungen des tertiären Sektors oder Unternehmen in Zukunft vor ähnlichen Herausforderungen stehen“, erklärt Arendasy. „Die Aufgaben – sie werden in der Fachsprache ‚Items‘ genannt – sollen die Fähigkeiten der ProbandInnen so objektiv, zuverlässig und valide messen, dass das Verfahren möglichen rechtlichen Anfechtungen standhalten kann.“ Speziell in den USA sei die psychometrische Qualität der Items und ihre gesetzliche Unanfechtbarkeit bereits jetzt ein wichtiges Thema, bestätigt der Psychologe, der dieses Problem auch in Europa aufgrund des in den vergangenen Jahren zunehmend verbreiteten Einsatzes psychologischer Testverfahren im Personal- und Bildungsbereich im Entstehen sieht. Neben der empirisch belegbaren Gleichbehandlung unterschiedlicher Gruppen seien auch Aspekte der Testsicherheit sehr wichtig, meint Arendasy: „Wenn sich beispielsweise Lösungen konkreter Testaufgaben unter zukünftigen KandidatInnen herumsprechen, misst die Untersuchung, wie wissenschaftliche Studien belegen, am intendierten Ziel vorbei. In der Summe ergibt sich somit – vor allem im Bereich von Massentestungen wie etwa im Hochschuleingangsbereich oder in personalintensiven Unternehmen und Institutionen – ein stark steigender Bedarf an Testaufgaben für unterschiedlichste Bereiche, die gleichzeitig entsprechende psychometrische Qualität aufweisen und Testsicherheit bieten.“ Ein möglicher Anwendungsfall für automatische Item-Generatoren: Mit einem einzigen Knopfdruck können große Mengen von qualitativ hochwertigen ‚Items‘ kostengünstig generiert werden. Die Vorteile der Erfindung: Die automatisch erzeugten Aufgaben erfassen nicht nur punktgenau die zu untersuchenden Fähigkeiten, sondern minimieren – als wesentliches, neues Merkmal dieser Aufgaben – auch die Stör-Varianz. Ein weiterer Bonus liegt in ihrer Testsicherheit: Aufgaben-Pools können bei Bedarf relativ günstig ausgetauscht werden. Zum Vergleich: Eine manuell geschriebene, mittelschwere Testaufgabe zum Einsatz in Hochschuleingangstestungen kostete in den USA bereits im Jahr 2000 rund 1.000 US-Dollar.
     
Informationen: http://webpsy.uni-graz.at/methodik    
     
zurück