Teaching & Learning Academy - 6.6 Prüfungsfragen formulieren 2: Multiple-Choice Fragen

6.6 Prüfungsfragen formulieren 2: Multiple-Choice Fragen

Was sind Multiple-Choice-Aufgaben?

Multiple-Choice Prüfungen sind heutzutage im Hochschulbereich sehr verbreitet, da durch sie eine effiziente, kostengünstige und schnelle Auswertung von Prüfungsleistungen (auch bei sogenannten Massenprüfungen) ermöglicht wird. Zudem erlauben sie eine objektive und faire Beurteilung von Prüfungsergebnissen, da alle Prüfungskandidat/inn/en denselben Prüfungsbedingungen unterliegen. Generell kann zwischen Single-Choice und Multiple-Choice Aufgaben unterschieden werden, auch wenn im allgemeinen Sprachgebrauch Multiple-Choice für beide Arten von Aufgabenstellungen verwendet wird (in weiterer Folge wird ebenfalls der Begriff Multiple-Choice für beide Arten von Aufgaben verwendet). Bei Single-Choice Aufgaben müssen die Lernenden eine Antwortalternative auswählen. Bei Multiple-Choice müssen die Lernenden mehrere Antwortalternativen auswählen. Die Option keine Antwort auszuwählen wird nicht empfohlen, da nicht überprüft werden kann, ob die Frage ausgelassen wurde oder tatsächlich korrekt beantwortet wurde. In diesem Fall ist es aber eine Möglichkeit die Option „keine Antwort ist richtig“ als Antwortalternative einzubauen. I. d. R. wird das Prüfungsformat, also ob es sich um eine Single- oder Multiple-Choice Aufgabe handelt, bekannt gegeben.

Single-Choice

Bei Single Choice Aufgaben kann zwischen A+ und A- Aufgaben unterschieden werden.

A+ Aufgaben
Bei A+ Aufgaben ist nur eine Antwortalternative korrekt. Dies ist zwar ein Vorteil für die Lernenden, da nur eine korrekte Antwort existiert, die Nachteile ergeben sich jedoch für Sie als Lehrende/r. Einerseits müssen für alle anderen Antwortalternativen sinnvolle Distraktoren formuliert werden. Desweiteren erhöht sich durch die Tatsache einer einzigen korrekten Lösung die Ratewahrscheinlichkeit.

A- Aufgaben
Bei diesem Frageformat wird nach der falschen Antwort gefragt. Aufgaben mit mehreren richtigen Antworten können auf diese Weise sehr einfach abgeprüft werden. Der Vorteil liegt darin, dass bei der Erstellung nur eine nicht richtige Antwort formuliert werden muss.

Multiple-Choice

Bei Multiple-Choice Aufgaben ist die Anzahl der richtigen Antworten variabel. Jede Kombination von korrekten und falschen Antwortalternativen ist möglich. Um die Rategefahr zu minimieren wird empfohlen die Anzahl der richtigen Antworten nicht bekannt zu geben.

Aufbau von Multiple-Choice-Aufgaben

Multiple-Choice Aufgabenstellungen folgen jeweils der gleichen Struktur. Jede MC-Aufgabe besteht aus einer Problem-und einer Fragestellung, sowie den (richtigen und falschen) Antwortalternativen (siehe Beispiel 1).

Generell sollten Problemstellung und Fragestellung optisch voneinander getrennt werden um den Lernenden eine schnellere Orientierung zu ermöglichen (siehe Beispiel 2).


Beispiel 1	Beispiel 2

Im folgenden Abschnitt erfahren Sie, was Sie bei der Formulierung der Problem- und der Fragestellung besonders beachten sollten.

Die Problemstellung

Bei der Formulierung der Problemstellung im Stamm von Multiple-Choice Aufgaben sollte auf Folgendes geachtet werden:

Eine MC-Frage …

kann bei komplexen Inhalten einen längeren Problemaufriss haben – dann sollten aber mehrere Fragen dazu gestellt werden.
beinhaltet alle notwendigen Informationen für den Problemaufriss, siehe Beispiel:

Beispiel 3
sollte nur bekannte (in der Lehrveranstaltung erlernte) Fachausdrücke und keine Fremdwörter oder Abkürzungen beinhalten (oder diese durch eine Erklärung ergänzen), siehe Beispiel:

Beispiel 4
sollte Bilder und Grafiken nur dort beinhalten, wo sie für das Verständnis notwendig sind, siehe Beispiel:

Beispiel 5

Die Fragestellung

Bei der Formulierung der Fragestellung ist auf Folgendes zu achten:

Eine MC-Frage sollte…

kurz und verständlich formuliert sein
Verneinungen vermeiden oder zumindest hervorheben (durch Fettdruck, GROSSSCHREIBUNG o. ä.)
einen Hinweis beinhalten ob eine, mehrere oder alle Antwortalternativen richtig sein können (dieser Hinweis kann ggf. bereits zu Beginn der Prüfung integriert werden)

Erstellung von Antwortalternativen bei Multiple-Choice Aufgaben

Bei der Erstellung von Antwortalternativen sollte besonders auf die Formulierung von Distraktoren (= falsche Antwortalternativen) und auf die Gefahr des Cueings (versteckte Lösungshinweise geben) geachtet werden. Zur Formulierung von Distraktoren und zur Vermeindung von Cueing finden Sie im Abschnitt unten diverse Anregungen und Tipps.

Generell sollte bei der Formulierung der Antwortalternativen aber Folgendes beachtet werden:

Einfache, verständliche und kurze Formulierungen
Verneinungen vermeiden oder zumindest hervorheben (durch Fettdruck, GROSSSCHREIBUNG o. ä.)
Doppelte Verneinungen sollten generell vermieden werden!
Die Antwortalternativen sollten in etwa die gleiche Textlänge aufweisen (Vermeiden versteckter Lösungshinweise)
Es sollten mindestens vier bis fünf Antwortalternativen angeboten werden um die Ratewahrscheinlichkeit entsprechend zu reduzieren
Reihenfolge und Anzahl der richtigen bzw. falschen Antwortalternativen sollte variiert werden, damit kein Schema erkennbar wird (entfällt bei automatisiertem Scrambling)
Unabhängigkeit der Antwortalternativen untereinander
Gegenseitiges Ausschließen der Antwortalternativen: Schließen sich die Distraktoren gegenseitig aus, fallen dadurch Antwortalternativen weg und der Lernende muss sich bspw. nur mehr zwischen drei statt fünf Antwortalternativen entscheiden. Die Wahrscheinlichkeit, dass zufällig die richtige Antwort angekreuzt wird, würde dadurch steigen.

Distraktoren

Distraktoren sind falsche Antwortalternativen in Multiple-Choice Aufgabenstellungen. Ein guter Distraktor sollte folgende Eigenschaften aufweisen:

Sollte einem „Unwissenden“ plausibel erscheinen
Sollten sich nicht gegenseitig ausschließen: Schließen sich die Distraktoren gegenseitig aus, fallen dadurch - wie gesagt - Antwortalternativen weg

Techniken zu deren Erstellung:

Häufige Fehler oder Falschantworten der Lernenden verwenden
Richtige Antworten, die zwar zum Thema gehören, aber keine Antwort auf die gestellte Frage darstellen
Wortwörtliche Sätze aus den Lehrmaterialien
Bewusster Einsatz von versteckten Lösungshinweisen (siehe Cueing)

Cueing

Cueing kommt aus dem Englischen und bedeutet „Stichwort“ bzw. „Einsatzzeichen“ und bezeichnet einen ungewollten, versteckten Lösungshinweis in Prüfungsaufgaben. Die Gefahr des Cueings besteht bereits durch die bloße Vorgabe der Antwortalternativen, da automatisch die Wiedererkennung der Antworten durch den Lernenden gegeben ist (Erinnerungseffekt). Die Folgen von Cueing sind das sofortige Ausschließen falscher Antworten und das dadurch vereinfachte Lösen der Aufgabe. Des Weiteren wird die Ratewahrscheinlichkeit durch die Lernenden erhöht.

Was ist zu beachten um Cueing zu vermeiden?

Umfangreiche Ausformulierung der korrekten Antwort: Die korrekte Antwort ist ungleich länger ausformuliert als die anderen (falschen) Antwortalternativen.
Grammatikalische Inhomogenität: Die falschen Antworten können ohne Fachwissen ausgeschlossen werden, da der Satz grammatikalisch nicht korrekt abgeschlossen wird.

Beispiel 6
Kängurus: Weit hergeholte und sinnlose Antwortalternativen, die auch ohne Fachkenntnis sofort als falsch erkannt werden.

Beispiel 7
Wortwiederholung aus dem Stamm: Worte oder Formulierungen aus dem Stamm oder der Frage deuten auf korrekte Lösungsalternativen hin.

Beispiel 8
Absolute Aussagen: Absolute Aussagen wie „immer, nie, alle, ausschließlich,...“ weisen stark auf falsche Antwortalternativen hin.

Beispiel 9
Logische Lösungshinweise: Antwortalternativen, die nicht aus derselben Antwortkategorie stammen werden sofort als falsche Antwortalternativen identifiziert.

Beispiel 10
Verschachtelte Antwortalternativen: Falsche Antwortalternativen können ausgeschlossen werden, sobald ein Teil der Antwort als falsch identifiziert wurde. UND: die korrekte Antwort kann durch Auszählen ermittelt werden!

Beispiel 11
Genaue Formulierungen aus dem Lehrbuch: Lehrbuchformulierungen oder Fachsprachen verleiten dazu ausgewählt zu werden, da man sich vage an den Wortlaut erinnern kann.
Schwarz-Weiß-Fragen: Wenn zwei Antwortoptionen genau das Gegenteil voneinander behaupten, ist sehr häufig eine dieser beiden Antwortmöglichkeiten korrekt.

Vor- und Nachteile von Multiple-Choice-Aufgaben

Sowohl für Sie als Lehrende/r als auch für Lernende ergeben sich aus Multiple-Choice-Aufgaben zahlreiche Vor- und Nachteile:

	aus der Sicht von LEHRENDEN	aus der Sicht von LERNENDEN
VORTEILE	Effizienz Einfache und schnelle Auswertung aufgrund der elektronischen Auswertung möglich. Hinsichtlich Zeit und Kosten effizienter als offene Fragen. Objektivität Aufgrund der gebundenen Antwortmöglichkeit kein Interpretationsspielraum bei der Auswertung bzw. Beurteilung. Analyse Multiple-Choice-Tests sind einfacher zu analysieren als anderen Testformen, wodurch die Verbesserung der Ergebnisse erleichtert wird. Einsatz Multiple-Choice-Tests können u. a. als Wiederholung zu Beginn oder am Ende eine Lehreinheit eingesetzt und ohne großen Zeitaufwand korrigiert werden.	Struktur Den Lernenden werden gut strukturierte und klare Aufgaben zur Verfügung gestellt. Unabhängigkeit Durch das gebundene Aufgabenformat wird die Kompetenzmessung über den Prüfungsinhalt von anderen Fähigkeiten (schreiben, formulieren etc.) entkoppelt. Auswertung Die Auswertung erfolgt schnell und objektiv. Durch die elektronische Auswertung können die Ergebnisse meist sehr rasch zur Verfügung gestellt und von den Studierenden online eingesehen werden.
NACHTEILE	Erinnerungseffekt Durch die Vorgabe von Antwortalternativen kann nicht ausgeschlossen werden, dass sich Lernende an die korrekte Antwort eher erinnern, als sie tatsächlich zu wissen. Diese Gefahr ist meist dann gegeben, wenn Prüfungsfragen aus einem Fragenpool wiederholt verwendet werden. Erstellung Gute Multiple-Choice-Aufgaben sind schwierig und zeitaufwendig in ihrer Erstellung. V. a. wenn sinnvolle Distraktoren formuliert werden sollen. Rategefahr Natürlich besteht die Möglichkeit, dass bei vorgegebenen Antwortalternativen die richtigen erraten und nicht tatsächlich gewusst werden. Durch Cueing kann die Ratewahrscheinlichkeit jedoch minimiert werden (siehe Cueing). Auswertungsproblematik Hierbei ist eine Entscheidung für ein Korrekturschema zu treffen, das je nach Schema Prüfungsergebnisse anders wertet (siehe Abschnitt Korrekturschemata).	Faktenwissen Bei MC-Aufgaben besteht die Tendenz, eher Faktenwissen an Stelle von Verständnis abzufragen. Validität der Aufgaben Da viele Multiple-Choice Aufgaben vor ihrem Einsatz nicht oder unzureichend getestet werden, kommt es oft zu einer unzureichenden Erfüllung der Gütekriterien. Änderung des Lernverhaltens Werden nur gebundene Aufgaben verwendet, könnte sich der Lernstil der Studierenden ändern. Multiple-Choice Tests messen weder die Fähigkeit zu Organisieren oder Ideen auszudrücken, noch die Fähigkeit schlüssig zu argumentieren. Daher müssen diese Fähigkeiten auf andere Weise eingeübt und geprüft werden.

aus der Sicht von LEHRENDEN

aus der Sicht von LERNENDEN

VORTEILE

Effizienz
Einfache und schnelle Auswertung aufgrund der elektronischen Auswertung möglich. Hinsichtlich Zeit und Kosten effizienter als offene Fragen.

Objektivität
Aufgrund der gebundenen Antwortmöglichkeit kein Interpretationsspielraum bei der Auswertung bzw. Beurteilung.

Analyse
Multiple-Choice-Tests sind einfacher zu analysieren als anderen Testformen, wodurch die Verbesserung der Ergebnisse erleichtert wird.

Einsatz
Multiple-Choice-Tests können u. a. als Wiederholung zu Beginn oder am Ende eine Lehreinheit eingesetzt und ohne großen Zeitaufwand korrigiert werden.

Struktur
Den Lernenden werden gut strukturierte und klare Aufgaben zur Verfügung gestellt.

Unabhängigkeit
Durch das gebundene Aufgabenformat wird die Kompetenzmessung über den Prüfungsinhalt von anderen Fähigkeiten (schreiben, formulieren etc.) entkoppelt.

Auswertung
Die Auswertung erfolgt schnell und objektiv. Durch die elektronische Auswertung können die Ergebnisse meist sehr rasch zur Verfügung gestellt und von den Studierenden online eingesehen werden.

NACHTEILE

Erinnerungseffekt
Durch die Vorgabe von Antwortalternativen kann nicht ausgeschlossen werden, dass sich Lernende an die korrekte Antwort eher erinnern, als sie tatsächlich zu wissen. Diese Gefahr ist meist dann gegeben, wenn Prüfungsfragen aus einem Fragenpool wiederholt verwendet werden.

Erstellung
Gute Multiple-Choice-Aufgaben sind schwierig und zeitaufwendig in ihrer Erstellung. V. a. wenn sinnvolle Distraktoren formuliert werden sollen.

Rategefahr
Natürlich besteht die Möglichkeit, dass bei vorgegebenen Antwortalternativen die richtigen erraten und nicht tatsächlich gewusst werden. Durch Cueing kann die Ratewahrscheinlichkeit jedoch minimiert werden (siehe Cueing).

Auswertungsproblematik
Hierbei ist eine Entscheidung für ein Korrekturschema zu treffen, das je nach Schema Prüfungsergebnisse anders wertet (siehe Abschnitt Korrekturschemata).

Faktenwissen
Bei MC-Aufgaben besteht die Tendenz, eher Faktenwissen an Stelle von Verständnis abzufragen.

Validität der Aufgaben
Da viele Multiple-Choice Aufgaben vor ihrem Einsatz nicht oder unzureichend getestet werden, kommt es oft zu einer unzureichenden Erfüllung der Gütekriterien.

Änderung des Lernverhaltens
Werden nur gebundene Aufgaben verwendet, könnte sich der Lernstil der Studierenden ändern. Multiple-Choice Tests messen weder die Fähigkeit zu Organisieren oder Ideen auszudrücken, noch die Fähigkeit schlüssig zu argumentieren. Daher müssen diese Fähigkeiten auf andere Weise eingeübt und geprüft werden.

Beurteilung von Multiple-Choice-Aufgaben

Bei der Beurteilung von Multiple-Choice-Aufgaben gibt es verschiedene Auswertungsschemata, die angewandt werden können. Um zu einer Leistungsbeurteilung zu kommen, ist die Auswahl eines entsprechenden Schemas notwendig, das sowohl dem Fragetyp, als auch der Prüfungssituation (z. B. Zeitdruck) entspricht. Dies ist vorzugsweise bereits vor Erstellung der Prüfungsfragen zu bedenken. Unterhalb finden Sie eine kurze Beschreibung der wichtigsten drei Bewertungs-Schemata, sowie eine grafische Übersicht:

1. Alles oder nichts
Dieser einfache Korrekturmodus wird bei Aufgaben mit einer richtigen Antwort (Single Choice) angewandt. Wurde die korrekte Antwort ausgewählt, so erhält der/die Lernende die volle Punkteanzahl. Ist die Antwort falsch, erhält der/die Lernende 0 Punkte. Bei diesem Korrekturschema gibt es keine Teilpunkte, wodurch es sich nicht für Aufgaben mit mehreren Antwortalternativen (Multiple-Choice) eignet. In diesem Fall müssten nämlich alle korrekten Antworten ausgewählt werden um die Punkte zu erhalten. Ist nur eine Antwort falsch, erhält der/die Lernende 0 Punkte, was bei einer Frage mit mehreren korrekten Antwortalternativen doch nicht immer so einfach ist.

Beispiel: Es gibt 20 Single-Choice Beispiele mit je 5 Antwortmöglichkeiten. 1 Punkt wird pro richtiger Antwort vergeben, während 0 Punkte bei falscher Antwort vergeben werden.

z. B. 11 R und 9 F
= 11 Punkte

2. Gemischte Bewertung
Dieses Korrekturschema beinhaltet einen Korrekturschlüssel, bei dem auch falsche Antworten bei der Punktevergabe miteinbezogen werden. Teilpunkte werden nach dem Schema (Richtige/Gesamtanzahl Richtige) – (Falsche/Gesamtanzahl Falsche) ermittelt. Hat eine Antwort zum Beispiel insgesamt 5 Antwortalternativen und sind davon 2 korrekt (somit 3 falsch), so wird jede richtige Antwort mit 50% bewertet. Davon werden die Falschantworten in Abzug gebracht, indem diese mit jeweils (in unserem Beispiel) 33% gewichtet werden. Dieses Korrekturschema wird meist in Verbindung mit „Alles oder Nichts“ angewandt, sofern auch Fragen mit nur einer korrekten Antwortalternative in der Prüfung beinhaltet sind. Dieses System eignet sich besonders gut für (klassische) Multiple-Choice Fragen.

Beispiel 12

Beispiel 13

3. Minuspunkte
Generell besteht die Möglichkeit die Fragen einer Prüfung nicht gesondert zu betrachten, sondern deren Ergebnis auf die nächsten Fragen zu übertragen. Damit ist gemeint, dass eine Aufgabe auch Minuspunkte erzeugen kann, sofern diese falsch gelöst wurde und diese Minuspunkte durch andere Fragen kompensiert werden müssen. So wäre es möglich, dass bspw. für jede falsch abgegebene Antwort eine gewisse Punkteanzahl abgezogen wird. Dieses Rucksackprinzip empfiehlt sich am ehesten bei der Single Choice Variante, wenn also nur eine Antwortalternative korrekt ist, da ansonsten die Wahrscheinlichkeit einer komplett korrekt gelösten Aufgabe mit zunehmender Anzahl an richtigen Antwortalternativen sinkt. Dieses Korrekturschema ist jedoch mit Bedacht anzuwenden, da die gesammelten Punkte von richtigen Lösungen durch falsche wieder „aufgezehrt“ werden können und so schnell eine negative Prüfungsleistung entstehen kann. Desweiteren könnte so eine komplett richtige Antwort durch die mitgeschleppten Minuspunkte entwertet werden, obwohl der/die Lernende die Materie beherrscht. Der Wegfall von Minuspunkten erhöht aber natürlich die Ratewahrscheinlichkeit bei den Lernenden.

Beispiel: Es gibt 20 Single-Choice Beispiele mit je 5 Antwortmöglichkeiten. 1 Punkt wird pro richtiger Antwort gewertet. 0,25 Punkte werden hingegen bei einer falschen Antwort abgezogen.

z. B. 11 R und 9 F
= 8,75 Pkt

Grafische Übersicht:

Beispiel 14

Checkliste

Hier finden Sie eine Checkliste, die bei der Erstellung von MC-Aufgaben helfen soll.

Weiterführende Literatur

https://infopool.univie.ac.at/startseite/pruefen-beurteilen/multiple-choice-pruefungen (Universität Wien)

https://www.lehren.tum.de/themen/pruefungen/multiple-choice-pruefungen/ (Technische Universität München)

https://progress-test-medizin.charite.de/fileadmin/user_upload/microsites/sonstige/ptm/Downloads/FragenleitlinienPTM.pdf (Charité Universitätsmedizin Berlin)

Quellen

Kastner, M./B. Stangl, Multiple-Choice and Constructed Response Tests: Do Test Format and Scoring Matter?, in: Procedia - Social and Behavioral Sciences, 12/2011, S. 263-273, http://epub.wu.ac.at/4691, 19.09.2019.

Paulhart, S. M./E. Wadura, Erstellung und Einsatz von validen Multiple Choice Tests, WU Wien, Institut für Wirtschaftspädagogik, 2004.

Schneider, D., Einführung in die Wirtschaftspädagogik, WU Wien, 2000.

Beispiel 1, 4, 7, 9-14: Eigene Darstellung

Beispiel 2: https://learn.wu.ac.at/dotlrn/classes/amc1/tlf-lrn/ordner_mk/k1810/k1810i02?m=exam_submit, 25.09.2019. (MyLEARN-Login erforderlich)

Beispiel 3: https://learn.wu.ac.at/dotlrn/classes/mktg/tlf-lrn/o_l3_strategische_marketingplanung/L3_1_situationsanalyse/l3_a_swot_analyse_baumeister?m=modul_submit , 25.09.2019. (MyLEARN-Login erforderlich)

Beispiel 5: https://learn.wu.ac.at/dotlrn/classes/mktg/tlf-lrn/o_l1_grundlagen/l1_5_kennzeichnung_relevanter_markt/l1_kennzahlen_tablets?m=modul_submit ,25.09.2019. (MyLEARN-Login erforderlich)

Beispiel 6: Teaching Center Medizinische Universität Wien, Ein Leitfaden zum Verfassen von Multiple-Choice Prüfungsfragen an der MedUni Wien, in: https://teachingcenter.meduniwien.ac.at/fileadmin/demaw/Datein/Kurzanleitung_5_Einfache_Schritte_zur_Fragenerstellung_v2.pdf , 30.09.2019.

Beispiel 8: Paulhart, S. M./E. Wadura, Erstellung und Einsatz von validen Multiple Choice Tests, WU Wien, Institut für Wirtschaftspädagogik, 2004.

Empfohlene Zitierweise:
Prüfungsfragen formulieren 2: Multiple-Choice Fragen, Teaching & Learning Academy, Wirtschaftsuniversität Wien, https://learn.wu.ac.at/open/tlac/mcfragen, November 2019.

Dieser Text ist lizenziert unter Creative Commons
Namensnennung – Nicht-kommerziell – Share Alike 4.0 International (CC BY-SA 4.0 International)
Mehr Informationen unter https://creativecommons.org/licenses/by-nc-sa/4.0/legalcode.de