Multiple Choice: Fragetechnik, bei der zu einer Frage mehrere vorformulierte Antworten zur Auswahl stehen

Die gerechte Bewertung von MC-Aufgaben ist nicht trivial und führt leicht zu ungerechten Urteilen.

Am deutlichsten wird dies bei einem Test mit nur zwei Antwortalternativen pro Frage („trifft zu“ oder „trifft nicht zu“). Wird hier ein richtig gesetztes Kreuz mit einem Punkt bewertet, für ein falsch gesetztes jedoch kein Punkt abgezogen, erreicht ein Proband ohne jede Kenntnis durch einfaches Ankreuzen des jeweils ersten Kästchens durchschnittlich 50 % der erreichbaren Punktzahl und damit nach gängiger Auswertung ein Ausreichend bzw. Bestanden attestiert. Probanden, die mit ähnlichen Fragen in einer Klausur ohne MC geprüft werden, sind damit deutlich benachteiligt.

Dennoch werden in der Praxis MC-Tests zum Teil auf diese Weise und damit fehlerhaft ausgewertet. Die so gewonnenen Prüfungsergebnisse liegen dann ein bis zwei Notenstufen über konventionell erzielten Ergebnissen (eine so erzielte Vier entspricht bspw. einer Sechs, d. h. keinerlei nachweisbare Kenntnisse).

Zum Teil wird auch, im Bewusstsein der Problematik aber in Unkenntnis der mathematischen Zusammenhänge, unabhängig von der Anzahl der Antwortmöglichkeiten die Bestehensgrenze pauschal auf 60 % festgelegt. Dieses Vorgehen ist jedoch, außer bei genau 5 Antwortkästchen pro Frage, ebenfalls fehlerhaft (siehe unten).

SC-Bewertung

Ist genau eine der angebotenen Alternativen richtig, alle anderen falsch, ist der einfachste Weg zu einer gerechten Bewertung, für falsche Kreuze Punktabzug (Malus) anzurechnen: Bei zwei angebotenen Antwortalternativen pro Frage je einen Punkt, bei drei Alternativen einen halben Punkt, bei vier Alternativen einen Drittelpunkt usw. Unbeantwortete Fragen und solche, bei denen mehr als ein Kreuz gesetzt wurde, bleiben ohne Wertung, es wird kein Punkt gegeben und keiner abgezogen. Um dem Probanden stets die Möglichkeit zu geben, Punktabzug für nicht beantwortete Fragen zu vermeiden, sollen immer mindestens zwei Alternativen („trifft zu“ und „trifft nicht zu“) angeboten werden. Aufträge wie „Kreuzen Sie die richtigen Aussagen an“ sind generell zu vermeiden.

Die Berücksichtigung des statistischen Effektes durch dieses Abzugsverfahren ist juristisch angreifbar. Alternativ kann eine rechtssichere Bewertung erzielt werden, indem statt Punktabzug für falsche Antworten ein angepasster Punkteschlüssel mit höherer Bestehensgrenze zur Anwendung kommt. Für den (häufigsten) Fall, dass der Proband für ein Bestehen eine Kenntnis von 50 % des Stoffes nachzuweisen hat, ergibt sich dann folgender korrigierter Punkteschlüssel:

In Folge eines Gerichtsurteils wird jedoch bspw. an nordrhein-westfälischen Hochschulen inzwischen ein fester Notenschlüssel verwendet, der weder die Anzahl der Alternativen noch der richtigen Antworten pro Frage berücksichtigt und davon ausgeht, dass jede Aufgabe bzw. richtige Antwort unabhängig von Schwierigkeit und Komplexität mit gleich vielen Punkten (nämlich einem) bewertet wird. Die Bestehensgrenze liegt üblicherweise bei 60 % der Gesamtpunktzahl, wird aber zwangsweise angehoben werden, wenn sonst die Durchfallquote der Erstteilnehmer an einer Prüfung zu hoch wäre, weil dies als Indikator für eine unangemessen schwierige Prüfung gewertet wird. Um beide Fälle abzudecken, wird der Notenschlüssel fix über den Anteil korrekter Antworten oberhalb der flexiblen Bestehensgrenze definiert. Feiner gestufte Noten wie 1,3 und 2,7 sind nicht festgelegt, werden aber in der Regel linear in das Raster eingefügt, wobei dann die Frage ist, ob die Grenze für x für eine x,0 oder eine x,3 gilt.

MC-Bewertung

Sind bei einer Aufgabe mehrere Antworten richtig, ist wie bei mehreren Einzelfragen mit je zwei Alternativen („trifft [nicht] zu“) zu verfahren und für falsche Kreuze ein Malus von einem Punkt zu geben. Nicht oder doppelt gekreuzte Antworten bleiben ohne Folge.

Es sind daher bei jeder Antwortalternative stets zwei Kästchen vorzusehen. Anschließend werden die Einzelpunkte addiert, negative Summen werden dabei als 0 gewertet.

Um das Gewicht der Aufgabe innerhalb der Gesamtprüfung festzulegen, kann ggf. die erzielte Punktzahl auf die gewünschte Punktzahl der Aufgabe umgerechnet werden. Wenn bspw. wie im gezeigten Beispiel fünf Antwortmöglichkeiten bewertet werden müssen, könnte die Gesamtaufgabe 2 Punkte ab 4 Teilpunkten (also max. ein falsches Kreuz), 1 Punkt für 2–3 Teilpunkte und sonst keinen Punkt bringen.

Mit diesen Tests können viele Lernziele (mit Ausnahme von kreativen Leistungen) abgefragt werden. Darüber hinaus lassen sie sich in der Regel maschinell auswerten. Sie werden deshalb sehr häufig eingesetzt, z. B. beim IQ-Test, bei der Führerscheinprüfung und verschiedenen Qualifikationsprüfungen. Auch Prüfungen an Schulen und Universitäten werden manchmal auf diese Weise abgehalten. Bei Auswahlverfahren von Unternehmen ist dieser Test ebenfalls beliebt, da man lediglich eine Lösungsschablone benötigt.

Die Fähigkeit, bei unvollständigem Fachwissen aus rein formalen Hinweisen die richtige Lösung zu erschließen oder zumindest einzelne Distraktoren zu eliminieren, wird in den USA unter dem Begriff testwiseness („Testfähigkeit“) diskutiert (Millman et al. 1965). Bei schlecht konstruierten Tests half früher die Faustregel, im Zweifel die längste Antwort anzukreuzen. Einen parodistischen Test, der keinerlei sinnvolles Wissen enthält, trotzdem durch ausschließlich formales Schließen gelöst werden kann, hat die New Yorker Schulbehörde veröffentlicht.

Kubinger (2005) schreibt zur oft unterschätzten Auswirkung des Rateeffekts auf die diagnostische Validität von MC-Tests:

Die Wahrscheinlichkeit, dass ein Item eines Tests [Frage im MC-Test; Anm. d. Verf.] nur zufällig richtig beantwortet und insofern „gelöst“ wird, ist offensichtlich umso größer, je weniger Antwortmöglichkeiten geboten werden. Im heute verfügbaren Testinventar der psychologischen Diagnostik sind es zumeist fünf, nämlich die Lösung samt vier „Distraktoren“. Für solche Tests beträgt die A-priori-Ratewahrscheinlichkeit 1/5 = 20 %, d. h., auch Testpersonen ohne jede entsprechend vorausgesetzte Fähigkeit würden durchschnittlich 1/5 aller Items „lösen“. Verschärft wird das Problem dadurch, dass für Testpersonen mit wenigstens minderer Fähigkeit nicht alle Antwortmöglichkeiten gleich plausibel sind, so dass von den fünf häufig eine, zwei, manchmal drei gemäß Falsifikationsstrategie [entspricht hier sinngemäß in etwa: Ausschlussverfahren, siehe Falsifizierung; Anm. d. Verf.] richtiger Weise außer Betracht geraten, was die Ratewahrscheinlichkeit pro Item individuell bis auf 50 % erhöhen kann.

Multiple Choice in internationalen Vergleichen

Multiple-Choice-Aufgaben werden auch in internationalen Schulleistungsvergleichen wie TIMSS, PIRLS oder PISA eingesetzt. Dabei wird das US-amerikanische Standardformat verwendet, in dem in aller Regel vier bis fünf Antworten vorgegeben werden, von denen genau eine als richtig gewertet wird. Im deutschen Sprachraum aber, wo dieses Aufgabenformat wenig gebräuchlich ist, haben in den ersten PISA-Runden über 10 % der Schüler bei einzelnen Aufgaben mehr als eine Antwort angekreuzt.

Eine kanadische Studie zeigt, dass sich der Vorteil nordamerikanischer Studenten, die aus ihrer Schulzeit her MC-Tests gewohnt sind, auch in studienbegleitenden Prüfungen noch nachweisen lässt.

Weitere Probleme

Multiple-Choice-Tests fördern (partielles) Faktenwissen statt Fachwissen. Die Personen lernen das Verifizieren von Antworten statt des Lösens von Aufgaben. Eine Person, die zuverlässig die richtige Antwort aus fünf möglichen findet, kann trotzdem nicht in der Lage sein, die gestellte Aufgabe zu lösen.
Beispiel: Die Testperson löst die Aufgabe so lange, bis ihre Lösung mit einer der vorgegebenen Lösungen übereinstimmt. Macht die Testperson dabei nicht die Fehler, die die Ersteller der MC-Lösungen absichtlich gemacht haben, um die falschen Antworten zu generieren, kann die Testperson die richtige Lösung herausfinden, ohne die Aufgabe selbst eigenständig lösen zu können.

Ein drittes Problem ist das richtige Verstehen von Aufgabenstellungen, sowohl durch Mehrdeutigkeiten als auch durch fehlende linguistische Fähigkeiten der Testperson. Man testet immer eine Mischung aus Fachwissen und der Beherrschung der Sprache, in der die Aufgabe gestellt wurde, selbst wenn letzteres in der Praxis keine Rolle spielen würde, weil die Aufgabe normalerweise aus dem Kontext und nicht aus einer Aufgabenstellung heraus in der Praxis gestellt wird.

Bei SC-Auswahlantworten können sich die Distraktoren sehr in ihrer Nähe zur richtigen Antwort unterscheiden, manche sind sogar absichtlich offensichtlich falsch, andere nur in einem leicht zu übersehenden Detail falsch. Sie werden aber alle gleich bewertet, während in einer Freitextkorrektur für einige möglicherweise Teilpunkte gegeben würden.

Maßnahmen gegen das Raten

An deutschen und österreichischen Universitäten sind Multiple-Choice-Klausuren sehr verbreitet. Um die Studierenden vom Raten abzuhalten, wird die Bestehensgrenze oberhalb der Zufallswahrscheinlichkeit angesetzt oder ein negatives Punktesystem verwendet oder beides.

Die hier vorgestellten Varianten setzen entweder eine binäre Entscheidung („wahr“ oder „falsch“) oder Einfachauswahl voraus.

absolutes und relatives Verhältnis von Bonus und Malus

Bonus	Malus	Neutral	absolutes Verhältnis	relatives Verhältnis
+1	−1	—	${\displaystyle |B|=|M|}$	${\displaystyle |B|=|M|}$
+1	−1	±0	${\displaystyle |B|=|M|}$	${\displaystyle |B-N|=|M-N|}$
+1	−1	−½	${\displaystyle |B|=|M|}$	${\displaystyle |B-N|>|M-N|}$
+1	−1	−1	${\displaystyle |B|=|M|}$	${\displaystyle |B-N|>|M-N|}$
+1	−1	+½	${\displaystyle |B|=|M|}$	${\displaystyle |B-N|<|M-N|}$
+1	−2	—	${\displaystyle |B|<|M|}$	${\displaystyle |B|<|M|}$
+1	−2	±0	${\displaystyle |B|<|M|}$	${\displaystyle |B-N|<|M-N|}$
+1	−2	−1	${\displaystyle |B|<|M|}$	${\displaystyle |B-N|>|M-N|}$
+1	−½	±0	${\displaystyle |B|>|M|}$	${\displaystyle |B-N|>|M-N|}$
+1	±0	+½	${\displaystyle |B|>|M|}$	${\displaystyle |B-N|=|M-N|}$
+1	±0	±0	${\displaystyle |B|>|M|}$	${\displaystyle |B-N|>|M-N|}$

Im einfachsten und verbreitetsten Verfahren erhält jede Antwort betragsmäßig dieselbe Wertung, allerdings richtige positiv und falsche negativ. Dieses System ist allerdings juristisch umstritten, denn bei dieser Art der Wertung können „Punkte abgezogen werden, die durch eine richtige Antwort erreicht worden sind“. Die Aufgabe einer Prüfung ist es „Aussagen darüber zu gewinnen, welche berufsbezogenen Kenntnisse der Prüfling hat. Einem Bewertungsverfahren, bei dem fehlerfrei erbrachte Prüfungsleistungen als nicht oder schlecht erbracht gewertet werden, weil andere Prüfungsfragen nicht richtig beantwortet worden sind, fehlt diese Eignung.“ (Zitat aus der Urteilsbegründung NRW, 14 A 2154/08).

Alternativen, die die Einfluss testwiseness weiter reduzieren sollen, vergeben eine betraglich höhere negative Wertung für falsche Antworten als positive für richtige Antworten.

Häufig gehen Aufgaben mit Malus schlechtestenfalls mit null Punkten in die Gesamtwertung ein, selbst wenn die Punktesumme eigentlich negativ wäre. So kann der Notenspiegel positiv gehalten werden. Allerdings setzt das eine Aufgabenstellung voraus, in der eine Aufgabe aus mehreren Multiple-Choice-Fragen besteht. Solche Aufgaben werden oft in Prüfungen verwendet, die vorwiegend andere Aufgabentypen enthalten.

In Deutschland gibt es mittlerweile eine Vielzahl von Gerichtsurteilen, die die Grenzen der Verwendung des Antwort-Wahl-Verfahrens, wie es im juristischen Umfeld genannt wird, aufzeigen. Viele Urteile beziehen sich dabei auf eine absolute Bestehensgrenze, die dazu geführt hat, dass die Anzahl der bestehenden Prüflinge sich von Jahrgang zu Jahrgang zum Teil erheblich unterscheiden können; andere Urteile beziehen sich auf die Bewertung von Aufgaben.

Insgesamt empfiehlt es sich daher, sich mit der Rechtsprechung zu befassen, bevor Multiple-Choice-Aufgaben konzipiert werden.

Welche Politiker waren in der Brandt-Regierung Bundesminister?
1. Karl Schiller
2. Herbert Wehner
3. Rainer Barzel
4. Georg Leber
5. Erich Mende

Die Anzahl richtiger Antworten ist nicht vorgegeben. Richtig sind 1. und die 4. Antwort. 2, 3 und 5 dienen als Distraktoren.

Welches ist der größte Binnensee, der vollständig in Deutschland liegt?
1. der Bodensee
2. die Müritz
3. das Steinhuder Meer

Aus dem Fragetext scheint zunächst klar, dass nur eine Antwort richtig sein kann (die 2.). Das Steinhuder Meer ist jedoch ein Binnensee und kommt somit ebenfalls in Betracht, ist jedoch kleiner als die Müritz.

• K. D. Kubinger: Objektive psychologisch-diagnostische Verfahren. In: H. Weber, T. Rammsayer (Hrsg.): Handbuch der Persönlichkeitspsychologie und Differentiellen Psychologie aus Handbuch der Psychologie. Hogrefe, Göttingen 2005, S. 158–165. 
• J. Millman, C. H. Bishop, R. Ebel: An Analysis of Test-Wiseness. In: Educational Psychological Measurement. Band 25, 1965, S. 707–726. 

• Universität des Saarlandes: Richtlinien zur Erstellung von einfachen Multiple Choice-Aufgaben
• Die Auswirkungen von Short-Answer- und Multiple Choice-Übungsaufgaben auf das Lernergebnis.
• F. Ach: Hörverständnistests - Fallstricke bei der Bewertung von Multiple-Choice-Tests. (MS Word; 104 kB)