Correctie voor gokkans

Continue & discrete verdelingen, toevalsveranderlijken, betrouwbaarheidsintervallen, correlaties.
Plaats reactie
Maartje23
Nieuw lid
Nieuw lid
Berichten: 2
Lid geworden op: 02 jun 2020, 10:41

Correctie voor gokkans

Bericht door Maartje23 » 02 jun 2020, 10:51

Hallo allemaal!

Ik heb een vraag over kansberekening voor een manipulatiecheck in mijn masterscriptie. Ik heb een experiment via Qualtrics gedaan waarbij mensen een tekst over een superfood (Moringa) moesten lezen. De manipulatie bestond uit een leesinstructie, waarbij de experimentele groep een instructie kreeg om te letten op eigenschappen van het product Moringa. Als manipulatiecheck heb ik respondenten daarna deze vraag gesteld:

In de tekst die je zojuist hebt gelezen worden verschillende eigenschappen van Moringa genoemd. Hieronder volgt een lijst met mogelijke eigenschappen. Vink de eigenschappen van Moringa aan die volgens jou in de tekst worden genoemd. Let op: er zijn meerdere eigenschappen genoemd in de tekst.

Moringa...
- is cafeïnevrij.
- heeft een bittere smaak.
- bevat vitamine C.
- wordt gebruikt als fijn poeder.
- bevat ijzer.
- bevat eiwitten.
- helpt om gewicht te verliezen.
- heeft een zure smaak.

Er zijn 4 eigenschappen goed en 4 fout en mensen moesten minimaal 2 eigenschappen aanvinken om op 'verder' te kunnen klikken. Voor de analyses twijfel ik hoe ik de totaalscore voor deze vraag moet berekenen. Ik dacht eerst om gewoon een totaal van goede-foute antwoorden te maken, maar toen bedacht ik dat ik misschien moet controleren voor de gokkans (want mensen kunnen ook 2 willekeurige dingen aanvinken). Met welke berekening kan ik daar het beste voor controleren?

Alvast bedankt!
Groetjes,
Maartje

arie
Moderator
Moderator
Berichten: 3911
Lid geworden op: 09 mei 2008, 09:19

Re: Correctie voor gokkans

Bericht door arie » 03 jun 2020, 09:54

"score = goed - fout"
lijkt me een goede manier om te scoren.
Je kan dan testen of de gemiddelde score in de ene groep statistisch significant anders is dan de gemiddelde score in de andere groep.

Sommige individuen uit de groep zonder kennis kunnen wel 2 van de 2 kenmerken goed hebben ("puur op de gok"), maar naar verwachting zullen net zo veel proefpersonen uit die groep 2 van de 2 kenmerken fout beantwoorden.
De gemiddelde score van de groep zal dus dicht bij nul liggen (net zo veel kenmerken goed als fout).

En als je bekend bent met combinaties (zie bv. https://nl.wikipedia.org/wiki/Combinatie_(wiskunde)):

Er zijn \(C(8,2) = {8 \choose 2} = 28\) mogelijkheden om 2 kenmerken uit 8 alternatieven te kiezen,

en er zijn \(C(4,2) = {4 \choose 2} = 6\) mogelijkheden om 2 kenmerken uit 4 goede alternatieven te kiezen.

De kans dat iemand die op de gok 2 kenmerken invult beide kenmerken goed heeft, is dus 6/28 = 0.21429 = 21.4%
Dit is vergelijkbaar met het invullen van een 4-keuzevraag op de gok (25% kans om die vraag goed te hebben).
Maar om te slagen voor een tentamen moet je vele van die vragen (20 of meer) invullen en daarvan een groot aantal (bv. 14 of meer) goed hebben. De kans om dat op de gok te bereiken is verwaarloosbaar klein.

Evenzo zal in jouw experiment nooit de grote meerderheid van de gokkers 2 uit 2 goed hebben (slechts rond de 21.4%).
Dit in tegenstelling tot de groep die het wel weet, waarvan de meeste 2 uit 2 goed zullen hebben.
Hierdoor zal ook de gemiddelde score van de groep met kennis ver boven nul liggen.


Je zou nog wel apart naar de mensen met 4 uit 4 goed kunnen kijken (in beide groepen):

Er zijn \(C(8,4) = {8 \choose 4} = 70\) mogelijkheden om 4 kenmerken uit 8 alternatieven te kiezen,

en er is \(C(4,4) = {4 \choose 4} = 1\) mogelijkheid om 4 kenmerken uit 4 goede alternatieven te kiezen (vanzelfsprekend).

De kans dat de gokkers dit lukt is slechts 1 op 70 = 1/70 = 1.4%, terwijl dit MET kennis geen probleem zal zijn.



Hier voor de volledigheid nog een lijstje met alle kansen zonder kennis:

Code: Selecteer alles

2 vragen ingevuld: C(8, 2) = 28 mogelijkheden
2 goed, 0 fout: C(4, 2) * C(4, 0) = 6 * 1 = 6   = 21.429 %
1 goed, 1 fout: C(4, 1) * C(4, 1) = 4 * 4 = 16  = 57.143 %
0 goed, 2 fout: C(4, 0) * C(4, 2) = 1 * 6 = 6   = 21.429 %

3 vragen ingevuld: C(8, 3) = 56 mogelijkheden
3 goed, 0 fout: C(4, 3) * C(4, 0) = 4 * 1 = 4   = 7.1429 %
2 goed, 1 fout: C(4, 2) * C(4, 1) = 6 * 4 = 24  = 42.857 %
1 goed, 2 fout: C(4, 1) * C(4, 2) = 4 * 6 = 24  = 42.857 %
0 goed, 3 fout: C(4, 0) * C(4, 3) = 1 * 4 = 4   = 7.1429 %

4 vragen ingevuld: C(8, 4) = 70 mogelijkheden
4 goed, 0 fout: C(4, 4) * C(4, 0) = 1 * 1 = 1   = 1.4286 %
3 goed, 1 fout: C(4, 3) * C(4, 1) = 4 * 4 = 16  = 22.857 %
2 goed, 2 fout: C(4, 2) * C(4, 2) = 6 * 6 = 36  = 51.429 %
1 goed, 3 fout: C(4, 1) * C(4, 3) = 4 * 4 = 16  = 22.857 %
0 goed, 4 fout: C(4, 0) * C(4, 4) = 1 * 1 = 1   = 1.4286 %

5 vragen ingevuld: C(8, 5) = 56 mogelijkheden
4 goed, 1 fout: C(4, 4) * C(4, 1) = 1 * 4 = 4   = 7.1429 %
3 goed, 2 fout: C(4, 3) * C(4, 2) = 4 * 6 = 24  = 42.857 %
2 goed, 3 fout: C(4, 2) * C(4, 3) = 6 * 4 = 24  = 42.857 %
1 goed, 4 fout: C(4, 1) * C(4, 4) = 4 * 1 = 4   = 7.1429 %

6 vragen ingevuld: C(8, 6) = 28 mogelijkheden
4 goed, 2 fout: C(4, 4) * C(4, 2) = 1 * 6 = 6   = 21.429 %
3 goed, 3 fout: C(4, 3) * C(4, 3) = 4 * 4 = 16  = 57.143 %
2 goed, 4 fout: C(4, 2) * C(4, 4) = 6 * 1 = 6   = 21.429 %

7 vragen ingevuld: C(8, 7) = 8 mogelijkheden
4 goed, 3 fout: C(4, 4) * C(4, 3) = 1 * 4 = 4   = 50.000 %
3 goed, 4 fout: C(4, 3) * C(4, 4) = 4 * 1 = 4   = 50.000 %

8 vragen ingevuld: C(8, 8) = 1 mogelijkheid
4 goed, 4 fout: C(4, 4) * C(4, 4) = 1 * 1 = 1   = 100.00 %

Maartje23
Nieuw lid
Nieuw lid
Berichten: 2
Lid geworden op: 02 jun 2020, 10:41

Re: Correctie voor gokkans

Bericht door Maartje23 » 04 jun 2020, 16:12

Hartelijk dank voor het uitgebreide antwoord, Arie! Ik ga ermee aan de slag.

Groetjes,
Maartje

Plaats reactie