Significante verschillen

[mschapendonk]

Hallo,

Ik ben met de resultaten van een merkenonderzoek aan het stoeien en aan het proberen om de ranking die nu in een Excel-sheet staat te reproduceren in een andere applicatie/programmeertaal. Dat is al vrij ver gelukt, maar om de uiteindelijke "waarde" van de ranking te bepalen moet ik een paar aannames doen waarvan ik niet zeker weet of die kloppen.

De steekproef bestaat uit een reeks (merk, beoordeling). Kortgezegd zijn per merk de beoordelingen gemiddeld en dan ontstaat een ranking over alle merken van hoog naar laag. Stel dat daar de volgende ranking uit komt:

1. Merk A
2. Merk B
3. Merk C

M.b.v. p-waarden en een t-toets kun je bepalen of het verschil in ranking tussen (A en B), (A en C) en (B en C) wel of niet significant is.

Stel dat het verschil tussen A en B niet significant is, en het verschil tussen A en C ook niet significant is, kun je dan correct de aanname doen dat het verschil tussen B en C NOOIT significant kan zijn?

Stel dat het verschil tussen A en B significant is, kun je dan correct de aanname doen dat het verschil tussen A en C ALTIJD ook significant is?

Het "voelt" als een juiste aanname, maar juist met statistische redenaties laat mijn gevoel me wel eens in de steek... vandaar de vraag.

Alvast bedankt!

[David]

Hallo M. Schapendonk,

Als je 3 samples hebt, kan je eventueel one-way-AnovA gebruiken, of kan dat niet in excel?
Zijn je steekproeven ongeveer even groot, en/of een ongeveer gelijke variantie?
Is elk Merk normaal verdeeld en/of elke steekproef groter dan 20-25?

Over je aannamen durf ik zo geen uitspraak te doen. Volgens mij kloppen ze geen van beiden.
Weet je zo voldoende? Anders zou ik wat meer in de stof moeten verdiepen. Ik weet niet precies wanneer dat zou lukken.

[mschapendonk]

Hoi daco,

Het gaat om meer dan 3 merken, maar met 3 merken kon ik mijn probleem al het makkelijkst beschrijven.

De steekproeven zijn niet even groot. Het kan dus goed zijn dat merk A 100 samples heeft, merk B 50 en merk C misschien wel 300. Het ene merk kan heel consistent hoge beoordelingen krijgen (weinig variantie), terwijl de meningen bij een ander merk sterk verdeeld kunnen zijn. De steekproeven zijn wel groter dan 20-25 en hebben een normaalverdeling.

Kun je misschien een voorbeeld verzinnen waarin het verschil tussen (A en B) en (B en C) niet significant is, maar tussen (A en C) wél?

Alvast bedankt,
Martin

[David]

Een voorbeeld van 3 samples a, b en c, waarin het verschil tussen a en c wel significant is, maar tussen b en c en a en b niet met een significantieniveau van 0.05.

sample a: mu=0, sigma=1
sample b: mu=2, sigma=1
sample c: mu=4, sigma=1

Ik heb een linkje gezocht voor een site waarin meer wordt uitgelegd over AnovA.
http://www.chem.agilent.com/cag/bsp/pro ... _anova.pdf

Heb je hier iets aan?

[mschapendonk]

Hmmpf, sorry, maar ik zit zelf zaken door elkaar te gooien. In mijn 2e post doe ik een andere aanname dan in mijn eerste post. Die in de tweede post is een tikfout.

Eerste post:
Als (A en B) en (A en C) niet significant, dan (B en C) ook niet significant.

Tweede post:
Als (A en B) en (B en C) niet significant, dan (A en C) ook niet significant.

De tweede heb je -terecht- ontkracht, de eerste is volgens mij nog niet ontkracht?

Bedankt voor de link, die ga ik eens even lezen.

Martin

[David]

Eerste post:
Als (A en B) en (A en C) niet significant, dan (B en C) ook niet significant.

Tweede post:
Als (A en B) en (B en C) niet significant, dan (A en C) ook niet significant.

Dit zijn dezelfde beweringen, alleen heb je (A-C) en (B-C) omgewisseld.

In de eerste post zaten 2 beweringen.
Ik heb een 3 steekproeven gevonden met 2-niet-significante verschillen en 1 wel-significant verschil.
Nu zoek je 3 steekproeven met 2 wel-significante verschillen en 1 niet-signicant verschil.

Ik heb goed, dan wel slecht nieuws voor je. Hoe je het wil zien mag je zelf kiezen. 3 samples, 2 wel significant, 1 niet-significant

Sample A: mu=0, sigma=1
Sample B: mu=4, sigma=1
Sample C: mu=10, sigma=4

Met significantieniveau
A-B: wel significant
A-C: wel significant
B-C: niet significant.

[David]

En als je wilt dat de sigma´s gelijk zijn bijv.:
Sample A: mu=0, sigma=1
Sample B: mu=4, sigma=1
Sample C: mu=5, sigma=1

Met significantieniveau
A-B: wel significant
A-C: wel significant
B-C: niet significant

[mschapendonk]

En als je wilt dat de sigma´s gelijk zijn bijv.:
Sample A: mu=0, sigma=1
Sample B: mu=4, sigma=1
Sample C: mu=5, sigma=1

Met significantieniveau
A-B: wel significant
A-C: wel significant
B-C: niet significant

Sorry als ik het niet zo goed uitleg, maar is er ook een voorbeeld:

A-B: niet significant
A-C: niet significant
B-C: wel significant

Sample A: mu=?, sigma=?
Sample B: mu=?, sigma=?
Sample C: mu=?, sigma=?

Sigma's hoeven niet gelijk te zijn.

[David]

Die heb ik wel al gegeven, dit keer aangepast aan welke sampleverschillen wel en welke niet significant zijn.

sample a: mu=2, sigma=1
sample b: mu=0, sigma=1
sample c: mu=4, sigma=1

A-B: niet significant
A-C: niet significant
B-C: wel significant

met een significantieniveau van 0.05.

2 wel significant en 1 niet significant kan nog mooier, vind ik, met gelijke mu.

sample a: mu=2, sigma=1
sample b: mu=2, sigma=1
sample c: mu=2, sigma=16

A-B: niet significant
A-C: wel significant
B-C: wel significant

[mschapendonk]

Die heb ik wel al gegeven, dit keer aangepast aan welke sampleverschillen wel en welke niet significant zijn.

sample a: mu=2, sigma=1
sample b: mu=0, sigma=1
sample c: mu=4, sigma=1

A-B: niet significant
A-C: niet significant
B-C: wel significant

met een significantieniveau van 0.05.

Dit voorbeeld voldoet niet aan de eis dat a, b, c in een ranking staan. Ze moeten gesorteerd zijn op mu (oplopend of aflopend maakt niet zoveel uit).

Als ik die ranking aanbreng dan word de volgorde (b, a, c) en dan kan ik mijn aanname (ALS het verschil tussen sample (1 en 2) en (1 en 3) niet significant is, DAN is het verschil tussen 2 en 3 OOK niet significant) niet ontkrachten.

2 wel significant en 1 niet significant kan nog mooier, vind ik, met gelijke mu.

sample a: mu=2, sigma=1
sample b: mu=2, sigma=1
sample c: mu=2, sigma=16

A-B: niet significant
A-C: wel significant
B-C: wel significant

Huh? Hier schiet mijn statistische kennis dus echt tekort. Allemaal dezelfde mu dan zou ik denken dat de verschillen per definitie niet significant kunnen zijn. Kun je deze iets meer toelichten hoe dat kan?

[David]

Dat is niet de stelling die je gaf; die zou specifieker geformuleerd moeten worden.
Dan zou het (oplopend) zijn:
Gegeven:
Als A-B niet sigificant is, en B-C is niet significant, dan A-C is niet significant.

Ik heb geleerd dat als de oppervlakte onder de gausskromme kleiner is dan 0.05, dan heb je een significant verschil. De gemeenschappelijke oppervlakte onder de twee gausskrommen is kleiner dan 0.05, dus een significant verschil, of klopt dat niet? Met die methode zoek ik ook tegenvoorbeelden voor je stellingen.

Ik probeer nog een tegenvoorbeeld te vinden. Probeer jij dat ook?

[mschapendonk]

Sorry als dat van die ranking niet duidelijk was. In de eerste post heb ik dat geprobeerd aan te geven met "een ranking van alle merken van hoog naar laag".

Met de oppervlakte onder de Gausskromme kan ik wel wat, dat maakt het wat concreter. Ik moet nog even nadenken over die verhouding/gemeenschappelijke oppervlakte enzo. Ik heb van het weekend weinig tijd, maar maandag of dinsdag kom ik hier zeker nog even op terug.

Alvast bedankt!

[David]

Ik heb globaal een idee hoe een tegenvoorbeeld uit zo zien,



Alleen ik heb het nog niet nagerekend. Ik durf niet met zekerheid te zeggen of dit een goed voorbeeld is. Eventueel zouden de sigma´s van a en c wat kleiner moeten zijn.