Egoïstische vleeseters (3) – getallen & methodologie

Zo leek er sprake van een baanbrekend onderzoek (screencap hier en daar) naar de psychologie van vlees eten, zo hebben we te doen met een omvangrijk geval van wetenschapsfraude.
De Tilburgse hoogleraar Diederik Stapel heeft vermoedelijk op grote schaal onderzoeksdata vervalst. Mede-auteur van het vleesonderzoek hoogleraar Roos Vonk trekt daaruit de conclusie dat ook het vleesonderzoek fictie is.  Ze geeft helaas (nog) geen bewijzen, anders dan een vermoeden. Onduidelijk is of Stapel het ruiterlijk heeft toegegeven, of dat  er andere aanwijzingen zijn. Vonk distantieert zich nu volledig van Stapel en het vleesonderzoek.

Vorige week kreeg ik van Roos Vonk een pdf over de vleesstudies toegemaild. Een nieuwsgierige wiskundige Pepijn van Erp vroeg me of hij het documentje kon inzien en ging ermee aan de slag.

Hem vielen al snel twee zaken op: in het eerste experiment zijn de genoemde percentages niet te matchen met de aantallen mensen in de groepen. En zelfs als je je best doet om dat wel te doen, dan is het verschil tussen beide groepen niet statistisch significant.

Van Erp: “Er even van uitgaande dat de twee groepen uit 16 personen bestaan leidt 44 procent mooi tot 7,04 dus zullen er 7 van de 16 voor het vleesmenu gekozen hebben. Maar die 15 procent kan ik niet goed terugrekenen 15 procent van 16 =2,4. Als de echte waarde 2 is zou het 13 procent moeten zijn en als het 3 is 19 procent.”

“Vijftien procent kan niet optreden als uitkomst. Oorzaak? Wellicht is de verdeling niet 16-16. Je kunt een iets betere fit krijgen met 18 in de Crisis-groep (8 moeten dan vleesmenu kiezen = 44 procent) en 14 in de neutrale groep (2 het vleesmenu, maar dat zou 14% opleveren). Vreemd dus.”

Om te proberen de conclusie te bereiken met de volgende verdeling

Crisis                      Neutraal

vlees        7                              2
anders     9                              14

totaal       16                           16

“Berekenen of dit een significant verschil is, is nog niet zo simpel. Meestal neem je bij zo’n tabel een Chi-kwadraat test, maar in dit geval is die door de lage waarden (meerdere celwaarden<10) niet goed bruikbaar.

Als je wel de Chi-kwadraat test toepast (zonder mogelijke correcties) kom je uit op de conclusie dat de Crisis-groep afwijkt van Neutraal met p=0.0247 dus onder significantieniveau p<0.05. Je moet echter een Fisher’s exact test gebruiken en dan is p=0.0567, dus niet significant.”

Ook de methodologie en studie-opzet roepen veel vragen op (maar dat kan komen door gebrek aan detail in de pdf). Bijvoorbeeld: wat is de dieetvoorkeur, leeftijd, geslacht e.d. van de proefpersonen, de presentatie van de keuze-opties, de invloed van de samenstelling van de maaltijden (gehaktsaus is ook vlees, maar minder uitgesproken vlezig dan steak).

In de mediastorm die nu opsteekt, raken die methodologische vragen snel uit zicht. Onderzoek in de prullenbak, zondebok ontslagen, over tot de orde van de dag.

Ik stel voor om nog eens goed te kijken. Naar de resultaten, maar ook naar de vraag of er een studie-protocol was opgesteld. Een week geleden beweerden drie hoogleraren trots dat ze in samenspraak wetenschappelijk onderzoek hadden uitgedacht.

Maar wat was dat dan precies? Hoe was de studie methodologisch uitgedacht? En wat leverden de  hoogleraren  Marcel Zeelenberg en  Roos Vonk voor input? Met het krachtig distantiëren van hun collega Stapel verdwijnt niet de intellectuele verantwoordelijkheid voor het proces  voorafgaand aan de eventuele fraude.

Als iemand iets anders opvalt, laat vooral weten.

Update 28-9-2012: Pepijn van Erp blikt een jaar later terug op de dagen rond het begin van affaire Stapel.