Vorig jaar werd de wereld opgeschrikt door een studie waaruit zou blijken dat ratten die op een dieet waren gezet van genetisch gemodificeerde (GM) maïs gigantische tumoren ontwikkelden. De bijgeleverde foto’s van ratten met lijfjes waar bulten ter grootte van pingpongballen aan alle kanten uitstaken, spraken boekdelen. Hartstikke fout spul die GM-maïs, had de Franse onderzoeker Séralini dus aangetoond. Maar de ratten die ‘normaal’ te eten kregen, waren er niet veel beter aan toe. De gebruikte rattensoort staat bekend om het ontwikkelen van dergelijke kankers. Inmiddels is die studie van alle kanten afgeschoten als prutswerk en het feit dat Séralini zijn data niet wil vrijgeven, zegt misschien ook wel genoeg. Een soortgelijke studie verscheen op 11 juni jl., nu waren varkens de klos. Na 23 weken wegkauwen van GM-voer, waren hun magen duidelijk meer ontstoken dan die van hun meer fortuinlijke soortgenoten die gewoon voer kregen. Hoewel het resultaat met iets minder schokkende foto’s werd geïllustreerd, ging het nieuws weer als een lopend vuurtje het internet over. Ook nu kwam de kritiek snel op gang en die is net zo vernietigend. Anti-GM-activisten zullen er voorlopig echter nog wel mee blijven rondzwaaien, zoals ze ook doen met het onderzoek van Séralini.
De Australische en Amerikaanse onderzoekers voerden 84 varkens GM-soja en -maïs en 84 andere varkens ‘normaal’ voedsel. Na vijf maanden werden ze geslacht en onderzocht door dierenartsen die niet wisten wat welk varken had gegeten. Geen verschillen werden gevonden voor voedselinname, gewichtstoename, bloedwaarden en sterfte. Wel bleek dat van de varkens op het GM-dieet maar liefst 32% een hevige ontsteking van de maag had, tegen maar 12% in de controlegroep. Een plaatje maakt het duidelijker (zie rechts).
Er is van alles mis met dit onderzoek. Dat varieert van het niet vooraf bepalen waar de onderzoekers naar zouden kijken tot het niet vermelden dat ze zelf behoorlijke belangen hebben in de biologische veehouderij. Op de website rbutr.com kun je nu al 26 links vinden naar blogs en andere artikelen die stuk voor stuk het onderzoek van Carman en haar collega’s onderuit halen. Het is teveel om hier allemaal te herhalen, maar het belangrijkste is misschien wel dat het gevonden ‘significante’ verschil hoogstwaarschijnlijk een toevalstreffer is. Alleen al omdat ze meer dan veertig zaken onderzochten, was het te verwachten dat minstens twee van die tests iets zouden opleveren met een p-waarde kleiner dan 0,05 ook als het verschil in voer niets uitmaakt. Er werd ook gevonden dat in de GM-vrije groep een stofje verhoogd was dat zou kunnen duiden op problemen met de lever, maar daar hoor je de auteurs niet over. Er zijn wel methoden om je tegen dit soort ‘cherry picking’ te beschermen, maar eigenlijk moet je van te voren gewoon goed beschrijven hoe je de statistische analyse gaat aanpakken.
Nu had het verschil in die maagonstekingsgraad wel een behoorlijk lagere p-waarde dan die standaardgrens van 0,05 namelijk 0,0044. Misschien is er dan toch iets aan de hand? Nou, zelfs als je ervan uit zou gaan dat de onderzoekers vooraf hadden bedacht dat dit de belangrijkste uitkomstwaarde zou zijn, blijkt het allemaal erg mee te vallen als je de statistiek goed doet. Want ook daar maken de onderzoekers een potje van.
De volgende tabel geeft het resultaat weer van beoordeling door de dierenartsen van de varkensmagen. Die hadden eerst een indeling in vier categorieën bepaald in een ander onderzoek en die hier blind toegepast.
| GM-vrij voer | GM-voer | |
|---|---|---|
| geen ontsteking | 4 | 8 |
| lichte ontsteking | 31 | 23 |
| middelmatige ontsteking | 29 | 18 |
| ernstige ontsteking | 9 | 23 |
Het totaal aantal varkens is wat lager dan eerder opgemerkt, 73 en 72 tegen 84 waarmee beide groepen startten. Er waren er namelijk al een stel gestorven voordat het einde van de testperiode bereikt was. Die sterfte is niet raar, maar wel meer dan je normaal gesproken kunt verwachten in een varkenshouderij. En dat roept ook weer vragen op. Maar nu even terug naar de statistiek. De onderzoekers vonden het verschil bij de ‘ernstige ontsteking’ toch wel opvallend. Ze gooiden nu al andere categorieën op een hoopje en kregen de volgende tabel:
| GM-vrij voer | GM-voer | |
|---|---|---|
| geen ernstige ontsteking | 64 | 49 |
| ernstige ontsteking | 9 | 23 |
Een significant verschil als je een Chi-kwadraattoets gebruikt (p=0,0044), maar diezelfde test had je ook kunnen doen zonder de lichtste categorieën bij elkaar te nemen. De p-waarde is dan iets minder indrukwekkend (p=0,011). Nog steeds significant als het de enige uitkomstwaarde van het onderzoek was geweest, maar met al die andere tests erbij, wordt het wat dubieus of we mogen spreken van een ‘verrassing’. Je zou natuurlijk ook ‘geen’ en ‘licht’ bij elkaar kunnen nemen en vergelijken met ‘middelmatig’ en ‘ernstig’; dan komt er niets bijzonders uit. Het heeft allemaal wat willekeurigs.
Het bijelkaar vegen van die categorieën heeft ook een ander bezwaar: het zijn categorieën die in een verhouding staan, het zijn meer dan labeltjes. Door de categorieën samen te voegen, gooi je informatie weg. Als je bijvoorbeeld in de eerste tabel de eerste en derde rij zou verwisselen, zie je een veel sterker verband tussen GM-voer en ontsteking; voor de in elkaar geschoven tabel maakt het echter niets uit. Een test (Wilcoxon) die er wel rekening meehoudt dat de categorie ‘licht’ een lagere ontstekingswaarde inhoudt dan ‘middelmatig’ laat geen significant verschil zien (p=0.281).
Er blijft dus niet zo veel van over, de skeptische statistici ook weer opgelucht. Maar het wordt eigenlijk nog erger als we Dr. Robert Friendship, een specialist op het gebied van de gezondheid van varkens, mogen geloven. Hij stelt dat de onderzoekers überhaupt niet hebben aangetoond dat er sprake was van maagontstekingen:
The researchers did a visual scoring of the colour of the lining of the stomach of pigs at the abattoir and misinterpreted redness to indicate evidence of inflammation. It does not. […] There is no relationship between the colour of the stomach in the dead, bled-out pig at a slaughter plant and inflammation.
De rode kleur zegt in dit geval dus helemaal niets. Ik hoop dat die nu wel heel erg verschijnt op de kaken van Carman en haar companen.
Via de volgende twee links van rbutr zijn de meest interessante blogs over deze kwestie wel te vinden: link1 en link2.