Vorig jaar werd de wereld opgeschrikt door een studie waaruit zou blijken dat ratten die op een dieet waren gezet van genetisch gemodificeerde (GM) maïs gigantische tumoren ontwikkelden. De bijgeleverde foto’s van ratten met lijfjes waar bulten ter grootte van pingpongballen aan alle kanten uitstaken, spraken boekdelen. Hartstikke fout spul die GM-maïs, had de Franse onderzoeker Séralini dus aangetoond. Maar de ratten die ‘normaal’ te eten kregen, waren er niet veel beter aan toe. De gebruikte rattensoort staat bekend om het ontwikkelen van dergelijke kankers. Inmiddels is die studie van alle kanten afgeschoten als prutswerk en het feit dat Séralini zijn data niet wil vrijgeven, zegt misschien ook wel genoeg. Een soortgelijke studie verscheen op 11 juni jl., nu waren varkens de klos. Na 23 weken wegkauwen van GM-voer, waren hun magen duidelijk meer ontstoken dan die van hun meer fortuinlijke soortgenoten die gewoon voer kregen. Hoewel het resultaat met iets minder schokkende foto’s werd geïllustreerd, ging het nieuws weer als een lopend vuurtje het internet over. Ook nu kwam de kritiek snel op gang en die is net zo vernietigend. Anti-GM-activisten zullen er voorlopig echter nog wel mee blijven rondzwaaien, zoals ze ook doen met het onderzoek van Séralini.
De Australische en Amerikaanse onderzoekers voerden 84 varkens GM-soja en -maïs en 84 andere varkens ‘normaal’ voedsel. Na vijf maanden werden ze geslacht en onderzocht door dierenartsen die niet wisten wat welk varken had gegeten. Geen verschillen werden gevonden voor voedselinname, gewichtstoename, bloedwaarden en sterfte. Wel bleek dat van de varkens op het GM-dieet maar liefst 32% een hevige ontsteking van de maag had, tegen maar 12% in de controlegroep. Een plaatje maakt het duidelijker (zie rechts).
Er is van alles mis met dit onderzoek. Dat varieert van het niet vooraf bepalen waar de onderzoekers naar zouden kijken tot het niet vermelden dat ze zelf behoorlijke belangen hebben in de biologische veehouderij. Op de website rbutr.com kun je nu al 26 links vinden naar blogs en andere artikelen die stuk voor stuk het onderzoek van Carman en haar collega’s onderuit halen. Het is teveel om hier allemaal te herhalen, maar het belangrijkste is misschien wel dat het gevonden ‘significante’ verschil hoogstwaarschijnlijk een toevalstreffer is. Alleen al omdat ze meer dan veertig zaken onderzochten, was het te verwachten dat minstens twee van die tests iets zouden opleveren met een p-waarde kleiner dan 0,05 ook als het verschil in voer niets uitmaakt. Er werd ook gevonden dat in de GM-vrije groep een stofje verhoogd was dat zou kunnen duiden op problemen met de lever, maar daar hoor je de auteurs niet over. Er zijn wel methoden om je tegen dit soort ‘cherry picking’ te beschermen, maar eigenlijk moet je van te voren gewoon goed beschrijven hoe je de statistische analyse gaat aanpakken.
Nu had het verschil in die maagonstekingsgraad wel een behoorlijk lagere p-waarde dan die standaardgrens van 0,05 namelijk 0,0044. Misschien is er dan toch iets aan de hand? Nou, zelfs als je ervan uit zou gaan dat de onderzoekers vooraf hadden bedacht dat dit de belangrijkste uitkomstwaarde zou zijn, blijkt het allemaal erg mee te vallen als je de statistiek goed doet. Want ook daar maken de onderzoekers een potje van.
De volgende tabel geeft het resultaat weer van beoordeling door de dierenartsen van de varkensmagen. Die hadden eerst een indeling in vier categorieën bepaald in een ander onderzoek en die hier blind toegepast.
| GM-vrij voer | GM-voer | |
|---|---|---|
| geen ontsteking | 4 | 8 |
| lichte ontsteking | 31 | 23 |
| middelmatige ontsteking | 29 | 18 |
| ernstige ontsteking | 9 | 23 |
Het totaal aantal varkens is wat lager dan eerder opgemerkt, 73 en 72 tegen 84 waarmee beide groepen startten. Er waren er namelijk al een stel gestorven voordat het einde van de testperiode bereikt was. Die sterfte is niet raar, maar wel meer dan je normaal gesproken kunt verwachten in een varkenshouderij. En dat roept ook weer vragen op. Maar nu even terug naar de statistiek. De onderzoekers vonden het verschil bij de ‘ernstige ontsteking’ toch wel opvallend. Ze gooiden nu al andere categorieën op een hoopje en kregen de volgende tabel:
| GM-vrij voer | GM-voer | |
|---|---|---|
| geen ernstige ontsteking | 64 | 49 |
| ernstige ontsteking | 9 | 23 |
Een significant verschil als je een Chi-kwadraattoets gebruikt (p=0,0044), maar diezelfde test had je ook kunnen doen zonder de lichtste categorieën bij elkaar te nemen. De p-waarde is dan iets minder indrukwekkend (p=0,011). Nog steeds significant als het de enige uitkomstwaarde van het onderzoek was geweest, maar met al die andere tests erbij, wordt het wat dubieus of we mogen spreken van een ‘verrassing’. Je zou natuurlijk ook ‘geen’ en ‘licht’ bij elkaar kunnen nemen en vergelijken met ‘middelmatig’ en ‘ernstig’; dan komt er niets bijzonders uit. Het heeft allemaal wat willekeurigs.
Het bijelkaar vegen van die categorieën heeft ook een ander bezwaar: het zijn categorieën die in een verhouding staan, het zijn meer dan labeltjes. Door de categorieën samen te voegen, gooi je informatie weg. Als je bijvoorbeeld in de eerste tabel de eerste en derde rij zou verwisselen, zie je een veel sterker verband tussen GM-voer en ontsteking; voor de in elkaar geschoven tabel maakt het echter niets uit. Een test (Wilcoxon) die er wel rekening meehoudt dat de categorie ‘licht’ een lagere ontstekingswaarde inhoudt dan ‘middelmatig’ laat geen significant verschil zien (p=0.281).
Er blijft dus niet zo veel van over, de skeptische statistici ook weer opgelucht. Maar het wordt eigenlijk nog erger als we Dr. Robert Friendship, een specialist op het gebied van de gezondheid van varkens, mogen geloven. Hij stelt dat de onderzoekers überhaupt niet hebben aangetoond dat er sprake was van maagontstekingen:
The researchers did a visual scoring of the colour of the lining of the stomach of pigs at the abattoir and misinterpreted redness to indicate evidence of inflammation. It does not. […] There is no relationship between the colour of the stomach in the dead, bled-out pig at a slaughter plant and inflammation.
De rode kleur zegt in dit geval dus helemaal niets. Ik hoop dat die nu wel heel erg verschijnt op de kaken van Carman en haar companen.
Via de volgende twee links van rbutr zijn de meest interessante blogs over deze kwestie wel te vinden: link1 en link2.
Steun Kloptdatwel
Waardeer je dit artikel? Je kunt onze site steunen met een financiële bijdrage. Dat waarderen wij dan weer! Een donatie kun je doen via dit betaalverzoek (of klik op de afbeelding hiernaast).
NB de rekening staat op naam van Maarten Koller, formeel eigenaar van deze site.
een op de 7 varkens was al dood voordat er na 5 maanden geslacht werd, en ze hadden vrijwel allemaal ontstekingen. Ik weet niks van varkens af, maar het lijkt me sowieso niet normaal. Verder is er nóg een mogelijke bron van bias. Ik denk dat dierenartsen die moeten nagaan dat een maag onstoken is, toch wel wat meer details verstrekken dan niet/beetje/veel/heel veel. Na het verkrijgen van ‘ruwe data’ en de inspectie daarvan kan men de grens tussen middelmatig en ernstig handig gekozen hebben. Of men heeft achtereen volgens een tweedeling, een driedeling, een vierdeling en een vijfdeling elk met handig gekozen grenzen zitten proberen en het ‘opzienbarendste’ resultaat eruit gevist; men kan er dan tamelijk zeker van zijn dat dit met alle overige onderzochte waarden ook is gebeurd. Met dit soort methoden kun je een telefoonboek laten bekennen.
Nog een achterafberekening (die zich niks aantrekt van waar onderzoekers eventueel de grens tussen veel en heel veel en de grens tussen niks en weinig hebben getrokken):
neem de eerste twee samen, en de laatste twee samen. Dan kun je met het blote oog al zien dat er niks aan de hand is (Pepijn schreef: ‘niets bijzonders’), en met Fisher’s Exact Test krijg je dan p=0,62 (tweezijdig).
PS. Bij nader inzien lees ik hierboven: ‘eerst een indeling in vier categorieën bepaald in een ander onderzoek en die hier blind toegepast’. Dat lijkt dus in orde. Maar je weet toch niet of ze over die magen exact maar 1 ding hebben gerapporteerd, of toch wel andere manieren om de toestand van de maag te kenschetsen, bijvoorbeeld aantallen maagzweertjes.
Die indeling lijkt in orde, maar als je die gaat gebruiken om met dit soort statistische tests uitspraken te doen, zou ik zelf eerst wel willen weten hoe robuust die indeling is. Stel dat je de grenzen een klein beetje verschuift, verandert dan het beeld sterk? Als ik het goed begrepen heb, werd die indeling gemaakt aan de hand van de grootte van de rode oppervlakken en de intensiteit. Dat zijn waarden die je goed objectief kunt vaststellen door er foto’s van te maken en er met een grafisch programma een waarde aan toe te kennen. Dan zit je niet met die 4 categorieën, maar met data die een veel meer continu karakter heeft.
Nog een opmerking: die 0,0044 kan wel heel klein lijken, maar als je 40 keer een p-waarde uitrekent, heb je een kans van 1 op 6 dat er zo’n kleine waarde tussen zit. Als je in feite voor elke gerapporteerde waarde 5 manieren hebt zitten proberen om de gegevens gunstig te groeperen, heb je jezelf 200 kansen gegeven, en heb je nog maar 37% (= 1/e) kans dat je slechts p-waarden van boven de 0,005 vindt.
Judy Carman had nog wel commentaar op de eerste kritiek op de gebruikte statistische test: http://gmojudycarman.org/reply-to-andrew-kniss-blog-on-statistics/ Maar sinds die kritiek wat beter onderbouwd werd, heeft ze het er niet meer over gehad.
Zouden er ook überhaupt nog nadelen kleven aan het vervaardigen van genetisch gemodificeerd voedsel.
Dit las ik zelfs op een scholierenforum.
http://www.scholieren.com/betoog/22382
Nog wat links:
http://nl.wikipedia.org/wiki/Genetische_technologie#Potenti.C3.ABle_nadelen
http://www.gezondheidsplein.nl/dossier/21/252/de-mogelijke-nadelen-van-genetisch-gemanipuleerd-voedsel.html
Lees bij de link verwijzend naar Wikipedia maar eens goed onder het kopje “potentiële nadelen”, langzamerhand begin ik mij af te vragen voor wie of wat jullie eigenlijk werkzaam zijn. 🙂
Pepijn, je zou eens een stukje moeten maken over “statistiek voor dummies” want bij je uitleg van de interpretatie van de gegevens verlies je me soms volledig. De Texas Sharpshooter die ken ik en die begrijp ik, maar dat gegoochel met de p-waardes enzo, dat gaat mijn petje te boven.
Sorry 😉 Ik probeer juist een beetje het belang van die p-waarden te relativeren. Zoals hopelijk duidelijk is geworden kun je er behoorlijk mee rommelen en dat gebeurt ook, omdat er zo’n belang op ligt om een ‘significant’ resultaat te kunnen laten zien in een artikel (gewoonlijk p<0,05).
Vroeger heette dat toch gewoon “met 95% zekerheid”?
Nog leuker wordt het als je de data herschikt in 2 categorieën (en waarom niet?), te weten wél ontstoken en niet ontstoken… Dan blijkt GM voer veeeeel gezonder te zijn!
Tja, waarom niet!
“100 procent meer kans op een ontstekingvrije maag!”
Ik dacht ik ga eens googelen wat een normaal percentage is, want waarom heeft meer dan 90% van de varkens een ontstoken maag? Dat lijkt me niet normaal.
Ik heb het opgegeven omdat ik allemaal kwak-sites in google zie die het bericht dat gentech food maagzweren veroorzaakt vermelden.
Het is dus volgens dr. Friendship niet eens zeker dat er sprake was van ontstekingen. De bloedwaarden die gemeten zijn, geven geen aanleiding om een verschil in gezondheid tussen beiden groepen te veronderstellen, maar ik geloof niet dat ze specifieke stofjes gemeten hebben die kunnen wijzen op ontsteking.
Precies.
http://www.marklynas.org/2013/06/gmo-pigs-study-more-junk-science/
Daar wordt ook getwijfeld aan de gezondheid van de varkens met 14% sterfte.
Ik vond dat voor biggen 14% sterfte niet abnormaal is, maar voor vleesvarkens is dat 3,5%.
http://www.varkensloket.be/Portals/63/Documents/2011_actieplan_varkenshouderij.pdf
Uiteindelijk sterft 100% van de vleesvarkens.
Gelukkig wèl!
Staatsecretaris Sharon Dijksma heeft dit onderzoek blijkbaar zelfs laten beoordelen door de NVWA en Rikilt/RIVM: http://www.boerderij.nl/Varkenshouderij/Nieuws/2014/3/Onderzoek-effect-transgeen-voer-deugt-niet-1474455W/ Die waren vast snel klaar met hun oordeel …