Kloptdatwel?

ratten

Dikmakende bubbels?

by 8 Comments

Dat veel frisdrank drinken niet zo’n geweldig idee is als je je gewicht binnen de perken wil houden, is wel bekend, er zit meestal nogal wat suiker in. Zelfs light frisdranken zijn verdacht, want je lichaam zou bij het zien van het drankje een suikerboost verwachten, maar omdat die dan uitblijft, ga je meer andere zaken nuttigen. Maar nu zou ook het koolzuur in frisdranken al misse boel zijn. Tenminste, als we af mogen gaan op onderzoek van de Birzait Universiteit in Palestina.

Het gaat allemaal om dit artikel in Obesity Research & Clinical Practice (Elsevier): Carbon dioxide in carbonated beverages induces ghrelin release and increased food consumption in male rats: Implications on the onset of obesity van Dureen Samandar Eweis, Fida Abed en Johnny Stiban.

Dikmakende bubbels? 1Wat hield het onderzoek samengevat in? Vier groepen ratten kregen verschillende dranken voorgeschoteld: kraanwater, frisdrank met prik, light frisdrank met prik, of frisdrank (met suiker) waar de prik was uitgehaald. Eten mochten de proefdieren naar believen. Resultaat na 110 dagen: de beestjes die drank met bubbels hadden gekregen wogen gemiddeld 450 gram en in de groepen op kraanwater of ontprikte frisdrank wogen ze gemiddeld 380 gram. Eh? Ja, zo lijkt het er opeens op dat koolzuur de grote boosdoener is qua dikmaken en niet de suiker. Verrassend.

In mei dit jaar ging het nieuwtje rond in de Engelstalige media met het soort koppen dat we daarbij kunnen verwachten: Fizzy water could cause obesity by encouraging you to eat more, EAU DEAR Fizzy water could make you FAT, reveal scientists…and you could be better off drinking ‘flat’ sugary drinks, Fizzy water could be making you fat – here’s how.
De Volkskrant liet internist-endocrinoloog Aart Jan van der Lelij aan het woord. Van der Lelij is gecharmeerd van de studie, die netjes opgezet lijkt. Het zou allemaal draaien om het hormoon ghreline. De onderzoekers deden ook metingen aan de ingewanden van (andere) ratten die kort nadat ze gedood werden met de vier soorten drank werden behandeld.  Ze laten zo zien dat dat hongerhormoon toenneemt bij het ‘nuttigen’ van koolzuurhoudende dranken. Hoger ghrelinegehalte, meer honger, meer eten als dat voorhanden is, en dus wordt je dikker. Klinkt bijelkaar best plausibel. Hoe het koolzuur zorgt voor meer ghreline, dat is nog niet duidelijk. Van der Lelij vindt de geopperde verklaring in het artikel – de maag zou worden uitgerekt door het koolzuur – echter niet zo voor de hand liggend.

In de meeste nieuwsberichten over dit onderzoek wordt terecht opgemerkt (meestal door geraadpleegde experts) dat het gaat om een studie met ratten en dat je de resultaten niet zomaar kunt vertalen naar mensen. Ook wordt er gerept van andere oorzaken die het gewichtsverschil kunnen verklaren, verschil in beweging, ander dieet. Maar in het artikel zijn daarvoor geen directe aanwijzingen te vinden. Wel andere zaken die opvallen, daarover zo meteen meer. En in de studie staat ook een experiment beschreven met 20 mannelijke studenten die de verschillende drankjes te drinken kregen. Ook bij hen werd een hoger ghrelinegehalte gevonden als ze de dranken met koolzuur hadden genuttigd.

Het blijkt weer eens de moeite waard het artikel zelf te lezen en niet alleen het abstract. Wie dat doet komt meteen al tot de ontdekking dat het om maar 16 ratten gaat. Vier per groep! Alleen in de berichtgeving van The Independent zag ik dit vermeld. Dit lage aantal weerhield de onderzoekers niet om standaard statistische tests (ANOVA) te gebruiken om daar hun diverse significante verschillen mee te vinden. Hier had toch wel even uitgelegd mogen worden waarom het gebruik van deze test gerechtvaardigd zou zijn. En welk enorm effect dachten ze van te voren wel niet te vinden als ze met zo weinig proefdieren zijn gestart?
Het is een ook wel een beetje apart dat in de vrij toegankelijke samenvatting wel het aantal menselijke proefpersonen staat (terwijl dat eerder een matig opgezet experimentje voor erbij lijkt te zijn), maar dus niet het aantal proefdieren in het hoofdexperiment.

De gewichtstoename van de ratten laat ook wat merkwaardigs zien. Volgens het artikel werden ze zolang experiment duurde elke dag gewogen. De grafiek (A) laat dan sowieso niet alle data zien (klik voor vergroting), er missen nogal wat punten zo tussen dag 25 en 45.

Dikmakende bubbels? 2

Wat ook opvalt is dat de groep van de ontprikte frisdrank tot tweemaal toe een behoorlijke gewichtsafname doormaakte. Wat zou daar de oorzaak van kunnen zijn? Misschien klopt de hele grafiek wel niet, omdat er ook data lijkt te missen. Ik heb de corresponderend auteur via e-mail gevraagd hoe dit zit (nadat ik iets eerder al anoniem via PubPeer een paar vragen had neergelegd), maar die reageert vooralsnog niet. [zie update onderaan]

Bij nog een keer lezen vielen meer zaken op. Raar is namelijk dat de gepresenteerde resultaten die van dag 110 zijn, terwijl je toch de indruk krijgt als je het artikel leest, dat het experiment een jaar duurde. Er staat in ieder geval in dat de groepen gevormd werden toen de ratten (afkomstig van twee worpen) 23 dagen oud waren, dat er na zes maanden in het experiment bloed werd afgenomen, en dat na afloop van het experiment (na 1 jaar) de ratten werden gedood om hun levers te kunnen onderzoeken op vervetting.
Uit het artikel maak ik ook op dat de ratten per groep in een kooi zaten. Er wordt namelijk gesproken over de gemiddelde hoeveelheid voedsel die per kooi verorberd werd. Er hoeft maar een keer iets mis gegaan te zijn met de (standaard)voeding die een kooi kreeg en een hele groep reageert daar op. En was het niet heel logisch geweest om een groep mee te nemen die koolzuurhoudend water zou krijgen? Eigenlijk was dat voor de vraagstelling een interessantere groep geweest dan die op light frisdrank.

Aan het eind van het artikel worden een aantal mensen bedankt, waaronder de twintig studenten die deelnamen:

Moreover, it can not be underestimated that the brave students who battled hunger and the horrible taste of degassed beverages provided a key piece of data for the successful completion of this study.

Je zou natuurlijk ook kunnen denken dat de eetlust van die ongelukkige ratten in de groep met de ontprikte frisdrank gewoonweg minder was vanwege die verschrikkelijke smaak …


Update 5 juli
15:17
Zul je net zien, publiceer je dit bericht met daarin de opmerking dat een reactie van de onderzoekers vooralsnog uitbleef, krijg je opeens een mailtje. Stiban reageerde kort op mijn vragen. Er ontbreken inderdaad dagen in figuur 1A, op die dagen zijn de ratten niet gewogen. Zijn studenten hadden geen toegang tot de ratten op dagen dat de universiteit officieel gesloten was of omdat ze vanwege religieuze feestdagen niet in gelegenheid waren op de universiteit te komen. Dat de groep ratten op ontprikte frisdrank gewicht verloor, klopt inderdaad. Maar omdat ze snel weer aankwamen hebben ze dat niet verder onderzocht, er leek immers geen pathologische oorzaak te zijn. De statistiek was zo toegepast op verzoek van de reviewers, Stiban gaf eerlijk aan zelf nauwelijks op de hoogte te zijn van de verschillende testen.

22:10
En na nog een mail heen en weer weet ik nu dat de ratten wel het hele jaar op hetzelfde drankje bleven, dat hun gewichtstoename min of meer op dezelfde wijze voortging en dat na een jaar de ratten op bubbels nog steeds zwaarder dan hun collega’s op water en het ontprikte fris. Waarom ze alleen de resultaten na 110 dagen gaven is me nog steeds niet duidelijk en het doet vermoeden dat de verschillen na een jaar niet zo indrukwekkend zijn geweest.

Veel vragen rondom studie met ratten en telefoonstraling

by 137 Comments

Wie zich al zorgen maakt over de mogelijke gezondheidseffecten van elektromagnetische velden afkomstig van mobiel telefoonverkeer was misschien een beetje gerustgesteld door de recent verschenen Australische studie die geen toename laat zien van hersentumoren in de afgelopen 30 jaar. Maar nu duikt er dan op eens een beangstigend resultaat op uit een experiment van het Amerikaanse National Toxicology Program: bij ratten die gedurende twee jaar aan telefoonstraling blootgesteld werden, vonden ze significant meer hersentumoren en tumoren bij het hart. Moeten we ons nu toch weer zorgen gaan maken?

lab rat straling

Het experiment met ratten van dit National Toxicoloy Program (NTP) valt binnen een veel groter onderzoeksproject, waarin bijvoorbeeld ook muizen worden onderzocht. De onderzoekers vonden de resultaten van deze deelstudie blijkbaar zo verontrustend dat ze die meenden te moeten delen met het grote publiek voordat het hele project netjes is afgerond en verwerkt tot artikelen die gereed zijn voor publicatie. De website Microwavenews bracht vorige week als eerste het nieuws dat deze resultaten naar buiten gebracht zouden worden. Die zijn sinds vrijdag te lezen op BioRxiv, een preprint server voor artikelen binnen de biologie: Report of Partial findings from the National Toxicology Program Carcinogenesis Studies of Cell Phone Radiofrequency Radiation in Hsd: Sprague Dawley® SD rats (Whole Body Exposure).

Studieopzet

De onderzoekers stelden in dit experiment ratten bloot aan verschillende elektromagnetische veldsterktes vanaf het moment dat ze nog in de baarmoeder zaten tot een maximale levensduur van 106 weken. Daarna werden de nog levende ratten afgemaakt. Alle ratten werden uitgebreid pathologisch onderzocht op het voorkomen van tumoren.

De stralingsniveaus liepen uiteen van ongeveer het (wettelijk) maximum toelaatbare niveau bij mensen tot het viervoudige daarvan. De blootstelling was langdurig – 9 uur per dag – en over het hele lichaam. Natuurlijk was er een controlegroep die niet werd blootgesteld aan elektromagnetische velden. Om de omstandigheden goed te controleren werden speciale verblijven voor de ratten ontworpen. In elke groep zaten 90 ratten.

Het verslag van de studie focust op twee soorten tumoren: glioom (een hersentumor) en schwannoom (een goedaardige zenuwtumor), die in deze studie rondom het hart werd aangetroffen. De aantallen waar het om gaat zijn laag bij deze zeldzame tumoren en de statistische trucendoos moet wijd open om iets te kunnen laten zien van trends, ondanks dat het aantal van 90 ratten per groep best hoog is in vergelijking met ander onderzoek, bijvoorbeeld naar kankerverwekkende chemische stoffen.

Resultaten

Zie hier het resultaat dat het meest duidelijk wijst op een verband van de blootstelling aan elektromagnetische velden en hersenkanker. Dat is toch eigenlijk het meest interessant, omdat sommige onderzoeken bij mensen zo’n verband lijken te suggereren wat weer de aanleiding was voor de omstreden beslisssing van het IARC om dit soort straling als mogelijk kankerverwekkend te classificeren.

Tabel 1 uit het artikel
Tabel 1 uit het artikel

Hier wordt dus gesuggeeerd dat er een significante trend is gevonden bij mannetjesratten en een specifiek signaal (CDMA, gebruikt in UMTS). Bij de lagere stralingsniveaus en de controlegroep werden geen gliomen aangetroffen, bij de groep met de hoogste stralingsbelasting bij drie ratten. Een trend?
Blijkbaar wel als je die getallen blind in een daarvoor ontwikkelde test stopt. Die test, de poly-k test, is als ik het goed begrijp, door onderzoekers van het NTP zelf ontwikkeld eind jaren tachtig van de vorige eeuw en wordt nu aan het instituut als standaard gehanteerd. De test houdt rekening met de tijdstippen waarop ratten overleden en of er dan bij autopsie kankergezwellen worden aangetroffen (ongeacht of die iets te maken hadden met het overlijden). De artikelen waarin deze test gevalideerd is, zijn behoorlijk stevige kost, maar ik kon er niet zo snel uithalen wat de betrouwbaarheid is met erg lage incidenties zoals we die hier aantreffen.
Opvallend is dat de gliomen bijna alleen werden aangetroffen bij de ratten die zowat tot het einde van de studie in leven waren gebleven.

Kritische reviewers

Maar ja, wat zegt deze significante trend eigenlijk? In het vrijgegeven document zijn ook de reviews van een aantal door NTP uitgezochte wetenschappers opgenomen, die op een conceptversie mochten schieten. Die reviews zijn soms uiterst kritisch en een aantal vragen van statistische aard zijn door de onderzoekers van het NTP naar mijn oordeel niet echt bevredigend beantwoord.

Zo vraagt Michael Lauer onder andere hoe het zit met de kwestie van meervoudig toetsen. Als er heel veel vergelijkingen en trends zijn bekeken, is het niet zo raar dat er een paar, louter door toeval, een significant resultaat laten zien, als je daarvoor niet corrigeert. Hij wijst er op dat de FDA ook adviseert om een veel strenger grens te hanteren voor significantie, juist om dit soort mogelijk fout positieve resultaten te vermijden. Als hij dat uitgangspunt neemt om te berekenen wat de power was van het experiment (dus de kans dat het experiment een echt bestaand effect zou kunnen laten zien), komt hij op een bijzonder lage waarde van 5 procent. Met andere woorden als er daadwerkelijk een verband is tussen deze straling en hersenkanker, dan zijn de onderzoekers behoorlijk fortuinlijk geweest dat deze test reden geeft om de nul-hypothese (er is niet zo’n verband) te verwerpen.
Lauer vond in ieder geval op basis van zijn kritische beschouwing de presentatie van de resulaten van de studie in deze vorm onacceptabel.

Een andere reviewer, Maxwell P. Lee, stipt aan dat het niet voorkomen van tumoren in de controlegroep beter bekeken moet worden. Uit andere onderzoeken is een redelijke schatting te maken van het percentage dat je normaal gesproken zou kunnen verwachten. In dit geval was de kans op 0 ratten met tumoren bijna even groot als die op het vinden van één rat met deze kanker. Als je in de controlegroep wel een rat met glioom had gevonden (wat dus goed had gekund), dan verdwijnen eigenlijk alle significanten resultaten. Het NTP reageert daarop dat zij eenzijdige p-waarden hanteren en dat daarmee zelfs met een glioom in de controlegroep het resultaat nog steeds significantie benadert.

Je ziet hier wel aan dat met deze aantallen het er erg om hangt of je net wel of net niet van significantie kan spreken. Als je echter al het andere onderzoek dat eerder gedaan is in je beoordeling betrekt, dan verwacht ik niet dat het oordeel zou moeten veranderen dat met de nu gehanteerde normen er geen reden is om aan te nemen dat mobiel telefoongebruik het risico op een hersentumor vergroot.

Opvallend is ook dat in de controlegroep de ratten een slechtere overlevingskans hadden. Er overleefde maar 28% tot het einde van de studie, terwijl het gemiddeld 47% is. Heel kort door de bocht zou je ook kunnen zeggen dat de studie laat zien dat mannelijke ratten onder hoge stralingsniveaus dan wel meer risico op kanker lijken te lopen, maar dat de straling wel geassocieerd is met een hogere levensverwachting.

Wat nu? Eigenlijk kun je er pas iets over zeggen als het hele programma is afgerond het netjes gepubliceerd na peer review. Dit ogenschijnlijk verontrustende deelresultaat zou echter goed kunnen leiden tot de vraag om nu toch maar alvast dit onderzoek te herhalen met grotere aantallen ratten. Dat zullen ze bij het NTP ook wel plezierig vinden, houdt deze onderzoekers ook weer van de straat.

Het is een lastig te interpreteren resultaat en het gaat vast en zeker her en der verkeerd weergegeven worden. Een voorbeeld uit de Nederlandse media zien we bij het stukje in Metronieuws, waarin geschreven wordt dat het om een onderzoek met meer da 2500 ratten gaat (in werkelijkheid gaat het in dit deelonderzoek om 630 1260 ratten, 7 groepen van 90 voor beide sexen) en de volgende zin geeft ook aan dat de journalist erg weinig moeite heeft gedaan om er iets van te begrijpen: “De straling was daarnaast ook even hoog als die in huidige telefoons wordt gebruikt.” Nee dus, alleen de groep die de laagste stralingsdosis te verduren kreeg (1,5 W/kg) kreeg een dosis die vergelijkbaar is met het niveau dat tot dusver als maximaal toelaatbaar wordt gehanteerd. Maar de ratten kregen dit hoge niveau dan wel bijna de hele dag te verhapstukken, wat nogal ver afstaat van de wijze waarop een mens blootgesteld wordt aan elektromagnetische velden in het dagelijks leven.

Een goede bespreking van de studie is ook te vinden bij Science.

Waarom veel onderzoekers dit resultaat sowieso met argwaan zullen bekijken, is dat er nog steeds geen overtuigend mechanisme is aangetoond hoe de elektromagnetische velden van mobiele telefoons überhaupt schade zouden kunnen veroorzaken in biologische systemen anders dan via opwarming. Zie daarvoor:

Bang voor GSM-straling?

De anti-GMO studie van Séralini – drinken van Roundup laat mannen langer leven

by 47 Comments

In het najaar van 2012 verscheen een wetenschappelijk artikel van Gilles-Eric Séralini met allemaal enge plaatjes van ratten met uitgegroeide tumors. Die ratten hadden op een dieet gestaan van genetisch gemodificeerde maïs. De resultaten van de studie werden gepresenteerd volgens een zorgvuldig voorbereide mediastrategie. Het schokkende resultaat inclusief de rattenfoto’s ging de hele wereld over.

seralini-rats-junk-science

De studie was ook meteen berucht. Wetenschappers schoten er vrijwel meteen allerlei gaten in. Het aantal ratten in de (controle)groepen was wel erg klein, het soort ratten ongeschikt voor dit type onderzoek, het was onethisch om de ratten niet tijdig uit hun lijden te verlossen, enzovoort enzovoort. Niet alleen vanwege die methodologische onzorgvuldigheden kreeg Séralini er van langs,  maar zeker ook vanwege de manier waarop hij de media had bespeeld. Het leverde een hoop discussie op en uiteindelijk werd het artikel ingetrokken.

Myles Power legt in de volgende video uit wat er nu eigenlijk wel en niet van die studie klopt:

Het is ook rustig na te lezen op zijn blog. De studie is dus een grote puinhoop. De enige correlatie die nog ergens op lijkt, is een verrassende en wordt niet in het artikel genoemd: van de mannelijke ratten die gewoon water dronken, gingen er meer dood dan van hun collega’s die water dronken waaraan de herbicide Roundup was toegevoegd! Daar hoor je de anti-GMO activisten vreemd genoeg niet over.

Handig overzichtje over wat er allemaal mis is met de Seralini-studie (bron: Genetic Literacy project)
Handig overzichtje om net zulke schokkende resultaten als die van Séralini te krijgen (bron: Genetic Literacy project)

Wat in de video ook aan de orde komt is dat ‘peer reviewed’ niet automatisch betekent dat een artikel klopt. Het artikel is nu opnieuw gepubliceerd in een ander blad, maar is voor de herpublicatie vreemd genoeg niet opnieuw inhoudelijk bekeken zoals de editor aan Retraction Watch liet weten. De nieuwe ‘reviewers’ hebben alleen gekeken of het ingediende stuk exact hetzelfde was als de ingetrokken versie. Wat betekent die herpublicatie dan? De aanhangers van Séralini zien het natuurlijk als een terechte rectificatie van die oneerlijke retractie (=censuur onder druk van GM-giganten als Monsanto, enzo) en zullen de studie vast blijven gebruiken als ‘wetenschappelijke’ onderbouwing van hun strijd tegen genetische modificatie.

Steven Novella wordt er niet blij van:

The Seralini GMO rat study is now infamous for its poor quality and overstated conclusions. The republication of the paper extends the saga, but does nothing to correct the many failings of the study.

Defenders of the republication cite the virtue of access to data, and open communication, while decrying the “censorship” of the retraction. This completely misses the point, however. The peer-reviewed literature is not just about open communication of data, but puts into place a heavy filter for quality. A study needs to reach a certain minimum level of quality before it is worthy of consideration as part of the peer-reviewed literature.

Op zich lijkt het me ook beter dat ingetrokken studies niet van de oorspronkelijk publicatieplek verdwijnen, als maar heel duidelijk gemaakt wordt, waarom het artikel ‘retracted’ is. De journals zijn daar natuurlijk niet zo happig op, omdat ze daarmee vaak ook moeten toegeven dat hun eigen procedures niet zo best gefunctioneerd hebben of dat het uitzoeken van verantwoordelijke editors en reviewers niet zo zorgvuldig gaat als ze graag doen voorkomen.

De studie staat nu in Environmental Sciences Europe, een Open Access tijdschrift van Springer: “Republished study: long-term toxicity of a Roundup herbicide and a Roundup-tolerant genetically modified maize“.

Er is bijzonder veel over deze zaak geschreven, een handig overzicht (op publicatiedatum) geeft een zoekopdracht bij The Genetic Literacy Project. Voor de liefhebbers van complottheorieën en vage sektes is het interessant om de links op het volgende blog te lezen: Seralini’s Connections to Quack Science and Strange Philosophies.