Kloptdatwel?

De mythe dat vaccinaties iets te maken hebben met autisme sterft maar niet uit. Ook al zijn er intussen honderden studies die hebben laten zien dat zo’n verband niet bestaat, toch blijft een kleine, maar zeer actieve groep ouders van kinderen met autisme dat idee omarmen. De Britse (voormalige) arts Andrew Wakefield, die met zijn frauduleuze Lancet-artikel de belangrijkste aanstichter van de ellende is, zit al weer jaren in de Verenigde Staten en probeert nog steeds zijn ‘gelijk’ te halen. Onlangs zette hij een video op YouTube, waarin verteld wordt dat een klokkenluider van de Centers for Disease Control and Prevention (CDC) toegeeft dat in een studie naar het verband tussen vaccinaties en autisme gegevens achtergehouden zouden zijn, die er op wijzen dat vooral Afro-Amerikaanse jongens maar liefst een drie keer zo groot risico zouden lopen op autisme door vaccinaties.

Een nogal pittig videootje. Het achterhouden van de gegevens zou nog kwalijker zijn dan het hoogst onethische Tuskegee-syfilisonderzoek!? En Hitler, Stalin en Pol Pot zijn volgens Wakefield te verkiezen boven het CDC, omdat die tenminste niet hypocriet waren over hun misdaden! Een beetje overdrijven om aandacht te vragen voor een kwalijke zaak die in de doofpot wordt gestopt, zou je nog kunnen vergoelijken, maar dit gaat toch wel erg ver. Desalniettemin is het goed om te kijken hoe het nu zit met die klokkenluider en de vermeende fraude in dat onderzoek uit 2004. Dat blijkt echter helemaal niet zo goed uit te pakken voor ‘team Wakefield’.

CDC studie van 2004

Het hele verhaal draait om één van die talloze studies die zijn gedaan naar de veiligheid van vaccins en mogelijke verbanden tussen vaccineren en autisme: Age at First Measles-Mumps-Rubella Vaccination in Children With Autism and School-Matched Control Subjects: A Population-Based Study in Metropolitan Atlanta, DeStefano et al., Pediatrics (2004). In die studie vergeleken de onderzoekers van het CDC kinderen met autisme en kinderen zonder autisme om te kijken of het moment van eerste BMR-vaccinatie misschien iets uit zou maken. Er werd niet echt iets overtuigends gevonden, alleen een zwakke aanwijzing dat de kinderen met autisme iets vaker gevaccineerd bleken te zijn tussen 24 en 36 maanden. Om dat nader te onderzoeken verzamelden ze geboortecertificaten voor alle kinderen in het onderzoek uit Georgia. Daaruit haalden ze informatie als geboortegewicht, leeftijden van de ouders, opleidingsniveau van de moeder, etc. Met deze informatie konden de onderzoekers de invloed van dergelijke mogelijke confounders elimineren. Die nadere analyse liet vervolgens geen verband meer zien, de conclusie van het artikel is dan ook dat er geen verband is tussen tijdstip van vaccinatie en autisme.

Heranalyse van Hooker

Brian Hooker, een chemicus en vader van een kind met autisme, ging volgens de video aan de slag met de datasets van de DeStefano-studie en ontdekte daarin schokkende zaken. Niet alle verzamelde gegevens werden voor alle analyses gebruikt. Alleen voor de kleinere dataset met kinderen waarvoor een geboortecertificaat was opgevraagd, hadden DeStefano et al. een splitsing naar raciale herkomst gemaakt. Als Hooker die ‘achtergehouden’ data zelf bekijkt, vindt hij dat Afro-Amerikaanse jongens die hun BMR-vaccinatie eerder kregen een meer dan drie keer zo grote kans liepen op het ontwikkelen van autisme. Hij publiceerde zijn analyse op 27 augustus in Translational Neurodegeneration, maar als je het daar nu probeert te vinden, stuit je op de volgende mededeling:

This article has been removed from the public domain because of serious concerns about the validity of its conclusions. The journal and publisher believe that its continued availability may not be in the public interest.

Gezien de commotie die is ontstaan over deze heranalyse, kun je je afvragen of het wel zo verstandig is om die meteen in te trekken (“Censuur!” hoor je antivaccinatiebende al roepen). Hoe kun je nu controleren wie er gelijk heeft? Via Retraction Watch is het artikel nog wel te vinden, zodat je zelf kunt nagaan of de commentaren die de analyse van Hooker hebben neergesabeld wel hout snijden. Dat Hooker er inderdaad een potje van gemaakt heeft, is voor mij intussen wel duidelijk.

Het meest in het oog springende probleem met de analyse van Hooker is dat hij de data opvat alsof die uit een cohort-studie afkomstig zijn in plaats van uit een case-control-studie. Dat maakt nogal wat uit voor de analyse. Uit bewoordingen in het artikel kun je opmaken dat hij het verschil niet eens kent! Wat Hooker heeft gedaan, is net zo lang inzoomen op subgroepen totdat hij er eentje vond waar hij een ‘significant’ verband vond tussen het vaccinatiemoment van de kinderen met autisme en die zonder autisme. Dit tabelletje is zijn belangrijkste vondst:

Je moet de getalletjes zo lezen: het Relative Risk van 1.24 voor Total Cohort bij Age cut-off  van 18 months geeft aan dat het aantal kinderen met autisme in de studie die vóór 18 maanden hun BMR ontvingen 1,24 keer zo groot was als het aantal dat je zou verwachten op basis van het aantal kinderen met autisme met eerste vaccinatie ná 18 maanden. De suggestie van het artikel van Hooker is dat ‘vroege’ vaccinatie dus wel degelijk geassocieerd is met een hogere kans op autisme. Naast het feit dat Hooker in de tekst zegt een chi-kwadraattoets te gebruiken en er boven de tabellen Fisher’s exact staat, valt ook meteen op dat Hooker nergens corrigeert voor meervoudig toetsen. Hoeveel verschillende subgroepen heeft hij wel niet zitten analyseren met wat voor toetsen? Dat zogenaamde significante resultaat zegt zo wel erg weinig. Hooker is geen statisticus en geen epidemioloog, waarom zouden we hem eigenlijk serieus nemen? Een veelzeggend fragmentje uit een veel langere presentatie die Hooker hield:

[als Hooker telefoongesprekken kan opknippen, kan ik me ook wel een beetje ‘quote mining’ veroorloven 😉 ]

Statisticus Jim Frost heeft op The Minitab blog deze data in wat meer detail bekeken en komt tot de conclusie dat het aantal kinderen dat onder het schokkende 340 procent verhoogd risico schuilt, vermoedelijk maar 13 is. Ook hij laat erg weinig heel van de aanpak van Hooker en vindt daarentegen geen problemen met de gebruikte statistiek in de oorspronkelijke studie van DeStefano. Daarin wordt met een regressie-analyse o.a. gecorrigeerd voor een lager geboortegewicht (dat geassocieerd is met een verhoogde risico op autisme). In de totale hoeveelheid gegevens was het lage geboortegewicht redelijk verdeeld over de kinderen met en zonder autisme; in de subgroep die Hooker identificeert niet. Die geeft dat ook wel toe in zijn artikel, maar als hij daarvoor wil corrigeren moet hij zich (net als de CDC in het DeStefano-artikel) beperken tot de groep waarvan geboortecertificaten waren opgevraagd. Tussen de regels door kun je dan lezen dat er zo weinig gevallen met autisme in de data overblijven dat Hooker tamelijk willekeurig de grenzen in zijn uitsplitsing in tijd moet aanpassen, natuurlijk wel zo dat er met zijn methode nog een ‘significant’ resultaat te zien is.

Kortom, Hooker gebruikte een verkeerd statistisch model, statistische toetsen die niet geschikt zijn, paste die ook nog eens verkeerd toe en vond toen maar net één raciale subgroep van 13 jongens, die sowieso al wat later gevaccineerd waren dan gebruikelijk, met een ‘significant’ grotere ‘kans’ op autisme dan de jongens die nóg later werden gevaccineerd. En waren die data eigenlijk achtergehouden? Nou nee, die kon je altijd al aanvragen via de website van CDC als je maar een goed onderbouwd voorstel indiende voor analyse.

De klokkenluider

In een eerste versie van de video van Wakefield werd de klokkenluider niet met naam genoemd. Al snel kwam er echter een nieuwe versie waarin hij als dr. William W. Thompson wordt geïdentificeerd. Over wat er zich tussen Thompson en Hooker precies heeft afgespeeld, is moeilijk te achterhalen. David Gorski (‘Orac’) heeft op zijn blog Respectful Insolence in meerdere berichten aandacht besteed aan deze kwestie en in het bijzonder de motivatie van Thompson. Waarom nam hij contact op met Hooker? Is hij z’n verstand verloren en in het anti-vaccinatiekamp beland? Zijn de telefoongesprekken enorm verknipt en is Thompson erin geluisd door Hooker?
Thompson liet via zijn advocaat een verklaring uitgaan, waarin hij aangeeft dat het hem spijt dat hij en zijn co-auteurs indertijd significante informatie hebben achtergehouden en dat dat naar zijn mening niet in overeenstemming was met het onderzoeksprotocol. Anderzijds stelt hij ook duidelijk:

I want to be absolutely clear that I believe vaccines have saved and continue  to save countless lives.  I would never suggest that any parent avoid vaccinating children of any race. Vaccines prevent serious diseases, and the risks associated  with their administration are vastly outweighed  by their individual and societal benefits.

Hij stelt bovendien niet geweten te hebben dat Hooker hun telefoongesprekken had opgenomen. Al met al word je niet veel wijzer van de motivatie van Thompson, het blijft een raar verhaal. Zijn mogelijk oprechte zorgen over de wetenschappelijke integriteit van het artikel uit 2004 lijken nauwelijks ergens op gebaseerd. In ieder geval niet zodanig problematisch dat je je toevlucht zou moeten zoeken bij iemand als Hooker om daar aandacht voor te krijgen. Van een onderzoeker met zoveel ervaring op dit gebied als Thompson zou je niet zoveel naïviteit verwachten.

Besluit

Interessant aan deze hele ‘affaire’ is dat Wakefield nu een volkomen mislukte heranalyse steunt, die als je ‘m wél serieus neemt, laat zien dat er voor alle kinderen (op die Afro-Amerikaanse jongetjes na) geen enkel verband is te ontdekken tussen het moment van BMR-vaccinatie en autisme. Daarmee haalt Hooker dus het beruchte onderzoek van Wakefield zelf ook onderuit; daar hoor je Wakefield nauwelijks over in zijn video. Ook opvallend is dat de meeste ouders van autistische kinderen die zich in het ‘vaccinaties veroorzaken autisme’-kamp bevinden, blank zijn. Ook voor hen zou het stuk van Hooker eerder een teleurstelling moeten zijn. Waarom zijn ze er dan enthousiast over op Internet? Hun strijd lijkt allang niet meer te draaien om een mogelijke oprechte zorg over de veiligheid van vaccins, maar is verworden tot wraakneming op de CDC.

Voor wie de ophef tot in de details wil doorgronden heeft het blog Harpocrates Speaks een artikel dat de belangrijkste punten in deze kwestie bespreekt met een uitgebreide chronologische lijst met links naar andere blogs. Voor de podcastliefhebbers tenslotte, is er een aflevering van The League of Nerds over deze kwestie.