Skeptici roemen vaak het zelfreinigend vermogen van de wetenschap. Zelfcorrectie onderscheidt de wetenschap van de astrologie en andere pseudowetenschappelijke nepperij. Maar corrigeert de wetenschap wel altijd zijn eigen missers? Over die vraag stond een paar dagen geleden (25 juni) een interessant artikel in de New York Times. Een korte samenvatting.
Het artikel begint met een optimistisch citaat van Carl Sagan:
“There are many hypotheses in science which are wrong. That’s perfectly all right: it’s the aperture to finding out what’s right. Science is a self-correcting process.”
Om direct daarna vast te stellen dat de werkelijkheid niet zo simpel in elkaar zit. Wetenschap heeft geen ‘auto-correct’-knop. De wetenschap repareert niet altijd (met gemak) zijn fouten:
‘Science runs forward better than it does backward. Why? One simple answer is that it takes a lot of time to look back over other scientists’ work and replicate their experiments’.
Het tijdschrift Science publiceerde in mei acht kritische commentaren naar aanleiding van een controversieel artikel over bacteriën die arsenicum in hun DNA zouden kunnen inbouwen (in plaats van fosfor). Maar het betwiste onderzoek werd door geen van de critici herhaald. Dat zou een team namelijk maanden werk hebben gekost. Veel wetenschappers besteden niet graag zoveel energie als de kans op een negatief resultaat groot is. Ze werken liever aan onderzoek dat nieuwe inzichten oplevert. Een van de criticasters (Rosie Redfield van de Universiteit van British Columbia): “Scientifically I think trying to replicate the claimed results is a waste of time.” Daardoor zijn er onvoldoende argumenten om de controversiële paper in te trekken. De conclusies van het oorspronkelijke artikel blijven dus overeind.
Soms nemen wetenschappers wel de moeite om een onderzoek te herhalen. Dan lopen ze wel het risico dat hun resultaten niet worden gepubliceerd. En dat is slecht voor je wetenschappelijke carrière. Daryl Bem, een psycholoog aan de Cornell Universiteit, schokte zijn collega’s met een zeer merkwaardig onderzoeksresultaat dat hij publiceerde in The Journal of Personality and Social Psychology. Mensen zouden meetbaar beïnvloed worden door toekomstige gebeurtenissen. Drie onderzoeksteams herhaalden het onderzoek van Bem – zonder resultaat. Een van de teams schreef een artikel. Maar dat werd afgewezen door het tijdschrift. Niet omdat het herhaalde onderzoek niet zou deugen, maar ‘omdat we nooit herhalingsstudies publiceren’ zo lichtte de hoofdredacteur toe. Amerikaanse skeptici verwierpen de onderzoeksresultaten van Bem. Maar een ‘debunk’-artikel in de Skeptical Enquirer heeft natuurlijk niet de status van een officiële retraction. De conclusies van het oorspronkelijke artikel blijven dus overeind.
En zelf als herhaald onderzoek wél wordt gepubliceerd leidt dit er niet altijd toe dat een controverse wordt beslecht. Dat overkwam de onderzoekers die het XMRV virus niet konden vinden in patiënten met het chronische vermoeidheidssyndroom. In 2009 publiceerde Judy Mikovits in Science dat lijders aan dit syndroom dit virus bij zich droegen. Toen andere onderzoekers het virus niet konden vinden en Mikovits vroegen om haar artikel in te trekken, reageerde ze dat ze dat ‘prematuur zou vinden’. Science publiceerde wel een ‘expression of concern’. De conclusies van het oorspronkelijke artikel blijven dus overeind.
Toch zit er beweging in het XMRV-onderzoek. Samen met viroloog Ian Lipkin herhaalt Judy Mikovits haar onderzoek op verzoek van het Amerikaanse Institutes of Health. Jammer genoeg is dit soort onderzoek de uitzondering en niet de regel.