Kloptdatwel?

Thomas de Boer

Corrigeert de wetenschap zichzelf?

by 13 Comments

Dit is een vertaald artikel. Het oorspronkelijke artikel is te vinden op de website van de JREF.

Corrigeert de wetenschap zichzelf? 1
Dr. Steve Novella is klinisch neuroloog en voorzitter van de bekende podcast The Skeptics Guide to the Universe.
(foto: Zooterkin | Wikimedia Commons)

Door Dr. Steve Novella.

In theorie, ja. In praktijk, kan het beter.

Een artikel, gepubliceerd in De Economist, bespreekt een onderwerp waar skeptici al jaren over praten. Er is nogal wat onderzoek troep gepubliceerd dat onbetrouwbaar is. Dit betekent dat je standpunt nog niet juist hoeft te zijn, ook al kun onderzoeken vinden die jouw standpunt lijken te ondersteunen. Je kunt geen antwoord vinden op een vraag door alleen de onderzoeken die jou goed uitkomen te citeren. Je moet een kritische analyse doen van al het beschikbare onderzoek.

Het volledige artikel is het lezen waard en regelmatige lezers van skeptische blogs zullen waarschijnlijk veel van de punten en referenties herkennen, maar zullen vast ook wat nieuwe details leren. Hier volgt mijn eigen samenvatting van de belangrijkste aandachtsgebieden met betrekking tot de kwaliteit en betrouwbaarheid van gepubliceerd wetenschappelijk onderzoek.

De meeste studies zijn van een bedroevende kwaliteit – Om grondig wetenschappelijk onderzoek te doen heb je veel tijd en geld nodig. Onderzoekers voeren daarom vaak vooronderzoek of verkennende studies uit, die klein zijn en die slechts basale mogelijkheden tot controle kennen. Dit soort studies is onbetrouwbaar en alleen nuttig om te bepalen of verder onderzoek gerechtvaardigd is. Vooronderzoeken die positieve uitkomsten tonen, zijn vaak vals-positief (de redenen hiervoor geef ik later) en veel betrouwbaarder wanneer ze negatieve uitkomsten laten zien.

Publish or perish – Onderzoekers en instituten staan onder grote druk om te publiceren. Dit bevordert het publiceren van grote aantallen onderzoeken van lage kwaliteit of het publiceren van de “kleinst mogelijke eenheid van onderzoek” uit een lopend onderzoek om zo het aantal papers dat uit een onderzoek wordt gehaald, te maximaliseren.

Probleem bij de onderzoeker (researcher bias) – Onderzoekers zijn mensen die graag willen dat hun ideeën correct zijn en onderzoek wordt soms uitgevoerd door de industrie of anderen die belang hebben bij bepaalde uitkomsten. Zelfs binnen algemeen geaccepteerde methoden van onderzoek hebben onderzoekers nog een grote vrijheid, ofwel speelruimte. Deze vrijheid kan worden misbruikt (bewust of onbewust) om een positief resultaat te bereiken, zelfs op basis van louter negatieve data. Simmons et al. hebben laten zien dat in 60% van de gevallen een p-waarde van 0,05 kan worden gegenereerd uit negatieve data alleen maar door de speelruimte te gebruiken,  die een onderzoeker heeft. In enquêtes geeft een derde van de onderzoekers toe dat ze zich wel eens vrijheden permitteren om positieve resultaten te behalen.

Probleem bij het publiceren (publication bias) – Tijdschriften, hetzij in druk hetzij online, hebben zo hun eigen motieven voor succes. Tijdschriften die afhangen van hun abonnees willen hun impactfactor [link toegevoegd door redactie] maximaliseren en dat betekent dat ze opwindend onderzoek willen publiceren met nieuwe en verrassende uitkomsten. Zulke artikelen zijn nou net het soort dat gemakkelijk met vals-positieve resultaten komt. Open-Access tijdschriften, die auteurs een bijdrage vragen, willen juist veel publiceren, ongeacht de kwaliteit. Een recent artikel in Science wees op de bedroevende kwaliteitscontrole in deze tak van de industrie. Daarbij komt dat onderzoekers zelf eerder een artikel met positieve resultaten indienen dan een met negatieve resultaten.

Gebrek aan replicaties – Onafhankelijke replicaties zijn de sleutel tot de zelfcorrigerende aard van de wetenschap. Het probleem is echter dat wetenschappers niet voldoende replicerend onderzoek doen en dat tijdschriften ze niet genoeg publiceren. Er is het nu beroemde incident bij Psychology Today dat een vreselijk onderzoek van Daryl Bem publiceerde waarin werd geclaimd dat mensen “de toekomst konden aanvoelen”. Richard Wiseman et al. deden een exacte replicatie van een van Bem’s onderzoeken, dat negatieve uitkomsten opleverde en stuurden het naar Psychology Today voor publicatie. Hun antwoord? We publiceren geen exacte replicaties. Waarom niet? Omdat ze niet sexy genoeg zijn hun impact factor te verhogen.

Een overzicht uit 2012 laat zien dat slechts ongeveer 1% van de psychologische onderzoeken die de afgelopen eeuw zijn gepubliceerd, replicaties waren. Dit overzicht is, voor zover ik het weet, nooit gerepliceerd.

Vergissingen – Onderzoekers vergissen zich soms gewoon en reviewers pikken die fouten er niet altijd uit. Een studie uit 2011 vond dat 50% van de bekeken neurowetenschappelijke onderzoeken een bekende statistische fout bevatten – een fout die vaak negatieve resultaten veranderde in positieve resultaten.

Fraude – Hoewel vooral fraude de krantenkoppen haalt, levert het waarschijnlijk slechts een kleine bijdrage aan het probleem van vals-positieve uitkomsten in gepubliceerd onderzoek. Maar het komt voor en vervuilt daarmee de wetenschappelijke literatuur.

Het goede.

Het is niet allemaal kommer en kwel en ik wil niet een te zwart beeld schetsen. Het is mogelijk om naar alle problemen met wetenschappelijke publicaties te kijken en te concluderen dat het allemaal hopeloos gebrekkig is. Maar dat zou op zijn best nihilistisch zijn en op zijn slechts al het goede ontkennen.

Het opsommen van alle potentiële problemen bij het doen van onderzoek is niet om het als hopeloos neer te zetten, maar aan te geven dat het moeilijk is. We kunnen nog steeds betrouwbare conclusies verkrijgen in de wetenschap door zorgvuldig al het onderzoek te controleren, het slechte te verwijderen en zo vooral te steunen op het meest degelijke onderzoek dat op de juiste wijze is gerepliceerd.

Met andere woorden – al het bovenstaande informeert ons over waar we de drempel moeten leggen voor het accepteren van iets als “wetenschappelijk bewezen”. Skeptici hebben veelal een beter idee waar deze drempel gelegd moet worden dan gelovigen, die vaak een belachelijk lage drempel hanteren, tenminste voor wat betreft hun specifieke geloof.

Als alles volgens de regels gaat, functioneert wetenschap best goed. Onderzoekers zullen nauwkeurig een vondst repliceren, voordat ze tijd gaan besteden aan vervolgonderzoek. Niemand wil zijn schaarse middelen verspillen aan de vals-positieve uitkomsten van iemand anders. Uitkomsten van onderzoek die strijdig zijn, zullen diepgaand worden bediscussieerd totdat consensus is bereikt over een onderzoeksprotocol en alle partijen accepteren de uitkomsten daarvan. Met als gevolg dat we voor veel belangrijke vragen degelijke studies hebben die meerdere malen zijn gerepliceerd met een duidelijk resultaat.

Het is ook belangrijk om duidelijk te maken dat we weet hebben van alle bovengenoemde problemen bij wetenschappelijk onderzoek omdat wetenschappers de moeilijke meta-vragen stellen over het wetenschappelijke proces zelf. Dus niet alleen is wetenschap zelfcorrigerend, ook de mechanismen van zelfcorrectie zijn zelfcorrigerend.

Oplossingen

Alle genoemde problemen hebben oplossingen. Deze oplossingen zijn niet moeilijk toe te passen of duur, maar ze worden soms traag geaccepteerd omdat ze een cultuuromslag vereisen binnen de wetenschap. Hier zijn een paar suggesties.

Betere opleiding van wetenschappers – Veel vergissingen in de wetenschap komen voort uit onwetendheid en kunnen worden opgelost door een betere opleiding. Een meer formele en grondige opleiding in onderzoeksmethodologie en vergissingen die moeten worden vermeden, zou helpen. Kortom, alle wetenschappers zouden betere skeptici moeten worden en hier ligt een belangrijke rol voor de gemeenschap van skeptici.

Kwaliteitscontrole bij tijdschriften – Tijdschriften moeten hun werk beter doen door systematisch fouten en onderzoek van slechte kwaliteit tegen te houden. Er zijn, natuurlijk, wetenschappelijke tijdschriften van topkwaliteit die hierbij in het algemeen uitstekend werk verrichten, ook al slippen slechte studies soms door de mazen van het net. Het probleem is echter dat de meeste tijdschriften middelmatig en vele verschrikkelijk zijn. De tijdschriften zelf moeten beter worden gescreend en alleen degenen die een significant hoge graad van kwaliteit bereiken, moeten worden toegelaten tot de officiële peer-reviewed literatuur. We moeten de achterdeur sluiten voor slecht onderzoek dat via slechte tijdschriften binnenkomt.

Om peer-review en redactioneel-review te verbeteren, zou het een vereiste moeten zijn dat onderzoekers hun ruwe cijfermateriaal ook aanleveren wanneer ze een artikel aanbieden.

Publiceer replicaties en onderzoek met negatieve resultaten – Tijdschriften moeten ruimte maken voor publicatie van studies met negatieve resultaten en exacte replicaties. Op een bepaalde manier is het nogal egoïstisch van tijdschriften met een grote impact, om nieuw en opwindend onderzoek af te romen en niet hun eerlijke deel van het publiceren van replicaties en negatieve resultaten op zich te nemen. Dit leidt tot perverse prikkels, waardoor misschien het meest waardevolle onderzoek wordt verwaarloosd. Voor online tijdschriften is ruimte geen probleem en dus ook geen valide excuus. Voor gedrukte tijdschriften geldt dat ze secties zouden moeten reserveren voor de genoemde soort studies en zij kunnen ook online aanvullingen publiceren met alle replicaties en negatieve studies die ze maar willen. Als die maar van hoge kwaliteit zijn.

Registreer alle onderzoeken – Je kunt geen onderzoek met negatieve resultaten verstoppen als je het vooraf moet registreren. In sommige landen is registratie al verplicht als het gaat om onderzoek waar mensen bij betrokken zijn, maar andere onderzoeksgebieden kunnen ook profiteren van registratie van onderzoek.

Volledige openheid van zaken – Dit is al grotendeels het geval, maar ik vermeld het volledigheidshalve – onderzoekers moeten volledige openheid geven over mogelijke belangenverstrengeling als ze een artikel indienen of presenteren.

De media – Wetenschapsjournalisten en andere publieksvoorlichters zouden het publiek moeten inlichten over het rommelige karakter van wetenschap, en wat er allemaal nodig is om een betrouwbare conclusie te bereiken. Het publiceren van voorlopige onderzoeksresultaten met sensationele krantenkoppen, doet de publieke opinie over wetenschap geen goed.

Pleiten voor verbeteringen in de wetenschappelijke instituties en publieke voorlichting over de methoden die in de wetenschap worden gebruikt, is een van de kerntaken voor de skeptische gemeenschap. De gegevens zijn er; we kennen de problemen en de oplossingen. We hoeven alleen maar druk uit te oefenen om te verbeteringen wat misschien wel het meest belangrijke menselijke instituut is – wetenschap.

Steven Novella, arts, is Senior Fellow bij de JREF en directeur van JREF’s Science-Based Medicine project.

 

Dit is een vertaald artikel. Het oorspronkelijke artikel is te vinden op de website van de JREF.

Het Nocebo-effect: hoe we onszelf ziek piekeren.

by 9 Comments

Dit is een met toestemming van de auteur (Gareth Cook) vertaald artikel. Het oorspronkelijke artikel is gepubliceerd op de website van The New Yorker.

 

noceboVelen van ons hopen Wifi te vinden, waar we ook gaan, bij voorkeur gratis. Maar sommigen wijden hun leven aan het volledig vermijden van Wifi. Lijders aan het Wifi-syndroom zeggen dat de radiogolven die worden gebruikt in mobiele communicatie oorzaak zijn van hoofdpijn, misselijkheid, uitputting, tintelingen, moeilijkheden met concentratie, en buik- en darmklachten, om maar een paar te noemen. Sommigen van de meest gekwelden nemen drastische maatregelen. Volgens Agence France-Presse heeft een vrouw haar boerderij in Zuid-Frankrijk verlaten na de komst van mobieletelefoniemasten (die, zoals Wifi, radiogolven gebruiken) en is gevlucht naar een grot in de Alpen. Een handvol anderen zijn verhuisd naar huizen in de United States National Radio Quiet Zone, een uitgestrekt, bergachtig gebied op de grens tussen Virginia en West-Virginia, waar het gebruik van Wifi, mobiele telefoons en andere technologieën sterk beperkt is om een nabijgelegen radiotelescoop niet te storen. Wetenschappers hebben het syndroom een naam gegeven: “Idiopatische omgevingsintolerantie toegeschreven aan electro-magnetische velden”. Een hele mondvol, afgekort tot I.O.I.-E.M.V. In het Engels afgekort tot I.E.I.-E.M.F. Maar niemand heeft goede aanwijzingen gevonden dat we ook maar enig risico lopen.

Het Wifi-syndroom speelt een rol in de context van een uitgebreider fenomeen: het nocebo-effect, de slechte tegenhanger van het placebo-effect. Bij placebo’s (“Ik ga goed doen” in het Latijn) brengt alleen al de verwachting dat behandeling zal helpen een vermindering van de symptomen te weeg, zelfs al krijgt de patiënt suikertabletjes. Bij nocebo’s (“Ik ga kwaad doen”), veroorzaken donkere verwachtingen duistere werkelijkheden. In klinische medicijntesten rapporteren mensen vaak de neveneffecten waar ze voor gewaarschuwd worden, ook al nemen ze een placebo. Bij onderzoek naar de behandeling van fibromyalgie kreeg elf procent van degenen die het equivalent van suikertabletten ontvingen, zodanig last van verzwakking en vermoeidheid, dat ze stopten met het onderzoek.

Het nocebo-effect is niet beperkt tot klinische onderzoeken. Bijvoorbeeld, nadat Aum Shinrikyo in 1995 een aanslag had gepleegd met Sarin-zenuwgas in Tokio, werden de ziekenhuizen overstroomd met patiënten die last hadden van de ruim gepubliceerde symptomen, zoals misselijkheid en duizeligheid, maar die, zoals later bleek, niet aan het zenuwgas waren blootgesteld. Dit is een bekend verschijnsel bij rampen waar oorzaken of middelen niet zichtbaar zijn, zoals bij chemische middelen of straling. Extreme voorbeelden hiervan zijn het massaal vóórkomen van symptomen zonder waarneembare fysieke oorzaak. Bijvoorbeeld het beroemde geval aan een High School in Tennessee die werd geëvacueerd nadat een docent een “benzine-achtige” lucht en duizeligheid had gerapporteerd. Ongeveer honderd studenten en stafmedewerkers werden naar de Eerste Hulp gebracht, van wie 38 een nacht moesten blijven. Uitgebreid onderzoek vond geen enkele aanwijzing voor de aanwezigheid van welke chemicalie dan ook en onderzoekers hebben geconcludeerd dat het ging om een “massale psychogene ziekte”.

Wat het Wifi-syndroom betreft, een recente analyse van 46 studies die in totaal bijna 1200 vrijwilligers omvatten, had als conclusie dat de signalen niet de oorzaak zijn van de symptomen. In één experiment lieten onderzoekers in Australië de proefpersonen meerdere nachten slapen in een bed waaromheen een cocon van een speciaal vervaardigd netwerk was aangebracht, maar ontdekten dat het geen verschil maakte of het netwerk wel of niet elektromagnetische straling tegenhield. Een zorgvuldig onderzoek naar straling van mobiele telefoons vond wel een significant patroon van hoofdpijn, maar het bleek dat de hoofdpijn alleen voorkwam bij de controlegroep, dus bij degenen die niet waren blootgesteld aan signalen. (Er is evenzo geen overtuigend bewijs van een verband tussen mobiele telefoons en hersenkanker, een andere verbreide angst).

Ik sprak onlangs met Michael Witthöft, een Duitse wetenschapper die al meer dan tien jaar onderzoek doet naar medisch onverklaarbare syndromen. De resultaten van zijn laatste onderzoek, uitgevoerd met een collega aan het Kings College London, zouden elke journalist de kriebels moeten geven. Witthöft bracht een groep vrijwilligers bij elkaar, gaf hen een stel psychologische testen en verdeelde ze in twee groepen. Hij toonde één groep een BBC uitzending over de “gevaren” van Wifi, waar al de gebruikelijke rimram van angst-TV was gebruikt: onheilspellende muziek, onkritische interviews, alarmerende verhalen en schokkende beelden van torens voor mobiele telefonie. Witthöft toonde de tweede groep een programma over de veiligheid van mobiele telefonie. Daarna werd elke vrijwilliger naar een kleine kamer gebracht, moest gaan zitten voor een computer en kreeg een lompe hoofdband om waarin een zilveren antenne was aangebracht die werd bestempeld als “Wifi versterker”.  Ze moesten een knop indrukken – waarna een rood Wifi-symbool verscheen op het beeldscherm – en vijftien minuten wachten.

Er was in feite geen Wifi aanwezig, maar toch nam Witthöft dramatische effecten waar. Zitten in de kamer met de (nep) Wifi veroorzaakte tintelingen in vingers, handen en voeten, druk op en tintelingen in het hoofd, maagklachten en concentratiestoornissen. Twee van de proefpersonen vonden de ervaring zo onprettig, dat ze moesten stoppen voordat de tijd om was. (Alleen de meer verontruste proefpersonen die de angstaanjagende TV-uitzending zagen, reageerden negatief.) Witthöfts werk en een soortgelijk experiment met betrekking tot klachten over windturbines dat kortgeleden is gepubliceerd, legt een directe relatie tussen onverantwoorde journalistiek en gezondheidsproblemen. Sommige mensen, zo vertelde Witthöft me, raken na een eerste schrik verstrikt in een spiraal van negatieve bekrachtigingen. Ze ervaren fysieke symptomen die hen er toe leiden nauwkeuriger aandacht te besteden hoe hun lichaam aanvoelt. Overdreven oplettendheid leidt ertoe dat ze meer symptomen waarnemen – is dat een nieuwe tinteling? – en meer gealarmeerd raken. Ze trekken zich dan terug in een poging hun klachten kwijt te raken, wat kan leiden tot een depressie, die op zijn beurt de symptomen weer verergert. In het ergste geval kunnen ze richting dichtstbijzijnde grot gaan.

“Placebo” is “nep” gaan betekenen, maar, zoals Michael Specter vorig jaar uitlegde in een artikel, dat is niet helemaal juist. De effecten zijn werkelijk aanwezig – zo werkelijk, dat in feite sommige wetenschappers er voor pleiten dat artsen meer training moeten krijgen in het gebruik van placebo’s en ze een regulier onderdeel moeten laten zijn van hun praktijk. Patiënten die placebo’s toegediend krijgen, ervaren biochemische veranderingen die hun toestand verbeteren. Placebopijnstillers activeren de natuurlijke gevoelloosheid voor pijn. Placebo’s voor de ziekte van Parkinson activeren het brein om dopamine vrij te maken; placebo’s voor angsten en depressies roepen veranderingen op in de gebieden in de hersenen die emoties reguleren. Bij een bijzonder opmerkelijk onderzoek onder patiënten met het prikkelbaredarmsyndroom (Irritable Bowl Syndrome) werd hun verteld dat ze een behandeling zouden krijgen met “pillen die een inerte substantie bevatten, zoals suikerpillen, waarvan in klinische studies is aangetoond dat ze een significante verbetering geven in de symptomen van I.B.S. (Irritable Bowl Syndrome) door zelfhelende geest-lichaam processen”. Hoewel de behandeling een placebo was, en sterker nog, hoewel de patiënten wisten dat het een placebo was, vertoonden ze significante verbetering.

Met de erkenning van het nocebo-effect echter, spreken artsen nu van een raar ethisch dilemma: de eed van Hippocrates schrijft voor: “Doe geen kwaad”, maar als je eerlijk bent tegenover een patiënt over potentiële neveneffecten dan neemt de kans toe dat ze er last van zullen krijgen. Een suggestie is een onwetendheidsprotocol aan te nemen: vraag patiënten toestemming om hen niet te vertellen over kleine neveneffecten van medicijnen. Een minder beladen alternatief is een arts voorzichtiger te laten uitleggen en de negatieve aspecten beter in hun context te plaatsen. Als artsen zeggen: “de grote meerderheid van patiënten heeft geen last van deze behandeling”, voordat ze een griepprik geven, dan ervaren patiënten minder vaak “ongunstige gebeurtenissen”. Het grotere probleem ligt buiten de kliniek: het internet is een krachtige – en voor sommigen, onweerstaanbare – nocebo doserende machine geworden. In vroeger dagen kostte het iemand weken of zelfs maanden om genoeg leesstof te verzamelen om heel erg bang te worden. Tegenwoordig kan iemand in een paar uurtjes in een toestand van angst belanden, in de eigen omgeving.

 

Dit is een met toestemming van de auteur (Gareth Cook) vertaald artikel. Het oorspronkelijke artikel is gepubliceerd op de website van The New Yorker.