Kloptdatwel?

Wetenschap

Vijftig grootste misvattingen in de psychologie

by 21 Comments

50misvattingen
De 50 grootste misvattingen in de psychologie. Door Scott O. Lilienfeld, Steven Jay Lynn, John Ruscio, Barry L. Beyerstein

Zoals al eerder vermeld op deze website is een van de doelstellingen van de Skepsis werkgroep Amsterdam om meer skeptisch georiënteerde boeken te lezen. Recentelijk hebben we ons gezamenlijk over “Vijftig grootste misvattingen in de psychologie” gebogen.

Als je met dit boek begint denk je een dikke pil te verteren hebt maar gelukkig (?) blijkt ca. 1/3 van het boek uit referenties te bestaan, hetgeen in ieder geval aangeeft dat de auteurs niet over één nacht ijs gegaan zijn tijdens het schrijven van dit boek.

Al met al leest het boek gemakkelijk, tenzij men elke referentie gaat napluizen hetgeen de “leesflow” niet ten goede komt. Het boek opent met een korte introductie in de psychomythologie, waarin men een overzicht krijgt over de typisch menselijke waarnemingsbeperkingen en drogredenen die kunnen bijdragen aan het ontstaan van dergelijke mythes. De mythes die behandeld worden zijn geclusterd in 11 gebieden, te weten “denkvermogen”, “van baarmoeder tot graf”, “herinneringen uit het verleden”, “oude honden nieuwe trucjes leren”, “veranderende percepties”, “ik heb een gevoel”, “het sociale dier”, “ken uzelve”, “bedroefd, kwaad en slecht”, “wanorde in de rechtszaal” en “kunde en pillen”. Elke cluster of hoofdstuk wordt afgesloten met een lijst met eenregelige toelichting van mythes die men zelf kan onderzoeken. Als startpunt worden enkele literatuurreferenties meegegeven. Ik wil in deze bespreking niet alle 50 mythes opsommen, maar deze ‘meer bekende’ zul je in het boek in ieder geval tegenkomen: “de meeste mensen gebruiken maar 10% van hun hersen capaciteit”, “de meeste mensen ondergaan rond de 40 of 50 een midlife crisis”, “een positieve levenshouding kan kanker weerstaan” en “de meeste mensen die in hun jeugd seksueel misbruikt zijn ontwikkelen ernstige persoonlijkheidsstoornissen als ze volwassen zijn”.

Hoe een mythe gefileerd wordt kan men het best illustreren met een voorbeeld, Mythe 4: Visuele waarneming wordt vergezeld door emissies vanuit het oog. De algemene benadering is om een mythe eerst toe te lichten, vervolgens de mentale denkfouten toe te lichten waarna de feiten ter tafel gebracht worden.

Eerst wordt de lezer uitgedaagd om eens goed om zich heen te kijken, op een voorwerp te fixeren, en vervolgens de vraag te beantwoorden of er iets uit zijn ogen kwam. Voor iemand met enige optica kennis komt deze vraag heel vreemd over. Psychologisch onderzoek laat echter zien dat dit idee bewust of onbewust bij veel mensen leeft. Denk hierbij ook aan populaire comics (Superman met zijn X-ray ogen, Cyclops van de X-men met zijn laser ogen, etc.) en aan kreten zoals “priemende ogen”. Meerdere voorbeelden, met de bijbehorende referenties, worden behandeld. Ook wordt een poging gedaan om de oorsprong van deze mythe te duiden. De lichtflitsjes die men kan waarnemen bij gesloten ogen (individuele fotonen) of als men in zijn ogen wrijft is door sommigen aangegeven als een mogelijke verklaring van deze mythe. Ook de observatie dat de ogen van sommige dieren in het donker lijken op te lichten is genoemd als een mogelijke oorzaak. Echt zeker weet men het echter niet. Wat vooral interessant lijkt te zijn is dat deze mythe moeilijk uit te roeien is. Zelfs nadat mensen voorgelicht zijn over de werking van het licht en het oog, en deze verklaring ook lijken te accepteren, blijkt uit studies dat dit deze mythe na enige tijd weer terugkeert.

Waar ik met dit boek ook mee geconfronteerd werd is dat ik als “oudere jongere” in mijn jeugd veel van de beweringen die in dit boek vermeld staan voor waar heb aangenomen, hetgeen mij weer liet nadenken over de “waarom” vraag. Het antwoord is volgens mij dat je indertijd met dit soort beweringen geconfronteerd werd op de TV, in kranten (ook de meer serieuze) en populair wetenschappelijke tijdschriften (Kijk en Natuur & Techniek). In het dorp waar ik opgroeide, was er weliswaar een bibliotheek, maar in mijn herinnering was de non-fictie sectie ook weer niet extreem groot. Ik geloof niet dat met de informatie die je daar kon vinden dit type beweringen kon fileren. Ook toen ik begin jaren ’80 naar Amsterdam verhuisde was het niet zo dat je er zo gemakkelijk achter kon komen waar dit soort informatie te vinden was. De Openbare Bibliotheek op de Prinsengracht bevatte weliswaar veel meer boeken maar om de vraag aan de informatie te koppelen was waarschijnlijk weer net iets te lastig. Alhoewel ik het indertijd ook wat drukker had met ander zaken en me dit soort vragen wat minder vaak stelde dan ik het nu doe blijft het kernpunt echter dat in die tijden (lang…lang geleden) het vinden van specifieke informatie op een bepaald gebied veel lastiger was, en dat is tegenwoordig in het internettijdperk toch heel wat makkelijker. Er staat natuurlijk veel onzin op het web maar daar staat tegenover dat er ook veel meer “echte” informatie te vinden is en, misschien nog wel belangrijker, dat het tegenwoordig makkelijker is om informatie te koppelen. Wat nu, maar ook vroeger belangrijk was, is dat men enige gedegen kennis moet bezitten om de gevonden informatie op zijn waarde (zin of onzin) te kunnen beoordelen. Gedegen kennis gekoppeld aan wat eenvoudige regels (bijvoorbeeld: controleer altijd de bron) helpt je al een heel eind op weg.

Oftewel, zoals ik het ooit eens ietwat ironisch heb proberen weer te geven in onderstaande illustratie, het is een betere wereld voor skeptici in het Google tijdperk…

Informatie zoeken in het Google tijdperk
Informatie zoeken in het Google tijdperk

Dan krijgen we de vraag of ik dit boek aan anderen wil aanbevelen. Dat kan ik met “ja” beantwoorden en niet alleen maar omdat het redelijk makkelijk leest en het een boeiend onderwerp behandeld. Het boek is een aanrader voor iedereen, inclusief beginnende en gevorderde psychologen, maar vooral voor sceptici. Als er een mythe besproken wordt waarvan je altijd al dacht dat die niet klopte dan kun je dat als een opsteker voor je sceptische vermogens beschouwen. Als er een mythe besproken wordt die jij nog steeds als waar beschouwde, dan is dat een wijze les. We blijven menselijk en het benadrukt weer eens dat je je bij een bewering moet blijven afvragen: ”Klopt dat wel?”.

 

Geïnteresseerd geraakt in het boek? Bestel het via de onderstaande link bij Bol.com en steun daarmee Kloptdatwel!

De Nederlandse versie is momenteel bij Bol.com niet leverbaar. Hieronder het laatste boek van Lilienfeld:

Volgende sociale psycholoog struikelt – de zaak Förster

by 23 Comments

Na de schandalen rond Diederik Stapel en Dirk Smeesters is nu weer een hoogleraar sociale psychologie ernstig in de problemen gekomen. Het Landelijk Orgaan Wetenschappelijke Integriteit oordeelt dat professor Jens Förster, verbonden aan de Universiteit van Amsterdam, in minstens één artikel data heeft gebruikt, die eigenlijk niet op een normale wijze verkregen kunnen zijn. De gegevens zijn te ‘perfect’ en bevatten veel minder ruis dan je normaal verwacht bij het soort experimenten dat Förster uitvoerde.

Jens Förster
Jens Förster

Begin 2012 publiceerde Förster een artikel in Social Psychological and Personality Science onder de titel Sense Creative! The Impact of Global and Local Vision, Hearing, Touching, Tasting and Smelling on Creative and Analytic Thought. In het artikel beschrijven Förster en zijn co-auteur Markus Denzler een aantal experimenten op basis van een theorie die door Förster is ontwikkeld: GLObal versus LOcal processing Model. Deze theorie, kortweg GLOMO, gaat over het verschil dat zou bestaan tussen het verwerken van waarnemingen van iets in het geheel (global) of meer met een focus op details (local).
Het nieuwe van Försters onderzoek is dat hij het niet alleen beperkt tot visuele waarneming, zoals anderen eerder deden, maar experimenteert met geluid, geur, smaak en aanraking als prikkels. De experimenten komen er meestal op neer dat proefpersonen worden geprimed met ofwel een globale ofwel een lokale prikkel, en dan worden getest met analytische en creatieve testjes (op Wetenschap24 meer uitleg hierover). Uit het abstract van de bewuste studie:

Throughout separate 12 studies, participants were asked to look at, listen to, touch, taste or smell details of objects, or to perceive them as wholes. Global processing increased category breadth and creative relative to analytic performance, whereas for local processing the opposite was true. Results suggest that the way we taste, smell, touch, listen to, or look at events affects complex cognition, reflecting procedural embodiment effects.

Boven de weergave in de artikelen en onder in de volgorde local-control-global (low-med-high), waarbij het lineaire verband duidelijk wordt. (afbeelding van Wetenschap24)
Boven de weergave in de artikelen en onder in de volgorde local-control-global (low-med-high), waarbij het lineaire verband duidelijk wordt. (afb. Wetenschap24)

De resultaten leken echter veel te mooi om waar te zijn. Een UvA-collega van Förster, werkzaam op een andere afdeling, viel het op dat het ‘positieve’ effect van de priming met een globale prikkel precies het tegenovergestelde effect had als de priming met een lokale prikkel.
Dat is niet meteen duidelijk als je kijkt naar de grafiekjes van Förster, maar als je de volgorde van de weergave een beetje verandert, zie dat gemiddelden van ‘Global’ en ‘Local’ even ver af liggen van het gemiddelde van de controlegroep (zie afbeelding hiernaast). Dat kan natuurlijk een keer gebeuren, maar het patroon trad op in alle beschreven experimenten.

Een tweetal oudere artikelen werd erbij gehaald en daar bleken dezelfde uitgesproken lineaire verbanden op te duiken. In totaal werden in de drie artikelen 42 experimenten gevonden. En die vertonen allemaal hetzelfde beeld, zoals hieronder in een visuele samenvatting gezien kan worden:

 

Een grafische weergave van de 42 experimenten.(meta-montage door @neuroskeptic)
Een grafische weergave van de resultaten van de 42 experimenten,de lineariteit springt er uit (meta-montage door Neuroskeptic)

Ter vergelijking onderzocht deze medewerker, alleen of met anderen, ook een tiental artikelen van vakgenoten van Förster, waarin een soortgelijke opzet werd gebruikt (dus telkens met drie groepen). Daarin was er geen sprake van een dergelijk sterke lineariteit. De opmerkelijke resultaten van Förster zouden misschien nog wel verklaard kunnen worden door Questionable Research Practices (QRP), zoals het weglaten van uitschieters,  het aanvullen van de data met gegevens van extra steekproeven na een eerste evaluatie die net niet lekker uitkwam, of het verwijderen van deelnemers die hun onderzoek niet serieus genoeg hadden ingevuld. Dat laatste zou nog wel mogen, maar dan moet je vooraf precies vastleggen hoe je dat doet en niet achteraf, zoals in het geval Smeesters.
Ook kun je niet meteen uitsluiten dat deze experimenten op een nog onbegrepen lineair verband zijn gestuit. Maar ook als je er van uit gaat dat dat lineair verband er echt is, dan zouden de gegevens daar nog steeds veel te mooi bij passen. Er is veel te weinig spreiding in de gegevens. Bij nadere beschouwing blijkt het ook zeer onwaarschijnlijk dat QRP deze te ‘perfecte’ gegevens zouden kunnen opleveren op basis van een set gegevens die in eerste instantie wel netjes verkregen was. De analyse van de anonieme klager(s) die de basis vormde voor de klacht bij Commissie Wetenschappelijke Integriteit (CWI) van de Universiteit van Amsterdam (UvA)  is gelekt naar Retraction Watch.

De klacht werd door de CWI onderzocht, maar die kwam in juli 2013 uiteindelijk niet verder dan de aanbeveling om een ‘letter of concern’ te publiceren omtrent de twijfels over de data (geanonimiseerd rapport, pdf). Förster ontkende dat hij slordig was geweest en zich schuldig had gemaakt aan QRP. De klager vond dat de CWI haar werk onvoldoende had gedaan en ging in beroep bij het LOWI met onder de volgende punten van kritiek: de CWI had archiefonderzoek moeten doen naar de dataverzameling, meer getuigen (onderzoeksassistenten) moeten horen, andere artikelen van Förster en de ruwe databestanden moeten onderzoeken, en ook veel sneller moeten werken.
In het LOWI-rapport(pdf), dat deze week uitkwam (de berichtgeving kwam eind april al op gang na een stuk van Frank van Kolfschooten in NRC), wordt de klager niet op alle punten in het gelijk gesteld. Vooral procedureel valt de CWI niet veel te verwijten. Het is niet zo raar dat die zich beperkt heeft tot de concreet aangedragen problemen. In de zaken van Stapel en Smeesters lag het anders: daar kwamen snel bekentenissen en kregen de CWI’s opdracht van de Colleges van Bestuur om verder onderzoek te doen.
Inhoudelijk geeft het LOWI de klager echter wel gelijk en deelt de mening er eigenlijk geen aanwijzingen zijn gevonden dat QRP tot de onwaarschijnlijke data geleid kunnen hebben en dat het daarom niet bij zo’n ‘letter of concern’ zou kunnen blijven. De statistische experts die vervolgens door het LOWI ingeschakeld werden, kwamen met nog een opmerkelijk gegeven in de data. Als je kijkt naar subgroepen, je splitst de data op naar man/vrouw bijvoorbeeld, dan is er helemaal geen spoor van die lineariteit terug te vinden. De afwijkingen ten opzichte van het lineaire verband bij mannen en vrouwen heffen elkaar precies op als je de data samenvoegt. Dit lijkt helemaal bizar, maar misschien voegt het niet zo veel toe aan het reeds ontstane beeld dat de data sowieso geconstrueerd moeten zijn. En dat door iemand zonder al te veel kennis van statistiek. Förster ontkent intussen dat hij iets verkeerd heeft gedaan en spreekt van een onterechte heksenjacht.

Is het statistisch bewijs voldoende om het oordeel fraude te kunnen vellen? In de analyse van de klager wordt een waarde berekend die zou inhouden dat er maar een kans is van één op 508 triljoen dat de gegevens van een normale steekproef afkomstig zouden kunnen zijn zonder manipulatie. De statisticus Richard Gill (Universiteit Leiden), die zich vaak roert in de commentaren op diverse blogs over deze zaak, geeft echter aan dat je je niet moet blindstaren op dit soort cijfers. Ze hangen af van allerlei aannames rondom de gebruikte modellen. Als handvat om er zinnig mee om te gaan, stelt hij dat je eerst maar eens het aantal nullen moet halveren en als er dan nog steeds een buitensporig aantal nullen staat, halveer je het nog maar eens. In dit geval blijft er dan echter nog steeds een absurd lage kans over. Gill noemt Förster ‘ofwel een oplichter of volkomen incompetent.’
Er zijn ook andere aanwijzingen dat er iets goed is misgegaan. Het LOWI heeft zich alleen gebogen over het artikel dat de aanleiding was tot de klacht. Van de oudere artikelen die ook door de klager zijn geanalyseerd, zijn de gegevens niet eens meer beschikbaar (gecrashte harddisk). Van het artikel in 2012 zijn de originele formulieren vernietigd, hoewel de aangeraden bewaartermijn nog niet was verlopen. En er is onduidelijkheid over wanneer en waar de gegevens precies verzameld zouden zijn. Misschien dat dit soort slordigheden vrij vaak voorkomen (of kwamen) in de sociale psychologie, maar het wordt in dit geval toch wel moeilijk om het niet te zien als een poging om een ernstiger probleem te verhullen.
Samenvattend volgens het LOWI: “is de conclusie […] onontkoombaar dat voor de uitkomsten van dit onderzoek in het artikel onderzoeksgegevens zijn gemanipuleerd of gegevens bewust zijn bijgesteld.” Het oordeelt dat er sprake is geweest van schending van de wetenschappelijke integriteit en adviseert de UvA om het tijdschrift te verzoeken het artikel in te trekken. Op het moment van schrijven van dit stuk was er nog geen officiële mededeling van de UvA, maar de woordvoerder liet al weten dat ze het advies overnemen. Er lijkt vooralsnog geen onderzoek naar andere artikelen van Förster geïnitieerd te worden. [Update 4/10/2014. NRC: ‘UvA gaat toch mogelijke fraude psycholoog onderzoeken‘]

Förster zou eigenlijk volgende maand aan de slag gaan als ‘Humboldt-professor’ in Bochum met een beurs van 5 miljoen euro, dat is voorlopig uitgesteld. In Duitsland is het overigens nog akelig stil rond deze zaak. Merkwaardig, want Förster heeft een grotere status dan Stapel of Smeesters in het vakgebied. Het is opvallend dat deze drie zaken allemaal aan Nederlandse universiteiten naar boven komen. Is het hier erger dan in het buitenland? Waarschijnlijk niet en heeft het er meer mee te maken dat sinds de affaire Stapel de wegen naar CWI’s en LOWI sneller gevonden worden door klokkenluiders en klagers van buitenaf.

Verder lezen:

Radioactieve neerslag van Fukushima veroorzaakte geen duizenden doden in de VS

by 10 Comments

Onderzoeken van de Amerikaanse wetenschappers Joseph Mangano and Janette Sherman over de gezondheidseffecten van radioactieve neerslag die vrijkwam bij de ramp in Fukushima veroorzaakten nogal wat onrust in de Verenigde Staten. In 2011 lieten ze zien dat er in de maanden na de ramp al 14.000 extra doden zouden zijn gevallen. En in een recentere studie dat er veel meer kinderen werden geboren met een aangeboren schildklierafwijking.
Hier zijn wetenschappers aan het woord en dan lijkt het snel serieuzere koek dan andere alarmistische verhalen over de gevolgen van de ramp bij Fukushima die meestal uit uiterst vage hoek blijken te komen. Andere onderzoekers probeerden de bevindingen echter na te rekenen en kwamen snel tot de conclusie dat er niets van deugt.

Het artikel met de 14.000 extra doden in de Verenigde staten werd als volgt in een persbericht aangekondigd:

 An estimated 14,000 excess deaths in the United States are linked to the radioactive fallout from the disaster at the Fukushima nuclear reactors in Japan, according to a major new article in the December 2011 edition of the International Journal of Health Services.   This is the first peer-reviewed study published in a medical journal documenting the health hazards of Fukushima.

Het is gepubliceerd als: An unexpected mortality increase in the United States follows arrival of the radioactive plume from Fukushima: is there a correlation? Wat recenter (2013) is het artikel waarin ze laten zien dat er veel meer aangeboren schildklierafwijkingen zouden zijn voorgekomen in de maanden na de ramp: Changes in confirmed plus borderline cases of congenital hypothyroidism in California as a function of environmental fallout from the Fukushima nuclear meltdown (Open Journal of Pediatrics).

Dat klinkt allemaal niet best, nietwaar? Beide artikelen deugen echter van geen kanten. In de volgende  video wordt de hele gedachtegang van Mangano en Sherman gefileerd, er blijft niets van over. Het is een en al verdraaien van cijfers, wat in mijn ogen haast niet anders dan opzettelijk kan zijn gebeurd. De onderbouwing van de verklaring hoe een lage dosis radioactieve straling in zo’n korte tijd tot zoveel doden zou kunnen leiden, blijkt ook niet meer te zijn dan een e-mailtje van een andere wetenschapper.

‘Hoe kan dit soort prutswetenschap toch gepubliceerd worden in peer reviewed tijdschriften?’ vraag je je misschien af. Het eerste artikel werd gepubliceerd in een tijdschrift dat helemaal niet over epidemiologie gaat, maar over de beleidsmatige kanten van gezondheidszorg. Het is maar de vraag of de uitgezochte reviewers überhaupt verstand hadden van dit soort rekenwerk. Bij het tweede artikel is het nog veel duidelijker, dat werd gepubliceerd in een open access tijdschrift dat op het beruchte lijstje van Jeffrey Beall [mirror] voorkomt. Dat tijdschrift weigerde ook zonder opgaaf van reden een ingezonden commentaar.

In Popular Mechanics verscheen een artikel over de vervelende gevolgen van publicatie van dit soort nonsens wetenschap: What Can We Do About Junk Science? Dat stuk besluit met:

It’s easy to blame the impact of junk science on sloppy experiments, irresponsible reporters, or a failure of peer review. But even after it’s debunked, junk science sticks because it preys on the public’s fear and distrust. Ultimately, junk science can be dispelled only if individuals think like scientists: Evaluate all the evidence and try to disprove your own preconceptions.

Dat laatste kan wel waar zijn, maar daarvoor is wel inspanning van wetenschappers voor nodig. Je moet wel weten waar je moet zoeken naar dat bewijs en enigszins weten hoe je het moet beoordelen. Een academische ‘debunk’ in de vorm van een reactie in het tijdschrift bereikt het reeds misleide publiek waarschijnlijk ook niet zo snel. Daarom waardeer ik het zeer dat sommige wetenschappers de moeite nemen om middels zo’n YouTube video duidelijk uiteen te zetten wat er allemaal mis is met deze artikelen.

Corrigeert de wetenschap zichzelf?

by 13 Comments

Dit is een vertaald artikel. Het oorspronkelijke artikel is te vinden op de website van de JREF.

Corrigeert de wetenschap zichzelf? 7
Dr. Steve Novella is klinisch neuroloog en voorzitter van de bekende podcast The Skeptics Guide to the Universe.
(foto: Zooterkin | Wikimedia Commons)

Door Dr. Steve Novella.

In theorie, ja. In praktijk, kan het beter.

Een artikel, gepubliceerd in De Economist, bespreekt een onderwerp waar skeptici al jaren over praten. Er is nogal wat onderzoek troep gepubliceerd dat onbetrouwbaar is. Dit betekent dat je standpunt nog niet juist hoeft te zijn, ook al kun onderzoeken vinden die jouw standpunt lijken te ondersteunen. Je kunt geen antwoord vinden op een vraag door alleen de onderzoeken die jou goed uitkomen te citeren. Je moet een kritische analyse doen van al het beschikbare onderzoek.

Het volledige artikel is het lezen waard en regelmatige lezers van skeptische blogs zullen waarschijnlijk veel van de punten en referenties herkennen, maar zullen vast ook wat nieuwe details leren. Hier volgt mijn eigen samenvatting van de belangrijkste aandachtsgebieden met betrekking tot de kwaliteit en betrouwbaarheid van gepubliceerd wetenschappelijk onderzoek.

De meeste studies zijn van een bedroevende kwaliteit – Om grondig wetenschappelijk onderzoek te doen heb je veel tijd en geld nodig. Onderzoekers voeren daarom vaak vooronderzoek of verkennende studies uit, die klein zijn en die slechts basale mogelijkheden tot controle kennen. Dit soort studies is onbetrouwbaar en alleen nuttig om te bepalen of verder onderzoek gerechtvaardigd is. Vooronderzoeken die positieve uitkomsten tonen, zijn vaak vals-positief (de redenen hiervoor geef ik later) en veel betrouwbaarder wanneer ze negatieve uitkomsten laten zien.

Publish or perish – Onderzoekers en instituten staan onder grote druk om te publiceren. Dit bevordert het publiceren van grote aantallen onderzoeken van lage kwaliteit of het publiceren van de “kleinst mogelijke eenheid van onderzoek” uit een lopend onderzoek om zo het aantal papers dat uit een onderzoek wordt gehaald, te maximaliseren.

Probleem bij de onderzoeker (researcher bias) – Onderzoekers zijn mensen die graag willen dat hun ideeën correct zijn en onderzoek wordt soms uitgevoerd door de industrie of anderen die belang hebben bij bepaalde uitkomsten. Zelfs binnen algemeen geaccepteerde methoden van onderzoek hebben onderzoekers nog een grote vrijheid, ofwel speelruimte. Deze vrijheid kan worden misbruikt (bewust of onbewust) om een positief resultaat te bereiken, zelfs op basis van louter negatieve data. Simmons et al. hebben laten zien dat in 60% van de gevallen een p-waarde van 0,05 kan worden gegenereerd uit negatieve data alleen maar door de speelruimte te gebruiken,  die een onderzoeker heeft. In enquêtes geeft een derde van de onderzoekers toe dat ze zich wel eens vrijheden permitteren om positieve resultaten te behalen.

Probleem bij het publiceren (publication bias) – Tijdschriften, hetzij in druk hetzij online, hebben zo hun eigen motieven voor succes. Tijdschriften die afhangen van hun abonnees willen hun impactfactor [link toegevoegd door redactie] maximaliseren en dat betekent dat ze opwindend onderzoek willen publiceren met nieuwe en verrassende uitkomsten. Zulke artikelen zijn nou net het soort dat gemakkelijk met vals-positieve resultaten komt. Open-Access tijdschriften, die auteurs een bijdrage vragen, willen juist veel publiceren, ongeacht de kwaliteit. Een recent artikel in Science wees op de bedroevende kwaliteitscontrole in deze tak van de industrie. Daarbij komt dat onderzoekers zelf eerder een artikel met positieve resultaten indienen dan een met negatieve resultaten.

Gebrek aan replicaties – Onafhankelijke replicaties zijn de sleutel tot de zelfcorrigerende aard van de wetenschap. Het probleem is echter dat wetenschappers niet voldoende replicerend onderzoek doen en dat tijdschriften ze niet genoeg publiceren. Er is het nu beroemde incident bij Psychology Today dat een vreselijk onderzoek van Daryl Bem publiceerde waarin werd geclaimd dat mensen “de toekomst konden aanvoelen”. Richard Wiseman et al. deden een exacte replicatie van een van Bem’s onderzoeken, dat negatieve uitkomsten opleverde en stuurden het naar Psychology Today voor publicatie. Hun antwoord? We publiceren geen exacte replicaties. Waarom niet? Omdat ze niet sexy genoeg zijn hun impact factor te verhogen.

Een overzicht uit 2012 laat zien dat slechts ongeveer 1% van de psychologische onderzoeken die de afgelopen eeuw zijn gepubliceerd, replicaties waren. Dit overzicht is, voor zover ik het weet, nooit gerepliceerd.

Vergissingen – Onderzoekers vergissen zich soms gewoon en reviewers pikken die fouten er niet altijd uit. Een studie uit 2011 vond dat 50% van de bekeken neurowetenschappelijke onderzoeken een bekende statistische fout bevatten – een fout die vaak negatieve resultaten veranderde in positieve resultaten.

Fraude – Hoewel vooral fraude de krantenkoppen haalt, levert het waarschijnlijk slechts een kleine bijdrage aan het probleem van vals-positieve uitkomsten in gepubliceerd onderzoek. Maar het komt voor en vervuilt daarmee de wetenschappelijke literatuur.

Het goede.

Het is niet allemaal kommer en kwel en ik wil niet een te zwart beeld schetsen. Het is mogelijk om naar alle problemen met wetenschappelijke publicaties te kijken en te concluderen dat het allemaal hopeloos gebrekkig is. Maar dat zou op zijn best nihilistisch zijn en op zijn slechts al het goede ontkennen.

Het opsommen van alle potentiële problemen bij het doen van onderzoek is niet om het als hopeloos neer te zetten, maar aan te geven dat het moeilijk is. We kunnen nog steeds betrouwbare conclusies verkrijgen in de wetenschap door zorgvuldig al het onderzoek te controleren, het slechte te verwijderen en zo vooral te steunen op het meest degelijke onderzoek dat op de juiste wijze is gerepliceerd.

Met andere woorden – al het bovenstaande informeert ons over waar we de drempel moeten leggen voor het accepteren van iets als “wetenschappelijk bewezen”. Skeptici hebben veelal een beter idee waar deze drempel gelegd moet worden dan gelovigen, die vaak een belachelijk lage drempel hanteren, tenminste voor wat betreft hun specifieke geloof.

Als alles volgens de regels gaat, functioneert wetenschap best goed. Onderzoekers zullen nauwkeurig een vondst repliceren, voordat ze tijd gaan besteden aan vervolgonderzoek. Niemand wil zijn schaarse middelen verspillen aan de vals-positieve uitkomsten van iemand anders. Uitkomsten van onderzoek die strijdig zijn, zullen diepgaand worden bediscussieerd totdat consensus is bereikt over een onderzoeksprotocol en alle partijen accepteren de uitkomsten daarvan. Met als gevolg dat we voor veel belangrijke vragen degelijke studies hebben die meerdere malen zijn gerepliceerd met een duidelijk resultaat.

Het is ook belangrijk om duidelijk te maken dat we weet hebben van alle bovengenoemde problemen bij wetenschappelijk onderzoek omdat wetenschappers de moeilijke meta-vragen stellen over het wetenschappelijke proces zelf. Dus niet alleen is wetenschap zelfcorrigerend, ook de mechanismen van zelfcorrectie zijn zelfcorrigerend.

Oplossingen

Alle genoemde problemen hebben oplossingen. Deze oplossingen zijn niet moeilijk toe te passen of duur, maar ze worden soms traag geaccepteerd omdat ze een cultuuromslag vereisen binnen de wetenschap. Hier zijn een paar suggesties.

Betere opleiding van wetenschappers – Veel vergissingen in de wetenschap komen voort uit onwetendheid en kunnen worden opgelost door een betere opleiding. Een meer formele en grondige opleiding in onderzoeksmethodologie en vergissingen die moeten worden vermeden, zou helpen. Kortom, alle wetenschappers zouden betere skeptici moeten worden en hier ligt een belangrijke rol voor de gemeenschap van skeptici.

Kwaliteitscontrole bij tijdschriften – Tijdschriften moeten hun werk beter doen door systematisch fouten en onderzoek van slechte kwaliteit tegen te houden. Er zijn, natuurlijk, wetenschappelijke tijdschriften van topkwaliteit die hierbij in het algemeen uitstekend werk verrichten, ook al slippen slechte studies soms door de mazen van het net. Het probleem is echter dat de meeste tijdschriften middelmatig en vele verschrikkelijk zijn. De tijdschriften zelf moeten beter worden gescreend en alleen degenen die een significant hoge graad van kwaliteit bereiken, moeten worden toegelaten tot de officiële peer-reviewed literatuur. We moeten de achterdeur sluiten voor slecht onderzoek dat via slechte tijdschriften binnenkomt.

Om peer-review en redactioneel-review te verbeteren, zou het een vereiste moeten zijn dat onderzoekers hun ruwe cijfermateriaal ook aanleveren wanneer ze een artikel aanbieden.

Publiceer replicaties en onderzoek met negatieve resultaten – Tijdschriften moeten ruimte maken voor publicatie van studies met negatieve resultaten en exacte replicaties. Op een bepaalde manier is het nogal egoïstisch van tijdschriften met een grote impact, om nieuw en opwindend onderzoek af te romen en niet hun eerlijke deel van het publiceren van replicaties en negatieve resultaten op zich te nemen. Dit leidt tot perverse prikkels, waardoor misschien het meest waardevolle onderzoek wordt verwaarloosd. Voor online tijdschriften is ruimte geen probleem en dus ook geen valide excuus. Voor gedrukte tijdschriften geldt dat ze secties zouden moeten reserveren voor de genoemde soort studies en zij kunnen ook online aanvullingen publiceren met alle replicaties en negatieve studies die ze maar willen. Als die maar van hoge kwaliteit zijn.

Registreer alle onderzoeken – Je kunt geen onderzoek met negatieve resultaten verstoppen als je het vooraf moet registreren. In sommige landen is registratie al verplicht als het gaat om onderzoek waar mensen bij betrokken zijn, maar andere onderzoeksgebieden kunnen ook profiteren van registratie van onderzoek.

Volledige openheid van zaken – Dit is al grotendeels het geval, maar ik vermeld het volledigheidshalve – onderzoekers moeten volledige openheid geven over mogelijke belangenverstrengeling als ze een artikel indienen of presenteren.

De media – Wetenschapsjournalisten en andere publieksvoorlichters zouden het publiek moeten inlichten over het rommelige karakter van wetenschap, en wat er allemaal nodig is om een betrouwbare conclusie te bereiken. Het publiceren van voorlopige onderzoeksresultaten met sensationele krantenkoppen, doet de publieke opinie over wetenschap geen goed.

Pleiten voor verbeteringen in de wetenschappelijke instituties en publieke voorlichting over de methoden die in de wetenschap worden gebruikt, is een van de kerntaken voor de skeptische gemeenschap. De gegevens zijn er; we kennen de problemen en de oplossingen. We hoeven alleen maar druk uit te oefenen om te verbeteringen wat misschien wel het meest belangrijke menselijke instituut is – wetenschap.

Steven Novella, arts, is Senior Fellow bij de JREF en directeur van JREF’s Science-Based Medicine project.

 

Dit is een vertaald artikel. Het oorspronkelijke artikel is te vinden op de website van de JREF.

Niets nieuws onder de ZonMw

by 69 Comments

ZonMw-rapport-coverEen recente publicatie van onderzoeksorganisatie ZonMw heeft nogal wat opschudding veroorzaakt. Veel nieuwsmedia besteedden er aandacht aan. Het nieuwe rapport zou ervoor pleiten dat artsen vaker alternatieve behandelingen gaan toepassen. Acupunctuur, chiropraxie, voedingssupplementen bij veroudering en muziektherapie zouden bewezen effectief zijn. Zelfs de homeopathie zou nog een kans moeten krijgen. Wie echter het Signalement Ontwikkeling en implementatie van evidence-based complementaire zorg leest, vindt vrijwel niets van die vermeende conclusies terug. Eén van de betrokken auteurs laat zich kennelijk volledig buiten het rapport om nogal enthousiast uit in de media.

Het ZonMW-signalement is geschreven door Wendy Reijmerink, die blijkens haar CV ook werkzaam is aan de Haagse Hogeschool en andragologie, sociologie en strategisch management studeerde. Ook betrokken bij de totstandkoming van het rapport waren Martine Busch, Gonny ten Haaft, Hans Jeekel en Hans Kerkkamp. Busch is van huis uit pedagoge, inmiddels directeur van het Van Praag Instituut voor integrative medicine en complementaire zorg en onder meer bekend vanwege haar geloof in Therapeutic Touch. Ten Haaft is freelance journalist, gespecialiseerd in de zorg. Jeekel is emeritus hoogleraar chirurgie en Kerkkamp is onder meer lid van de raad van bestuur van het Atrium MC Parkstad. Ook in 2011 publiceerde ZonMw een rapport over ‘complementaire zorg’. Dat werd destijds met de grond gelijk gemaakt door Van Dam, Renckens en Vermeulen van de Vereniging tegen de Kwakzalverij. De Vereniging kende ZonMw in 2006 al eens de Meester Kackadorisprijs toe vanwege het bevorderen van de kwakzalverij. Dat zegt natuurlijk niet alles, maar het geeft wel aan dat een kritische blik gewenst is bij het doorlezen van het nieuwe Signalement.

ZonMw lag al eerder stevig in de clinch met de Vereniging tegen de Kwakzalverij.
ZonMw lag al eerder stevig in de clinch met de Vereniging tegen de Kwakzalverij.

Een in meerdere opzichten dun rapport

Op het eerste gezicht heeft ZonMw met ‘Ontwikkeling en implementatie van evidence-based complementaire zorg’ een kloek rapport afgeleverd. Het telt maar liefst 124 pagina’s. Schijn bedriegt echter: bijna honderd pagina’s worden ingenomen door een presentatie van de Amerikaanse voorvechter van integrative medicine Wayne Jonas, directeur van het Samueli Institute. Men was kennelijk dusdanig onder de indruk van zijn betoog dat de presentatie integraal opgenomen moest worden. Een ellenlange presentatie zonder bijbehorend verhaal is echter nutteloos en niet meer dan vervelende reclame. Van de overige pagina’s worden er nog vier ingenomen door een verslagje van een op 31 mei 2013 gehouden conferentie over complementaire zorg. Jonas mocht hier een voordracht houden. “Zoals verwacht bleek Jonas een belangrijke bron van inspiratie, kennis én potentiële samenwerking, en bepaalde hij zo mede het succes van de meeting”, zo kunnen we lezen. Overigens waren er maar 20 deelnemers aan de bijeenkomst, en 11 afzeggingen.

Het eigenlijke rapport beslaat, exclusief inhoudsopgave en managementsamenvatting, een schamele 13 pagina’s. Wat lezen we daar? Op het eerste gezicht hele verstandige dingen. Zo meldt ZonMw ten aanzien van het vergaren van kennis over complementaire zorg:

“Dit kan kennis zijn die het gebruik van zinvolle complementaire interventies stimuleert, maar ook kennis die het gebruik van onveilige en onwerkzame interventies ontraadt. Ook complementaire zorg kan immers bijwerkingen hebben, in interactie met andere zorgvormen tot ongewenste effecten leiden zoals verminderde werking van reguliere interventies, of onwerkzaam zijn. Daarnaast is bekend dat zieke mensen soms een reguliere behandeling uitstellen of staken omdat zij een complementaire interventie gebruiken. Helaas wordt nog te weinig onderkend dat dit grote risico’s met zich kan brengen. Het is het standpunt van ZonMw dat complementaire interventies alleen mogen worden ingezet als er wetenschappelijk bewijs is voor effectiviteit en veiligheid.”

Tot zover niets dan lof. Het valt op dat in het rapport in het geheel niet gesproken wordt van ‘alternatieve geneeskunde’. In plaats daarvan wordt dus de term ‘complementaire zorg’ gebruikt. Dat is blijkens het rapport wel een heel ruim begrip en omvat veel behandelingen die moeilijk nog onder ‘geneeskunde’ te brengen zijn, terwijl van sommige (bijvoorbeeld ontspanningsoefeningen of voedingsadviezen) ook moeilijk kan worden gezegd dat ze alternatief zijn. Natuurlijk wordt in het rapport gesproken van voedingssupplementen, acupunctuur en chiropraxie, maar ook van yoga, meditatie, muziektherapie, gezonde voeding, tai chi en zelfs van ‘mededogen’ (p. 14). De term CAM (complementary and alternative medicine) heeft wat ZonMw betreft ook enigszins afgedaan: tegenwoordig wordt steeds vaker gesproken van CIM: complementary and integrative medicine. Je zou wellicht ook aan de term CUM kunnen denken: clinically unproven medicine.

Het rapport is doorspekt met beweringen als “steeds meer studies naar CIM”, “groeiend gebruik van complementaire zorg”, “groeiend bewijs voor positieve effecten van complementaire zorg bij vrouwen met borstkanker” en “steeds meer complementaire zorginitiatieven”. Dit wordt echter vrijwel nergens met concrete cijfers en harde data onderbouwd. Ronduit teleurstellend is de eenzijdigheid in de berichtgeving. Zo noemt ZonMw wat studies waaruit zou blijken dat veel Nederlanders gebruik maken van complementaire zorg. Maar de meest recente CBS-cijfers, waaruit blijkt dat het om ongeveer 6% gaat, worden buiten beschouwing gelaten. Uit die cijfers kan ook moeilijk worden afgeleid dat er sprake is van een groeiende vraag. ZonMw is zeer onder de indruk van de integratieve aanpak die zij in de Verenigde Staten heeft aangetroffen. Naast de al genoemde Wayne Jonas noemt zij Jon Kabat-Zinn en Ted Kaptchuk. Dat is prima, maar dat deze ‘belangrijke inspiratoren’ in eigen land ook behoorlijk wat tegengas krijgen, mag niet onvermeld blijven. Wayne Jonas is bijvoorbeeld auteur van het boek ‘Healing with Homeopathy‘ en wordt regelmatig bekritiseerd op het Science-Based Medicine blog (zie over hem hier en vooral hier). Ook het onderzoek van Kaptchuk, een ex-acupuncturist, wordt geregeld op de korrel genomen (zie hier en recentelijk nog hier). Dit hoeft natuurlijk niet te betekenen dat hun onderzoek waardeloos is, maar van ZonMw mogen we wel evenwichtige berichtgeving verwachten.

ZonMw maakt ook melding van het National Center for Complementary and Alternative Medicine (NCCAM), een Amerikaanse overheidsinstelling die zij omschrijft als ‘een belangrijk overheidsvehikel voor het genereren van evidence-based antwoorden’. Wat die antwoorden zijn blijft onvermeld, en dat is ten onrechte. Jan Willem Nienhuys schreef in 2009 al hoe het NCCAM samen met het Office of Cancer Complementary and Alternative Medicine (OCCAM) 2,5 miljard dollar heeft besteed aan zo’n 2000 onderzoeken naar CAM (of CIM). Het resultaat was dat van geen enkele potentiële geneeswijze het nut werd aangetoond. De Amerikaanse arts Paul Offit geeft in zijn laatste boek ‘Do You Believe in Magic?’ een eindeloze lijst van onderzoeken door het NCCAM waar helemaal niets uit is gekomen, zoals een 1,8 miljoen dollar kostend onderzoek waaruit bleek dat bidden niet helpt bij AIDS of hersentumoren. Steven Novella roept op er maar helemaal mee te stoppen en geen belastinggeld meer te verspillen. ZonMw lijkt hier in het geheel niet bekend mee te zijn. Zouden ze daar wel internet hebben?

Geen bewijs van effectiviteit

Natuurlijk is het ondoenlijk om in slechts 13 pagina’s ten aanzien van alle vormen van complementaire zorg na te gaan of deze effectief zijn. Dat gebeurt dan ook niet. Met betrekking tot de effectiviteit van bepaalde complementaire zorg wordt eigenlijk alleen maar opgemerkt:

“Op het gebied van acupunctuur zijn inmiddels vele studies uitgevoerd, en deze lijken zowel de effectiviteit als veiligheid ervan te bevestigen. In Duitsland heeft dit geleid tot medische erkenning van acupunctuur door de Duitse KNMG. Recent heeft de Senaat van de Verenigde Staten een resolutie over natuurgeneeskunde geaccepteerd. Deze resolutie erkent de waarde van natuurgeneeskunde als een methode die veilig, effectief en betaalbaar is. Aan Amerikanen wordt aanbevolen zich op de hoogte te stellen van het werk van natuurgeneeskundigen, vooral bij de behandeling van chronische aandoeningen.”

Ac_chart_300px
ZonMw is erg positief over acupunctuur, maar iedere onderbouwing met deugdelijk wetenschappelijk onderzoek ontbreekt.

Dit is om meerdere redenen een zeer dubieuze passage in het rapport. Allereerst wordt ten aanzien van acupunctuur helemaal niet aangegeven bij welke aandoeningen zij effectief zou zijn. Hartritmestoornissen, ADHD, mazelen, liefdesverdriet? Of toch gewoon alleen een heel klein beetje effectief bij die ene aandoening met een sterk subjectief element: pijn? Erger is dat ZonMw het laat bij de constatering dat er vele studies zijn die de effectiviteit van acupunctuur lijken te bevestigen (dus niet: bevestigen). Die studies worden nergens genoemd. Er is inmiddels zeer veel onderzoek gedaan naar acupunctuur en het lijkt er toch sterk op dat we de conclusie moeten trekken dat het een placebobehandeling is. Rob Nanninga publiceerde in 2008 al een uitgebreid artikel in Skepter waarin werd geconcludeerd dat veel onderzoek aantoonde dat acupunctuur niet beter werkte dan een overtuigende placebobehandeling. Recentelijk trok Jan Willem Nienhuys op basis van onderzoek sinds 2009 dezelfde conclusie. Echte acupunctuur doet het soms wat beter, maar niet statistisch significant beter. De gevonden kleine verschillen kunnen worden toegeschreven aan factoren als het feit dat perfect dubbelblind onderzoek nu eenmaal niet mogelijk is: de behandelaar weet per definitie dat hij zijn naald ‘verkeerd’ prikt en kan dat onbewust overdragen op de patiënt. Voor een humoristische bespreking van recent (overwegend waardeloos) acupunctuuronderzoek leze men dit artikel van Mark Crislip.

De verwijzing naar de resolutie van de Amerikaanse Senaat over natuurgeneeskunde is bizar. Alsof in die politieke arena wetenschap wordt bedreven en alle daar aanwezigen verstand hebben van geneeskunde. Wetenschappelijk bezien zegt zo’n politiek besluit even weinig als de al even merkwaardige resolutie van de Parlementaire Assemblee van de Raad van Europa over de mogelijke gevaren van blootstelling aan elektromagnetische straling. De beslissing van de Amerikaanse Senaat om de waarde van natuurgeneeskunde te erkennen heeft bovendien geen enkel concreet gevolg. Het is geen wet, er wordt geen extra geld uitgetrokken en voorlopig krijgt niemand een presidentiële onderscheiding. Natuurgeneeskunde in de Verenigde Staten is een allegaartje van TCM, acupunctuur, vitamine-injecties, homeopathie en energetische therapieën. In de natuurgeneeskunde spelen ook allerhande kruiden een belangrijke rol. Die zijn, los van eventuele therapeutische effectiviteit, zeker niet per definitie ‘safe’, zoals ZonMw zelf elders in haar rapport (op gezag van Jonas) ook schrijft (‘Not likely to be safe’; p. 23, voetnoot 34).

Wat er niet staat

Maar waar staat nu in het Signalement dat artsen vaker alternatieve geneeskunde moeten benutten? En waar dat voedingssupplementen, chiropraxie en muziektherapie bewezen effectief zijn? Het antwoord: het staat eigenlijk nergens. Er staat wel (p. 9) dat “‘natuurlijke producten’ als vitaminepreparaten en voedingssupplementen, mind-body benaderingen als muziektherapie, meditatie, acupunctuur en yoga, en manipulatieve en lichaamsgerichte technieken als chiropraxie en massage” voorbeelden zijn van “niet- of minimaal invasieve interventies, waarvan de fysiologische mechanismen (nog) niet altijd duidelijk zijn”. Dat deze behandelwijzen bewezen zijn, wordt dus niet met zoveel woorden gesteld, laat staan dat het bewijs geleverd wordt. Het kan dus ook zijn dat er überhaupt geen fysiologisch mechanisme is. Homeopathie wordt pas in bijlagen voor het eerst genoemd, tenzij we de tamelijk beschamende verwijzing naar ‘allopatische [sic] geneeskunde’ op p. 12 meerekenen. Toch werden daarover in de media de opvallendste uitspraken gedaan, en wel door Hans Jeekel (1941), de emeritus hoogleraar chirurgie die aan het Signalement meewerkte. In Trouw konden we lezen:

“Tegenstanders van alternatieve geneeskunde zeggen vaak dat van veel alternatieve zorg allang bewezen is dat het niet werkt. Zo is er bijvoorbeeld geen bewijs voor het homeopatisch principe van verdunning van giftige stoffen. “Dat zou best kunnen, maar zolang er nog geen goed onderzoek ligt dat dit bewijst, zou ik de homeopathie nog een kans geven”, zegt Jeekel.”

Hoeveel kansen gaan we de homeopathie nog geven voordat we concluderen dat het nu echt mooi geweest is?
Hoeveel kansen gaan we de homeopathie nog geven voordat we concluderen dat het nu echt mooi geweest is?

Tegenstanders van homeopathie moeten dus bewijzen dat homeopathie níet werkt. Dat is niet alleen het omkeren van de bewijslast, het is ook het sluiten van de ogen voor het feit dat ondanks tientallen goede onderzoeken en meta-analyses na 200 jaar nog steeds geen snipper overtuigend bewijs is geleverd voor de werking van welk homeopathisch middel dan ook. De conclusie “we found insufficient evidence from these studies that homeopathy is clearly efficacious for any single clinical condition” stond overigens ook al eens in een Lancet-artikel uit 1997 van onder andere…. Wayne Jonas. Op de dag dat het ZonMw-rapport verscheen schreef Steven Novella toevallig over het zoveelste rapport dat – in dit geval – stelt dat “the available evidence is not compelling and fails to demonstrate that homeopathy is an effective treatment for any of the reported clinical conditions in humans”. Zie over dit rapport ook de blog van Edzard Ernst. Diezelfde Ernst besprak recentelijk een boek (uit 2008) van Anthony Campbell. De homeopathisch arts en acupuncturist Campbell was meer dan 20 jaar verbonden aan een homeopathisch ziekenhuis en werkte jaren als redacteur van Homeopathy (het tijdschrift dat Ernst ontsloeg). Inmiddels is hij sceptisch over zijn voormalige vakgebied: “At its best there is evidence for only a small effect, and when an effect is as small as this it may not be there at all.”

Zelfs de kapiteins lijken het zinkende schip te verlaten, maar Hans Jeekel wil de homeopathie nog een kans geven. In dat geval moeten zo’n kans ook gunnen aan de skeptopathie. Zoals iedereen weet, is de skeptopathie een op eeuwenoude principes gebaseerde, holistische mind-body behandeling die uitgaat van het zelfhelend vermogen van de patiënt. Gezonde personen worden geacht hun negatieve gedachten met betrekking tot de genezingskansen van patiënten te projecteren op flesjes water en suikerpilletjes (“Jij werkt niet tegen verkoudheid! Jij werkt niet tegen mazelen!”), waarna deze met gepaste agressie geschudde geneesmiddelen kunnen worden toegediend bij zieke personen en bij hen positieve effecten teweeg brengen. Er is geen bewijs voor de werking van de skeptopathie, maar tevens heeft niemand ooit bewezen dat het niet werkt.

Jeekel stelt ook voor bewezen effectieve complementaire zorg te vergoeden via de zorgverzekering en meent dat het om relatief goedkope zorg gaat. Dat is blijkbaar zijn eigen mening, want ook dit valt niet uit het rapport af te leiden. Over de vermeende kostenbesparingen met CAM of CIM heeft Pepijn van Erp al eerder geschreven. Bij goedkoop denkt men trouwens niet direct aan chiropractors, waar vaak dure, nutteloze en niet ongevaarlijke röntgenfoto’s worden gemaakt. Dat Jeekel het licht heeft gezien blijkt wel uit zijn uitspraak in de Volkskrant “bij mij kwam het inzicht na mijn pensioen als arts, ik hoop bij de jongere collega’s eerder”. Maar eerlijk is eerlijk, hij stelt ook dat de meeste alternatieve geneeskunde de wetenschappelijke toets niet zal doorstaan. Een blanco cheque zit er voor de CAM-beoefenaars dus niet in.

Tot besluit

Het Signalement Ontwikkeling en implementatie van evidence-based complementaire zorg is in alle opzichten een dun rapport. Het voornaamste doel is eigenlijk te komen tot een nieuw onderzoeksprogramma voor complementaire zorg, omdat ZonMw concludeert dat deze zorg nog te vaak ongestructureerd en zonder duidelijk bewijs wordt toegepast. Er valt eigenlijk nergens te lezen dat artsen veel vaker CAM/CIM zouden moeten toepassen, laat staan dat in de 13 pagina’s wordt aangetoond dat vele vormen van complementaire zorg bewezen effectief zijn. Directeur van ZonMw, Henk Smid, was op Skipr veel genuanceerder:

“Het misverstand dat soms ontstaat is dat het uitbrengen van een signalement gelijk zou staan aan het pleit bezorgen voor complementaire zorg. Dat kan gezien de missie van ZonMw natuurlijk niet het geval zijn.”

Zie ook de reactie van ZonMw op de aandacht die het Signalement heeft opgeroepen. Toch melden pro-alternatieve sites als het IOCOB triomfantelijk dat ZonMw zou schrijven dat artsen “veel vaker behandelingen als acupunctuur en ontspanningstherapieën onderdeel [moeten] laten uitmaken van hun werk”. Dat dit niet in het rapport staat en voornamelijk gebaseerd lijkt te zijn op een bekeerde Hans Jeekel, lijkt hen niet te deren. Ondertussen gaat een stuurgroep de komende anderhalf jaar onderzoek doen naar de voorwaarden die nodig zijn voor een verantwoorde inbedding van de complementaire zorg in Nederland. De groep staat onder leiding van de bedrijfseconoom Ruud Hopstaken. Daarnaast hebben Busch, Jeekel en Kerkkamp zitting in de stuurgroep, vreemd genoeg allemaal ‘op persoonlijke titel’. Over anderhalf jaar zullen we wel weer verder zien. Tot nu toe kan de conclusie eigenlijk alleen maar zijn: niets nieuws onder de ZonMw.

Verder lezen, luisteren en kijken: