Dit interessante stuk in de Columbia Journalism Review geeft een inkijkje in de merkwaardige wereld van de journalistiek in Japan. Het artikel beschrijft de mislukking van de onderzoeksjournalistiek bij een belangrijke nationale krant, de Asahi Shimbun. Aanvankelijk lijkt de onderzoeksjournalistiek van de krant een groot succes: Asahi Shimbun heeft indrukwekkende ‘scoops’ (onder andere over Fukushima) en krijgt hiervoor de ene na de andere prijs. Maar de krant stelt de Japanse cultuur van kameraadschappelijke omgang tussen de overheid en de vrije pers te zwaar op de proef. De onderzoeksjournalisten van Asahi Shimbun mogen dan wel prijzen in ontvangst nemen, het management en de andere reporters van de krant krijgen te maken met forse tegenwerking – en dat stellen ze niet op prijs. De onderzoeksjournalistiek werd ten grave gedragen. Een onderzoekscommissie die de krant had ingesteld concludeert dat de onderzoeksjournalisten te fanatiek waren geweest bij het volgen van autoriteiten. De commissie vindt dat de journalisten zich schuldig hadden gemaakt aan ‘an excessive sense of mission that they ‘must monitor authority.’
verkeerde berichtgeving
Kiezen de Amerikanen vandaag een samenzweringstheoreticus?
Donald Trump is geen samenzweringsdenker, wel een kampioen desinformatie. Dat betoogt ‘Bloomberg Businessweek’.
Echte samenzweringsdenkers kenmerken zich doordat ze allerlei feiten verzamelen die hun idee ondersteunen. Feiten die niet passen in hun kijk op de wereld negeren ze of ze bedenken uitvoerige verklaringen waarom die feiten niet juist kunnen zijn. Samenzweringstheorieën bouwen is dus een intensieve en tijdrovende bezigheid: veel onderzoek en voetnoten. Aldus Bloomberg Businessweek: ‘Fired up by a sense that they are exposing hidden truths about a secretive government, conspiracy theorists contribute significant amounts of work, thought, and even expertise to the cause, and the results have the complexity and heft of scholarship. (Conspiracy theorists love footnotes.) Among the proponents of the idea that the American moon landing was a hoax, Melley points out, were engineers and scientists who scrutinized the way shadows in official photographs did and didn’t line up’.
Donald Trump houdt zich echter vooral bezig met het verspreiden van onjuiste informatie, ofwel desinformatie. De Nederlandse Wikipedia geeft een goede definitie van desinformatie: ‘Desinformatie is voorafgaand aan of na afloop van een nieuwsfeit of gebeurtenis opzettelijk misleidende informatie verspreiden. Deze wordt publiekelijk bekendgemaakt of uitgelekt door een overheid, onderneming of andere entiteit om te voorkomen dat een doelgroep juiste conclusies kan trekken of correcte meningen kan vormen. Desinformatie wordt geproduceerd door mensen die doelbewust hun publiek willen bedriegen, zodat die iets anders gaan geloven dan de waarheid. Ze is psychologisch gezien dermate krachtig, dat wanneer desinformatie succesvol verspreid wordt, ze door het publiek geaccepteerd wordt als feit’.
Verder hanteert Trump de techniek van de toespeling, in het Amerikaans ‘inuendo’. Door suggestieve vragen zet hij zijn gehoor op het verkeerde been. Volgens Bloomberg Businessweek is Donald Trump een non-stop geruchtenmachine: “Trump is just saying shit,” said Mark Fenster, a University of Florida law professor and author of Conspiracy Theories: Secrecy and Power in American Culture. Rather than investigating suspicious circumstances or trying to fill in the gaps in the official account, Trump just tweets out suggestive, pregnant questions—citing “extremely credible” sources or just “many people”—and leaves them to smolder. “It’s not really like he’s elaborately investigating some of these things and trying to develop a reasoned case for them,” Melley said. “It’s just kind of rumor-mongering. He’s just pushing rumors out there, and he’s weaponizing them.”
Donald Trump is dus niet een samenzweringstheoreticus. Hij verspreidt propaganda. Dat is de conclusie van Bloomberg Businessweek. Wel handig om te weten als hij morgen de nieuwe president van de VS blijkt te zijn.
Niets nieuws onder de ZonMw
Een recente publicatie van onderzoeksorganisatie ZonMw heeft nogal wat opschudding veroorzaakt. Veel nieuwsmedia besteedden er aandacht aan. Het nieuwe rapport zou ervoor pleiten dat artsen vaker alternatieve behandelingen gaan toepassen. Acupunctuur, chiropraxie, voedingssupplementen bij veroudering en muziektherapie zouden bewezen effectief zijn. Zelfs de homeopathie zou nog een kans moeten krijgen. Wie echter het Signalement Ontwikkeling en implementatie van evidence-based complementaire zorg leest, vindt vrijwel niets van die vermeende conclusies terug. Eén van de betrokken auteurs laat zich kennelijk volledig buiten het rapport om nogal enthousiast uit in de media.
Het ZonMW-signalement is geschreven door Wendy Reijmerink, die blijkens haar CV ook werkzaam is aan de Haagse Hogeschool en andragologie, sociologie en strategisch management studeerde. Ook betrokken bij de totstandkoming van het rapport waren Martine Busch, Gonny ten Haaft, Hans Jeekel en Hans Kerkkamp. Busch is van huis uit pedagoge, inmiddels directeur van het Van Praag Instituut voor integrative medicine en complementaire zorg en onder meer bekend vanwege haar geloof in Therapeutic Touch. Ten Haaft is freelance journalist, gespecialiseerd in de zorg. Jeekel is emeritus hoogleraar chirurgie en Kerkkamp is onder meer lid van de raad van bestuur van het Atrium MC Parkstad. Ook in 2011 publiceerde ZonMw een rapport over ‘complementaire zorg’. Dat werd destijds met de grond gelijk gemaakt door Van Dam, Renckens en Vermeulen van de Vereniging tegen de Kwakzalverij. De Vereniging kende ZonMw in 2006 al eens de Meester Kackadorisprijs toe vanwege het bevorderen van de kwakzalverij. Dat zegt natuurlijk niet alles, maar het geeft wel aan dat een kritische blik gewenst is bij het doorlezen van het nieuwe Signalement.
Een in meerdere opzichten dun rapport
Op het eerste gezicht heeft ZonMw met ‘Ontwikkeling en implementatie van evidence-based complementaire zorg’ een kloek rapport afgeleverd. Het telt maar liefst 124 pagina’s. Schijn bedriegt echter: bijna honderd pagina’s worden ingenomen door een presentatie van de Amerikaanse voorvechter van integrative medicine Wayne Jonas, directeur van het Samueli Institute. Men was kennelijk dusdanig onder de indruk van zijn betoog dat de presentatie integraal opgenomen moest worden. Een ellenlange presentatie zonder bijbehorend verhaal is echter nutteloos en niet meer dan vervelende reclame. Van de overige pagina’s worden er nog vier ingenomen door een verslagje van een op 31 mei 2013 gehouden conferentie over complementaire zorg. Jonas mocht hier een voordracht houden. “Zoals verwacht bleek Jonas een belangrijke bron van inspiratie, kennis én potentiële samenwerking, en bepaalde hij zo mede het succes van de meeting”, zo kunnen we lezen. Overigens waren er maar 20 deelnemers aan de bijeenkomst, en 11 afzeggingen.
Het eigenlijke rapport beslaat, exclusief inhoudsopgave en managementsamenvatting, een schamele 13 pagina’s. Wat lezen we daar? Op het eerste gezicht hele verstandige dingen. Zo meldt ZonMw ten aanzien van het vergaren van kennis over complementaire zorg:
“Dit kan kennis zijn die het gebruik van zinvolle complementaire interventies stimuleert, maar ook kennis die het gebruik van onveilige en onwerkzame interventies ontraadt. Ook complementaire zorg kan immers bijwerkingen hebben, in interactie met andere zorgvormen tot ongewenste effecten leiden zoals verminderde werking van reguliere interventies, of onwerkzaam zijn. Daarnaast is bekend dat zieke mensen soms een reguliere behandeling uitstellen of staken omdat zij een complementaire interventie gebruiken. Helaas wordt nog te weinig onderkend dat dit grote risico’s met zich kan brengen. Het is het standpunt van ZonMw dat complementaire interventies alleen mogen worden ingezet als er wetenschappelijk bewijs is voor effectiviteit en veiligheid.”
Tot zover niets dan lof. Het valt op dat in het rapport in het geheel niet gesproken wordt van ‘alternatieve geneeskunde’. In plaats daarvan wordt dus de term ‘complementaire zorg’ gebruikt. Dat is blijkens het rapport wel een heel ruim begrip en omvat veel behandelingen die moeilijk nog onder ‘geneeskunde’ te brengen zijn, terwijl van sommige (bijvoorbeeld ontspanningsoefeningen of voedingsadviezen) ook moeilijk kan worden gezegd dat ze alternatief zijn. Natuurlijk wordt in het rapport gesproken van voedingssupplementen, acupunctuur en chiropraxie, maar ook van yoga, meditatie, muziektherapie, gezonde voeding, tai chi en zelfs van ‘mededogen’ (p. 14). De term CAM (complementary and alternative medicine) heeft wat ZonMw betreft ook enigszins afgedaan: tegenwoordig wordt steeds vaker gesproken van CIM: complementary and integrative medicine. Je zou wellicht ook aan de term CUM kunnen denken: clinically unproven medicine.
Het rapport is doorspekt met beweringen als “steeds meer studies naar CIM”, “groeiend gebruik van complementaire zorg”, “groeiend bewijs voor positieve effecten van complementaire zorg bij vrouwen met borstkanker” en “steeds meer complementaire zorginitiatieven”. Dit wordt echter vrijwel nergens met concrete cijfers en harde data onderbouwd. Ronduit teleurstellend is de eenzijdigheid in de berichtgeving. Zo noemt ZonMw wat studies waaruit zou blijken dat veel Nederlanders gebruik maken van complementaire zorg. Maar de meest recente CBS-cijfers, waaruit blijkt dat het om ongeveer 6% gaat, worden buiten beschouwing gelaten. Uit die cijfers kan ook moeilijk worden afgeleid dat er sprake is van een groeiende vraag. ZonMw is zeer onder de indruk van de integratieve aanpak die zij in de Verenigde Staten heeft aangetroffen. Naast de al genoemde Wayne Jonas noemt zij Jon Kabat-Zinn en Ted Kaptchuk. Dat is prima, maar dat deze ‘belangrijke inspiratoren’ in eigen land ook behoorlijk wat tegengas krijgen, mag niet onvermeld blijven. Wayne Jonas is bijvoorbeeld auteur van het boek ‘Healing with Homeopathy‘ en wordt regelmatig bekritiseerd op het Science-Based Medicine blog (zie over hem hier en vooral hier). Ook het onderzoek van Kaptchuk, een ex-acupuncturist, wordt geregeld op de korrel genomen (zie hier en recentelijk nog hier). Dit hoeft natuurlijk niet te betekenen dat hun onderzoek waardeloos is, maar van ZonMw mogen we wel evenwichtige berichtgeving verwachten.
ZonMw maakt ook melding van het National Center for Complementary and Alternative Medicine (NCCAM), een Amerikaanse overheidsinstelling die zij omschrijft als ‘een belangrijk overheidsvehikel voor het genereren van evidence-based antwoorden’. Wat die antwoorden zijn blijft onvermeld, en dat is ten onrechte. Jan Willem Nienhuys schreef in 2009 al hoe het NCCAM samen met het Office of Cancer Complementary and Alternative Medicine (OCCAM) 2,5 miljard dollar heeft besteed aan zo’n 2000 onderzoeken naar CAM (of CIM). Het resultaat was dat van geen enkele potentiële geneeswijze het nut werd aangetoond. De Amerikaanse arts Paul Offit geeft in zijn laatste boek ‘Do You Believe in Magic?’ een eindeloze lijst van onderzoeken door het NCCAM waar helemaal niets uit is gekomen, zoals een 1,8 miljoen dollar kostend onderzoek waaruit bleek dat bidden niet helpt bij AIDS of hersentumoren. Steven Novella roept op er maar helemaal mee te stoppen en geen belastinggeld meer te verspillen. ZonMw lijkt hier in het geheel niet bekend mee te zijn. Zouden ze daar wel internet hebben?
Geen bewijs van effectiviteit
Natuurlijk is het ondoenlijk om in slechts 13 pagina’s ten aanzien van alle vormen van complementaire zorg na te gaan of deze effectief zijn. Dat gebeurt dan ook niet. Met betrekking tot de effectiviteit van bepaalde complementaire zorg wordt eigenlijk alleen maar opgemerkt:
“Op het gebied van acupunctuur zijn inmiddels vele studies uitgevoerd, en deze lijken zowel de effectiviteit als veiligheid ervan te bevestigen. In Duitsland heeft dit geleid tot medische erkenning van acupunctuur door de Duitse KNMG. Recent heeft de Senaat van de Verenigde Staten een resolutie over natuurgeneeskunde geaccepteerd. Deze resolutie erkent de waarde van natuurgeneeskunde als een methode die veilig, effectief en betaalbaar is. Aan Amerikanen wordt aanbevolen zich op de hoogte te stellen van het werk van natuurgeneeskundigen, vooral bij de behandeling van chronische aandoeningen.”
Dit is om meerdere redenen een zeer dubieuze passage in het rapport. Allereerst wordt ten aanzien van acupunctuur helemaal niet aangegeven bij welke aandoeningen zij effectief zou zijn. Hartritmestoornissen, ADHD, mazelen, liefdesverdriet? Of toch gewoon alleen een heel klein beetje effectief bij die ene aandoening met een sterk subjectief element: pijn? Erger is dat ZonMw het laat bij de constatering dat er vele studies zijn die de effectiviteit van acupunctuur lijken te bevestigen (dus niet: bevestigen). Die studies worden nergens genoemd. Er is inmiddels zeer veel onderzoek gedaan naar acupunctuur en het lijkt er toch sterk op dat we de conclusie moeten trekken dat het een placebobehandeling is. Rob Nanninga publiceerde in 2008 al een uitgebreid artikel in Skepter waarin werd geconcludeerd dat veel onderzoek aantoonde dat acupunctuur niet beter werkte dan een overtuigende placebobehandeling. Recentelijk trok Jan Willem Nienhuys op basis van onderzoek sinds 2009 dezelfde conclusie. Echte acupunctuur doet het soms wat beter, maar niet statistisch significant beter. De gevonden kleine verschillen kunnen worden toegeschreven aan factoren als het feit dat perfect dubbelblind onderzoek nu eenmaal niet mogelijk is: de behandelaar weet per definitie dat hij zijn naald ‘verkeerd’ prikt en kan dat onbewust overdragen op de patiënt. Voor een humoristische bespreking van recent (overwegend waardeloos) acupunctuuronderzoek leze men dit artikel van Mark Crislip.
De verwijzing naar de resolutie van de Amerikaanse Senaat over natuurgeneeskunde is bizar. Alsof in die politieke arena wetenschap wordt bedreven en alle daar aanwezigen verstand hebben van geneeskunde. Wetenschappelijk bezien zegt zo’n politiek besluit even weinig als de al even merkwaardige resolutie van de Parlementaire Assemblee van de Raad van Europa over de mogelijke gevaren van blootstelling aan elektromagnetische straling. De beslissing van de Amerikaanse Senaat om de waarde van natuurgeneeskunde te erkennen heeft bovendien geen enkel concreet gevolg. Het is geen wet, er wordt geen extra geld uitgetrokken en voorlopig krijgt niemand een presidentiële onderscheiding. Natuurgeneeskunde in de Verenigde Staten is een allegaartje van TCM, acupunctuur, vitamine-injecties, homeopathie en energetische therapieën. In de natuurgeneeskunde spelen ook allerhande kruiden een belangrijke rol. Die zijn, los van eventuele therapeutische effectiviteit, zeker niet per definitie ‘safe’, zoals ZonMw zelf elders in haar rapport (op gezag van Jonas) ook schrijft (‘Not likely to be safe’; p. 23, voetnoot 34).
Wat er niet staat
Maar waar staat nu in het Signalement dat artsen vaker alternatieve geneeskunde moeten benutten? En waar dat voedingssupplementen, chiropraxie en muziektherapie bewezen effectief zijn? Het antwoord: het staat eigenlijk nergens. Er staat wel (p. 9) dat “‘natuurlijke producten’ als vitaminepreparaten en voedingssupplementen, mind-body benaderingen als muziektherapie, meditatie, acupunctuur en yoga, en manipulatieve en lichaamsgerichte technieken als chiropraxie en massage” voorbeelden zijn van “niet- of minimaal invasieve interventies, waarvan de fysiologische mechanismen (nog) niet altijd duidelijk zijn”. Dat deze behandelwijzen bewezen zijn, wordt dus niet met zoveel woorden gesteld, laat staan dat het bewijs geleverd wordt. Het kan dus ook zijn dat er überhaupt geen fysiologisch mechanisme is. Homeopathie wordt pas in bijlagen voor het eerst genoemd, tenzij we de tamelijk beschamende verwijzing naar ‘allopatische [sic] geneeskunde’ op p. 12 meerekenen. Toch werden daarover in de media de opvallendste uitspraken gedaan, en wel door Hans Jeekel (1941), de emeritus hoogleraar chirurgie die aan het Signalement meewerkte. In Trouw konden we lezen:
“Tegenstanders van alternatieve geneeskunde zeggen vaak dat van veel alternatieve zorg allang bewezen is dat het niet werkt. Zo is er bijvoorbeeld geen bewijs voor het homeopatisch principe van verdunning van giftige stoffen. “Dat zou best kunnen, maar zolang er nog geen goed onderzoek ligt dat dit bewijst, zou ik de homeopathie nog een kans geven”, zegt Jeekel.”
Tegenstanders van homeopathie moeten dus bewijzen dat homeopathie níet werkt. Dat is niet alleen het omkeren van de bewijslast, het is ook het sluiten van de ogen voor het feit dat ondanks tientallen goede onderzoeken en meta-analyses na 200 jaar nog steeds geen snipper overtuigend bewijs is geleverd voor de werking van welk homeopathisch middel dan ook. De conclusie “we found insufficient evidence from these studies that homeopathy is clearly efficacious for any single clinical condition” stond overigens ook al eens in een Lancet-artikel uit 1997 van onder andere…. Wayne Jonas. Op de dag dat het ZonMw-rapport verscheen schreef Steven Novella toevallig over het zoveelste rapport dat – in dit geval – stelt dat “the available evidence is not compelling and fails to demonstrate that homeopathy is an effective treatment for any of the reported clinical conditions in humans”. Zie over dit rapport ook de blog van Edzard Ernst. Diezelfde Ernst besprak recentelijk een boek (uit 2008) van Anthony Campbell. De homeopathisch arts en acupuncturist Campbell was meer dan 20 jaar verbonden aan een homeopathisch ziekenhuis en werkte jaren als redacteur van Homeopathy (het tijdschrift dat Ernst ontsloeg). Inmiddels is hij sceptisch over zijn voormalige vakgebied: “At its best there is evidence for only a small effect, and when an effect is as small as this it may not be there at all.”
Zelfs de kapiteins lijken het zinkende schip te verlaten, maar Hans Jeekel wil de homeopathie nog een kans geven. In dat geval moeten zo’n kans ook gunnen aan de skeptopathie. Zoals iedereen weet, is de skeptopathie een op eeuwenoude principes gebaseerde, holistische mind-body behandeling die uitgaat van het zelfhelend vermogen van de patiënt. Gezonde personen worden geacht hun negatieve gedachten met betrekking tot de genezingskansen van patiënten te projecteren op flesjes water en suikerpilletjes (“Jij werkt niet tegen verkoudheid! Jij werkt niet tegen mazelen!”), waarna deze met gepaste agressie geschudde geneesmiddelen kunnen worden toegediend bij zieke personen en bij hen positieve effecten teweeg brengen. Er is geen bewijs voor de werking van de skeptopathie, maar tevens heeft niemand ooit bewezen dat het niet werkt.
Jeekel stelt ook voor bewezen effectieve complementaire zorg te vergoeden via de zorgverzekering en meent dat het om relatief goedkope zorg gaat. Dat is blijkbaar zijn eigen mening, want ook dit valt niet uit het rapport af te leiden. Over de vermeende kostenbesparingen met CAM of CIM heeft Pepijn van Erp al eerder geschreven. Bij goedkoop denkt men trouwens niet direct aan chiropractors, waar vaak dure, nutteloze en niet ongevaarlijke röntgenfoto’s worden gemaakt. Dat Jeekel het licht heeft gezien blijkt wel uit zijn uitspraak in de Volkskrant “bij mij kwam het inzicht na mijn pensioen als arts, ik hoop bij de jongere collega’s eerder”. Maar eerlijk is eerlijk, hij stelt ook dat de meeste alternatieve geneeskunde de wetenschappelijke toets niet zal doorstaan. Een blanco cheque zit er voor de CAM-beoefenaars dus niet in.
Tot besluit
Het Signalement Ontwikkeling en implementatie van evidence-based complementaire zorg is in alle opzichten een dun rapport. Het voornaamste doel is eigenlijk te komen tot een nieuw onderzoeksprogramma voor complementaire zorg, omdat ZonMw concludeert dat deze zorg nog te vaak ongestructureerd en zonder duidelijk bewijs wordt toegepast. Er valt eigenlijk nergens te lezen dat artsen veel vaker CAM/CIM zouden moeten toepassen, laat staan dat in de 13 pagina’s wordt aangetoond dat vele vormen van complementaire zorg bewezen effectief zijn. Directeur van ZonMw, Henk Smid, was op Skipr veel genuanceerder:
“Het misverstand dat soms ontstaat is dat het uitbrengen van een signalement gelijk zou staan aan het pleit bezorgen voor complementaire zorg. Dat kan gezien de missie van ZonMw natuurlijk niet het geval zijn.”
Zie ook de reactie van ZonMw op de aandacht die het Signalement heeft opgeroepen. Toch melden pro-alternatieve sites als het IOCOB triomfantelijk dat ZonMw zou schrijven dat artsen “veel vaker behandelingen als acupunctuur en ontspanningstherapieën onderdeel [moeten] laten uitmaken van hun werk”. Dat dit niet in het rapport staat en voornamelijk gebaseerd lijkt te zijn op een bekeerde Hans Jeekel, lijkt hen niet te deren. Ondertussen gaat een stuurgroep de komende anderhalf jaar onderzoek doen naar de voorwaarden die nodig zijn voor een verantwoorde inbedding van de complementaire zorg in Nederland. De groep staat onder leiding van de bedrijfseconoom Ruud Hopstaken. Daarnaast hebben Busch, Jeekel en Kerkkamp zitting in de stuurgroep, vreemd genoeg allemaal ‘op persoonlijke titel’. Over anderhalf jaar zullen we wel weer verder zien. Tot nu toe kan de conclusie eigenlijk alleen maar zijn: niets nieuws onder de ZonMw.
Verder lezen, luisteren en kijken:
- Cees Renckens op Radio 1 (vanaf 22:50);
- Hans Jeekel, acupuncturist Harm Elsinga en Cees Renckens bij Een Vandaag;
- Artikel Vereniging tegen de Kwakzalverij over het ZonMw-rapport;
- ‘Acupunctuur en yoga horen thuis in de behandelkamer van de arts’ (Jeekel tegenover Aliëtte Jonkers in de Volkskrant).
Telefoonstraling ontregelt mieren (of was het de ventilator?)
Een experiment van de Université libre de Bruxelles (ULB) concludeert dat gsm-straling mieren ontregelt. Wat slecht is voor mieren, is ook slecht voor mensen denkt ULB-onderzoekster Marie-Claire Cammaerts. Luc Verschaeve van de Universiteit van Antwerpen is het niet eens met de conclusies van Cammaerts. De wetenschap staat aan zijn zijde.
De Belgische krant De Standaard berichtte op 12 juli 2012 onder een sappige kop ‘Experiment met gsm straling dodelijk voor mieren’ over een onderzoek van de Université libre de Bruxelles (ULB). Een diergedrag-expert van de ULB had vastgesteld dat telefoonstraling de reukzin van de mieren aantasten:
‘In hun experiment stelden onderzoekers mieren bloot aan gsm-stralen. Wanneer de mieren voedsel zochten, vonden ze de weg naar hun nest niet meer. Dat zou te wijten zijn aan een slechtere reukzin, aldus de onderzoekers. De mieren stierven uiteindelijk. Een tweede groep mieren, die niet aan de straling werd blootgesteld, gedroeg zich normaal. “Met de gsm bellen is dus gevaarlijk”, concludeert Cammaerts’.
Onderzoeker Luc Verschaeve is het hier niet mee eens:
‘Deze studie levert daarvoor helemaal geen bewijzen, zegt Luc Verschaeve, medewerker bij het Wetenschappelijk Instituut voor de Volksgezondheid. “Een studie over mieren zegt niets over mensen”. Verschaeve twijfelt ook aan het experiment van Cammaerts. Hij heeft de beschrijving van het experiment daarom door een ingenieur laten nakijken. Verschaeve: “Een van de opmerkingen die de ingenieur had, ging over de manier waarop de mieren aan de straling worden blootgesteld. Om de straling op te wekken, gebruik je een golvengenerator. Die is altijd gekoppeld aan een ventilator. De mieren zijn dus niet enkel blootgesteld aan straling, maar ook aan het lawaai van de ventilator en aan de wind. Ik zeg niet dat de mieren zich door het lawaai of de wind anders gedroegen. Maar het is niet uitgesloten”. Wat gsm-straling met insecten doet, hebben eerder ook andere onderzoekers proberen na te gaan, vertelt Verschaeve. ‘En zij vonden niets’.
Verschaeve wijst terecht op ‘publicatie-bias’: heel veel onderzoeken tonen aan dat gsm-straling niet schadelijk is. Die onderzoeken halen de pers niet. Maar een opvallend onderzoeksresultaat haalt de kranten juist wel. Zo kan makkelijk een vertekend beeld ontstaan over de werkelijke gevaren van telefoonstraling. Inderdaad werd het bericht van Cammaerts door allerlei media over de hele wereld opgepikt. Zie bijvoorbeeld dit bericht op een Spaanstalige nieuwssite of dit bericht van de Franstalige Belgische omroep RTL. En ook Nederlandse sites namen het bericht over, zoals b.v. grenswetenschap en nujij. En natuurlijk de Belgische krant De Standaard die alarm sloeg met ‘Experiment met gsm-straling dodelijk voor mieren’.
Zoals Pepijn van Erp op 24 februari 2012 schreef op Kloptdatwel, is er veel onderzoek gedaan naar mogelijke schade door telefoonstraling. Die vonden geen aanwijzingen voor een schadelijk effect van mobieltjes:
‘Op Skepdic.com staat een aardig overzichtsartikel dat gaat over de mogelijke risico’s van electromagnetic fields (EMF) en Dirk Koppenaal schreef er in Skepter een uitgebreid artikel over: “Bang voor GSM-straling“. Samenvattend: die veronderstelde risico’s moeten laag ingeschat worden, alleen al vanwege het feit dat de straling waar het hier om gaat niet voldoende energie levert om chemische verbindingen te verbreken’.
Gezien de merkwaardige en onverwachte uitkomst van het onderzoek van de Brusselse onderzoekster is er volgens mij alle reden om het mieren-experiment snel te herhalen. De skepticus kan thuis aan de slag nu de mieren actief zijn in iedere achtertuin (en in menige keuken een ongewenste gast zijn). Je kunt in deze omstandigheden zelf makkelijk onderzoeken wat effectiever is: een oude gsm of een mierenlokdoosje. Bij Kloptdatwel besteden we graag aandacht aan de resultaten van een goed opgezet onderzoek!
Met dank aan Agnes Tieben.
De pedoscan: valse zekerheid
Sinds enige tijd schrijft Victor Lamme, hoogleraar Cognitieve Neurowetenschap aan de Universiteit van Amsterdam, columns in de krant nrc.next. Op 16 maart publiceerde hij er een met de titel ‘De pedoscan‘. Die is gewijd aan het onderzoek van Jorge Ponseti waarin die bekijkt of je met hersenscans onderscheid kunt maken tussen pedofielen en ‘normale’ mensen. Opmerkelijke conclusie van dat onderzoek is dat dat vrij precies mogelijk lijkt te zijn. Ponseti ontwikkelde een test waarin proefpersonen werden blootgesteld aan plaatjes van naakte volwassenen en kinderen. En door te kijken hoe verschillend de scans eruit zien, kan met een hoop rekenwerk ‘bepaald’ worden of iemand pedofiel dan wel ‘normaal’ is. Maar dit soort rekenpartijen op basis van meetgegevens hebben toch altijd te maken met marges, fout-positieven en dat soort statistische kanttekeningen? Hoe zit het daar mee? Victor Lamme trekt in ieder geval niet de goede conclusies uit het gecijfer. Een 100 procent betrouwbare pedoscan ligt nog niet om de hoek.
Bij zo’n beetje elke test die twee uitslagen geeft, positief of negatief, heb je naast de correcte (positieve en negatieve) uitslagen ook fout-negatieve en fout-positieve uitslagen. Een fout-negatieve uitslag wil zeggen dat je test de eigenschap niet aanwijst, terwijl die er in werkelijkheid wel is. Een fout-positieve uitslag is net andersom: de eigenschap wordt ten onrechte aangetoond door de test.
Nu wil je graag dat een test zo weinig mogelijk fout-negatieve resultaten geeft, dat heb je een hoge sensitiviteit, maar ook zo weinig mogelijk fout-positieve, een hoge specificiteit. Meestal is het lastig om zowel de sensitiviteit als de specificiteit heel hoog te krijgen. Vooral in juridische aangelegenheden is een hoge specificiteit van belang, je wil immers niet mensen ten onrechte beschuldigen.
Hoe betrouwbaar is de ‘pedoscan’?
De resultaten van Ponseti zijn zo mooi, omdat zijn test de hersenscans van de 32 ‘normale’ proefpersonen allemaal als ‘normaal’ herkende, een specificiteit van 100 procent! Op de sensitiveit moet dan wel wat ingeleverd worden, want van de 24 pedofielen, werden er 3 niet juist geïdentificeerd. De sensitiviteit is dus 21/24 = 88 procent, afgerond. Lamme legt uit waarom het zo belangrijk is, dat het niet net andersom is:
Pedofilie is gelukkig zeldzaam. Precieze getallen zijn er niet, schattingen lopen uiteen van 0,1 procent tot 4 procent. Laten we uitgaan van 1 procent. Als je dan 1.000 mannen scant zijn er 10 pedofiel. Stel nu eens dat de specificiteit 88 procent was, en de sensitiviteit 100 procent (dus dat er nooit een pedofiel wordt gemist). Dan zou je alle 10 pedofielen eruit vissen, maar tegelijk ook 120 mannen ten onrechte beschuldigen (12 procent van die 1.000). Met de door Ponseti behaalde specificiteit van 100 procent beschuldig je nooit een man ten onrechte, maar haal je wel 9 van de 10 pedofielen eruit. Tot zover de wiskunde.
Tsja, tot zover gaat misschien de wiskunde van Victor Lamme. En dat is wel een beetje gênant, want het geeft een volstrekt verkeerd beeld. De specificiteit van de test van Ponseti is de uitkomst van een steekproef en is hooguit de beste schatting van de ‘echte’ specificiteit. Je kunt niet uit het feit dat geen van de 32 gezonde proefpersonen als pedofiel word aangewezen, afleiden dat de specificiteit precies 100 procent is.
Het is eenvoudig in te zien dat je net zo goed kunt stellen dat die specificiteit bijvoorbeeld maar 95 procent is (één op twintig is dan fout-positief). Ook dan is de kans behoorlijk groot dat je de 32 mannen in het goede vakje plaatst. Die kans is gelijk aan het niet gooien van ’20’ in 32 beurten met een dobbelsteen met 20 vlakken: ongeveer 19 procent (0,95 tot de macht 32). Een kleine kanttekening moet ik hierbij wel maken, je gaat er dan van uit dat er wel een zekere spreiding in de gemeten waarden is. Maar dat blijkt wel uit het vervolg.
Wil je preciezer berekenen wat die specificiteit voor waarden kan hebben, kun je een van de vele tools op Internet gebruiken. Als je de steekproefresultaten invoert, kom je uit op een 95 procent betrouwbaarheidsinterval van 87 tot 100 procent. Dat is even wat anders dan te stellen dat Ponseti’s test geen fout-positieven kan opleveren! Er is zelfs nog een kans van één op twintig dat de specificiteit in werkelijkheid lager is dan 87 procent. [update: deze tools blijken niet zo precies in dit geval. De echte ondergrens is 91 procent. Zie de commentaren.]
Het rekenwerk van Ponseti
De valse zekerheid van het abstracte gegoochel met getallen wordt ook wat duidelijker als je bekijkt hoe die test van Ponsetti nou eigenlijk in elkaar steekt. Het artikel Assessment of Pedophilia Using Hemodynamic Brain Response to Sexual Stimuli is niet voor iedereen toegankelijk, maar ik kan er wel het een en ander over vertellen. In het onderzoek werden aan proefpersonen vier soorten blote plaatjes getoond van vrouwen, meisjes, mannen en jongens. Bij elke vertoning van een afbeelding werden fMRI-scans gemaakt. Dat levert plaatjes als hierboven op. Deze plaatjes, in feite een hele berg getallen, worden omgezet in een waarde die aan moet geven hoe opgewonden de proefpersoon is. Dit kan al op heel veel verschillende manieren, die je met een ander soort meting (die ook onnauwkeurigheden heeft) moet toetsen. Vervolgens worden er per proefpersoon twee uitkomstwaarden berekend, namelijk het verschil in opwinding bij het zien van vrouwen ten opzichte van meisjes en het verschil tussen het zien van mannen en jongens. Met die waarden kun je alle proefpersonen in een grafiekje zetten.
De test die Ponseti nu eigenlijk heeft bedacht, bestaat voor het belangrijkste deel in het bepalen van een verdeling van het vlak van de grafiek in twee delen. De verdeling moet zodanig zijn dat in het ‘goede’ stuk alle ‘normale’ personen vallen en in het ‘foute’ gebied zoveel mogelijk pedofielen.
In het plaatje hiernaast is dat duidelijk gemaakt. De rondjes zijn de ‘normale’ mannen die meededen. Zij vallen allemaal in het goede, witte, gebied. Er zijn een paar pedofielen, de driehoekjes, die er echter ook in vallen. Dat zijn de fout-negatieven.
Je kunt (en moet) je afvragen of deze verdeling niet heel erg afgestemd is op deze 56 deelnemers aan het onderzoek, of andere verdelingen niet net zo goed zouden zijn. Dat doen de onderzoekers gelukkig ook wel een beetje en ze deden een zogenaamde ‘leave-one-out crossvalidation‘. Je laat dan telkens één persoon uit de dataset, doet opnieuw de verschillende splitsingen in zwart en wit in de grafiek en kijkt of de weggelaten persoon in het goede vlak zou vallen. De beste methode bleek deze simpele lineaire verdeling te zijn.
Het is dus ook helemaal niet zo dat er van tevoren een test bedacht is, die in het onderzoek zo bleek uit te pakken dat die een specificiteit van 100 procent geeft. Nee, de test is achteraf zo afgesteld dat die in ieder geval die specificiteit geeft. Het bijzondere is alleen dat je dan nog zo’n hoge sensitiviteit overhoudt.
Mooie oplossing, of niet?
Allemaal leuk en aardig, maar waar zijn we nu eigenlijk helemaal mee bezig? Is het resultaat wel generaliseerbaar naar de gehele populatie? Die 24 pedofielen zijn misschien wel helemaal niet representatief voor alle pedofielen, die we zouden willen testen. Deze waren namelijk allemaal al ‘uit de kast gekomen’ en zaten in programma’s om om te leren gaan met hun pedofilie.
Dat is één probleem, maar er zijn ook fundamentele twijfels aan de waarde van dit rekenwerk op basis van fMRI-scans. Bert Keizer stelt in een stuk in Trouw zeer terecht de vraag of we wel kúnnen weten wat we meten met zo’n hersenscan en wat voor conclusies we mogen trekken op basis daarvan:
Stel dat een pedofiel van wie we het niet vermoeden, maar die voor deze test gescreend wordt, bij het zien van pedoplaatjes helemaal geen plezier beleeft, maar zich schaamt? Precies dezelfde schaamte die, plaatsvervangend, wordt gevoeld door de hetero die ernaar kijkt. Wat zeggen we als Robert M. brandschoon blijkt op zo’n scan? Dat hij eigenlijk niks gedaan heeft? De drogreden blijft dat je op basis van een scan precies weet wat er door iemand heen gaat én dat je op grond daarvan gedrag kunt voorspellen.
Victor Lamme geeft in zijn column niet alleen een verkeerde weergave van de betrouwbaarheid van de ‘pedoscan’ maar verwacht er ook veel te veel van:
Was het Amsterdamse drama dat Robert M. heeft aangericht hiermee voorkomen? Het lijkt me dat een pedofiel niet eens gaat solliciteren als hij weet dat er van zijn brein een dergelijke scan wordt gemaakt. Een crèche kan zich mooi onderscheiden in de nu zo moeilijke markt voor kinderopvang: ‘onze medewerkers zijn pedoscanproof!’
Het kan best zo zijn dat pedofielen minder zullen solliciteren naar functies in de kinderopvang als dit soort detectie ingang vindt. Maar dat maakt de kans alleen maar groter dat iemand die wel solliciteert en positief uit de test komt, geen pedofiel is. En de term ‘pedoscanproof’ wekt, bij mij in ieder geval, eerder de suggestie dat er geen fout-negatieven zouden voorkomen. En die zijn er dus juist wel met de test van Ponseti. Ook is er onderzoek dat aantoont dat soortgelijke tests die gebruikt worden voor leugendetectie, te foppen zijn.
De valse zekerheid van dit soort testen zal hopelijk niet zo gaan uitpakken, dat we begeleiders in de kinderopvang die ‘slagen’ voor de test blindelings gaan vertrouwen. En dat we zeer verstandige maatregelen, zoals minstens twee begeleiders tegelijkertijd op een groep, overboord gaan gooien, omdat je dan kunt bezuinigen in deze ‘nu zo moeilijke markt voor kinderopvang‘.
Een paar andere artikelen over het onderzoek van Ponseti:
- Discover Magazine: Can Brain Scans Detect Pedophiles?
- Neuroskeptic: To Catch A Predator… With A Brain Scanner?