Kloptdatwel?

Wetenschap

Wetenschappers doen moeilijk over hun data

by 2 Comments

Arnout Jaspers schreef op de website Wetenschap24.nl over een onlangs gepubliceerd artikel waaruit blijkt dat psychologen nogal moeilijk doen over inzage in hun data wanneer die worden opgevraagd. Dat is natuurlijk niet de bedoeling en huiverig zijn om je data aan een kundige collega af te geven zou je alleen verwachten bij iemand met de naam Diederik Stapel.

Jaspers:

Hoe slechter, hoe exclusiever – Juist van zwak onderzoek zijn data niet openbaar
Psychologen zijn verplicht hun data aan anderen beschikbaar te stellen, maar doen dat ongaarne. Hoe zwakker het onderzoek, hoe groter de tegenzin. Toeval, of slecht geweten?

(…)

Wicherts en zijn collega’s Marjan Bakker en Dylan Molenaar van de UvA publiceren nu in PLoS ONE een statistische analyse van 49 artikelen die in twee APA-tijdschriften verschenen. Van 21 artikelen verkregen ze de ruwe data, van de overige 28 niet. De desbetreffende auteurs reageerden niet ondanks meerdere aanmaningen, zeiden dat ze de data kwijt waren of beloofden deze op te sturen maar deden dat niet.

De onderzoekers rekenden ook nog opnieuw de wél verkregen data door en ontdekten allerlei fouten. Zoals Jaspers al aangaf bleek uit het onderzoek dat hoe meer fouten er werden ontdekt, hoe moeilijker het was de data te verkrijgen.

Erg triest om dit te moeten lezen. De onderzoekers pleiten ervoor om het opslaan van onderzoeksdata te verplichten. Iets wat ik van harte toejuich. Hopelijk zullen beleidsmakers met het Stapel-drama nog vers voor de geest door dit onderzoek daadwerkelijk stappen ondernemen.

Reiki werkt, als je tenminste geen controlegroep gebruikt

by 47 Comments

Reiki is een in Japan ontstane … tja… behandelwijze is niet het juiste woord want echt behandelen wordt er niet gedaan… geneeswijze ook niet want er geneest niets… geloofsovertuiging is het ook weer niet hoewel dat misschien nog het dichtste bij komt.

Ik kan denk ik beter uitleggen wat er bij reiki gebeurt, als je meer wilt weten over de achtergrond dan kan ik dit artikel over reiki uit de Skepter aanraden.

Bij reiki plaats je je handen op (of net boven) iemands lichaam en dan heb je vervolgens het idee dat je energie overbrengt (hoewel meer ervaren reikimensen ook het idee hebben vanaf een afstand energie over te brengen). Deze energie is niet zichtbaar, voelbaar of meetbaar. helaas, hoewel over dat voelen sommige mensen nog weleens in discussie willen gaan. Maar dat komt omdat ze vanwege de kracht van suggestie iets menen te voelen.

Ik zou reikimensen die skeptisch zijn eens willen vragen om bij een aantal volgende behandelingen achter hun cliënt te gaan staan (in elk geval niet zichtbaar voor de cliënt) en te vragen of de cliënten iets voelen. Daarna een aantal precies dezelfde behandelingen maar zonder reiki te gebruiken (je gaat sommetjes maken in je hoofd of zoiets) en verder moet je alles doen/bewegen/praten/ademen/etc zoals je dat normaal ook doet. Als je normaal aangeeft ‘ik begin nu bij de nek en ga zo langzaam naar beneden tot aan de onderrug’ ofzoiets, dan zeg je dat nu dus ook. Aan het einde vraag je weer of ze iets konden voelen. We zouden eigenlijk van een aantal reikimasters de resultaten moeten bijhouden, maar de verwachting is dat de cliënten net zoveel voelen en net zo tevreden zijn. Laat dit dan trouwens een aanwijzing zijn dat het niet werkt in plaats van ‘hey, door niets te doen werkt het ook, alleen al mijn aanwezigheid is dus genoeg!’ /facepalm in dat geval.

Goed, terug naar het onderwerp, Reiki is onlangs weer eens onderzocht en werkzaam bevonden.

Ik heb het wel vaker gezegd, in de alternatieve geneeswijzen kan je ongeveer de volgende richtlijn volgen: hoe hoger de kwaliteit van je onderzoek, hoe minder effect van de alternatieve geneeswijze, hoe lager de kwaliteit, hoe meer effect.

Zo ook nu weer:

The Effects of Reiki Therapy on Pain and Anxiety in Patients Attending a Day Oncology and Infusion Services Unit.

Reiki is a system of natural healing techniques administered by laying of hands and transferring energy from the Reiki practitioner to the recipient. We investigated the role of Reiki in the management of anxiety, pain and global wellness in cancer patients. Building on the results of a pilot project conducted between 2003 and 2005 by a volunteer association at our hospital, a wider, 3-year study was conducted at the same center. The volunteer Reiki practitioners received 2 years of theory and practical training. The study population was 118 patients (67 women and 51 men; mean age, 55 years) with cancer at any stage and receiving any kind of chemotherapy. Before each session, the nurses collected the patient’s personal data and clinical history. Pain and anxiety were evaluated according to a numeric rating scale by the Reiki practitioners. Each session lasted about 30 min; pain and anxiety scores were recorded using a Visual Analog Scale (VAS), together with a description of the physical feelings the patients perceived during the session. All 118 patients received at least 1 Reiki treatment (total number, 238). In the subgroup of 22 patients who underwent the full cycle of 4 treatments, the mean VAS anxiety score decreased from 6.77 to 2.28 (P <.000001) and the mean VAS pain score from 4.4 to 2.32 (P = .091). Overall, the sessions were felt helpful in improving well-being, relaxation, pain relief, sleep quality and reducing anxiety. Offering Reiki therapy in hospitals could respond to patients’ physical and emotional needs.

We zien dus dat de score wat betreft angst/onrust (op een schaal van 0 tot 10) van gemiddeld 6,77 afnam naar 2,28 en dit was significant (dus als het slechts toeval zou zijn geweest, dan zou de kans p (probability) op een dergelijke uitkomst kleiner dan 0,05 (5% dus) geweest zijn). De pijn ging van 4,4 naar 2,32 maar dit was niet significant (de p was boven de 0,05, wat te groot is om serieus te nemen). Men wordt er dus eigenlijk alleen wat rustiger van.

Maar deze studie heeft een groot probleem… er is geen controlegroep.

Een controlegroep voeg je toe om te controleren dat er met je patiënten/onderzoeksgroep niet sowieso iets gebeurt terwijl je met het onderzoek bezig bent, je controleert dus eigenlijk of mensen na een tijdje niet sowieso wat rustiger worden. De mensen in de controlegroep laat je dan bijvoorbeeld langskomen, je kletst er even mee en laat ze dan weer gaan of je zet ze op een wachtlijst. Je houdt ze in elk geval op een of andere manier in de gaten. Het komt vaak voor dat een wachtlijstgroep namelijk óók vooruitgang laat zien, gewoon omdat ziektes/problemen veranderen in de loop der tijd.

Wil je het helemaal goed doen dan moet je ook een placebogroep toevoegen. Daarbij doe je bijvoorbeeld hetzelfde als bij de reikigroep, maar in plaats van reiki geef je een massage of iets dergelijks. Of je laat aan leken een video zien van een reikibehandelaar en zegt ze dat ze de video zo goed mogelijk na moeten bootsen. Dan houd je dus alleen de bewegingen over zonder de reiki.

Als je dat soort dingen, die in de reguliere wetenschap standaard worden toegepast, niet doet, dan zul je nooit een serieuze wetenschapper kunnen overtuigen en blijft het een alternatieve behandelmethode: waar dus geen bewijs voor is.

Trouwens, deze studie heeft alleen gekeken naar psychologische componenten van klachten, en juist die zijn gemakkelijk beïnvloedbaar door het placebo-effect.

RCT, homeopathie en biggetjes: ‘The Good, the Bad & the Ugly’?

by 274 Comments

In februari van dit jaar hadden we het hier in de commentaren op kloptdatwel.nl al over de biggenstudie van onderzoeker Irene Camerlink (WUR) e.a. Toevallig kwam deze onlangs weer onder mijn aandacht. In een dialoog via Twitter met de woordvoerder van de WUR, Simon Vink, voerde ik die studie op als voorbeeld van onderzoek, dat niet ‘waar’ kon zijn. Dit na aanleiding van opmerkingen van Vink in de Gelderlander, “Wetenschap draait om zorgvuldigheid. Wat je zegt moet waar zijn. Nooit publiceren zonder dat je hebt gecheckt en gedoublecheckt. Zo doen wij dat hier in Wageningen althans.” In dit artikel leg ik uit waarom één of enkele losse onderzoeken (‘random controlled trials’ , of RCT’s) naar homeopathie nooit voldoende kunnen zijn om de werkzaamheid van een individueel homeopathisch middel aan te tonen. Zelfs als uit zo’n RCT komt dat het homeopathische middel (het verum) het beter zou doen dan een placebo. Die conclusie berust op een denkfout.

RCT, homeopathie en biggetjes: ‘The Good, the Bad & the Ugly’? 1

Kort na die discussie met Vink nam een journalist contact met me op. Hij had nl. net een stukje in de Molenaar gelezen over dezelfde studie en na wat geGoogle, vond hij dat ik de biggenstudie had genoemd op Twitter.
Ik was er intussen ook achter gekomen waarom het weer ‘nieuws’ was: Irene Camerlink en Liesbeth Ellinger, de homeopathische dierenarts, waarmee Maarten Koller op de radio in discussie was, hebben de studie onlangs op een symposium gepresenteerd (17 sept. 2011). Als je een beetje zoekt op Internet vind je nu op allerlei sites aanhangers van homeopathie juichend berichten, dat het nu wetenschappelijk bewezen is dat homeopathie kan werken.
In die discussie met Vink had ik beargumenteerd dat zo’n Randomized Controlled Trial (RCT) als onderzoek naar homeopathie wetenschappelijk gezien bij voorbaat niets kon opleveren en daarom eigenlijk niet zou moeten worden uitgevoerd aan een zichzelf respecterende universiteit. Dat argument heb ik hieronder uitgewerkt. Het komt neer op eens heel precies kijken wat zo’n RCT nu eigenlijk inhoudt.

Randomized Controlled Trial
Zo’n onderzoek begint grofweg met de nulhypothese, vervolgens komt de proefopzet, de proef zelf, de resultaatopname, de data-analyse en ten slotte het trekken van conclusies. De nul-hypothese veronderstelt gewoonlijk dat er geen verschil is in werking van verum (het middel dat we willen onderzoeken) en placebo (een nepmiddel). Verwacht mag dan worden dat er bij een groep proefpersonen die het verum krijgt en een andere groep die het placebo krijgt, niet al te grote verschillen in resultaat zullen optreden.
Alleen als er uit het experiment een significant verschil blijkt tussen verumgroep en placebogroep, verwerpen we de nulhypothese. Als de verumgroep beter scoorde, kun je dan claimen dat het verum een werking heeft die beter is dan die van het placebo. Dit alles is wel onder voorbehoud dat het experiment netjes is opgezet, zodanig dat er geen andere factoren de groepen verschillend kunnen beïnvloeden. Dit wordt o.a. getracht te bereiken met (dubbele) blindering. En dan is er altijd nog het fenomeen van de ‘vals-positieve’ uitslagen…

RCT, homeopathie en biggetjes: ‘The Good, the Bad & the Ugly’? 2Nu zijn er diverse RCT’s uitgevoerd met klassiek homeopathische middelen die een positief significant verschil laten zien voor de verum groep. Is de conclusie dat het homeopathische middel werkt gerechtvaardigd? Nee, zullen de sceptici beweren en meestal zal het ze niet veel moeite kosten om ergens een onvolkomenheid in de opzet of data-analyse aan te tonen, die het onderzoek ‘onderuit’ haalt (zie de commentaren op het eerder bericht op kloptdatwel.nl om een idee te krijgen van wat er mis gegaan kan zijn bij het onderzoek van Camerlink).
Mocht het niet lukken fouten te ontdekken is het altijd nog mogelijk om te wijzen op de mogelijkheid van een vals positief resultaat, een toevalligheid. Dat laatste voelt natuurlijk wat zwakker aan als argument, maar is op zich wel valide. De reden dat die meta-analyses van homeopathische trials worden uitgevoerd, hangt sterk samen met dat verschijnsel van vals positieven. Als je een berg onderzoeken bij elkaar veegt, blijken die paar toevallige positieve uitslagen meestal de te verwachte uitschieters.

Wat zit er fundamenteel mis bij die RCT’s en homeopathie?
Het echte probleem ligt in mijn ogen echter op een fundamenteler niveau: de nulhypothese die ik eerder formuleerde is niet compleet en zou eigenlijk moeten luiden “er is geen verschil in werking tussen verum en placebo én er is een wezenlijk verschil tussen verum en placebo”. Die toevoeging is in gewone trials zo triviaal dat er eigenlijk nooit bij stil wordt gestaan. Meestal is er gewoon sprake van twee chemisch verschillende stoffen, maar essentieel is dat het bestaan van het verschil in overeenstemming is met de kennis waar je van uit gaat. Het wetenschappelijk probleem met de klassieke homeopathie is nu echter juist dat dat veronderstelde verschil niet aangetoond kan worden en er eigenlijk ook niet kán zijn op grond van bestaande kennis.
Als het experiment wordt uitgevoerd en er is een positief significant resultaat moet de conclusie dus eigenlijk luiden “onder aanname dat er een wezenlijk verschil is tussen verum en placebo, werkt het verum beter dan het placebo” (nog steeds met inachtneming van eerder genoemde randvoorwaarden van goede proefopzet en mogelijk een vals positieve uitslag). Zolang je echter niet dat wezenlijke verschil tussen verum en placebo kunt aantonen, heeft die conclusie geen enkele betekenis!

Aanhangers van homeopathie zullen nu aanvoeren dat de wetenschap nog niet zo ver is om dat verschil te meten of zelfs dat de werking überhaupt buiten het bereik van de huidige wetenschappelijke kennis ligt. Dit is ook wat Camerlink naar voren brengt en bevestigde in een mailwisseling, die ik met haar had. Zij verwacht binnen niet al te lange tijd dat die onontdekte eigenschappen van hoogverdunde oplossingen bewezen zullen worden: “Dat het verschil in samenstelling tussen het verum en de placebo nog niet wetenschappelijk is aangetoond is naar mijn inziens slechts een kwestie van tijd. Via de natuurwetenschappen wordt steeds duidelijker dat structuur van water door behandeling kan veranderen zonder dat de fysieke samenstelling van water verandert.”
Totdat die ‘verwachting’ bewaarheid is geworden, mag je de oorzaak van het positieve resultaat niet aan het verschil verum/placebo toeschrijven. Het is eigenlijk nog safer om het aan verschil in letters op de spuitbusjes (‘A’ of ‘B’) toe te schrijven. Zo gauw je namelijk een niet meetbare invloed accepteert als verklaring, kun je net zo goed elke andere niet meetbare invloed aannemen als verklaring: ‘ik heb toevallig heel hard gebeden voor de verum-groep’ óf ‘er zijn marsmannetjes die een straal biofotonen hebben afgevuurd op de verum groep’ …

Sommigen zullen in het positieve resultaat van het experiment zélf ‘bewijs’ zien voor het verschillen van verum en placebo; een ontoelaatbare cirkelredenering, volgens mij. Ik heb gemerkt dat dat echter niet bij iedereen die ik dat voorlegde vanzelfsprekend is, maar een voorbeeld kan het denk ik, verduidelijken.
Stel, we doen een proef, waarbij we zeker weten dat verum en placebo identiek zijn. We nemen bijvoorbeeld kraanwater of nog makkelijker, ‘niets’. Nu kan het experiment toch een significant positief resultaat opleveren voor het ‘verum’, door problemen met de opzet of door toeval (vals positief). In dat geval zal geen wetenschapper de conclusie trekken dat de twee identieke middelen blijkbaar tóch verschillend waren, of dat het verum-’niets’ anders was dan het placebo-’niets’.

Kortom, zolang er vooraf geen wetenschappelijk aanvaardbaar verschil is aan te tonen tussen verum en placebo, kan de conclusie bij een positief significant resultaat van een RCT alleen maar zijn dat, ofwel er onvolkomenheden in de opzet zaten, ofwel dat we met een vals positief resultaat van doen hebben. Het is eigenlijk niet nodig om verder te kijken. De conclusie dat het verschil veroorzaakt wordt door een betere werking van het verum is echter bij voorbaat onjuist, of leunt op zijn minst op de veel zwaardere claim van het bestaan van onbekende krachten, of iets dergelijks.

En je moet je afvragen of het wetenschappelijk verantwoord is, om zo’n positief resultaat zonder al die voorbehouden die op zijn plaats zijn, te publiceren. Ik vind eigenlijk dat je dat niet moet doen en in mijn ogen zou het Wageningen sieren om duidelijk afstand te nemen van die studie (en eens uit te leggen waarom ze er ooit aan begonnen zijn). De WUR heeft jammer genoeg ook nooit gereageerd op de nominatie voor de Meester Kackadorisprijs 2010 naar aanleiding van de biggenstudie.

Wat blijft er dan wel aan bewijsmogelijkheden over voor homeopathie?
Fundamenteel onderzoek naar homeopathie wijs ik niet bij voorbaat af, hoewel er zo weinig aanwijzingen voor de werking ervan zijn, dat ik het eigenlijk niet acceptabel vind dat er gemeenschapsgeld aan wordt besteed. Zo’n aanwijzing zou kunnen bestaan, het klinkt misschien een beetje paradoxaal na het voorafgaande, uit een goed opgezette RCT, die bij herhaling en ook bij herhalingen door andere onderzoekers, keer op keer een positief significant resultaat laat zien. Buitengewone claims vergen immers buitengewoon sterk bewijs. Op het Skepsis-blog zijn andere suggesties te vinden .

De huidige ophef over die neutrino’s laat zien hoe verstandige wetenschappers omgaan met onverklaarde resultaten, die de huidige wetenschappelijke kennis lijken te tarten: eerst zelf alles tot in den treure controleren en herhalen, en als het resultaat nog steeds overeind blijft, aan je collega’s vragen om de proef te herhalen en jouw resultaten kritisch te bekijken. Sommige critici vinden het eigenlijk al te ver gaan dat CERN er een persconferentie over belegde…Voorzichtigheid over de eigen resultaten en speculaties over mogelijke gevolgen voor de wetenschap bij bevestiging van het resultaat nuanceren, lijkt mij de wetenschappelijk juiste houding. Zo’n merkwaardig resultaat is alleen maar het beginpunt van een zoektocht naar een verklaring.

Conclusie: losse RCT’s zijn bij voorbaat zinloos om op een wetenschappelijk verantwoorde manier de werking van homeopathische middelen aan te tonen … En, denk ik vervolgens, zijn al die meta-analyses van die trials door sceptici die nu als belangrijkste reden worden aangevoerd om maar op te houden met het onderzoek naar homeopathie, dan eigenlijk ook niet overbodig geweest?