Kloptdatwel?

biggen

Homeopathie tegen biggendiarree en wetenschappelijke integriteit

by 62 Comments

De Universiteit Wageningen (WUR) ziet geen reden om te kijken naar de mogelijke schending van de wetenschappelijke integriteit bij een artikel over de inzet van homeopathie tegen biggendiarree. Het inhoudelijke meningsverschil zou nog wel binnen de academische kaders van journal en peer review voortgezet kunnen worden volgens de WUR. En eigenlijk konden buitenstaanders sowieso niet klagen. Het gaat echter niet alleen om de inhoudelijke discussie, maar ook om de verantwoordelijkheid om fouten, waarvan de auteurs op de hoogte zijn, toe te geven en te corrigeren. Een artikel met kanjers van fouten blijft zo ongecorrigeerd voortbestaan en wordt door de homeopathielobby al jarenlang gebruikt voor hun propaganda. Ook de Nederlandse en Britse parlementen worden er nu mee lastiggevallen.

De biggenstudie

Het gaat om de biggenstudie die ik eerder op Kloptdatwel heb besproken in “Biggenstudie krijgt prijs: homeopaten blij met dode mus?” De auteurs van de studie zijn Irene Camerlink (toen nog masterstudent), Liesbeth Ellinger (homeopathisch dierenarts), Evert-Jan Bakker (Leerstoelgroep Wiskundige en statistische methoden, WUR) en Egbert Lantinga (Leerstoelgroep Farming Systems Ecology, WUR). Het artikel heeft als titel Homeopathy as replacement to antibiotics in the case of Escherichia coli diarrhoea in neonatal piglets (hier vrij toegankelijk) en er is ook een Nederlandse versie.
Heel in kort komt het er op neer dat ze zeugen voor de bevalling besproeiden met een homeopathisch verdunning van E.Coli (30K) en dat daarna bleek dat er bij de biggetjes die geboren werden veel minder diarree, veroorzaakt door E.Coli, voorkwam dan in een controlegroep.

Er zijn grofweg drie serieuze problemen met dit onderzoek,

  • de statistiek deugt niet: de significantie is op het verkeerde niveau berekend. Het aantal zieke biggetjes is vergeleken, terwijl die elkaar besmetten en het middel aan de zeug is gegeven;
  • de blindering deugt niet: de ‘Wageningse methode’ is gebruikt, dwz. twee sprayflacons, één met het middel en één met placebo, in plaats van 52 flacons, één voor iedere zeug;
  • de bacterie waar het om gaat is helemaal niet aangetoond: het enige sample dat getest werd, kwam negatief terug voor E.Coli.

In mijn eerdere stuk heb dit uitgebreider besproken. Voor een andere kritische bespreking, zie het blog van Kausik Datta: “homeopathy replacing antibiotic? Oy vey!“

Kwakzalver & Kar

In 2011 had ik met Camerlink over de (on)zin van dit soort onderzoek gecorrespondeerd. Met Ellinger raakte ik in het voorjaar van 2012 (dus na mijn ‘dode mus’-stuk) in discussie in de brievenrubriek van het blad Arts & Auto. Door sommigen wordt dat blad gekscherend ‘Kwakzalver & Kar’ genoemd, omdat er nogal eens een kritiekloos stuk over alternatieve gezondheidszorg in verschijnt. Zo’n stuk als dat van homeopathisch arts Michel de Sonnaville, waarin hij de loftrompet stak over de mogelijkheden van homeopathie bij ernstige infectieziekten en ook de biggenstudie aanhaalde (maart 2012). Dat leverde een ingezonden brief op, waarop De Sonnaville in een reactie met een ‘onderzoek’ van een Franse homeopaat over homeopathie tegen cholera op Haïti aan kwam zetten. Het opvoeren van homeopathie als iets dat tegen cholera zou helpen, schoot me in het verkeerde keelgat en ik klom in de pen om deze onethische praktijken aan de kaak te stellen. En passant deelde ik ook een sneer uit over die biggenstudie.
Vreemd genoeg (dacht ik) reageerde Ellinger op mijn brief, verontwaardigd dat ik haar biggetjesonderzoek als prutswerk verwierp. We wisselden nog een paar felle brieven uit. In de laatste brief gaf ze onomwonden toe dat die blindering in de biggenstudie inderdaad op die ondeugdelijke wijze was uitgevoerd. Wat later begreep ik dat De Sonnaville en Ellinger behalve collega’s ook  echtgenoten zijn, maar dat terzijde.

Wetenschappelijke integriteit

Gedurende deze brievenwisseling (die even duurde, omdat Arts & Auto een maandblad is) nam ik via e-mail contact op met Bakker (de derde auteur), van wie ik vermoedde dat hij (mede)verantwoordelijk was geweest voor de statistiek. Hij gaf toe dat ze al anderhalf jaar wisten van die statistische blunder. Ik denk dat ze de opmerkingen daarover van Jan Willem Nienhuys en mij hadden gelezen na mijn mailcontact met Camerlink. Bakker had overigens de data gekregen toen het onderzoek al was afgerond en was dus niet op de hoogte van de foutieve opzet (hij had er blijkbaar ook niet naar gevraagd). Hij gaf nog wel aan dat er met een correcte berekening toch nog een significant resultaat overbleef. Ik heb hem toen voorgelegd of hij zich niet verantwoordelijk voelde om op zijn minst een correctie te plaatsen, zeker nu hij wist dat er nog veel meer mee mis was. Daar kreeg ik echter geen reactie op. Dezelfde gewetensvraag stelde ik ook aan Lantinga, zonder daar een reactie op te krijgen.
Dat verstoppertje spelen en weglopen voor verantwoordelijkheid stoorde me. Dat wetenschappers af en toe een keer flink misgrijpen, kan ik begrijpen, maar om er dan niets aan te willen doen om het recht te zetten, vind ik geen beste zaak. Volgens mij zouden vooral Bakker en Lantinga zich iets moet aantrekken van deze problemen. Camerlink was nog student en Ellinger is zelfstandige, die kon ik ook moeilijk ergens op aanspreken via de WUR. Beide heren voeren de studie echter nog altijd op op hun publicatielijst (1, 2). Ik besloot daarom toch maar de stap te zetten naar de vertrouwenspersoon voor wetenschappelijke integriteit, misschien dat die wat beweging in de zaak kon krijgen. Zou de WUR zelf orde op zaken kunnen stellen?
Toen diende zich het eerste probleempje aan, nergens op de site van de WUR was te vinden bij wie ik moest zijn. Uiteindelijk vond ik uit dat ik bij professor dr. Bas Kemp zou moeten aankloppen. Ik stuurde hem alles, het artikel, mijn blog, de briefwisseling in Arts & Auto, de mailwisseling met Bakker en Lantinga. En om wat duidelijker te maken dat het mijns inziens van belang is dat er wat gebeurde, wees hem er ook op dat de studie regelmatig aangehaald werd door de homeopathielobby, richting de Minister voor Landbouw bijvoorbeeld. Kemp antwoordde dat hij het zou oppakken. Een week of zeven later, het was inmiddels half november 2012, kreeg ik antwoord. Niet van Kemp, maar van mr. Frans Pingen, hoofd van de juridische afdeling van de WUR:

Met dit schrijven wil ik u berichten dat uw reactie geen aanleiding geeft om onderzoek te doen naar de wetenschappelijke integriteit van de schrijvers van dit artikel. Uit uw reactie maken wij op dat u het (op onderdelen) niet eens bent met de inhoud van het artikel en dat u daarover uw ongenoegen tot uitdrukking brengt.

Inhoudelijke wetenschappelijke discussies worden niet op instellingsniveau gevoerd als zij geen schending van de wetenschappelijke integriteit betreffen. Wij willen u daarom adviseren om deze wetenschappelijke discussie binnen de academische kaders van journal en peer review voort te zetten.

Gedoe

Ik begreep hier weinig van. Had Kemp mijn brief zomaar doorgestuurd zonder er zelf inhoudelijk naar te kijken en contact op te nemen met de auteurs om te kijken of er wat te bemiddelen viel? Dat had ik namelijk verwacht. Kijk zelf maar eens hoe de rol van de vertrouwenspersoon in het Landelijk Model Klachtenregeling Wetenschappelijke Integriteit van de VSNU beschreven staat. Ik had Kemp voorgesteld om te kijken of ze het artikel niet beter zouden kunnen intrekken om het terug te brengen tot wat het in mijn ogen is, een minorscriptie met ernstige gebreken en zeker geen artikel dat thuishoort op de publicatielijst van serieuze wetenschappers. Toen ik die regeling nog eens goed bekeek, leken mij ook wat termijnen overschreden te zijn, maar dat boeide me niet zo. Wel wilde ik graag uitleg over deze beslissing en waarom ze zo makkelijk heen stapten over de eigen verantwoordelijkheid van de auteurs om de evidente fouten recht te zetten. ‘De wetenschappelijke discussie binnen de academische kaders van journal en peer review voortzetten’? Hoe zouden ze dat voor zich zien? Moet ik dan een ingezonden brief sturen naar Homeopathy (dat onlangs de enige serieus te nemen wetenschapper uit de editorial board mieterde)? En wie had nu eigenlijk de beslissing genomen om er niets mee te doen ? Ik vroeg Pingen dus maar hoe ze die hele klachtenregeling hadden toegepast en of ik ertegen in beroep kon gaan. Het antwoord dat kwam verbaasde me nog meer dan zijn eerste brief:

Op dit moment is er binnen Wageningen UR nog geen commissie wetenschappelijke integriteit ingesteld. Daartoe worden wel voorbereidingen getroffen. Tot die tijd wordt er al naar gelang de inhoud van een klacht binnen de organisatie bekeken hoe daarop te reageren.

Overduidelijk betreft uw grief jegens het door u aangehaalde artikel geen klacht die vatbaar is voor een onderzoek naar de wetenschappelijke integriteit van de auteurs. In eerdere mails geeft u aan kritiek te hebben op onderhavig artikel en dat u van mening bent dat het artikel teruggebracht zou moeten worden tot ‘wat die is: een minorscriptie met ernstige gebreken’.

en:

Zolang de klachtenprocedure wetenschappelijke integriteit voor derden en de commissie wetenschappelijke integriteit nog niet zijn geïnstitutionaliseerd binnen Wageningen UR, bestaat er geen enkele mogelijkheid voor de stichting Skepsis om bij Wageningen UR te klagen. Zou dit al wel de situatie zijn dan zou uw klacht open staan voor de commissie maar zal die op grond van het bovenstaande tot niet-ontvankelijkheid leiden. Nu er in casu geen enkele regeling van toepassing is komt er ook geen besluit waartegen u een bezwaarschrift kunt indienen.

Geen bezwaar mogelijk? Kan dat zo maar? Ik heb dat nog bij de secretaris van het Landelijk Orgaan Wetenschappelijke Integriteit (LOWI) voorgelegd. Net voor Kerst vorig jaar kreeg ik als antwoord dat het LOWI van mening was dat de WUR dat toch verkeerd zag. Het mocht wel degelijk als een besluit van het College van Bestuur gezien worden, waartegen beroep in principe mogelijk was, maar:

In het onderhavige geval gaat het om een wetenschappelijke controverse waar de wetenschappelijke discussie zich toespitst op het (ten onrechte) gebruiken van statistieken en het ontbreken van E. Coli en de noodzaak van (herhaal)proeven dienaangaande, en ten slotte de conclusies die op grond hiervan al dan niet getrokken kunnen worden. Zo een discussie hoort thuis in het wetenschappelijk forum en niet bij het LOWI noch bij het CvB van de WUR.

Ik ben het met deze visie volstrekt oneens. De fouten in het onderzoek zijn niet helemaal uit het artikel zelf te halen. En belangrijker: waarom worden de auteurs die aan de WUR zijn verbonden niet aangespoord om de fouten,  die bij hun inmiddels welbekend zijn, te corrigeren? Daar zijn allerlei manieren voor. Voor mijn part schrijven ze er een blog over. Als er maar iets komt waar je naar kunt verwijzen als de zoveelste homeopathische organisatie naar het onderzoek verwijst als ‘uitstekend onderzoek van een respectabele universiteit dat de werking van homeopathie bewijst’. En ik weet dus nog steeds niet of er ook maar één persoon met verstand van experimenteel onderzoek serieus heeft gekeken naar mijn bezwaren. Zelfs van Kemp weet ik dat niet, die liet ook niets meer van zich horen.

Toevallig was net twee weken eerder een interessante casus aan de Universiteit Utrecht naar voren gekomen. De betrokken onderzoekers trokken hun artikel terug, omdat ze een fout ontdekten die waarschijnlijk nooit door iemand anders zou worden opgemerkt als ze het zelf niet hadden gemeld. Dat is natuurlijk wel even slikken: “We realiseren dat terugtrekking kan leiden tot reputatieschade”, maar “toch vonden we het niet goed om niks te doen. Je moet als onderzoekers je verantwoordelijkheid nemen als er iets is misgegaan. Je wilt voorkomen dat andere onderzoekers je gaan citeren, of verkeerde keuzes maken als gevolg van dit artikel.” Dat lijkt mij een houding die toe te juichen is. Deze casus, die in mijn ogen aardig vergelijkbaar is met de biggenstudie,  legde ik de juristen van de WUR en het LOWI ook nog voor als lichtend voorbeeld, maar ik heb niets meer van ze vernomen.

Propaganda

En zo blijft er dus een onzinnig artikel staan zonder enige kanttekening vanuit de universiteit Wageningen. En het wordt nog regelmatig aangehaald. Soms in wetenschappelijke artikelen, maar minstens zo vaak in publiciteitsuitingen van de homeopathielobby. Het Britse Homeopathy Research Institute (HRI, “an innovative international charity created to address the need for high quality scientific research in homeopathy“) diende onlangs een stuk in bij de commissie  voor wetenschap en technologie van het Britse parlement. In het stuk pleit het HRI voor nader onderzoek naar de inzet van homeopathie in de veesector om het antibioticagebruik te verminderen en aldus het grote probleem van resistentie tegen te gaan. In het stuk wordt de biggenstudie opgevoerd als één van de  belangrijkste studies die nog niet eerder is gepresenteerd aan de commissies van het parlement: HRI submission to antimicrobial resistance inquiry published (zie ‘full text’ voor het ingediende stuk). Toevallig of niet, in ons land schreef op hetzelfde moment het Patiënten Platform Complementaire Gezondheidszorg samen met de Artsenvereniging Voor Integrale Geneeskunde een brief van vergelijkbare strekking aan de Tweede Kamer. Ook daarin wordt de biggenstudie aangehaald.
Zouden ze dat nu leuk vinden aan de WUR, deze aandacht voor die studie? Intussen hebben ze daar nu wel een Commissie voor Wetenschappelijke Integriteit ingesteld met nieuwe vertrouwenspersonen. Zelf heb ik er na al dit geneuzel niet zoveel trek meer in om het nogmaals te proberen. Ik troost me met de gedachte dat ik niet de enige ben die tegen dit soort problemen aanloopt. Wordt het niet eens tijd voor een onafhankelijke ombudsman voor de wetenschap?

foto titelpagina  Flickr:woodleywonderworks

Biggenstudie krijgt prijs: homeopaten blij met dode mus?

by 28 Comments

Biggenstudie krijgt prijs: homeopaten blij met dode mus? 1De International Academy of Classical Homeopathy (IACH) heeft de biggenstudie van Irene Camerlink en Liesbeth Ellinger gekozen tot beste studie gepubliceerd in een peer-reviewed tijdschrift. Dit heugelijke nieuws las ik op de site van de Koninklijke Vereniging Homeopathie Nederland. De studie is al eerder terloops ter sprake gekomen op Kloptdatwel.nl, maar nog niet uitgebreid besproken. De uitverkiezing  tot het beste artikel op het gebied van homeopathie door het instituut van Vithoulkas zelf, is aanleiding om er toch even nader naar te kijken. Eventjes dan. 

Biggenstudie krijgt prijs: homeopaten blij met dode mus? 2
foto van jref.org

George Vithoulkas is namelijk een heel grote meneer in homeopathische kringen en onder andere winnaar van een Right Livelihood Award, de ‘alternatieve Nobelprijs’. En het is dus niet zo vreemd dat het winnen van de IACH Research Award door de aanhangers van homeopathie als een belangrijke erkenning wordt gezien. Vithoulkas durfde het ook aan om in te gaan op de ‘1 million $ Challenge’ van James Randi.  Maar uiteindelijk kwam het niet tot een echte test en de heren geven elkaar natuurlijk de schuld van het niet doorgaan (JREF, Vithoulkas).

In 1995 stichtte Vithoulkas de International Academy of Classical Homeopathy op Alinissos  in Griekenland. Het is vooral een zomerschool waar homeopaten van over de hele wereld bijgeschoold worden. Volgens de website gaat het al om 9.000 homeopaten uit 32 landen.

De biggenstudie
Wat behelst die studie ook al weer? Irene Camerlink deed het onderzoek in het kader van een minor scriptie bij de Leerstoelgroep Biologische Landbouwsystemen aan de Universiteit Wageningen. Het artikel verscheen in het blad Homeopathy onder de titel Homeopathy as replacement to antibiotics in the case of Escherichia coli diarrhoea in neonatal piglets (hier vrij toegankelijk) en er is ook een Nederlandse versie.

Biggenstudie krijgt prijs: homeopaten blij met dode mus? 3
foto Flickr (woodleywonderworks)

De proef werd gedaan met 52 zeugen, die in twee gelijke groepen verdeeld werden, waarbij de ene groep een placebo kreeg en de andere groep een Coli 30K oplossing. Dat is weer zo’n bizar hoog  aantal keer verdund mengseltje dat er eigenlijk geen moleculen van de opgeloste stoffen in aanwezig kunnen zijn. Daar deed Camerlink overigens ook niet geheimzinnig over in een e-mail aan mij. Zij geeft ruiterlijk toe dat een wetenschappelijke verklaring voor de veronderstelde werking nog niet voorhanden is. Zij verwacht die echter wel snel.

De vloeistoffen werden twee keer per week in de vulva’s van de zeugen gesprayd gedurende de laatste vier weken van de dracht. Hoogstwaarschijnlijk is de blindering weer met de ‘Wageningse methode‘ gebeurd: de zeugen kregen labeltje ‘A’ of ‘B’ en werden dan met spuitje ‘A’ of ‘B’ besproeid.
Maar dat is helemaal geen goede blinderingsmethode. In feite test je in het onderzoek dan maar twee ‘deelnemers’ (N=2). Uit het artikel komt sterk naar voren dat gedurende het onderzoek bekend was of een zeug in groep ‘A’ of ‘B’ hoorde. Om het goed te doen moet je 52 verschillende spuitbusjes maken, die ofwel placebo ofwel verum bevatten. Het is wat meer gedoe, maar wel essentieel.

Uiteindelijk werd er gekeken hoeveel van de biggetjes, die de zeugen kregen, diarree kregen door E.coli-besmetting. Tenminste, dat zou je denken. Maar als je goed leest, zie je dat het vaststellen van de E.coli geschiedde door visuele inspectie van de uitwerpselen. Er werd slechts één sample ingestuurd naar een laboratorium om op E.coli te testen, het betrof een mengsel van de uitwerpselen uit drie verschillende worpen. En daar kwam niets uit. We weten dus niet eens of er sprake is geweest van diarree door E.coli! En eigenlijk kunnen we nu wel ophouden met verder zoeken naar methodologische fouten in het onderzoek, hoewel je er zo een flinke lijst van kunt opstellen.

Het onderzoek als zodanig vond ik daarom ook helemaal niet zo interessant, maar de aandacht van homeopathie aanhangers ervoor wel. Die voeren deze studie namelijk op als echt wetenschappelijk bewijs voor de werkzaamheid van homeopathie, want het zou immers gaan om een keurig uitgevoerde Randomized Controlled Trial (RCT) met een niet te ontkennen significant positief resultaat. Voor mij aanleiding om die algemene claim (een enkel positief significant resultaat uit RCT is ‘bewijs’) onderuit te halen in mijn artikel “RCT, homeopathie en biggetjes: ‘The Good, the Bad & the Ugly’?“

Het is overigens wel grappig te lezen wat er als resultaat van de studie vermeld wordt in het nieuwsbericht op de site van de KVHN:

Resultaat was dat van de groep aan wie het echte homeopathische geneesmiddel werd toegediend slechts 10 van de 265 biggetjes diarree kregen in vergelijking tot 63 van de biggen uit de even grote placebogroep. Dit houdt een significantie in van P<0,0001 op biggenniveau, en van P<0,05 op zeugenniveau. Heel duidelijk positief voor het homeopathisch geneesmiddel.

Die vetgemaakte zinssnede is de correcte statistische conclusie als je toch wil gaan rekenen met de resultaten die niet voorstellen wat de onderzoekers suggereren. Maar deze uitkomstwaarde is nergens in het oorspronkelijke artikel te vinden! Daar wordt alleen gewezen op de indrukwekkende score op biggenniveau. En dat cijfer is volkomen verkeerd berekend, want houdt geen rekening met het feit dat de kans op besmetting binnen een worp biggen heel groot is. Je kunt het al dan niet waarnemen van diarree bij de individuele biggen niet als onafhankelijke uitkomsten beschouwen. Dit merkte ik op in een commentaar op een artikel hier op Kloptdatwel, waarop Jan Willem Nienhuys voorrekende hoe de p-waarde op zeugenniveau is. Inderdaad significant, maar het is wel een grensgeval: was er één zeug in de verumgroep meer geweest met diarree in haar worp, was dat al niet meer het geval geweest.

Tsja, dit is dus volgens de International Academy of Classical Homeopathy het beste onderzoek dat er de laatste tijd verschenen is op het gebied van homeopathie. Of in ieder geval het beste van die artikelen die ingestuurd waren voor de IACH Research Award. Hoeveel dat er waren (en welke) weet ik niet. Ook niet wie er in de jury zaten en of er een juryrapport is. Die vragen stelde ik aan het instituut per e-mail en een week later kreeg ik als antwoord dat ze die informatie in dezer dagen op de website plaatsen, maar ik heb nog niets  gezien daarvan.

foto titelpagina  Flickr:woodleywonderworks

RCT, homeopathie en biggetjes: ‘The Good, the Bad & the Ugly’?

by 274 Comments

In februari van dit jaar hadden we het hier in de commentaren op kloptdatwel.nl al over de biggenstudie van onderzoeker Irene Camerlink (WUR) e.a. Toevallig kwam deze onlangs weer onder mijn aandacht. In een dialoog via Twitter met de woordvoerder van de WUR, Simon Vink, voerde ik die studie op als voorbeeld van onderzoek, dat niet ‘waar’ kon zijn. Dit na aanleiding van opmerkingen van Vink in de Gelderlander, “Wetenschap draait om zorgvuldigheid. Wat je zegt moet waar zijn. Nooit publiceren zonder dat je hebt gecheckt en gedoublecheckt. Zo doen wij dat hier in Wageningen althans.” In dit artikel leg ik uit waarom één of enkele losse onderzoeken (‘random controlled trials’ , of RCT’s) naar homeopathie nooit voldoende kunnen zijn om de werkzaamheid van een individueel homeopathisch middel aan te tonen. Zelfs als uit zo’n RCT komt dat het homeopathische middel (het verum) het beter zou doen dan een placebo. Die conclusie berust op een denkfout.

RCT, homeopathie en biggetjes: ‘The Good, the Bad & the Ugly’? 4

Kort na die discussie met Vink nam een journalist contact met me op. Hij had nl. net een stukje in de Molenaar gelezen over dezelfde studie en na wat geGoogle, vond hij dat ik de biggenstudie had genoemd op Twitter.
Ik was er intussen ook achter gekomen waarom het weer ‘nieuws’ was: Irene Camerlink en Liesbeth Ellinger, de homeopathische dierenarts, waarmee Maarten Koller op de radio in discussie was, hebben de studie onlangs op een symposium gepresenteerd (17 sept. 2011). Als je een beetje zoekt op Internet vind je nu op allerlei sites aanhangers van homeopathie juichend berichten, dat het nu wetenschappelijk bewezen is dat homeopathie kan werken.
In die discussie met Vink had ik beargumenteerd dat zo’n Randomized Controlled Trial (RCT) als onderzoek naar homeopathie wetenschappelijk gezien bij voorbaat niets kon opleveren en daarom eigenlijk niet zou moeten worden uitgevoerd aan een zichzelf respecterende universiteit. Dat argument heb ik hieronder uitgewerkt. Het komt neer op eens heel precies kijken wat zo’n RCT nu eigenlijk inhoudt.

Randomized Controlled Trial
Zo’n onderzoek begint grofweg met de nulhypothese, vervolgens komt de proefopzet, de proef zelf, de resultaatopname, de data-analyse en ten slotte het trekken van conclusies. De nul-hypothese veronderstelt gewoonlijk dat er geen verschil is in werking van verum (het middel dat we willen onderzoeken) en placebo (een nepmiddel). Verwacht mag dan worden dat er bij een groep proefpersonen die het verum krijgt en een andere groep die het placebo krijgt, niet al te grote verschillen in resultaat zullen optreden.
Alleen als er uit het experiment een significant verschil blijkt tussen verumgroep en placebogroep, verwerpen we de nulhypothese. Als de verumgroep beter scoorde, kun je dan claimen dat het verum een werking heeft die beter is dan die van het placebo. Dit alles is wel onder voorbehoud dat het experiment netjes is opgezet, zodanig dat er geen andere factoren de groepen verschillend kunnen beïnvloeden. Dit wordt o.a. getracht te bereiken met (dubbele) blindering. En dan is er altijd nog het fenomeen van de ‘vals-positieve’ uitslagen…

RCT, homeopathie en biggetjes: ‘The Good, the Bad & the Ugly’? 5Nu zijn er diverse RCT’s uitgevoerd met klassiek homeopathische middelen die een positief significant verschil laten zien voor de verum groep. Is de conclusie dat het homeopathische middel werkt gerechtvaardigd? Nee, zullen de sceptici beweren en meestal zal het ze niet veel moeite kosten om ergens een onvolkomenheid in de opzet of data-analyse aan te tonen, die het onderzoek ‘onderuit’ haalt (zie de commentaren op het eerder bericht op kloptdatwel.nl om een idee te krijgen van wat er mis gegaan kan zijn bij het onderzoek van Camerlink).
Mocht het niet lukken fouten te ontdekken is het altijd nog mogelijk om te wijzen op de mogelijkheid van een vals positief resultaat, een toevalligheid. Dat laatste voelt natuurlijk wat zwakker aan als argument, maar is op zich wel valide. De reden dat die meta-analyses van homeopathische trials worden uitgevoerd, hangt sterk samen met dat verschijnsel van vals positieven. Als je een berg onderzoeken bij elkaar veegt, blijken die paar toevallige positieve uitslagen meestal de te verwachte uitschieters.

Wat zit er fundamenteel mis bij die RCT’s en homeopathie?
Het echte probleem ligt in mijn ogen echter op een fundamenteler niveau: de nulhypothese die ik eerder formuleerde is niet compleet en zou eigenlijk moeten luiden “er is geen verschil in werking tussen verum en placebo én er is een wezenlijk verschil tussen verum en placebo”. Die toevoeging is in gewone trials zo triviaal dat er eigenlijk nooit bij stil wordt gestaan. Meestal is er gewoon sprake van twee chemisch verschillende stoffen, maar essentieel is dat het bestaan van het verschil in overeenstemming is met de kennis waar je van uit gaat. Het wetenschappelijk probleem met de klassieke homeopathie is nu echter juist dat dat veronderstelde verschil niet aangetoond kan worden en er eigenlijk ook niet kán zijn op grond van bestaande kennis.
Als het experiment wordt uitgevoerd en er is een positief significant resultaat moet de conclusie dus eigenlijk luiden “onder aanname dat er een wezenlijk verschil is tussen verum en placebo, werkt het verum beter dan het placebo” (nog steeds met inachtneming van eerder genoemde randvoorwaarden van goede proefopzet en mogelijk een vals positieve uitslag). Zolang je echter niet dat wezenlijke verschil tussen verum en placebo kunt aantonen, heeft die conclusie geen enkele betekenis!

Aanhangers van homeopathie zullen nu aanvoeren dat de wetenschap nog niet zo ver is om dat verschil te meten of zelfs dat de werking überhaupt buiten het bereik van de huidige wetenschappelijke kennis ligt. Dit is ook wat Camerlink naar voren brengt en bevestigde in een mailwisseling, die ik met haar had. Zij verwacht binnen niet al te lange tijd dat die onontdekte eigenschappen van hoogverdunde oplossingen bewezen zullen worden: “Dat het verschil in samenstelling tussen het verum en de placebo nog niet wetenschappelijk is aangetoond is naar mijn inziens slechts een kwestie van tijd. Via de natuurwetenschappen wordt steeds duidelijker dat structuur van water door behandeling kan veranderen zonder dat de fysieke samenstelling van water verandert.”
Totdat die ‘verwachting’ bewaarheid is geworden, mag je de oorzaak van het positieve resultaat niet aan het verschil verum/placebo toeschrijven. Het is eigenlijk nog safer om het aan verschil in letters op de spuitbusjes (‘A’ of ‘B’) toe te schrijven. Zo gauw je namelijk een niet meetbare invloed accepteert als verklaring, kun je net zo goed elke andere niet meetbare invloed aannemen als verklaring: ‘ik heb toevallig heel hard gebeden voor de verum-groep’ óf ‘er zijn marsmannetjes die een straal biofotonen hebben afgevuurd op de verum groep’ …

Sommigen zullen in het positieve resultaat van het experiment zélf ‘bewijs’ zien voor het verschillen van verum en placebo; een ontoelaatbare cirkelredenering, volgens mij. Ik heb gemerkt dat dat echter niet bij iedereen die ik dat voorlegde vanzelfsprekend is, maar een voorbeeld kan het denk ik, verduidelijken.
Stel, we doen een proef, waarbij we zeker weten dat verum en placebo identiek zijn. We nemen bijvoorbeeld kraanwater of nog makkelijker, ‘niets’. Nu kan het experiment toch een significant positief resultaat opleveren voor het ‘verum’, door problemen met de opzet of door toeval (vals positief). In dat geval zal geen wetenschapper de conclusie trekken dat de twee identieke middelen blijkbaar tóch verschillend waren, of dat het verum-’niets’ anders was dan het placebo-’niets’.

Kortom, zolang er vooraf geen wetenschappelijk aanvaardbaar verschil is aan te tonen tussen verum en placebo, kan de conclusie bij een positief significant resultaat van een RCT alleen maar zijn dat, ofwel er onvolkomenheden in de opzet zaten, ofwel dat we met een vals positief resultaat van doen hebben. Het is eigenlijk niet nodig om verder te kijken. De conclusie dat het verschil veroorzaakt wordt door een betere werking van het verum is echter bij voorbaat onjuist, of leunt op zijn minst op de veel zwaardere claim van het bestaan van onbekende krachten, of iets dergelijks.

En je moet je afvragen of het wetenschappelijk verantwoord is, om zo’n positief resultaat zonder al die voorbehouden die op zijn plaats zijn, te publiceren. Ik vind eigenlijk dat je dat niet moet doen en in mijn ogen zou het Wageningen sieren om duidelijk afstand te nemen van die studie (en eens uit te leggen waarom ze er ooit aan begonnen zijn). De WUR heeft jammer genoeg ook nooit gereageerd op de nominatie voor de Meester Kackadorisprijs 2010 naar aanleiding van de biggenstudie.

Wat blijft er dan wel aan bewijsmogelijkheden over voor homeopathie?
Fundamenteel onderzoek naar homeopathie wijs ik niet bij voorbaat af, hoewel er zo weinig aanwijzingen voor de werking ervan zijn, dat ik het eigenlijk niet acceptabel vind dat er gemeenschapsgeld aan wordt besteed. Zo’n aanwijzing zou kunnen bestaan, het klinkt misschien een beetje paradoxaal na het voorafgaande, uit een goed opgezette RCT, die bij herhaling en ook bij herhalingen door andere onderzoekers, keer op keer een positief significant resultaat laat zien. Buitengewone claims vergen immers buitengewoon sterk bewijs. Op het Skepsis-blog zijn andere suggesties te vinden .

De huidige ophef over die neutrino’s laat zien hoe verstandige wetenschappers omgaan met onverklaarde resultaten, die de huidige wetenschappelijke kennis lijken te tarten: eerst zelf alles tot in den treure controleren en herhalen, en als het resultaat nog steeds overeind blijft, aan je collega’s vragen om de proef te herhalen en jouw resultaten kritisch te bekijken. Sommige critici vinden het eigenlijk al te ver gaan dat CERN er een persconferentie over belegde…Voorzichtigheid over de eigen resultaten en speculaties over mogelijke gevolgen voor de wetenschap bij bevestiging van het resultaat nuanceren, lijkt mij de wetenschappelijk juiste houding. Zo’n merkwaardig resultaat is alleen maar het beginpunt van een zoektocht naar een verklaring.

Conclusie: losse RCT’s zijn bij voorbaat zinloos om op een wetenschappelijk verantwoorde manier de werking van homeopathische middelen aan te tonen … En, denk ik vervolgens, zijn al die meta-analyses van die trials door sceptici die nu als belangrijkste reden worden aangevoerd om maar op te houden met het onderzoek naar homeopathie, dan eigenlijk ook niet overbodig geweest?