Kloptdatwel?

rct

Natuurgeneeskundigen: ‘Medische wetenschap blijkt kwakzalverij’

by 402 Comments

Zondagmiddag bij het RTL-programma ‘Life is Beautiful’ kwam vaste gast Erik-Alexander Richter met vrij schokkend nieuws. Het wetenschappelijk hoog aangeschreven British Medical Journal (BMJ) liet zien dat er maar voor twaalf procent van de medicijnen bewijs is dat ze werken. Sterker nog, eigenlijk zou je moeten concluderen dat de rest kwakzalverij is, 88 procent dus! Een opmerkelijk gegeven, dat de laatste weken opeens op diverse Nederlandse websites opdook. Zou het echt zo erg zijn?

Richter geeft hoog op van orthomoleculaire geneeskunde en doet aan anti-aging. Hij heeft een opleiding in de Clinical Psycho Neuro Immunology  gedaan (of volgt die nog steeds). Waarschijnlijk kun je hem als natuurgeneeskundige aanduiden. Hij zei het volgende over de kwestie:

Waar komt dit ogenschijnlijk dramatische rapportcijfer voor de reguliere geneeskunde vandaan? De laatste paar weken vond ik al diverse verwijzingen naar een artikel op infonu.nl met als titel Medische wetenschap blijkt kwakzalverij. Dat is zo te zien al in mei geplaatst, maar werd half oktober opeens overgenomen op heel wat sites die alternatieve zorg een warm hart toedragen (misschien na een verwijzing op nu.nl). Het stuk op infonu.nl is geschreven door infoteur ‘Irbis’. Daarachter schuilt Erik Wieffering, een natuurgeneeskundige, die zich in het profiel ‘klinisch psycho neuro endocrinologisch immunoloog’ noemt, wat weer verdacht veel lijkt op de hobby van Richter. Op LinkedIn kun je ook zien dat hij iets met homeopathie en ayurveda doet.

‘Irbis’ geeft de resultaten van BMJ als volgt weer:

Clinical Evidance [sic] Handbook van de British Medical journal Publisher meldt dat van de 2500 meest voorgeschreven medicamenten en behandelingen:

  • 3 procent een groter ongunstig dan gunstig effect scoort.
  • 5 procent waarschijnlijk geen gunstig effect heeft.
  • 8 procent evenveel gunstige als ongunstige effecten heeft (uitruil middelen).
  • 12 procent enig bewijs van gunstig effect scoort.
  • 23 procent een zeer zwak bewijs voor enig gunstig effect laat zien.
  • En, dat van 49 procent totaal niet bekend is wat voor effect het heeft.

Op die weergave valt heel wat af te dingen, maar dat is niet zo makkelijk te controleren voor de achteloze lezer, omdat het infoteurtje de link naar de bron er niet heeft bijgezet. Info.nu ziet er dan wel Wikipedia-achtig uit, maar het is een site waar iedereen artikelen op kan kwakken. Als je er een beetje op rond kijkt, kom je naast artikelen die er heel redelijk uitzien, nogal wat kwakzalverpropaganda tegen.
‘Irbis’ beweert trouwens dat het nog veel erger is en dat die twaalf procent nog eens flink naar beneden bijgesteld moet worden. Hij haalt daarvoor een onderzoek aan van Deense onderzoekers die aannemelijk maken dat veel medische artikelen voor een groot deel geschreven zijn door  ghostwriters in dienst van de farmaceutische industrie (hier de link die ‘Irbis’ ook niet geeft). Die praktijk is ook door Ben Goldacre beschreven in Bad Pharma en is inderdaad niet fraai. Maar om nu maar gelijk te concluderen dat het in al die gevallen om frauduleus onderzoek zou gaan, gaat nogal ver.

Welke tabel ‘Irbis’ precies gebruikt heeft, kan ik niet zo makkelijk nagaan, maar het zal wel een iets minder recente versie zijn van de gegevens uit het volgende taartdiagram:

Stand van bewijs voor 3.000 behandelingen waarvoor gegevens uit RCT's beschikbaar zijn volgens BMJ (27-10-2013)
Stand van bewijs voor 3.000 behandelingen waarvoor gegevens uit RCT’s beschikbaar zijn volgens BMJ (27-10-2013)

Deze staat op de website van Clinical Evidence. Voor een deel klopt het verhaal. BMJ beoordeelt al jarenlang behandelingen op grond van het bewijs dat er voor is. En al jaren ziet dat taartdiagram er ook ongeveer zo uit. BMJ update deze cijfers halfjaarlijks en gebruikt voor de beoordeling evidence from systematic reviews, RCTs, and observational studies where appropriate. Het gaat dus om de hoogste treden in de Evidence Based Medicine piramide. Dat 50 procent in de categrorie Unkown effectiveness valt, lijkt heel erg, maar geeft in feite alleen maar weer dat dergelijk hoog gewaardeerd bewijs niet te vinden is. In veel gevallen is het ook duidelijk waarom dat er niet is en waarom er ook niet naar gezocht zal worden in de vorm van een dubbelblind klinisch onderzoek (RCT). Een chirurgische ingreep als verwijdering van een ontstoken blindedarm bijvoorbeeld is niet onderzocht in een RCT ten opzichte van een nepbehandeling en toch zullen er maar weinig twijfelgevallen zijn of die ingreep ingezet moet worden of niet.
De vertaling van ‘Irbis’ blijkt echter bijzonder krakkemikkig. ‘Likely to be beneficial’ vertalen als ‘een zeer zwak bewijs voor enig gunstig effect laat zien’ is gewoon niet juist. En ‘evenveel gunstige als ongunstige effecten heeft (uitruil middelen)’ is ook niet to the point als vertaling van ‘Trade-off between benefits and harms’. In dat laatste geval kan een arts per individueel geval vaak goed beoordelen of de voordelen groter ingeschat kunnen worden dan de nadelen. Dat is wat anders dan dat de nadelen even groot zijn als de voordelen, maar misschien klopt dat wel voor de hele populatie.

Dit maak al duidelijk dat ‘Irbis’ een heel gekleurde uitleg geeft van de bevindingen van BMJ. Hij besteedt ook geen enkele aandacht aan alle beperkingen van de cijfers in het rapport die wel op de website van Clinical Evidence genoemd worden, zoals:

it has both benefits and limitations: for example, an intervention may have multiple indications, and may be categorised as ‘Unknown effectiveness’ for one condition but ‘Beneficial’ for another.

Bepaalde middelen komen meerdere keren in het handboek voor, omdat er gekeken wordt per indicatie. Ook de categorie met onbekende effectiviteit wordt nader uitgelegd, ‘de helft’ waarover Richter op tv opmerkt dat er geen enkel bewijs achter zit:

‘Unknown effectiveness’ is perhaps a hard categorisation to explain. Included within it are many treatments that come under the description of complementary medicine (e.g., acupuncture for low back pain and echinacea for the common cold), but also many psychological, surgical, and medical interventions, such as CBT for depression in children, thermal balloon ablation for fibroids, and corticosteroids for wheezing in infants.

Toch aardig dat we iemand uit de alternatieve hoek nu zien toegeven dat acupunctuur voor lage rugpijn en Echinacea voor verkoudheid inderdaad tot kwakzalverij gerekend moeten worden 😉

Belangrijker voor de impact van de studie is de volgende opmerking:

AND WHAT DO OUR CATEGORISATIONS MEAN IN RELATION TO CLINICAL PRACTICE?
We would like to emphasise that our categorisation of the effectiveness of treatments does not identify how often evidence-based and non-evidence-based treatments are used in practise. We only highlight how evidence based treatments are for certain indications, based on randomised controlled trials. As such, these data reflect how different treatments stand up evidence-based medicine and are not an audit of the extent to which treatments are used in practice or for other indications not assessed in Clinical Evidence.

Om beter inzicht te krijgen wat het belang van deze beoordeling is voor de klinische praktijk, wil je weten hoe het zit per behandeling en welke het eigenlijk zijn. Die informatie zit echter achter een ‘betaalmuur’ bij Clinical Evidence. Eerlijk gezegd vind ik dat niet zo fraai. Op zijn minst hadden ze bijvoorbeeld van de meest voorgeschreven medicijnen de beoordelingen gratis toegankelijk kunnen maken.
Uit een oudere versie (2004) die online te vinden is (pdf), kun je inderdaad opmaken dat de beoordeelde treatments niet allemaal bestaan uit pillen, drankjes en zalfjes. Bij het onderwerp malariapreventie staat bijvoorbeeld dat er voor het dragen van lange kleding door volwassen om besmetting te voorkomen geen RCTs te vinden waren en dus valt die ‘behandeling’ in de categorie unknown effectiveness. Er zitten ook allerlei alternatieve behandelingen bij. Soms zelfs voor ziektes waar ik nog nooit claims voor was tegengekomen; ik noem als voorbeeld maar het gebruik van acupunctuur bij sikkelcelanemie. Als je even zoekt, zie je dat er inderdaad wel ‘onderzoeken’ naar zijn gedaan, meestal niet veel meer dan een case report en volgens de zelf opgestelde criteria zet Clinical Evidence het daarom bij unknown effectiveness. Ook iets als hypnotische suggestie voor de behandeling van wratten staat erin (geen bewijs van werkzaamheid). Waarom neem je zoiets eigenlijk op in een lijst die bedoeld is om artsen te informeren over de huidige stand van wetenschappelijk bewijs voor behandelingen? Zouden er potentiële lezers zijn die voor het lezen denken dat hypnose wél helpt bij wratten?

De conclusie dat het grootste deel van alle reguliere medische behandelingen eigenlijk kwakzalverij is (en dat medische wetenschap zelfs een pseudowetenschap zou zijn) kun je dus absoluut niet trekken. Wat je wel kunt concluderen is dat veel alternatieve behandelaars er geen been in zien om het publiek te verwarren met een verkeerde weergave van dit soort cijfers en erg snel tevreden zijn met informatie die in hun straatje past. Ze vergeten er gemakshalve bij te zeggen dat er voor hun hobby’s nul komma nul bewijs is van vergelijkbaar niveau. Een andere conclusie mogen ze bij RTL trekken: het is onverantwoord om iemand als Richter een platform op televisie bieden als (nep)expert.

Update 14-11-2013: Eerlijk is eerlijk, Richter heeft mijn commentaar op zijn uitspraken wel opgepikt en zijn uitspraken in een latere aflevering rechtgezet.

Naschrift. De bron van het verhaal is waarschijnlijk ‘Medisch Dossier’ van mei 2013:
“Is geneeskunde een wetenschap?”. Dat is weer een vertaling van het artikel “Junk Medicine” uit het Engelse blad ‘What Doctors Don’t Tell You’ van Lynne McTaggart. Dat artikel zal in Engelse versie wel in 2012 zijn uitgekomen en dat verklaart de weinig actuele weergave van de cijfers van Clinical Evidence.
Ik wijs nog maar even op de website ‘What “What Doctors Don’t Tell You” Don’t Tell You’ van Engelse skeptici voor besprekingen van dat blad.

RCT, homeopathie en biggetjes: ‘The Good, the Bad & the Ugly’?

by 274 Comments

In februari van dit jaar hadden we het hier in de commentaren op kloptdatwel.nl al over de biggenstudie van onderzoeker Irene Camerlink (WUR) e.a. Toevallig kwam deze onlangs weer onder mijn aandacht. In een dialoog via Twitter met de woordvoerder van de WUR, Simon Vink, voerde ik die studie op als voorbeeld van onderzoek, dat niet ‘waar’ kon zijn. Dit na aanleiding van opmerkingen van Vink in de Gelderlander, “Wetenschap draait om zorgvuldigheid. Wat je zegt moet waar zijn. Nooit publiceren zonder dat je hebt gecheckt en gedoublecheckt. Zo doen wij dat hier in Wageningen althans.” In dit artikel leg ik uit waarom één of enkele losse onderzoeken (‘random controlled trials’ , of RCT’s) naar homeopathie nooit voldoende kunnen zijn om de werkzaamheid van een individueel homeopathisch middel aan te tonen. Zelfs als uit zo’n RCT komt dat het homeopathische middel (het verum) het beter zou doen dan een placebo. Die conclusie berust op een denkfout.

RCT, homeopathie en biggetjes: ‘The Good, the Bad & the Ugly’? 1

Kort na die discussie met Vink nam een journalist contact met me op. Hij had nl. net een stukje in de Molenaar gelezen over dezelfde studie en na wat geGoogle, vond hij dat ik de biggenstudie had genoemd op Twitter.
Ik was er intussen ook achter gekomen waarom het weer ‘nieuws’ was: Irene Camerlink en Liesbeth Ellinger, de homeopathische dierenarts, waarmee Maarten Koller op de radio in discussie was, hebben de studie onlangs op een symposium gepresenteerd (17 sept. 2011). Als je een beetje zoekt op Internet vind je nu op allerlei sites aanhangers van homeopathie juichend berichten, dat het nu wetenschappelijk bewezen is dat homeopathie kan werken.
In die discussie met Vink had ik beargumenteerd dat zo’n Randomized Controlled Trial (RCT) als onderzoek naar homeopathie wetenschappelijk gezien bij voorbaat niets kon opleveren en daarom eigenlijk niet zou moeten worden uitgevoerd aan een zichzelf respecterende universiteit. Dat argument heb ik hieronder uitgewerkt. Het komt neer op eens heel precies kijken wat zo’n RCT nu eigenlijk inhoudt.

Randomized Controlled Trial
Zo’n onderzoek begint grofweg met de nulhypothese, vervolgens komt de proefopzet, de proef zelf, de resultaatopname, de data-analyse en ten slotte het trekken van conclusies. De nul-hypothese veronderstelt gewoonlijk dat er geen verschil is in werking van verum (het middel dat we willen onderzoeken) en placebo (een nepmiddel). Verwacht mag dan worden dat er bij een groep proefpersonen die het verum krijgt en een andere groep die het placebo krijgt, niet al te grote verschillen in resultaat zullen optreden.
Alleen als er uit het experiment een significant verschil blijkt tussen verumgroep en placebogroep, verwerpen we de nulhypothese. Als de verumgroep beter scoorde, kun je dan claimen dat het verum een werking heeft die beter is dan die van het placebo. Dit alles is wel onder voorbehoud dat het experiment netjes is opgezet, zodanig dat er geen andere factoren de groepen verschillend kunnen beïnvloeden. Dit wordt o.a. getracht te bereiken met (dubbele) blindering. En dan is er altijd nog het fenomeen van de ‘vals-positieve’ uitslagen…

RCT, homeopathie en biggetjes: ‘The Good, the Bad & the Ugly’? 2Nu zijn er diverse RCT’s uitgevoerd met klassiek homeopathische middelen die een positief significant verschil laten zien voor de verum groep. Is de conclusie dat het homeopathische middel werkt gerechtvaardigd? Nee, zullen de sceptici beweren en meestal zal het ze niet veel moeite kosten om ergens een onvolkomenheid in de opzet of data-analyse aan te tonen, die het onderzoek ‘onderuit’ haalt (zie de commentaren op het eerder bericht op kloptdatwel.nl om een idee te krijgen van wat er mis gegaan kan zijn bij het onderzoek van Camerlink).
Mocht het niet lukken fouten te ontdekken is het altijd nog mogelijk om te wijzen op de mogelijkheid van een vals positief resultaat, een toevalligheid. Dat laatste voelt natuurlijk wat zwakker aan als argument, maar is op zich wel valide. De reden dat die meta-analyses van homeopathische trials worden uitgevoerd, hangt sterk samen met dat verschijnsel van vals positieven. Als je een berg onderzoeken bij elkaar veegt, blijken die paar toevallige positieve uitslagen meestal de te verwachte uitschieters.

Wat zit er fundamenteel mis bij die RCT’s en homeopathie?
Het echte probleem ligt in mijn ogen echter op een fundamenteler niveau: de nulhypothese die ik eerder formuleerde is niet compleet en zou eigenlijk moeten luiden “er is geen verschil in werking tussen verum en placebo én er is een wezenlijk verschil tussen verum en placebo”. Die toevoeging is in gewone trials zo triviaal dat er eigenlijk nooit bij stil wordt gestaan. Meestal is er gewoon sprake van twee chemisch verschillende stoffen, maar essentieel is dat het bestaan van het verschil in overeenstemming is met de kennis waar je van uit gaat. Het wetenschappelijk probleem met de klassieke homeopathie is nu echter juist dat dat veronderstelde verschil niet aangetoond kan worden en er eigenlijk ook niet kán zijn op grond van bestaande kennis.
Als het experiment wordt uitgevoerd en er is een positief significant resultaat moet de conclusie dus eigenlijk luiden “onder aanname dat er een wezenlijk verschil is tussen verum en placebo, werkt het verum beter dan het placebo” (nog steeds met inachtneming van eerder genoemde randvoorwaarden van goede proefopzet en mogelijk een vals positieve uitslag). Zolang je echter niet dat wezenlijke verschil tussen verum en placebo kunt aantonen, heeft die conclusie geen enkele betekenis!

Aanhangers van homeopathie zullen nu aanvoeren dat de wetenschap nog niet zo ver is om dat verschil te meten of zelfs dat de werking überhaupt buiten het bereik van de huidige wetenschappelijke kennis ligt. Dit is ook wat Camerlink naar voren brengt en bevestigde in een mailwisseling, die ik met haar had. Zij verwacht binnen niet al te lange tijd dat die onontdekte eigenschappen van hoogverdunde oplossingen bewezen zullen worden: “Dat het verschil in samenstelling tussen het verum en de placebo nog niet wetenschappelijk is aangetoond is naar mijn inziens slechts een kwestie van tijd. Via de natuurwetenschappen wordt steeds duidelijker dat structuur van water door behandeling kan veranderen zonder dat de fysieke samenstelling van water verandert.”
Totdat die ‘verwachting’ bewaarheid is geworden, mag je de oorzaak van het positieve resultaat niet aan het verschil verum/placebo toeschrijven. Het is eigenlijk nog safer om het aan verschil in letters op de spuitbusjes (‘A’ of ‘B’) toe te schrijven. Zo gauw je namelijk een niet meetbare invloed accepteert als verklaring, kun je net zo goed elke andere niet meetbare invloed aannemen als verklaring: ‘ik heb toevallig heel hard gebeden voor de verum-groep’ óf ‘er zijn marsmannetjes die een straal biofotonen hebben afgevuurd op de verum groep’ …

Sommigen zullen in het positieve resultaat van het experiment zélf ‘bewijs’ zien voor het verschillen van verum en placebo; een ontoelaatbare cirkelredenering, volgens mij. Ik heb gemerkt dat dat echter niet bij iedereen die ik dat voorlegde vanzelfsprekend is, maar een voorbeeld kan het denk ik, verduidelijken.
Stel, we doen een proef, waarbij we zeker weten dat verum en placebo identiek zijn. We nemen bijvoorbeeld kraanwater of nog makkelijker, ‘niets’. Nu kan het experiment toch een significant positief resultaat opleveren voor het ‘verum’, door problemen met de opzet of door toeval (vals positief). In dat geval zal geen wetenschapper de conclusie trekken dat de twee identieke middelen blijkbaar tóch verschillend waren, of dat het verum-’niets’ anders was dan het placebo-’niets’.

Kortom, zolang er vooraf geen wetenschappelijk aanvaardbaar verschil is aan te tonen tussen verum en placebo, kan de conclusie bij een positief significant resultaat van een RCT alleen maar zijn dat, ofwel er onvolkomenheden in de opzet zaten, ofwel dat we met een vals positief resultaat van doen hebben. Het is eigenlijk niet nodig om verder te kijken. De conclusie dat het verschil veroorzaakt wordt door een betere werking van het verum is echter bij voorbaat onjuist, of leunt op zijn minst op de veel zwaardere claim van het bestaan van onbekende krachten, of iets dergelijks.

En je moet je afvragen of het wetenschappelijk verantwoord is, om zo’n positief resultaat zonder al die voorbehouden die op zijn plaats zijn, te publiceren. Ik vind eigenlijk dat je dat niet moet doen en in mijn ogen zou het Wageningen sieren om duidelijk afstand te nemen van die studie (en eens uit te leggen waarom ze er ooit aan begonnen zijn). De WUR heeft jammer genoeg ook nooit gereageerd op de nominatie voor de Meester Kackadorisprijs 2010 naar aanleiding van de biggenstudie.

Wat blijft er dan wel aan bewijsmogelijkheden over voor homeopathie?
Fundamenteel onderzoek naar homeopathie wijs ik niet bij voorbaat af, hoewel er zo weinig aanwijzingen voor de werking ervan zijn, dat ik het eigenlijk niet acceptabel vind dat er gemeenschapsgeld aan wordt besteed. Zo’n aanwijzing zou kunnen bestaan, het klinkt misschien een beetje paradoxaal na het voorafgaande, uit een goed opgezette RCT, die bij herhaling en ook bij herhalingen door andere onderzoekers, keer op keer een positief significant resultaat laat zien. Buitengewone claims vergen immers buitengewoon sterk bewijs. Op het Skepsis-blog zijn andere suggesties te vinden .

De huidige ophef over die neutrino’s laat zien hoe verstandige wetenschappers omgaan met onverklaarde resultaten, die de huidige wetenschappelijke kennis lijken te tarten: eerst zelf alles tot in den treure controleren en herhalen, en als het resultaat nog steeds overeind blijft, aan je collega’s vragen om de proef te herhalen en jouw resultaten kritisch te bekijken. Sommige critici vinden het eigenlijk al te ver gaan dat CERN er een persconferentie over belegde…Voorzichtigheid over de eigen resultaten en speculaties over mogelijke gevolgen voor de wetenschap bij bevestiging van het resultaat nuanceren, lijkt mij de wetenschappelijk juiste houding. Zo’n merkwaardig resultaat is alleen maar het beginpunt van een zoektocht naar een verklaring.

Conclusie: losse RCT’s zijn bij voorbaat zinloos om op een wetenschappelijk verantwoorde manier de werking van homeopathische middelen aan te tonen … En, denk ik vervolgens, zijn al die meta-analyses van die trials door sceptici die nu als belangrijkste reden worden aangevoerd om maar op te houden met het onderzoek naar homeopathie, dan eigenlijk ook niet overbodig geweest?