In 2015 kwam de Australische National Health and Medical Research Council (NHMRC) met zijn vernietigende rapport over homeopathie. De conclusie daarvan luidt dat er voor geen enkele aandoening serieus bewijs is dat de schudverdunde remedies effectief zijn. Het werd o.a. door prof Edzard Ernst geprezen: The final verdict on homeopathy: it’s a placebo. Het is niet zo vreemd dat homeopaten wereldwijd, met name die in Australië natuurlijk, proberen het rapport onderuit te halen, op welke grond dan ook. Ze hebben nu een kleine overwinning behaald: het zogenaamde ‘first report’ is vrijgegeven.
Belangrijkste argument dat de homeopaten naar voren wisten te brengen, was niet een inhoudelijke kritiek op de oordelen in het rapport, maar een klaagzang dat het niet eerlijk tot stand zou zijn gekomen. Er zou namelijk een eerder rapport zijn geschreven (in 2012) in opdracht van NHMRC dat veel positiever had geoordeeld over homeopathie. Dat rapport zou echter achterover gedrukt zijn, juist omdat het positief was over homeopathie. De opdracht was snel aan een andere onderzoeksgroep toegewezen met de opdracht kritischer te zijn.
NHMRC gaf toe dat de opdracht eerder was uitgezet, maar vertelde dat het contract met de desbetreffende onderzoeksgroep was opgezegd en dat er dus nog geen definitief rapport uit was voortgekomen. De organisatie zag geen reden om die conceptversie alsnog te publiceren.
De homeopaten starten vervolgens een campagne om dat ‘first report’ gepubliceerd te krijgen. O.a. begonnen ze een procedure om het vrij te laten geven via de Commonwealth Ombudsman en kregen met wob-verzoeken het een en ander aan communicatie over het werk aan dat ‘first report’ boven tafel. Nucheckt heeft het tot zover ook al eens uiteengezet in: Onwaarschijnlijk dat onderzoek werking homeopathie aantoont.
De procedure bij de Ombudsman is niet afgelopen, hoewel een oordeel eigenlijk dit voorjaar verwacht werd. Inmiddels waren ze bij NHMRC blijkbaar van gedachten veranderd en hebben ze het rapport met aantekeningen op 20 augustus jl. alsnog gepubliceerd; het is van hun site te downloaden. We kunnen nu dus zien of dat rapport inderdaad zo positief was over homeopathie, wat de begeleidingscommissie er voor commentaar op had, en voor ons zelf bepalen of dat terecht was.
In het voorwoord legt prof Anne Kelso nog even uit hoe het precies zit met dit conceptrapport:
Wat voor ons het meest interessant is, is voor welke aandoeningen dit conceptrapport wel iets zag in homeopathie. Op pagina viii van de managementsamenvatting staat het volgende en let op het commentaar in de blauwe tekst en de rode pijlen:
In het ‘first report’ wordt ‘bemoedigend bewijs’ gevonden voor homeopathie voor vijf aandoeningen. Maar dat de term ‘bemoedigend bewijs’ helemaal niet is gedefinieerd, is een belangrijk kritiekpunt.
Voor vijf aandoeningen vond die eerste onderzoeksgroep dus ‘bemoedigend bewijs’, wat dat ook mag inhouden. Voor die vijf aandoeningen kijken we wat de verschillen zijn in het nooit afgemaakte ‘first report’ en het officiële NHMRC rapport uit 2015 (download daarvoor dit document).
Fibromyalgie
(in het conceptrapport moeten we op pagina 70 zijn, in het NHMRC-rapport op pagina 92)
First report: “There is encouraging evidence to suggest that homeopathy may have benefits in the treatment of fibromyalgia. However further research is required to clarify the benefits, and it should attempt to address the biases identified in the primary studies included in the reviews (Grade C).”
NHMRC: “Based on the body of evidence evaluated in this review there is no reliable evidence that homeopathy is more effective than placebo for the treatment of people with fibromyalgia.”
Uit het commentaar op ‘first report’ valt op te maken dat de auteurs daarvan niet doorhadden dat de gevonden systematische reviews eigenlijk op dezelfde set van onderliggende studies neerkwamen en dat er niet veel meer bewijs was dan één review, die ze ook nog eens te positief beoordeeld hadden. De beoordeling zou waarschijnlijk eerder ‘D’ dan ‘C’ moeten zijn.
In het NHMRC rapport maken de auteurs die fouten niet en nemen ook niet zomaar aan dat auteurs van de reviews (vaak homeopaten) hun werk wel goed gedaan hebben en kijken dus zelf naar de onderliggende studies en de kritieken daarop.
Otitis media (middenoorontsteking)
(in het conceptrapport moeten we op pagina 118 zijn, in het NHMRC-rapport op pagina 29)
First report: “One good qualtity, recent, comprehensive key systematic review reporting on six primary experimental studies (seven papers) of varying design and quality, reporting on at least 562 children with otitis media, indicates that there is consistent positive evidence that individualised homeopathy is effective for the treatment of otitis media in children (Grade C).”
NHMRC: “Two systematic reviews of poor and medium quality identified one small randomised controlled trial (good quality; 75 participants) that compared homeopathy with placebo for the treatment of children with acute otitis media. LOC: Low.
Based on only one small study there is no reliable evidence on which to draw a conclusion about the effectiveness of homeopathy compared to placebo for the treatment of children with acute otitis media.”
Het Homeopathy Working Committee merkt in het commentaar op de ‘first report’ op dat ze het aantal studies verkeerd hebben (zes ipv vier) en verschillende vormen van bias negeren. De beoordeling zou dan ook geen Grade C mogen zijn, maar lager.
Post-operatieve ileus
(in het conceptrapport moeten we op pagina 125 zijn, in het NHMRC-rapport op pagina 45)
First report: “One good quality, non-recent meta-analysis of six primary RCTs of 1082 subjects provides encouraging evidence of the effectiveness of homeopathy in reducing time to first flatus in postoperative patients when administered immediately after surgery. There is no indication of which homeopathic medicines are most appropriate (Grade C).” [het gaat dus om de eerste windjes na een operatie die een darmobstructie verhelpt]
NHMRC: “Two of the systematic reviews conducted meta-analyses that found a significant difference in favour of homeopathy, but both meta-analyses included a number of poor quality studies with a high risk of bias. The one large, good-quality trial (600 participants) did not detect a difference between homeopathy and placebo in the treatment of postoperative ileus. LOC: Moderate.
Based on the body of evidence evaluated in this review homeopathy is not more effective than placebo for the treatment of people with postoperative ileus.”
Blijkbaar misten de auteurs van het ‘first report’ twee systematic reviews. In het commentaar staat dat ze geen aandacht gaven aan het feit dat drie van de onderliggende studies niet peer reviewed waren en ook hier wordt het oordeel ‘C’ te hoog bevonden, omdat ze de beperkingen van de meta-analyse die de auteurs ervan zelf aangaven niet meenemen.
Bovenste luchtweginfecties bij volwassenen
(in het conceptrapport moeten we op pagina 139 zijn, in het NHMRC-rapport op pagina 207)
First report: “Adults: Of 15 studies of total 2020 adults, homeopathy has variable effectiveness dependent on the diagnosis, as outlined below (Grade C).” [gevolgd door een uitsplitsing naar meer specifieke aandoeningen als hoesten, griep, sinusitis enz]
NHMRC: “Based on the body of evidence evaluated in this review there is no reliable evidence that homeopathy is as effective as the other therapies for the treatment of people with upper respiratory tract infection.”
Het andere oordeel van het NHMRC rapport komt vooral door een serieuzere inschatting van de kwaliteit van het bewijs. In de kantlijnen van het ‘first report’ vinden we onder meer de opmerking dat de auteurs consistency met clinical impact verwarren. En ook hier is het oordeel dat de krappe ‘C’ eerder een ‘D’ moet zijn.
Maar eigenlijk is ook het NHMRC rapport nog veel te mild, want wie in detail naar de onderliggende studies kijkt, ziet dat het echt een zooitje is. Lees daarvoor het artikel van Jan Willem Nienhuys op het Skepsis-blog van een paar jaar geleden: Homeopaten juichen over ‘Zwitserse’ rommel, waarin o.a. de verdachte onderzoeken naar Oscilloccocinum worden doorgelicht.
Bijwerkingen van behandelingen van kanker
(in het conceptrapport moeten we op pagina 40 zijn, in het NHMRC-rapport op pagina 255)
First report: “One good quality, recent review of 644 individuals in eight variable-quality primary experimental studies indicated encouraging evidence for topical calendula for prophylaxis of acute dermatitis during radiotherapy, and for Traumeel S mouthwash in the treatment of chemotherapy-induced stomatitis. There is no convincing evidence for the efficacy of homeopathic medicines for any other adverse effects of cancer treatment (Grade C).”
NHMRC: “Based on only one very small poor quality study there is no reliable evidence on which to draw a conclusion about the effectiveness of homeopathy compared to placebo for the treatment of the adverse effects of venous cannulation in people undergoing chemotherapy.” – “Based on only one small study of unknown quality there is no reliable evidence on which to draw a conclusion about the effectiveness of homeopathy compared to placebo for the treatment of people with chemotherapy-associated nausea/vomiting.” – “Based on the body of evidence evaluated in this review there is no reliable evidence that homeopathy is more effective than placebo for the treatment of people with chemotherapy-induced stomatitis.” – “Based on the body of evidence evaluated in this review there is no reliable evidence that homeopathy is more effective than placebo for the treatment of hot flushes in women with a history of breast cancer.”- Based on only one small study there is no reliable evidence on which to draw a conclusion about the effectiveness of homeopathy compared to placebo for the treatment of radiodermatitis in women with breast cancer undergoing radiotherapy.”
In het commentaar op het “first report” staat o.a. dat het met dat (nog altijd niet gedefinieerde) ‘bemoedigende’ bewijs voor calendula wel iets anders zat dan de auteurs suggereren, positief resultaat voor calendula werd alleen gevonden in één van die acht studies (N=254), net als voor Traumeel S (N=32). Kortom ook hier vond het Homeopathy Working Committee dat de beoordeling op zijn minst naar ‘D’ moest worden verlaagd.
Conclusie
Dat er in het ‘first report’ wat positievere uitspraken staan voor homeopathie bij een aantal aandoeningen klopt op zich wel, maar de kritiek van het Homeopathy Working Committee lijkt me zeer concreet en terecht. Vaak gaat het niet eens om een verschil van inzicht, maar blijkt dat de opstellers van dat conceptrapport gewoon niet goed gezocht en geteld hebben. Wat ze met die kritiek gedaan zouden hebben als ze die hadden kunnen verwerken tot een eindrapport zullen we nooit weten.
Duidelijk is ook dat het echte NHMRC rapport uit 2015 veel gedetailleerder is en dieper gaat dan het napraten van de meta-analyses en systematic reviews die vaak opgesteld zijn door personen waarvan een zekere liefde voor homeopathie wel bekend is.
Het is volgens mij verstandig geweest van de NHMRC om dit ‘first report’ in deze vorm vrij te geven, het geeft ook inzicht hoe zo’n rapport tot stand komt. Pas als zo’n rapport in definitieve vorm is geaccepteerd door de opdrachtgever kun je er eigenlijk conclusies aan verbinden. Hier zien we work in progress, waarbij de kwaliteit van de ingehuurde onderzoeksorganisatie duidelijk regelmatig te wensen over laat.
De homeopaten zullen de komende weken waarschijnlijk hun eigen spin aan dit matige conceptrapport geven. Ze zullen misschien wel opmerken dat de commentaren van het Homeopathy Working Committee niet onbevooroordeeld waren, of zoiets.
Het Homeopathy Research Institute merkt vast op heel blij te zijn met de opheldering van Kelso in de brief voorafgaand aan het ‘first report’. Zij schrijft volgens hen dat het NHMRC rapport uit 2015 “did not conclude that homeopathy was ineffective”, wat zij laten volgen door: “despite claims to that effect in media reports and by anti-homeopathy campaigners”. Het zal niet verbazen dat Kelso zelf het niet over anti-homeopathy campaigners had, het volledige citaat is:
NHMRC strongly encourages interested members of the community to refer to the 2015 NHMRC Information Paper: Evidence of the effectiveness of homeopathy for treating health conditions. Contrary to some claims, the review did not conclude that homeopathy was ineffective. Rather, it stated that “based on the assessment of the evidence of effectiveness of homeopathy, NHMRC concludes that there are no health conditions for which there is reliable evidence that homeopathy is effective.”
Wat alleen maar een wetenschappelijk correcte nuancering is van de kort-door-de-bocht vertaling van de conclusie dat het rapport bewijst dat homeopathie niet werkt.
What’s the difference between Hanlon’s razor and Occam’s razor?