misleiding

Op Internet worden door verdedigers van alternatieve zorg onder andere de volgende mythes verspreid: de Zwitserse overheid zou in een rapport hebben aangetoond dat homeopathie werkt en alternatieve huisartsen zouden maar liefst 15 procent goedkoper werken dan hun reguliere collega’s. Dat Zwitserse onderzoek is echter niet het standpunt van de overheid en ook niet door de overheid uitgevoerd (link, link). Inhoudelijk is het ook niet zo best. Maar dat belemmerde de in homeopathische kringen populaire Dana Ullman niet om het als een ‘Remarkable Report‘ weer te geven op The Huffington Post. Dat bericht werd door allerlei alternatieve sites overgenomen.
In zijn volgende stuk herhaalde Ullman zijn verkeerde weergave van het ‘Zwitserse rapport’, maar haalde nu ook het Nederlands onderzoek aan van professor dr. Peter Kooreman en dr. Erik  Baars. Daaruit zou blijken dat de patiënten van huisartsen, die naast gewone zorg ook homeopathie, acupunctuur of antroposofische geneeswijzen toepassen, 15 procent minder kosten zouden opleveren voor hun zorgverzekeraar. Die 15 procent staat echter nergens in het artikel en kan ook niet uit de resultaten afgeleid worden. Waar komt die mythe dan vandaan?

Eerste kritiek
Het onderzoek van Kooreman en Baars (K&B) kwam de wereld in via een bericht in de Volkskrant  (8 juni 2010) en werd vrij snel daarna besproken door Cees Renckens en Jan Willem Nienhuys op de site van de Vereniging tegen de Kwakzalverij. Een probleem met een directe vergelijking tussen de kosten van de patiëntenpopulaties van reguliere en alternatieve huisartsen is dat die nogal van elkaar kunnen verschillen. Bekend is dat de belangstelling voor alternatieve geneeswijzen vaak samengaat met een hoger opleidingsniveau, en een in het algemeen hogere sociaaleconomische status , precies de parameters die ook statistisch gesproken samengaan met minder ziekte en een langer leven. In de studie van K&B is daarvoor gecorrigeerd door te vergelijken binnen postcodegebiedjes; binnen zo’n klein gebiedje zijn die verschillen in sociaaleconomische status niet zo groot.
Renckens en Nienhuys merken op dat vreemd genoeg alleen van de vergelijking op basis van de ongecorrigeerde gegevens een totaalresultaat wordt gegeven: een niet-significant verschil van 7%. Zij vragen zich af waar die 15 procent uit het Volkskrantartikel eigenlijk op slaat. Ook valt ze op dat de (gecorrigeerde) kosten voor 75-plussers bij antroposofen enorm veel lager zijn (400 euro per kwartaal op een totaal van ruim 1300 euro), maar dat dit toch maar net significant is. Het gaat daarom misschien maar om heel kleine aantallen of de spreiding is door enkele uitschieters enorm (of allebei). Volgens de VtdK liet Kooreman in een reactie weten dat ‘uit het bovenstaande duidelijk is dat in de VtdK de competentie ontbreekt om het genoemde onderzoek te beoordelen‘. Renckens en Nienhuys besloten hun commentaar met de opmerking dat we misschien eerst maar moeten wachten met in het gegoochel met cijfers te duiken tot de auteurs het in een fatsoenlijk tijdschrift weten te publiceren. Het stond immers alleen nog als ‘submitted article’ op de eigen website van Kooreman.

Gepubliceerd en becommentarieerd
Uiteindelijk werd het artikel in december 2012 gepubliceerd in The European Journal of Health Economics als Patients whose GP knows complementary medicine tend to have lower costs and live longer (Open Access). Voor de duidelijkheid: GP staat voor General Practioner en is dus een huisarts, CAM staat voor Complementary and Alternative Medicine, wat ik gemakshalve maar alternatieve zorg blijf noemen. Via een linkje van Rbutr werd ik geattendeerd op die publicatie en het recente commentaar daarop van onder andere Christopher Sampson. De reactie van deze Engelsen is wel open op de site van Sampson te vinden (pdf). Hun kritiek omvat onder andere de volgende punten:

• Ten eerste wijzen ze er op dat K&B niet corrigeren voor meervoudig toetsen. Er worden vergelijkingen gemaakt bij tal van subgroepen (naar leeftijd, soort medische handeling en per soort alternatieve zorg) en dan moet je erg oppassen dat je niet toevallige uitschieters als significant bestempelt;
• In het artikel staat ook maar één uitkomstmaat die iets met de gezondheidstoestand van patiënten te maken heeft, het sterftecijfer. Dit is mijns inziens een heel belangrijke observatie. Er is geen enkele relatie te leggen op grond van de gegevens in de studie tussen het soort handeling (alternatief of regulier) en de kosten. Je had het hele onderzoek in feite net zo goed kunnen doen met een opdeling van de huisartsen naar hun favoriete automerk. De uitkomst (neigend naar significantie, of zo) was dan misschien wel geweest dat Mercedes rijdende artsen goedkoper werken, maar dat had vast niemand dan serieus genomen;
• De conclusie van het artikel, 0 tot 30% lagere kosten en mortaliteit bij de alternatieve patiënten, vinden ze onoprecht, gezien wat de auteurs aanvoeren aan gegevens en analyse;
• Ten slotte wijzen ze er op, dat je erg voorzichtig zou moeten zijn met het zo weergeven van het onderzoek. Juist omdat lobbygroepen voor alternatieve zorg het als propaganda zouden kunnen gebruiken, terwijl het resultaat helemaal niet zo duidelijk is. Sampson et al. hierover in hun conclusie:  ‘The study does not demonstrate that GP-CAM training is associated with either reduced healthcare costs or reduced mortality. Academics have a responsibility to communicate their research carefully and without misinterpretation. Kooreman and Baars have failed to do this.’

In hetzelfde nummer staat ook de reactie van K&B op deze kritiek. Met betrekking tot dat meervoudige toetsen stellen ze dat ze zoveel significante resultaten vonden (17-21%) dat die niet allemaal toegeschreven kunnen worden aan fout-positieve resultaten. Statistisch gezien een uiterst merkwaardige opvatting over de problematiek van meervoudig toetsen. Over de weergave van de resultaten merken ze op dat de 30% zowel slaat op de 400 euro die minder werd uitgegeven ten behoeve van de 75-plussers bij antroposofische artsen als de lagere mortaliteit, die ook 30% lager was (bij mannen). Ook wijzen ze erop dat ‘0%’ in het gegeven interval ligt. Misschien moeten we hieruit opmaken dat ze een niet al te harde claim neerleggen, maar ik vind het een uiterst onduidelijke manier van samenvatten van het resultaat. Ze besluiten met:

Throughout, we have been careful to stress the limitations of our study and the need for further research based on better datasets (and we continue to do so in our contacts related to this study with the media, practitioners, and other parties). The commentators have not provided any insights beyond those already available in our original paper. We hope that their future contributions (and the associated journal space) will take the form of substantive research on this important topic.

Ik was eerlijk gezegd nogal verbijsterd over dit commentaar. Sampson et al. hadden mijns inziens goed beargumenteerd gehakt gemaakt van het stuk van K&B en die dachten het met zulke slappe argumenten af te kunnen doen?

Waar komt die 15 procent toch vandaan?
Ik werd na het lezen van deze stukken ook nieuwsgierig naar de herkomst van die ’15 procent’. Ik besloot eerst eens te mailen met Sampson. Die had het commentaar van K&B nog niet gezien en was ook verrast dat het onderzoek al lang en breed gebruikt werd op Internet door diverse organisaties die de alternatieve gezondheidszorg promoten. Die ’15 procent’ was hem onbekend, omdat die immers niet in het artikel staat. Ook was hij nogal geschrokken van de reactie van K&B die hun bezwaren ontzettend gemakzuchtig afdoen. Ze zijn van plan er binnenkort op terug te komen [Update: inmiddels gebeurd].
In eerste instantie dacht ik dat die ’15 procent’ wel eens kon komen van een verkeerde interpretatie van het resultaat dat K&B gaven in hun artikel:

Patients whose GP has additional CAM training have 0–30% lower healthcare costs and mortality rates, depending on age groups and type of CAM. The lower costs result from fewer hospital stays and fewer prescription drugs

Was dat interval van 0 tot 30% misschien opgevat als een betrouwbaarheidsinterval? Dan zou het wel voor de hand liggen om het gevonden resultaat precies in het midden daarvan te veronderstellen. Uit het commentaar van K&B was echter duidelijk dat het meer een grove aanduiding is van de mogelijke waarden van die besparing. Maar is het wel een eerlijke weergave? De cijfers waar het om gaat, moeten komen uit de tabel met de gecorrigeerde gegevens:

Inderdaad treffen we die (ongeveer) 400 euro besparing aan van de antroposofische 75-plussers. Er staat echter ook in dat in de leeftijdsgroep tot 25 jaar de patiënten bij de homeopathische huisarts 100 euro meer kostten dan die bij de reguliere arts, 47 procent duurder! Is het dan niet eerlijker om het interval weer te geven als lopend van -47% tot 30%?  Om een wat beter beeld van het resultaat te krijgen, zouden aantallen patiënten per cel, standaarddeviaties en p-waardes goed uitkomen. Ik besloot daarom ook maar eens met Kooreman te mailen.

Het was niet een interpretatiefout van de Volkskrant geweest, het stond namelijk al in het persbericht van de Universiteit van Tilburg. En Baars noemde het ook in een radio-interview (Hoe?Zo! radio 9 juni 2010, vanaf 19.05). Kooreman had duidelijk niet veel trek in een discussie met mij en wees erop dat in het persbericht ‘ongeveer 15 procent’ staat en niet ’15 procent’. Ook ging hij niet in op mijn herhaalde verzoek om de achterliggende cijfers van de tabel te sturen. Van een (niet gecorrigeerd) niet significant verschil van 7 procent kan ik echter niet op een verantwoorde manier een verschil van ‘ongeveer 15 procent’ maken, liet ik hem weten. Daarop vernam ik niets meer van Kooreman. Jammer. Ik heb nog wel gevonden dat de ‘ongeveer 15 procent’ echt door beide heren zelf in het leven is geroepen. De aanleiding van het persbericht was het indienen van het stuk voor een congres in december 2010. De deadline voor de abstracts was 31 mei 2010 en in hun abstract schrijven ze:

Conclusions: There is evidence that treatment by GPs who completed additional training in complementary medicine (anthroposophic medicine, homeopathy or acupuncture) results in approximately 15% health care cost reduction.

In een opiniestuk in Trouw, ruim een jaar later, liet Kooreman die ‘(ongeveer) 15 procent’ achterwege en vat het resultaat zo samen: ‘Recent onderzoek laat zien dat huisartsen die zich na hun reguliere opleiding hebben geschoold in acupunctuur, antroposofische geneeswijzen of homeopathie goedkoper werken dan reguliere huisartsen, ook als zo goed mogelijk wordt gecorrigeerd voor de verschillende achtergrondkenmerken van patiënten. Hun patiënten leven bovendien langer‘.
Dit opiniestuk was onder andere bedoeld om de aandacht te vestigen op een boek waarin Kooreman een hoofdstuk schreef en daarin schrijft hij het nog wat voorzichtiger op: ‘Kooreman en Baars vinden op basis van gegevens van een Nederlandse zorgverzekeraar aanwijzingen dat huisartsen die zich na hun reguliere opleiding hebben geschoold in acupunctuur, antroposofische geneeswijzen of homeopathie goedkoper werken dan reguliere huisartsen.‘ (vetgedrukt telkens door mij).
Op diverse websites werd aan het stuk van K&B gerefereerd met een afwijkende titel: ‘Patients Whose GP Knows Complementary Medicine Have Lower Costs and Live Longer’ in plaats van ‘Patients whose GP knows complementary medicine tend to have lower costs and live longer’. Ik dacht in eerste instantie dat dit subtiele misleiding was van die websites (vooral, omdat ook Ullman het doet). De titel is echter tussen de aankondiging van het aanbieden voor publicatie en de daadwerkelijke publicatie veranderd in de wat minder stellige versie. Kooreman heeft op zijn site die oude versie gewoon vervangen door de gepubliceerde versie, zodat alle links verwijzen naar de recentste versie. De verschillende versies zijn ook te zien via de bibliotheek van de Universiteit van Tilburg.

Conclusie
Het heeft er alle schijn van dat Kooreman en Baars het echte resultaat van hun onderzoek, ‘we hebben geen significant verschil gevonden’, hebben geprobeerd weer te geven als iets dat hun beter uitkomt. Ook lijken ze niet te beroerd om collega-wetenschappers hiermee op het verkeerde been te zetten (zie bijvoorbeeld het naschrift bij deze column). Het is natuurlijk wat vervelend als mensen als Nienhuys, Renckens en ik daar lastige vragen over stellen. Die blogs van ons zijn nog wel af te doen als het te verwachten geluid van zelfbenoemde kwakzalversbestrijders maar de kritiek van vakgenoten als Sampson kon natuurlijk niet onbeantwoord blijven. Dat K&B ook die kritiek zo hooghartig menen af te kunnen doen, verbaast me toch wel.
Het contrasteert ook met de manier waarop Kooreman zelf zegt te hebben aangedrongen op een zorgvuldige interpretatie van de resultaten van de studie. Op het congres “Heel de Mens“ (4 oktober 2012) hield hij een voordracht waarin hij erop wees dat die veelal werd gebracht als bewijs dat alternatieve gezondheidszorg als zodanig goedkoper werkt, terwijl die volgens hem alleen aantoont dat huisartsen met kennis van die alternatieve zorg goedkoper werken, zonder dat direct duidelijk is of het komt door het toepassen van die alternatieve zorg. Ook wijst hij erop dat de prijs die Baars en hij kregen voor de studie op het European Congress for Integrative Medicine gesponsord is door de homeopathische firma Heel en dat veel van de sites die het bericht brengen dat detail weglaten.
Klinkt heel integer, maar nergens in zijn verhaal heeft hij het er over dat het echte resultaat van de studie zo misleidend is weergegeven door de auteurs zelf. Die misleiding is begonnen met hun abstract en het daaropvolgende persbericht van de Universiteit van Tilburg. Er wordt een cijfer genoemd als resultaat van een nog niet gepubliceerd onderzoek, maar daar blijkt het niet eens in voor te komen. Zouden universiteiten natuurlijk ook niet moeten doen, de ongecontroleerde stokpaardjes van hun medewerkers uitdragen, daar zijn vaker ongelukken van gekomen.

Naschrift
Kooreman en Baars deden hun rekenwerk nog eens over met een grotere dataset waarover ze in 2014 publiceerden, zie Verzekerde zorgkosten van patiënten bij alternatieve huisarts. Op het congres van de Vereniging tegen de kwakzalverij in 2017 besprak Marco Blanker deze studie, terug te zien op YouTube.