Kloptdatwel?

kosteneffectiviteit

Hogere gezondheidszorgkosten bij homeopathie als aanvullende zorg

by 13 Comments

Een recent onderzoek in Duitsland laat zien dat de groep die zich ook met homeopathie laat behandelen aanzienlijk hogere kosten veroorzaakt voor de samenleving. In het onderzoek vergeleek men de gezondheidszorgkosten van personen die wel en geen homeopathie als aanvulling op hun reguliere zorg gebruiken. 

De onderzoekers vergeleken de kosten die veroorzaakt werden over achttien maanden door 22.275 patiënten die ook homeopathisch behandeld werden met de kosten van een even grote groep patiënten die niet met ultraverdunde druppels, suikerbolletjes en bijbehorende praatjes van homeopaten te maken kreeg. [correctie: het is overigens niet bekend of al de patiënten in de homeopathiegroep ook daadwerkelijk homeopathie voorgeschreven kregen, het verschil tussen de groepen is bepaald door het verzekerd zijn voor die kosten]. De gegevens zijn afkomstig van een grote Duitse verzekeraar. In de homeopathiegroep waren de kosten gemiddeld 7.208 euro tegenover 5.856 euro in de reguliere controlegroep. Het verschil zit ‘m voornamelijk in het productiviteitsverlies (meer ziektedagen) en kosten van de consulten.

gebruikers van homeopathie veroorzaken hogere kosten (afb. Wikimedia Commons)
gebruikers van homeopathie veroorzaken hogere kosten (afb. Wikimedia Commons)

De conclusie luidt dus dat homeopathie als aanvullende zorg geassocieerd is met significant hogere kosten. Of je kunt spreken van een oorzakelijk verband is altijd lastig met dit soort onderzoeken. Dit resultaat staat in ieder geval haaks op andere onderzoeken, zoals die van Peter Kooreman en Erik Baars, die ik eerder op Kloptdatwel besprak (link, link). Belangrijkste probleem met die laatste twee onderzoeken, was dat je moeilijk kon beoordelen of de vergeleken groepen wel goed vergelijkbaar waren. Kooreman en Baars corrigeerden op postcode voor verschillen in socio-economische status en het is maar de vraag of dat echt een goede vergelijking opleverde. In het nieuwe onderzoek werd de controlegroep gematcht op basis van voor de hand liggende zaken als sexe, leeftijd, bekende ziektes, maar ook op zorgkosten in het voorgaande jaar en gegevens over ziekteverzuim. En dat ziet er een stuk betrouwbaarder uit.

Can Additional Homeopathic Treatment Save Costs? A Retrospective Cost-Analysis Based on 44500 Insured Persons, Ostermann et al., PLOS ONE, juli 2015

Als je het artikel leest, proef je een duidelijke teleurstelling over het resultaat bij de auteurs. Dat is niet zo gek, omdat die (gedeeltelijk) uit de alternatieve hoek komen.

Verzekerde zorgkosten van patiënten bij alternatieve huisarts

by 37 Comments

In een recent artikel stellen Peter Kooreman en Erik Baars dat de zorgkosten van de patiënten van complementaire huisartsen die gedekt worden door de basisverzekering substantieel lager zijn dan die van sociaal-economisch vergelijkbare patiënten met een reguliere huisarts. Dat deden ze eerder al op basis van een kleiner bestand van een andere zorgverzekeraar. Toen beweerden ze ook dat ze aanwijzingen hadden gevonden dat patiënten bij complementaire huisartsen langer zouden leven. Op dat onderzoek kwam veel kritiek en dit nieuwe onderzoek lijkt niet veel beter.

[update geplaatst op 4-9-2014]

Anderhalf miljoen patiënten

Professor dr. Peter Kooreman, hoogleraar gezondheidseconomie aan de Universiteit van Tilburg, en dr. Erik Baars, lector antroposofische gezondheidszorg aan Hogeschool Leiden en senior onderzoeker bij het Louis Bolk Instituut, hebben wederom een database van een zorgverzekeraar mogen doorpluizen op zoek naar kostenverschillen tussen patiënten die een reguliere huisarts hebben of bij een huisarts zitten die aangesloten is bij een van de beroepsverenigingen voor alternatieve zorg. Hun bevindingen hebben ze opgeschreven in Complementair werkende huisartsen en de kosten van zorg (Economische Statistische Berichten, 7 feb. 2014). Dit onderzoek van Kooreman en Baars (K&B) is een vervolg op de eerder door hun uitgevoerde analyse op een kleiner bestand. Die studie verscheen in het gezaghebbende European Journal of Health Economics en heb ik vorig jaar besproken in Alternatieve huisartsen werken 15 procent goedkoper? Een verzinsel.

prof. dr. Peter Kooreman
prof. dr. Peter Kooreman

Nu konden K&B de gegevens van maar liefst 1,5 miljoen patiënten analyseren; tien keer zoveel als de vorige keer. Dat lijkt een stuk indrukwekkender dan het is. Het (ongecorrigeerde) verschil in de vorige studie was 7 procent in het voordeel van de complementaire groep, maar niet significant (blijkbaar is de spreiding enorm). Nu vinden K&B 10,1 procent lagere kosten en of dat significant is, staat eigenlijk niet in het artikel. Het lijkt erop dat K&B alleen geïnteresseerd zijn in significante verschillen in subgroepen. Bij dat zoeken naar significante verschillen, lijken ze echter niet veel zorgvuldigheid te betrachten. Merkwaardig, omdat daar eerder stevige kritiek op kwam (van Sampson et al.), zoals ik in mijn vorige blog heb beschreven.
Een belangrijke beperking van beide studies is dat het alleen gaat om de kosten die vergoed werden door de zorgverzekeraar. Hoe hoog de niet vergoede kosten waren, is niet bekend. In de meeste aanvullende verzekeringen zit een maximum aan gedekte kosten voor complementaire zorg. Hoeveel van de verzekerden haalden dat maximum en betaalden vervolgens de rest van de complementaire behandelingen uit eigen zak? De aanspraak op de aanvullende verzekering door de  complementaire groep is aanzienlijk hoger dan die van de reguliere groep en waarschijnlijk gingen er dan ook meer over dat maximum heen. Dus kan dit zeker een rol spelen bij het beantwoorden van de vraag hoe het zit met de totale zorgkosten, niet alleen die van de zorgverzekeraars.

Gezondheidsindicatoren

Sampson en zijn co-auteurs merkten in hun kritiek op de eerdere studie ook al op dat de enige uitkomstindicator in de studie die aan gezondheid gerelateerd is, namelijk sterfte, een ongelukkige is om de populaties van huisartsen te vergelijken. Het door K&B gevonden verschil bleek bij een statistische analyse die meer geschikt is, overigens niet significant. In de huidige studie is dat weer niet het geval, toch spreken K&B eerst weer van “lichte aanwijzingen voor lagere sterfte onder patiënten met een complementair werkende huisarts op basis van een lineair kansmodel en een conditioneel logitmodel” om dan pas met de conclusie van een wel geschikte analyse te komen: “maar geen aanwijzingen voor verschillen in sterfte op basis van een proportional hazard-model.” Een beetje raar, het lijkt erop dat K&B toch even graag die ‘lichte aanwijzingen’ genoemd wilden hebben, hoewel het betekenisloos is.

Over de correctie op socioeconomische verschillen

dr. Erik Baars
dr. Erik Baars

Bekend is dat de belangstelling voor CAM (Complementary and Alternative Medicine) vaak samengaat met een hoger opleidingsniveau en een in het algemeen hogere socioeconomische status, precies de parameters die ook statistisch gesproken samengaan met minder ziekte en een langer leven. De kracht van de eerdere studie was nu net dat er redelijk gecorrigeerd kon worden voor deze verschillen, omdat toen gegevens op postcode-6 niveau beschikbaar waren.
K&B merken zelf op over het belang daarvan: “However, since socio-economic differences within a 4-digit postal code are typically large, this would not be a credible approach for identifying a causal effect of CAM on costs.” In deze grotere database waren de gegevens slechts tot op postcode-4 niveau beschikbaar.
Of de socioeconomische verschillen het verschil in kosten kunnen verklaren, diepen K&B niet verder uit. Ze geven echter wel argumenten die het in twijfel lijken te trekken, bijvoorbeeld door te suggereren dat je in de CAM-groep ook hogere ziektekosten zou kunnen verwachten: “Ander onderzoek laat echter zien dat bij complementair werkende artsen relatief veel patiënten met ernstige en chronische ziektes voorkomen (Melchart et al., 2005)” Deze observatie uit Zwitserland is echter gebaseerd op de inschatting van de betrokken huisartsen en patiënten zelf (zie Schlussbericht PEK, April 2005, blz 37) en het verschil kan goed veroorzaakt zijn door bias. Dat blijkt ook uit een ander onderzoek (pdf) in het kader van die Zwitserse PEK dat Kooreman en Baars niet noemen. Daarin staat onder andere:

An important finding in this context is that CAM patients rated their main health problems as more severe than did COM patients, although general health assessments were not different between patient groups. Our data therefore provide some evidence that individual morbidity is not directly associated with overall selfrated assessment of health. The differing perceptions of severity of illness may primarily be linked to different frequencies of major symptoms in the three patient populations of the study, but also may be related to different adjustments and coping strategies with disease in patients seeking COM or CAM.

en

Furthermore, CAM patients see their main health problems as more severe than COM patients, although self-perceived general health levels appear to be equal.

Ook hier ontkom ik niet aan de indruk dat K&B naar een vooraf gewenste uitkomst toe redeneren. Dat vond ook Marc Pomp, consultant gezondheidseconomie, die een reactie in ESB schreef:

Nog los van de vraag of de Zwitserse situatie van toepassing is op Nederland, zijn er allerlei andere potentiële verschillen tussen patiënten met een alternatieve huisarts en patiënten met een reguliere huisarts. De claim waarmee het artikel opent – dat de zorgkosten bij vergelijkbare patiënten van alternatieve huisartsen lager zijn – wordt daarom op geen enkele manier ondersteund door de schattingsresultaten.

K&B reageerden hier weer op en delen en passant een sneer uit naar de kritiek op hun eerdere studie:

Ook nadat gecorrigeerd is voor achtergrondkenmerken, voor zover de beschikbare data dat toelaten, zijn die verschillen zo groot en significant dat ze niet zomaar kunnen worden genegeerd. Natuurlijk is ook in dit onderzoek het scheiden van oorzakelijke effecten (dat wil zeggen de effecten van het doen en laten van de huisarts) en selectie-effecten een uitdaging. Wij zijn ons daarvan zeer bewust en hebben dan ook nergens beweerd dat de gevonden kostenverschillen een zuiver causaal verband weergeven. Integendeel, wij hebben telkens benadrukt dat voor het scheiden van selectie- en oorzakelijke effecten rijkere datasets en nieuwe onderzoeksdesigns nodig zijn. De reactie van Pomp snijdt dan ook geen hout, net als het door hem geciteerde commentaar van Sampson et al. (Kooreman en Baars, 2013). Hetzelfde geldt voor commentaar dat, zonder peer review en zonder wederhoor, op websites is geplaatst.

Helaas staan deze commentaren niet vrij toegankelijk op de site van ESB. Mijn blog was dan wel niet peer reviewed, maar aan wederhoor heb ik wel degelijk gedaan. Juist het gebrek aan bereidheid om in te gaan op mijn vragen vond ik toen bijzonder storend. De cijfers zoals ze gepresenteerd worden, zijn niet controleerbaar en toen ik er om vroeg kreeg ik de achterliggende aantallen per cel, p-waardes en meer van dat soort informatie, niet.

De 0 tot 30 procent uit de vorige studie

Een belangrijk punt in mijn vorige blog was dat de resultaten misleidend weergegeven waren. In krantenberichten stond dat complementaire huisartsen 15 procent goedkoper waren, gebaseerd op een persbericht van de UvT. In het uiteindelijk gepubliceerde artikel werd dat gemaskeerd als dat ze “kostenverschillen vonden, afhankelijk van het type complementaire huisarts en de leeftijdscategorie van de patiënt, die variëren tussen 0 en 30 procent.” In het persbericht van de UvT dat nu uitging staat hierover dat daaruit eerder de ‘te weinig genuanceerde weergave’ van ongeveer 15 procent lagere kosten was gedestilleerd. In feite is het nog minder genuanceerd, zoals ik heb laten zien: de werkelijk gevonden verschillen (voor wat ze statistische gezien waard zijn) lopen uiteen van -47% tot 30%,  wat natuurlijk een heel ander beeld geeft. In een kader bij hun ESB artikel geven K&B echter wederom doodleuk het interval 0 tot 30 procent als resultaat van die eerdere studie.

De overstappers

De meest interessante groep laten K&B vrijwel buiten hun analyses. Een grote groep patiënten wisselde minstens een keer van reguliere naar complementaire huisarts (of andersom). In hun modelberekening wordt deze groep er helemaal uit gelaten, terwijl die toch groot is ten opzichte van de groep ‘zuivere’ CAM-patiënten. Alleen een ruwe vergelijking wordt gegeven:

Tabel 1 uit het artikel van Kooreman en Baars (ESB, 7-2-2014)
Tabel 1 uit het artikel van Kooreman en Baars (ESB, 7-2-2014)

Een voor de hand liggende vraag is bijvoorbeeld of er een relatie te ontdekken is tussen de zorgkosten van deze patiënten en het type huisarts dat ze op een bepaald moment hadden. Wellicht dat patiënten zich vertrouwd voelen bij een CAM huisarts zolang hun klachten niet heel ernstig zijn, maar switchen naar de reguliere zorg als ze serieuze gezondheidsproblemen ondervinden. Aangezien deze groep de hoogste zorgkosten heeft en ruim de helft van het aantal ‘zuivere’ CAM patiënten beslaat, is deze mogelijkheid niet zomaar te negeren. Maar misschien komen K&B later nog wel met dit soort analyses.

Conclusie

Kritiek krijgen vinden Kooreman en Baars blijkbaar niet zo leuk. Ze reageren daar overdreven geïrriteerd op, zonder echt in te gaan op de kritiekpunten. Dit onderzoek betekent in feite een forse stap terug op de weg naar de conclusie die K&B graag zouden trekken, nl. dat CAM-artsen minstens zo goede zorg leveren en dat ook nog tegen lagere kosten. Over de gezondheidseffecten van het verschil in type zorg kunnen ze niets zeggen en wat de kosteneffectiviteit betreft ook niet veel. Voor de overheid is er nu dus eerder nog minder reden om onderzoek naar CAM te faciliteren.

Update 4 september 2014

Het is Kooreman en Baars deze keer ook weer gelukt om hun onderzoek in een internationaal goed gelezen wetenschappelijk tijdschrift geplaatst te krijgen. Het verscheen vorige week in BMJ Open onder de titel A 6-year comparative economic evaluation of healthcare costs and mortality rates of Dutch patients from conventional and CAM GPs. Het bevat niet veel meer informatie dan de wat leesbaardere versie in ESB. Wat wel opvalt is dat er nu een analyse van ‘de overstappers’ is toegevoegd. Je zou misschien denken dat dat komt, omdat ik hierboven opschreef dat zo’n analyse heel interessant zou kunnen zijn, maar het komt eigenlijk omdat één van de reviewers er om vroeg (de review history is ook vrij beschikbaar en wel interessant leesvoer).
De belangrijkste conclusie uit die analyse van de overstappers is volgens K&B: “After correction for observed differences between the groups by means of linear regression analyses, switching from a CON to a CAM GP results in 34 Euros lower costs (not significant: p = 0.83) and switching from a CAM to a CON GP results in 360 Euros higher costs (p < 0.079).” Kun je daar iets mee? Je zou kunnen bedenken dat die patiënten na de overstap naar een reguliere huisarts eindelijk de serieuze zorg kregen die ze nodig hadden, maar een andere verklaring is natuurlijk ook mogelijk. Blijft giswerk zonder extra informatie.

Er schoot me nog wel een mogelijke verklaring voor het aanzienlijke verschil in totale kosten voor de verzekeraar te binnen (als we er even van uitgaan dat die met een betere analysemethode ook overeind zou blijven). Nienhuys en Renckens viel het bij de eerder studie al op dat de kosten in sommige categorieën veel lager waren,  maar dat het toch maar net significant was. Als mogelijke verklaring wezen ze op uitschieters. Die zou je het beste kunnen zoeken in de ziekenhuiskosten, omdat die verreweg het grootste deel van het verschil veroorzaken. Het lijkt me nu niet onredelijk te veronderstellen dat er een relatief kleine groep patiënten met ernstige (chronische) aandoeningen is, die een flink deel van de kosten ‘veroorzaakt’. Denk aan oncologie, dialyse. Die patiënten danken hun voortbestaan in belangrijke mate aan reguliere zorg die berust op moderne ontwikkelingen in de medische wetenschap. Het zijn ook vaak patiënten die goed voorgelicht worden en zichzelf informeren over hun ziekte. Zouden die patiënten zich eerder thuisvoelen bij een alternatieve of bij een reguliere huisarts? Ik zou daarom wel eens een grafiekje willen zien van de verdeling van de gemiddelde kosten per patiënt uit de verschillende groepen. Grote kans dat die een heel verschillende verdeling laat zien, met een ‘vette staart’ bij de regulieren.
Een zelfde gedachte gaat op voor de verschillen in kosten voor geneesmiddelen. Zouden er bijvoorbeeld veel hemofiliepatiënten (die zeer dure bloedstollingsmiddelen nodig hebben) bij een antroposofische huisarts dokteren? Ik hoop het niet, want de antroposofische ideeën over bloed zijn uiterst merkwaardig.

Alternatieve huisartsen werken 15 procent goedkoper? Een verzinsel!

by 95 Comments

Engels - UK vlag 30x24Op Internet worden door verdedigers van alternatieve zorg onder andere de volgende mythes verspreid: de Zwitserse overheid zou in een rapport hebben aangetoond dat homeopathie werkt en alternatieve huisartsen zouden maar liefst 15 procent goedkoper werken dan hun reguliere collega’s. Dat Zwitserse onderzoek is echter niet het standpunt van de overheid en ook niet door de overheid uitgevoerd (link, link). Inhoudelijk is het ook niet zo best. Maar dat belemmerde de in homeopathische kringen populaire Dana Ullman niet om het als een ‘Remarkable Report‘ weer te geven op The Huffington Post. Dat bericht werd door allerlei alternatieve sites overgenomen.
In zijn volgende stuk herhaalde Ullman zijn verkeerde weergave van het ‘Zwitserse rapport’, maar haalde nu ook het Nederlands onderzoek aan van professor dr. Peter Kooreman en dr. Erik  Baars. Daaruit zou blijken dat de patiënten van huisartsen, die naast gewone zorg ook homeopathie, acupunctuur of antroposofische geneeswijzen toepassen, 15 procent minder kosten zouden opleveren voor hun zorgverzekeraar. Die 15 procent staat echter nergens in het artikel en kan ook niet uit de resultaten afgeleid worden. Waar komt die mythe dan vandaan?

dr. Erik Baars
dr. Erik Baars

Eerste kritiek
Het onderzoek van Kooreman en Baars (K&B) kwam de wereld in via een bericht in de Volkskrant  (8 juni 2010) en werd vrij snel daarna besproken door Cees Renckens en Jan Willem Nienhuys op de site van de Vereniging tegen de Kwakzalverij. Een probleem met een directe vergelijking tussen de kosten van de patiëntenpopulaties van reguliere en alternatieve huisartsen is dat die nogal van elkaar kunnen verschillen. Bekend is dat de belangstelling voor alternatieve geneeswijzen vaak samengaat met een hoger opleidingsniveau, en een in het algemeen hogere sociaaleconomische status , precies de parameters die ook statistisch gesproken samengaan met minder ziekte en een langer leven. In de studie van K&B is daarvoor gecorrigeerd door te vergelijken binnen postcodegebiedjes; binnen zo’n klein gebiedje zijn die verschillen in sociaaleconomische status niet zo groot.
Renckens en Nienhuys merken op dat vreemd genoeg alleen van de vergelijking op basis van de ongecorrigeerde gegevens een totaalresultaat wordt gegeven: een niet-significant verschil van 7%. Zij vragen zich af waar die 15 procent uit het Volkskrantartikel eigenlijk op slaat. Ook valt ze op dat de (gecorrigeerde) kosten voor 75-plussers bij antroposofen enorm veel lager zijn (400 euro per kwartaal op een totaal van ruim 1300 euro), maar dat dit toch maar net significant is. Het gaat daarom misschien maar om heel kleine aantallen of de spreiding is door enkele uitschieters enorm (of allebei). Volgens de VtdK liet Kooreman in een reactie weten dat ‘uit het bovenstaande duidelijk is dat in de VtdK de competentie ontbreekt om het genoemde onderzoek te beoordelen‘. Renckens en Nienhuys besloten hun commentaar met de opmerking dat we misschien eerst maar moeten wachten met in het gegoochel met cijfers te duiken tot de auteurs het in een fatsoenlijk tijdschrift weten te publiceren. Het stond immers alleen nog als ‘submitted article’ op de eigen website van Kooreman.

Gepubliceerd en becommentarieerd
Uiteindelijk werd het artikel in december 2012 gepubliceerd in The European Journal of Health Economics als Patients whose GP knows complementary medicine tend to have lower costs and live longer (Open Access). Voor de duidelijkheid: GP staat voor General Practioner en is dus een huisarts, CAM staat voor Complementary and Alternative Medicine, wat ik gemakshalve maar alternatieve zorg blijf noemen. Via een linkje van Rbutr werd ik geattendeerd op die publicatie en het recente commentaar daarop van onder andere Christopher Sampson. De reactie van deze Engelsen is wel open op de site van Sampson te vinden (pdf). Hun kritiek omvat onder andere de volgende punten:

  • Ten eerste wijzen ze er op dat K&B niet corrigeren voor meervoudig toetsen. Er worden vergelijkingen gemaakt bij tal van subgroepen (naar leeftijd, soort medische handeling en per soort alternatieve zorg) en dan moet je erg oppassen dat je niet toevallige uitschieters als significant bestempelt;
  • In het artikel staat ook maar één uitkomstmaat die iets met de gezondheidstoestand van patiënten te maken heeft, het sterftecijfer. Dit is mijns inziens een heel belangrijke observatie. Er is geen enkele relatie te leggen op grond van de gegevens in de studie tussen het soort handeling (alternatief of regulier) en de kosten. Je had het hele onderzoek in feite net zo goed kunnen doen met een opdeling van de huisartsen naar hun favoriete automerk. De uitkomst (neigend naar significantie, of zo) was dan misschien wel geweest dat Mercedes rijdende artsen goedkoper werken, maar dat had vast niemand dan serieus genomen;
  • De conclusie van het artikel, 0 tot 30% lagere kosten en mortaliteit bij de alternatieve patiënten, vinden ze onoprecht, gezien wat de auteurs aanvoeren aan gegevens en analyse;
  • Ten slotte wijzen ze er op, dat je erg voorzichtig zou moeten zijn met het zo weergeven van het onderzoek. Juist omdat lobbygroepen voor alternatieve zorg het als propaganda zouden kunnen gebruiken, terwijl het resultaat helemaal niet zo duidelijk is. Sampson et al. hierover in hun conclusie:  ‘The study does not demonstrate that GP-CAM training is associated with either reduced healthcare costs or reduced mortality. Academics have a responsibility to communicate their research carefully and without misinterpretation. Kooreman and Baars have failed to do this.’

In hetzelfde nummer staat ook de reactie van K&B op deze kritiek. Met betrekking tot dat meervoudige toetsen stellen ze dat ze zoveel significante resultaten vonden (17-21%) dat die niet allemaal toegeschreven kunnen worden aan fout-positieve resultaten. Statistisch gezien een uiterst merkwaardige opvatting over de problematiek van meervoudig toetsen. Over de weergave van de resultaten merken ze op dat de 30% zowel slaat op de 400 euro die minder werd uitgegeven ten behoeve van de 75-plussers bij antroposofische artsen als de lagere mortaliteit, die ook 30% lager was (bij mannen). Ook wijzen ze erop dat ‘0%’ in het gegeven interval ligt. Misschien moeten we hieruit opmaken dat ze een niet al te harde claim neerleggen, maar ik vind het een uiterst onduidelijke manier van samenvatten van het resultaat. Ze besluiten met:

Throughout, we have been careful to stress the limitations of our study and the need for further research based on better datasets (and we continue to do so in our contacts related to this study with the media, practitioners, and other parties). The commentators have not provided any insights beyond those already available in our original paper. We hope that their future contributions (and the associated journal space) will take the form of substantive research on this important topic.

Ik was eerlijk gezegd nogal verbijsterd over dit commentaar. Sampson et al. hadden mijns inziens goed beargumenteerd gehakt gemaakt van het stuk van K&B en die dachten het met zulke slappe argumenten af te kunnen doen?

Waar komt die 15 procent toch vandaan?
Ik werd na het lezen van deze stukken ook nieuwsgierig naar de herkomst van die ’15 procent’. Ik besloot eerst eens te mailen met Sampson. Die had het commentaar van K&B nog niet gezien en was ook verrast dat het onderzoek al lang en breed gebruikt werd op Internet door diverse organisaties die de alternatieve gezondheidszorg promoten. Die ’15 procent’ was hem onbekend, omdat die immers niet in het artikel staat. Ook was hij nogal geschrokken van de reactie van K&B die hun bezwaren ontzettend gemakzuchtig afdoen. Ze zijn van plan er binnenkort op terug te komen [Update: inmiddels gebeurd].
In eerste instantie dacht ik dat die ’15 procent’ wel eens kon komen van een verkeerde interpretatie van het resultaat dat K&B gaven in hun artikel:

Patients whose GP has additional CAM training have 0–30% lower healthcare costs and mortality rates, depending on age groups and type of CAM. The lower costs result from fewer hospital stays and fewer prescription drugs

Was dat interval van 0 tot 30% misschien opgevat als een betrouwbaarheidsinterval? Dan zou het wel voor de hand liggen om het gevonden resultaat precies in het midden daarvan te veronderstellen. Uit het commentaar van K&B was echter duidelijk dat het meer een grove aanduiding is van de mogelijke waarden van die besparing. Maar is het wel een eerlijke weergave? De cijfers waar het om gaat, moeten komen uit de tabel met de gecorrigeerde gegevens:

 

Tabel 3 uit het stuk van Kooreman en Baars. Hierin staan in de eerste drie kolommen de gecorrigeerde verschillen in kosten per categorie
Tabel 3 uit het stuk van Kooreman en Baars. De eerste drie kolommen geven de gecorrigeerde verschillen in kosten per categorie (per kwartaal in euro’s). Arcering door mij aangebracht.

Inderdaad treffen we die (ongeveer) 400 euro besparing aan van de antroposofische 75-plussers. Er staat echter ook in dat in de leeftijdsgroep tot 25 jaar de patiënten bij de homeopathische huisarts 100 euro meer kostten dan die bij de reguliere arts, 47 procent duurder! Is het dan niet eerlijker om het interval weer te geven als lopend van -47% tot 30%?  Om een wat beter beeld van het resultaat te krijgen, zouden aantallen patiënten per cel, standaarddeviaties en p-waardes goed uitkomen. Ik besloot daarom ook maar eens met Kooreman te mailen.

Het was niet een interpretatiefout van de Volkskrant geweest, het stond namelijk al in het persbericht van de Universiteit van Tilburg. En Baars noemde het ook in een radio-interview (Hoe?Zo! radio 9 juni 2010, vanaf 19.05). Kooreman had duidelijk niet veel trek in een discussie met mij en wees erop dat in het persbericht ‘ongeveer 15 procent’ staat en niet ’15 procent’. Ook ging hij niet in op mijn herhaalde verzoek om de achterliggende cijfers van de tabel te sturen. Van een (niet gecorrigeerd) niet significant verschil van 7 procent kan ik echter niet op een verantwoorde manier een verschil van ‘ongeveer 15 procent’ maken, liet ik hem weten. Daarop vernam ik niets meer van Kooreman. Jammer. Ik heb nog wel gevonden dat de ‘ongeveer 15 procent’ echt door beide heren zelf in het leven is geroepen. De aanleiding van het persbericht was het indienen van het stuk voor een congres in december 2010. De deadline voor de abstracts was 31 mei 2010 en in hun abstract schrijven ze:

Conclusions: There is evidence that treatment by GPs who completed additional training in complementary medicine (anthroposophic medicine, homeopathy or acupuncture) results in approximately 15% health care cost reduction.

prof. dr. Peter Kooreman
prof. dr. Peter Kooreman

In een opiniestuk in Trouw, ruim een jaar later, liet Kooreman die ‘(ongeveer) 15 procent’ achterwege en vat het resultaat zo samen: ‘Recent onderzoek laat zien dat huisartsen die zich na hun reguliere opleiding hebben geschoold in acupunctuur, antroposofische geneeswijzen of homeopathie goedkoper werken dan reguliere huisartsen, ook als zo goed mogelijk wordt gecorrigeerd voor de verschillende achtergrondkenmerken van patiënten. Hun patiënten leven bovendien langer‘.
Dit opiniestuk was onder andere bedoeld om de aandacht te vestigen op een boek waarin Kooreman een hoofdstuk schreef en daarin schrijft hij het nog wat voorzichtiger op: ‘Kooreman en Baars vinden op basis van gegevens van een Nederlandse zorgverzekeraar aanwijzingen dat huisartsen die zich na hun reguliere opleiding hebben geschoold in acupunctuur, antroposofische geneeswijzen of homeopathie goedkoper werken dan reguliere huisartsen.‘ (vetgedrukt telkens door mij).
Op diverse websites werd aan het stuk van K&B gerefereerd met een afwijkende titel: ‘Patients Whose GP Knows Complementary Medicine Have Lower Costs and Live Longer’ in plaats van ‘Patients whose GP knows complementary medicine tend to have lower costs and live longer’. Ik dacht in eerste instantie dat dit subtiele misleiding was van die websites (vooral, omdat ook Ullman het doet). De titel is echter tussen de aankondiging van het aanbieden voor publicatie en de daadwerkelijke publicatie veranderd in de wat minder stellige versie. Kooreman heeft op zijn site die oude versie gewoon vervangen door de gepubliceerde versie, zodat alle links verwijzen naar de recentste versie. De verschillende versies zijn ook te zien via de bibliotheek van de Universiteit van Tilburg.

Conclusie
Het heeft er alle schijn van dat Kooreman en Baars het echte resultaat van hun onderzoek, ‘we hebben geen significant verschil gevonden’, hebben geprobeerd weer te geven als iets dat hun beter uitkomt. Ook lijken ze niet te beroerd om collega-wetenschappers hiermee op het verkeerde been te zetten (zie bijvoorbeeld het naschrift bij deze column). Het is natuurlijk wat vervelend als mensen als Nienhuys, Renckens en ik daar lastige vragen over stellen. Die blogs van ons zijn nog wel af te doen als het te verwachten geluid van zelfbenoemde kwakzalversbestrijders maar de kritiek van vakgenoten als Sampson kon natuurlijk niet onbeantwoord blijven. Dat K&B ook die kritiek zo hooghartig menen af te kunnen doen, verbaast me toch wel.
Het contrasteert ook met de manier waarop Kooreman zelf zegt te hebben aangedrongen op een zorgvuldige interpretatie van de resultaten van de studie. Op het congres “Heel de Mens“ (4 oktober 2012) hield hij een voordracht waarin hij erop wees dat die veelal werd gebracht als bewijs dat alternatieve gezondheidszorg als zodanig goedkoper werkt, terwijl die volgens hem alleen aantoont dat huisartsen met kennis van die alternatieve zorg goedkoper werken, zonder dat direct duidelijk is of het komt door het toepassen van die alternatieve zorg. Ook wijst hij erop dat de prijs die Baars en hij kregen voor de studie op het European Congress for Integrative Medicine gesponsord is door de homeopathische firma Heel en dat veel van de sites die het bericht brengen dat detail weglaten.
Klinkt heel integer, maar nergens in zijn verhaal heeft hij het er over dat het echte resultaat van de studie zo misleidend is weergegeven door de auteurs zelf. Die misleiding is begonnen met hun abstract en het daaropvolgende persbericht van de Universiteit van Tilburg. Er wordt een cijfer genoemd als resultaat van een nog niet gepubliceerd onderzoek, maar daar blijkt het niet eens in voor te komen. Zouden universiteiten natuurlijk ook niet moeten doen, de ongecontroleerde stokpaardjes van hun medewerkers uitdragen, daar zijn vaker ongelukken van gekomen.

Naschrift
Kooreman en Baars deden hun rekenwerk nog eens over met een grotere dataset waarover ze in 2014 publiceerden, zie Verzekerde zorgkosten van patiënten bij alternatieve huisarts. Op het congres van de Vereniging tegen de kwakzalverij in 2017 besprak Marco Blanker deze studie, terug te zien op YouTube.