Kloptdatwel?

statistiek

Verzekerde zorgkosten van patiënten bij alternatieve huisarts

by 37 Comments

In een recent artikel stellen Peter Kooreman en Erik Baars dat de zorgkosten van de patiënten van complementaire huisartsen die gedekt worden door de basisverzekering substantieel lager zijn dan die van sociaal-economisch vergelijkbare patiënten met een reguliere huisarts. Dat deden ze eerder al op basis van een kleiner bestand van een andere zorgverzekeraar. Toen beweerden ze ook dat ze aanwijzingen hadden gevonden dat patiënten bij complementaire huisartsen langer zouden leven. Op dat onderzoek kwam veel kritiek en dit nieuwe onderzoek lijkt niet veel beter.

[update geplaatst op 4-9-2014]

Anderhalf miljoen patiënten

Professor dr. Peter Kooreman, hoogleraar gezondheidseconomie aan de Universiteit van Tilburg, en dr. Erik Baars, lector antroposofische gezondheidszorg aan Hogeschool Leiden en senior onderzoeker bij het Louis Bolk Instituut, hebben wederom een database van een zorgverzekeraar mogen doorpluizen op zoek naar kostenverschillen tussen patiënten die een reguliere huisarts hebben of bij een huisarts zitten die aangesloten is bij een van de beroepsverenigingen voor alternatieve zorg. Hun bevindingen hebben ze opgeschreven in Complementair werkende huisartsen en de kosten van zorg (Economische Statistische Berichten, 7 feb. 2014). Dit onderzoek van Kooreman en Baars (K&B) is een vervolg op de eerder door hun uitgevoerde analyse op een kleiner bestand. Die studie verscheen in het gezaghebbende European Journal of Health Economics en heb ik vorig jaar besproken in Alternatieve huisartsen werken 15 procent goedkoper? Een verzinsel.

prof. dr. Peter Kooreman
prof. dr. Peter Kooreman

Nu konden K&B de gegevens van maar liefst 1,5 miljoen patiënten analyseren; tien keer zoveel als de vorige keer. Dat lijkt een stuk indrukwekkender dan het is. Het (ongecorrigeerde) verschil in de vorige studie was 7 procent in het voordeel van de complementaire groep, maar niet significant (blijkbaar is de spreiding enorm). Nu vinden K&B 10,1 procent lagere kosten en of dat significant is, staat eigenlijk niet in het artikel. Het lijkt erop dat K&B alleen geïnteresseerd zijn in significante verschillen in subgroepen. Bij dat zoeken naar significante verschillen, lijken ze echter niet veel zorgvuldigheid te betrachten. Merkwaardig, omdat daar eerder stevige kritiek op kwam (van Sampson et al.), zoals ik in mijn vorige blog heb beschreven.
Een belangrijke beperking van beide studies is dat het alleen gaat om de kosten die vergoed werden door de zorgverzekeraar. Hoe hoog de niet vergoede kosten waren, is niet bekend. In de meeste aanvullende verzekeringen zit een maximum aan gedekte kosten voor complementaire zorg. Hoeveel van de verzekerden haalden dat maximum en betaalden vervolgens de rest van de complementaire behandelingen uit eigen zak? De aanspraak op de aanvullende verzekering door de  complementaire groep is aanzienlijk hoger dan die van de reguliere groep en waarschijnlijk gingen er dan ook meer over dat maximum heen. Dus kan dit zeker een rol spelen bij het beantwoorden van de vraag hoe het zit met de totale zorgkosten, niet alleen die van de zorgverzekeraars.

Gezondheidsindicatoren

Sampson en zijn co-auteurs merkten in hun kritiek op de eerdere studie ook al op dat de enige uitkomstindicator in de studie die aan gezondheid gerelateerd is, namelijk sterfte, een ongelukkige is om de populaties van huisartsen te vergelijken. Het door K&B gevonden verschil bleek bij een statistische analyse die meer geschikt is, overigens niet significant. In de huidige studie is dat weer niet het geval, toch spreken K&B eerst weer van “lichte aanwijzingen voor lagere sterfte onder patiënten met een complementair werkende huisarts op basis van een lineair kansmodel en een conditioneel logitmodel” om dan pas met de conclusie van een wel geschikte analyse te komen: “maar geen aanwijzingen voor verschillen in sterfte op basis van een proportional hazard-model.” Een beetje raar, het lijkt erop dat K&B toch even graag die ‘lichte aanwijzingen’ genoemd wilden hebben, hoewel het betekenisloos is.

Over de correctie op socioeconomische verschillen

dr. Erik Baars
dr. Erik Baars

Bekend is dat de belangstelling voor CAM (Complementary and Alternative Medicine) vaak samengaat met een hoger opleidingsniveau en een in het algemeen hogere socioeconomische status, precies de parameters die ook statistisch gesproken samengaan met minder ziekte en een langer leven. De kracht van de eerdere studie was nu net dat er redelijk gecorrigeerd kon worden voor deze verschillen, omdat toen gegevens op postcode-6 niveau beschikbaar waren.
K&B merken zelf op over het belang daarvan: “However, since socio-economic differences within a 4-digit postal code are typically large, this would not be a credible approach for identifying a causal effect of CAM on costs.” In deze grotere database waren de gegevens slechts tot op postcode-4 niveau beschikbaar.
Of de socioeconomische verschillen het verschil in kosten kunnen verklaren, diepen K&B niet verder uit. Ze geven echter wel argumenten die het in twijfel lijken te trekken, bijvoorbeeld door te suggereren dat je in de CAM-groep ook hogere ziektekosten zou kunnen verwachten: “Ander onderzoek laat echter zien dat bij complementair werkende artsen relatief veel patiënten met ernstige en chronische ziektes voorkomen (Melchart et al., 2005)” Deze observatie uit Zwitserland is echter gebaseerd op de inschatting van de betrokken huisartsen en patiënten zelf (zie Schlussbericht PEK, April 2005, blz 37) en het verschil kan goed veroorzaakt zijn door bias. Dat blijkt ook uit een ander onderzoek (pdf) in het kader van die Zwitserse PEK dat Kooreman en Baars niet noemen. Daarin staat onder andere:

An important finding in this context is that CAM patients rated their main health problems as more severe than did COM patients, although general health assessments were not different between patient groups. Our data therefore provide some evidence that individual morbidity is not directly associated with overall selfrated assessment of health. The differing perceptions of severity of illness may primarily be linked to different frequencies of major symptoms in the three patient populations of the study, but also may be related to different adjustments and coping strategies with disease in patients seeking COM or CAM.

en

Furthermore, CAM patients see their main health problems as more severe than COM patients, although self-perceived general health levels appear to be equal.

Ook hier ontkom ik niet aan de indruk dat K&B naar een vooraf gewenste uitkomst toe redeneren. Dat vond ook Marc Pomp, consultant gezondheidseconomie, die een reactie in ESB schreef:

Nog los van de vraag of de Zwitserse situatie van toepassing is op Nederland, zijn er allerlei andere potentiële verschillen tussen patiënten met een alternatieve huisarts en patiënten met een reguliere huisarts. De claim waarmee het artikel opent – dat de zorgkosten bij vergelijkbare patiënten van alternatieve huisartsen lager zijn – wordt daarom op geen enkele manier ondersteund door de schattingsresultaten.

K&B reageerden hier weer op en delen en passant een sneer uit naar de kritiek op hun eerdere studie:

Ook nadat gecorrigeerd is voor achtergrondkenmerken, voor zover de beschikbare data dat toelaten, zijn die verschillen zo groot en significant dat ze niet zomaar kunnen worden genegeerd. Natuurlijk is ook in dit onderzoek het scheiden van oorzakelijke effecten (dat wil zeggen de effecten van het doen en laten van de huisarts) en selectie-effecten een uitdaging. Wij zijn ons daarvan zeer bewust en hebben dan ook nergens beweerd dat de gevonden kostenverschillen een zuiver causaal verband weergeven. Integendeel, wij hebben telkens benadrukt dat voor het scheiden van selectie- en oorzakelijke effecten rijkere datasets en nieuwe onderzoeksdesigns nodig zijn. De reactie van Pomp snijdt dan ook geen hout, net als het door hem geciteerde commentaar van Sampson et al. (Kooreman en Baars, 2013). Hetzelfde geldt voor commentaar dat, zonder peer review en zonder wederhoor, op websites is geplaatst.

Helaas staan deze commentaren niet vrij toegankelijk op de site van ESB. Mijn blog was dan wel niet peer reviewed, maar aan wederhoor heb ik wel degelijk gedaan. Juist het gebrek aan bereidheid om in te gaan op mijn vragen vond ik toen bijzonder storend. De cijfers zoals ze gepresenteerd worden, zijn niet controleerbaar en toen ik er om vroeg kreeg ik de achterliggende aantallen per cel, p-waardes en meer van dat soort informatie, niet.

De 0 tot 30 procent uit de vorige studie

Een belangrijk punt in mijn vorige blog was dat de resultaten misleidend weergegeven waren. In krantenberichten stond dat complementaire huisartsen 15 procent goedkoper waren, gebaseerd op een persbericht van de UvT. In het uiteindelijk gepubliceerde artikel werd dat gemaskeerd als dat ze “kostenverschillen vonden, afhankelijk van het type complementaire huisarts en de leeftijdscategorie van de patiënt, die variëren tussen 0 en 30 procent.” In het persbericht van de UvT dat nu uitging staat hierover dat daaruit eerder de ‘te weinig genuanceerde weergave’ van ongeveer 15 procent lagere kosten was gedestilleerd. In feite is het nog minder genuanceerd, zoals ik heb laten zien: de werkelijk gevonden verschillen (voor wat ze statistische gezien waard zijn) lopen uiteen van -47% tot 30%,  wat natuurlijk een heel ander beeld geeft. In een kader bij hun ESB artikel geven K&B echter wederom doodleuk het interval 0 tot 30 procent als resultaat van die eerdere studie.

De overstappers

De meest interessante groep laten K&B vrijwel buiten hun analyses. Een grote groep patiënten wisselde minstens een keer van reguliere naar complementaire huisarts (of andersom). In hun modelberekening wordt deze groep er helemaal uit gelaten, terwijl die toch groot is ten opzichte van de groep ‘zuivere’ CAM-patiënten. Alleen een ruwe vergelijking wordt gegeven:

Tabel 1 uit het artikel van Kooreman en Baars (ESB, 7-2-2014)
Tabel 1 uit het artikel van Kooreman en Baars (ESB, 7-2-2014)

Een voor de hand liggende vraag is bijvoorbeeld of er een relatie te ontdekken is tussen de zorgkosten van deze patiënten en het type huisarts dat ze op een bepaald moment hadden. Wellicht dat patiënten zich vertrouwd voelen bij een CAM huisarts zolang hun klachten niet heel ernstig zijn, maar switchen naar de reguliere zorg als ze serieuze gezondheidsproblemen ondervinden. Aangezien deze groep de hoogste zorgkosten heeft en ruim de helft van het aantal ‘zuivere’ CAM patiënten beslaat, is deze mogelijkheid niet zomaar te negeren. Maar misschien komen K&B later nog wel met dit soort analyses.

Conclusie

Kritiek krijgen vinden Kooreman en Baars blijkbaar niet zo leuk. Ze reageren daar overdreven geïrriteerd op, zonder echt in te gaan op de kritiekpunten. Dit onderzoek betekent in feite een forse stap terug op de weg naar de conclusie die K&B graag zouden trekken, nl. dat CAM-artsen minstens zo goede zorg leveren en dat ook nog tegen lagere kosten. Over de gezondheidseffecten van het verschil in type zorg kunnen ze niets zeggen en wat de kosteneffectiviteit betreft ook niet veel. Voor de overheid is er nu dus eerder nog minder reden om onderzoek naar CAM te faciliteren.

Update 4 september 2014

Het is Kooreman en Baars deze keer ook weer gelukt om hun onderzoek in een internationaal goed gelezen wetenschappelijk tijdschrift geplaatst te krijgen. Het verscheen vorige week in BMJ Open onder de titel A 6-year comparative economic evaluation of healthcare costs and mortality rates of Dutch patients from conventional and CAM GPs. Het bevat niet veel meer informatie dan de wat leesbaardere versie in ESB. Wat wel opvalt is dat er nu een analyse van ‘de overstappers’ is toegevoegd. Je zou misschien denken dat dat komt, omdat ik hierboven opschreef dat zo’n analyse heel interessant zou kunnen zijn, maar het komt eigenlijk omdat één van de reviewers er om vroeg (de review history is ook vrij beschikbaar en wel interessant leesvoer).
De belangrijkste conclusie uit die analyse van de overstappers is volgens K&B: “After correction for observed differences between the groups by means of linear regression analyses, switching from a CON to a CAM GP results in 34 Euros lower costs (not significant: p = 0.83) and switching from a CAM to a CON GP results in 360 Euros higher costs (p < 0.079).” Kun je daar iets mee? Je zou kunnen bedenken dat die patiënten na de overstap naar een reguliere huisarts eindelijk de serieuze zorg kregen die ze nodig hadden, maar een andere verklaring is natuurlijk ook mogelijk. Blijft giswerk zonder extra informatie.

Er schoot me nog wel een mogelijke verklaring voor het aanzienlijke verschil in totale kosten voor de verzekeraar te binnen (als we er even van uitgaan dat die met een betere analysemethode ook overeind zou blijven). Nienhuys en Renckens viel het bij de eerder studie al op dat de kosten in sommige categorieën veel lager waren,  maar dat het toch maar net significant was. Als mogelijke verklaring wezen ze op uitschieters. Die zou je het beste kunnen zoeken in de ziekenhuiskosten, omdat die verreweg het grootste deel van het verschil veroorzaken. Het lijkt me nu niet onredelijk te veronderstellen dat er een relatief kleine groep patiënten met ernstige (chronische) aandoeningen is, die een flink deel van de kosten ‘veroorzaakt’. Denk aan oncologie, dialyse. Die patiënten danken hun voortbestaan in belangrijke mate aan reguliere zorg die berust op moderne ontwikkelingen in de medische wetenschap. Het zijn ook vaak patiënten die goed voorgelicht worden en zichzelf informeren over hun ziekte. Zouden die patiënten zich eerder thuisvoelen bij een alternatieve of bij een reguliere huisarts? Ik zou daarom wel eens een grafiekje willen zien van de verdeling van de gemiddelde kosten per patiënt uit de verschillende groepen. Grote kans dat die een heel verschillende verdeling laat zien, met een ‘vette staart’ bij de regulieren.
Een zelfde gedachte gaat op voor de verschillen in kosten voor geneesmiddelen. Zouden er bijvoorbeeld veel hemofiliepatiënten (die zeer dure bloedstollingsmiddelen nodig hebben) bij een antroposofische huisarts dokteren? Ik hoop het niet, want de antroposofische ideeën over bloed zijn uiterst merkwaardig.

Remt een groene omgeving kortetermijndenken?

by 18 Comments

Engels - UK vlag 30x24Wat zou je kiezen? 100 euro nu meteen of 110 euro over drie maanden? Met de lage rentes van de laatste jaren, lijkt het verstandiger om voor het hogere bedrag over drie maanden te gaan. In de praktijk nemen mensen echter vaker het snelle geld. Hoogleraar groeps- en organisatiepsychologie Mark van Vugt en zijn team aan de Vrije Universiteit Amsterdam probeerden uit te vinden of de omgeving waarin je deze vraag stelt, uitmaakt. Van Vugt : “Impulsiviteit en korte termijn denken zijn typisch menselijke eigenschappen. In ons onderzoek keken we of natuur die mechanismen in ons brein kon beïnvloeden.” (persbericht VU, 6 nov. 2013). 

Het onderzoek is gepubliceerd als: Do natural landscapes reduce future discounting in humans? Arianne J. van der Wal, Hannah M. Schade, Lydia Krabbendam, and Mark van Vugt (Proc R Soc B 2013 280: 20132295).

geld-bos-stad-fav-img640x198

Waarom zouden hun bevindingen ons moeten interesseren? De onderzoekers stellen in het persbericht:

Het effect van natuur op menselijk beslisgedrag is van belang bij het aanpakken van problemen zoals afvalproductie, klimaatverandering, en de explosieve bevolkingsgroei. Want juist strategieën en gedrag die zich slechts richten op de korte termijn, veroorzaken de huidige sociale en milieuproblemen. […] Om ervoor te zorgen dat mensen beslissingen nemen die minder schadelijk zijn voor zichzelf, hun omgeving of het milieu, kan de invloed van natuur dus belangrijk zijn. Een groot deel van de wereldbevolking woont in steden. Door manieren te zoeken om mensen in steden toch in contact te brengen met de natuur, kunnen we gedrag ten aanzien van bijvoorbeeld het milieu positief en wellicht structureel veranderen.

Dat zijn nogal grote woorden en ik denk dat die niet echt ondersteund worden door de resultaten van dit onderzoek, dat ziet er toch wat dunnetjes uit. Twee van de drie experimenten zijn ‘priming’-onderzoekjes van het soort dat de laatste paar jaar nogal onder vuur is komen liggen (zeker na de Stapelaffaire). Het grootste probleem dat ik heb met dat soort tests, is dat de onderzoekers denken te weten hoe hun ingreep uitpakt. Vaak wordt er bijvoorbeeld met afbeeldingen gewerkt, die verschillende specifieke effect bij de proefpersonen zouden moeten bewerkstelligen. Maar als je er wat kritischer naar kijkt, kun je die afbeeldingen vaak ook onderscheiden op heel andere kenmerken dan waar het in het onderzoek om zou moeten gaan.
Het derde experiment dat in het artikel beschreven wordt, lijkt daarom interessanter. Dit keer geen plaatjes van bossen als surrogaat voor een natuurervaring, maar de deelnemers werden daadwerkelijk op een wandeling gestuurd door het Amsterdamse Bos. Een andere groep moest het doen met de stedelijk omgeving van de Zuidas. Na vijf minuten wandelen, ontmoetten ze een onderzoeksassistent die ze verschillende taken voorlegde. Het meest in de media beschreven onderdeel heeft veel weg van een spelletje: eerst kregen de deelnemers de vraag waar hun voorkeur naar uitging, 100 euro nu meteen of 110 euro over 90 dagen. De deelnemers die voor de directe 100 euro gingen, kregen de vervolgvraag wat ze zouden kiezen als het latere bod verhoogd werd: 100 euro nu of 120 euro later. En dat werd zo voortgezet totdat het laatste bod op 170 euro lag.
Het idee achter deze opzet is dat mensen die kiezen voor het uitgestelde, maar hogere bedrag in het algemeen ook meer rekening houden met de lange termijn. In vaktermen noem je dit een temporal discounting game en het is veel gebruikt door andere onderzoekers. Maar hier was de uitvoering afwijkend en de onderzoekers hadden daar te weinig oog voor, denk ik. De hypothese was dat de groep die aan het bos werd blootgesteld eerder zou kiezen voor de uitgestelde hogere beloning, omdat … ja, dat is natuurlijk waar dit eigenlijk om zou moeten gaan. De onderzoekers gaan er vanuit (en dat zullen veel mensen ook wel plausibel vinden) dat die blootstelling aan een natuurlijke omgeving je meer bewust zou maken van de gevolgen van je beslissingen ook in de verderweg gelegen toekomst en dat je daarom eerder doordachte beslissingen zal nemen. Of zoals ze dat in het artikel verwoorden: ‘when people are exposed to scenes of natural landscapes their discount rates are lower compared with exposure to urban landscapes’.

De resultaten worden als volgt gegeven:

Confirming Hypothesis 1, participants in the nature versus urban condition showed a significant difference in temporal discounting (F1,41 = 5.41, p = 0.025, part. η2 = 0.12). In the nature condition, the individual indifference point of the participants was lower than that in the urban condition, with Mnature = 122.38 (s.d. = 16.40) and Murban = 135.45 (s.d. = 20.17). On average, we found a 10% reduction in future discounting in the nature condition versus urban condition (figure 3).

En in een grafiek weergegeven:

figure3

Deze presentatie van de cijfers is onnodig ingewikkeld. Waarom niet een eenvoudig tabelletje dat laat zien hoeveel deelnemers er uiteindelijk met welk bedrag vandoor gingen? Gelukkig zijn ook de data van dit onderzoek onder Open Access bij het artikel beschikbaar gesteld en kon ik dat tabelletje zelf maken:

De cijfers achter de grafiek hierboven.
De cijfers achter de grafiek hierboven.

Nu valt meteen iets vreemds op: zo te zien waren er twee deelnemers (uit de stadsgroep) die 180 euro wisten te scoren, maar het laatste bod zou ‘100 euro nu of 170 na 90 dagen’ geweest zijn. Ik vermoed dat het hier om twee slimme deelnemers ging, die doorhadden dat ze telkens een beter bod kregen als ze aan het snelle geld vasthielden (de 100 euro direct uitgekeerd). Het lijkt dan slim om een nog beter bod af te wachten. Helaas kwam het laatste bod met 170 euro eerder dan verwacht en ze grepen naast het hogere bedrag.
De onderzoekers vertellen dat dit ‘spel’ gebruikt is door andere onderzoekers (Wilson & Daily, Kirby et al.), maar die deden dat toch op een essentieel andere manier. In dit experiment was het laagste bedrag telkens 100 euro, terwijl die andere onderzoekers het lage bedrag ook lieten variëren. Een eerste bod van ‘100 euro nu of 110 later’ zou je dan kunnen laten volgen door ’85 euro nu of 102 euro later’. Dan zouden de deelnemers waarschijnlijk niet kunnen bedenken dat ze met wachten (telkens het lage bedrag kiezen) de grootste kans zouden hebben op een hoge opbrengst, zonder risico om lager dan die 100 euro uit te komen. Die ‘zekere’ 100 euro is sowieso al een fors bedrag, waarom dan niet een gokje gewaagd om een echte klapper te maken?
In de berekening van de gemiddelden is de bijdrage van deze twee deelnemers meegenomen als 180 euro, maar dat slaat dus nergens op (misschien een codeerfoutje?). Als je het als een spelletje beschouwt, moet je hun score op 100 euro zetten. En anders weet je gewoon niet op welk moment ze voor het hogere, uitgestelde bedrag waren gegaan; dat het bieden ophield bij 170 euro is tamelijk willekeurig. De gemiddelden hebben daarom ook geen echte betekenis en er conclusies uit trekken, kan volgens mij niet, laat staan er met statistische tests een serieuze vergelijking tussen de twee groepen op baseren. Toch zou je wel wat met de resultaten kunnen doen als je er wat voorzichtiger mee omgaat. Het spelaspect kun je waarschijnlijk wel negeren als je alleen naar de eerste vraag kijkt (‘100 euro nu of 110 euro na 90 dagen’). Dan zie je nog steeds een significant verschil:4 van de 22 deelnemers in de stad kozen voor de uitgestelde beloning tegen 11 van de 21 deelnemers in de natuur (Fisher’s exact test: p=0.02).

Er is echter wel meer aan te merken. Wetenschapsjournalist Elmar Veerman (via wie ik hierop stuitte) schreef een leuk kritisch artikel op Wetenschap24 over dit onderzoek. Hij vraagt zich onder meer af of je niet veel eerder het vertrouwen meet dat de deelnemers hebben in degene die hun het geld aanbied, dan die toekomstgerichtheid. Ook merkt hij op dat het vreemd is dat er geen verschil werd gevonden tussen de deelnemers die opgegroeid waren in stedelijke of natuurlijke omgeving. Het zou dan om een beïnvloeding gaan die maar kort aanhoudt, wat enigszins merkwaardig lijkt als de verklaring van het effect volgens de onderzoekers zou kloppen.
Een ander punt, dat door Van Vugt wel onderkend wordt, is dat de natuurlijke conditie in dit geval wel een heel vriendelijk karakter had. Wat zou het resultaat zijn als je hetzelfde experiment zou uitvoeren met deelnemers die net door de woestijn hebben gelopen, of in een omgeving waar wilde dieren voorkomen? En in hoeverre was het van belang dat het om natuur gaat? Wat als je die deelnemers in een gezellig pittoresk stukje Amsterdam had laten rondwandelen?

Ik heb hier maar naar één van de experimenten in detail gekeken [update 15/11/2013: intussen geconstateerd dat met de data van experiment 1 hetzelfde mis aan de hand is], dus zal ik geen oordeel vellen over het artikel als geheel. Wel is er dus minstens één punt dat opgepakt moet worden door de auteurs, die vergelijking tussen de twee groepen in experiment drie deugt gewoon niet. Op zich heb ik niet zoveel bezwaar tegen dit soort onderzoekjes, maar ik stoor me wel aan de betekenis die toegekend wordt aan de resultaten. De onderzoekers gaan zelf al ver in hun artikel, maar het persbericht van de universiteit is helemaal ‘over the top’. Er wordt veel meer toegeschreven aan het onderzoek dan wat verantwoord is op basis van wat de wetenschappers laten zien. Maar die overtrokken weergave wordt wel gekopieerd door bijna alle media die aandacht geven aan dit onderzoek.

Van Vugt mocht het onderzoek ook in het radioprogramma Labyrint toelichten: ‘Stedelijk impulsiviteit’

Opnieuw dubieus onderzoek van tegenstanders genetisch gemodificeerd voedsel

by 19 Comments

Vorig jaar werd de wereld opgeschrikt door een studie waaruit zou blijken dat ratten die op een dieet waren gezet van genetisch gemodificeerde (GM) maïs gigantische tumoren ontwikkelden. De bijgeleverde foto’s van ratten met lijfjes waar bulten ter grootte van pingpongballen aan alle kanten uitstaken, spraken boekdelen. Hartstikke fout spul die GM-maïs, had de Franse onderzoeker Séralini dus aangetoond. Maar de ratten die ‘normaal’ te eten kregen, waren er niet veel beter aan toe. De gebruikte rattensoort staat bekend om het ontwikkelen van dergelijke kankers. Inmiddels is die studie van alle kanten afgeschoten als prutswerk en het feit dat Séralini zijn data niet wil vrijgeven, zegt misschien ook wel genoeg. Een soortgelijke studie verscheen op 11 juni jl., nu waren varkens de klos. Na 23 weken wegkauwen van GM-voer, waren hun magen duidelijk meer ontstoken dan die van hun meer fortuinlijke soortgenoten die gewoon voer kregen. Hoewel het resultaat met iets minder schokkende foto’s werd geïllustreerd, ging het nieuws weer als een lopend vuurtje het internet over. Ook nu kwam de kritiek snel op gang en die is net zo vernietigend. Anti-GM-activisten zullen er voorlopig echter nog wel mee blijven rondzwaaien, zoals ze ook doen met het onderzoek van Séralini.

Het verschil lijkt duidelijk, het gemodificeerde voedsel pakt verschrikkelijk uit. Maar klopt dat wel?
Het verschil lijkt duidelijk, het gemodificeerde voedsel pakt verschrikkelijk uit. Maar klopt dat wel?

De Australische en Amerikaanse onderzoekers voerden 84 varkens GM-soja en -maïs en 84 andere varkens ‘normaal’ voedsel. Na vijf maanden werden ze geslacht en onderzocht door dierenartsen die niet wisten wat welk varken had gegeten. Geen verschillen werden gevonden voor voedselinname, gewichtstoename, bloedwaarden en sterfte. Wel bleek dat van de varkens op het GM-dieet maar liefst 32% een hevige ontsteking van de maag had, tegen maar 12% in de controlegroep. Een plaatje maakt het duidelijker (zie rechts).

Er is van alles mis met dit onderzoek. Dat varieert van het niet vooraf bepalen waar de onderzoekers naar zouden kijken tot het niet vermelden dat ze zelf behoorlijke belangen hebben in de biologische veehouderij. Op de website rbutr.com kun je nu al 26 links vinden naar blogs en andere artikelen die stuk voor stuk het onderzoek van Carman en haar collega’s onderuit halen. Het is teveel om hier allemaal te herhalen, maar het belangrijkste is misschien wel dat het gevonden ‘significante’ verschil hoogstwaarschijnlijk een toevalstreffer is. Alleen al omdat ze meer dan veertig zaken onderzochten, was het te verwachten dat minstens twee van die tests iets zouden opleveren met een p-waarde kleiner dan 0,05 ook als het verschil in voer niets uitmaakt. Er werd ook gevonden dat in de GM-vrije groep een stofje verhoogd was dat zou kunnen duiden op problemen met de lever, maar daar hoor je de auteurs niet over. Er zijn wel methoden om je tegen dit soort ‘cherry picking’ te beschermen, maar eigenlijk moet je van te voren gewoon goed beschrijven hoe je de statistische analyse gaat aanpakken.

Nu had het verschil in die maagonstekingsgraad wel een behoorlijk lagere p-waarde dan die standaardgrens van 0,05 namelijk 0,0044. Misschien is er dan toch iets aan de hand? Nou, zelfs als je ervan uit zou gaan dat de onderzoekers vooraf hadden bedacht dat dit de belangrijkste uitkomstwaarde zou zijn, blijkt het allemaal erg mee te vallen als je de statistiek goed doet. Want ook daar maken de onderzoekers een potje van.
De volgende tabel geeft het resultaat weer van beoordeling door de dierenartsen van de varkensmagen. Die hadden eerst een indeling in vier categorieën bepaald in een ander onderzoek en die hier blind toegepast.

GM-vrij voer GM-voer
geen ontsteking 4 8
lichte ontsteking 31 23
middelmatige ontsteking 29 18
ernstige ontsteking 9 23

Het totaal aantal varkens is wat lager dan eerder opgemerkt, 73 en 72 tegen 84 waarmee beide groepen startten. Er waren er namelijk al een stel gestorven voordat het einde van de testperiode bereikt was. Die sterfte is niet raar, maar wel meer dan je normaal gesproken kunt verwachten in een varkenshouderij. En dat roept ook weer vragen op. Maar nu even terug naar de statistiek. De onderzoekers vonden het verschil bij de ‘ernstige ontsteking’ toch wel opvallend. Ze gooiden nu al andere categorieën op een hoopje en kregen de volgende tabel:

GM-vrij voer GM-voer
geen ernstige ontsteking 64 49
ernstige ontsteking 9 23

Een significant verschil als je een Chi-kwadraattoets gebruikt (p=0,0044), maar diezelfde test had je ook kunnen doen zonder de lichtste categorieën bij elkaar te nemen. De p-waarde is dan iets minder indrukwekkend (p=0,011). Nog steeds significant als het de enige uitkomstwaarde van het onderzoek was geweest, maar met al die andere tests erbij, wordt het wat dubieus of we mogen spreken van een ‘verrassing’. Je zou natuurlijk ook ‘geen’ en ‘licht’ bij elkaar kunnen nemen en vergelijken met ‘middelmatig’ en ‘ernstig’; dan komt er niets bijzonders uit. Het heeft allemaal wat willekeurigs.
Het bijelkaar vegen van die categorieën heeft ook een ander bezwaar: het zijn categorieën die in een verhouding staan, het zijn meer dan labeltjes. Door de categorieën samen te voegen, gooi je informatie weg. Als je bijvoorbeeld in de eerste tabel de eerste en derde rij zou verwisselen, zie je een veel sterker verband tussen GM-voer en ontsteking; voor de in elkaar geschoven tabel maakt het echter niets uit. Een test (Wilcoxon) die er wel rekening meehoudt dat de categorie ‘licht’ een lagere ontstekingswaarde inhoudt dan ‘middelmatig’ laat geen significant verschil zien (p=0.281).
Er blijft dus niet zo veel van over, de skeptische statistici ook weer opgelucht. Maar het wordt eigenlijk nog erger als we Dr. Robert Friendship, een specialist op het gebied van de gezondheid van varkens, mogen geloven. Hij stelt dat de onderzoekers überhaupt niet hebben aangetoond dat er sprake was van maagontstekingen:

The researchers did a visual scoring of the colour of the lining of the stomach of pigs at the abattoir and misinterpreted redness to indicate evidence of inflammation. It does not. […] There is no relationship between the colour of the stomach in the dead, bled-out pig at a slaughter plant and inflammation.

De rode kleur zegt in dit geval dus helemaal niets. Ik hoop dat die nu wel heel erg verschijnt op de kaken van Carman en haar companen.

Via de volgende twee links van rbutr zijn de meest interessante blogs over deze kwestie wel te vinden: link1 en link2.

 

Alternatieve huisartsen werken 15 procent goedkoper? Een verzinsel!

by 95 Comments

Engels - UK vlag 30x24Op Internet worden door verdedigers van alternatieve zorg onder andere de volgende mythes verspreid: de Zwitserse overheid zou in een rapport hebben aangetoond dat homeopathie werkt en alternatieve huisartsen zouden maar liefst 15 procent goedkoper werken dan hun reguliere collega’s. Dat Zwitserse onderzoek is echter niet het standpunt van de overheid en ook niet door de overheid uitgevoerd (link, link). Inhoudelijk is het ook niet zo best. Maar dat belemmerde de in homeopathische kringen populaire Dana Ullman niet om het als een ‘Remarkable Report‘ weer te geven op The Huffington Post. Dat bericht werd door allerlei alternatieve sites overgenomen.
In zijn volgende stuk herhaalde Ullman zijn verkeerde weergave van het ‘Zwitserse rapport’, maar haalde nu ook het Nederlands onderzoek aan van professor dr. Peter Kooreman en dr. Erik  Baars. Daaruit zou blijken dat de patiënten van huisartsen, die naast gewone zorg ook homeopathie, acupunctuur of antroposofische geneeswijzen toepassen, 15 procent minder kosten zouden opleveren voor hun zorgverzekeraar. Die 15 procent staat echter nergens in het artikel en kan ook niet uit de resultaten afgeleid worden. Waar komt die mythe dan vandaan?

dr. Erik Baars
dr. Erik Baars

Eerste kritiek
Het onderzoek van Kooreman en Baars (K&B) kwam de wereld in via een bericht in de Volkskrant  (8 juni 2010) en werd vrij snel daarna besproken door Cees Renckens en Jan Willem Nienhuys op de site van de Vereniging tegen de Kwakzalverij. Een probleem met een directe vergelijking tussen de kosten van de patiëntenpopulaties van reguliere en alternatieve huisartsen is dat die nogal van elkaar kunnen verschillen. Bekend is dat de belangstelling voor alternatieve geneeswijzen vaak samengaat met een hoger opleidingsniveau, en een in het algemeen hogere sociaaleconomische status , precies de parameters die ook statistisch gesproken samengaan met minder ziekte en een langer leven. In de studie van K&B is daarvoor gecorrigeerd door te vergelijken binnen postcodegebiedjes; binnen zo’n klein gebiedje zijn die verschillen in sociaaleconomische status niet zo groot.
Renckens en Nienhuys merken op dat vreemd genoeg alleen van de vergelijking op basis van de ongecorrigeerde gegevens een totaalresultaat wordt gegeven: een niet-significant verschil van 7%. Zij vragen zich af waar die 15 procent uit het Volkskrantartikel eigenlijk op slaat. Ook valt ze op dat de (gecorrigeerde) kosten voor 75-plussers bij antroposofen enorm veel lager zijn (400 euro per kwartaal op een totaal van ruim 1300 euro), maar dat dit toch maar net significant is. Het gaat daarom misschien maar om heel kleine aantallen of de spreiding is door enkele uitschieters enorm (of allebei). Volgens de VtdK liet Kooreman in een reactie weten dat ‘uit het bovenstaande duidelijk is dat in de VtdK de competentie ontbreekt om het genoemde onderzoek te beoordelen‘. Renckens en Nienhuys besloten hun commentaar met de opmerking dat we misschien eerst maar moeten wachten met in het gegoochel met cijfers te duiken tot de auteurs het in een fatsoenlijk tijdschrift weten te publiceren. Het stond immers alleen nog als ‘submitted article’ op de eigen website van Kooreman.

Gepubliceerd en becommentarieerd
Uiteindelijk werd het artikel in december 2012 gepubliceerd in The European Journal of Health Economics als Patients whose GP knows complementary medicine tend to have lower costs and live longer (Open Access). Voor de duidelijkheid: GP staat voor General Practioner en is dus een huisarts, CAM staat voor Complementary and Alternative Medicine, wat ik gemakshalve maar alternatieve zorg blijf noemen. Via een linkje van Rbutr werd ik geattendeerd op die publicatie en het recente commentaar daarop van onder andere Christopher Sampson. De reactie van deze Engelsen is wel open op de site van Sampson te vinden (pdf). Hun kritiek omvat onder andere de volgende punten:

  • Ten eerste wijzen ze er op dat K&B niet corrigeren voor meervoudig toetsen. Er worden vergelijkingen gemaakt bij tal van subgroepen (naar leeftijd, soort medische handeling en per soort alternatieve zorg) en dan moet je erg oppassen dat je niet toevallige uitschieters als significant bestempelt;
  • In het artikel staat ook maar één uitkomstmaat die iets met de gezondheidstoestand van patiënten te maken heeft, het sterftecijfer. Dit is mijns inziens een heel belangrijke observatie. Er is geen enkele relatie te leggen op grond van de gegevens in de studie tussen het soort handeling (alternatief of regulier) en de kosten. Je had het hele onderzoek in feite net zo goed kunnen doen met een opdeling van de huisartsen naar hun favoriete automerk. De uitkomst (neigend naar significantie, of zo) was dan misschien wel geweest dat Mercedes rijdende artsen goedkoper werken, maar dat had vast niemand dan serieus genomen;
  • De conclusie van het artikel, 0 tot 30% lagere kosten en mortaliteit bij de alternatieve patiënten, vinden ze onoprecht, gezien wat de auteurs aanvoeren aan gegevens en analyse;
  • Ten slotte wijzen ze er op, dat je erg voorzichtig zou moeten zijn met het zo weergeven van het onderzoek. Juist omdat lobbygroepen voor alternatieve zorg het als propaganda zouden kunnen gebruiken, terwijl het resultaat helemaal niet zo duidelijk is. Sampson et al. hierover in hun conclusie:  ‘The study does not demonstrate that GP-CAM training is associated with either reduced healthcare costs or reduced mortality. Academics have a responsibility to communicate their research carefully and without misinterpretation. Kooreman and Baars have failed to do this.’

In hetzelfde nummer staat ook de reactie van K&B op deze kritiek. Met betrekking tot dat meervoudige toetsen stellen ze dat ze zoveel significante resultaten vonden (17-21%) dat die niet allemaal toegeschreven kunnen worden aan fout-positieve resultaten. Statistisch gezien een uiterst merkwaardige opvatting over de problematiek van meervoudig toetsen. Over de weergave van de resultaten merken ze op dat de 30% zowel slaat op de 400 euro die minder werd uitgegeven ten behoeve van de 75-plussers bij antroposofische artsen als de lagere mortaliteit, die ook 30% lager was (bij mannen). Ook wijzen ze erop dat ‘0%’ in het gegeven interval ligt. Misschien moeten we hieruit opmaken dat ze een niet al te harde claim neerleggen, maar ik vind het een uiterst onduidelijke manier van samenvatten van het resultaat. Ze besluiten met:

Throughout, we have been careful to stress the limitations of our study and the need for further research based on better datasets (and we continue to do so in our contacts related to this study with the media, practitioners, and other parties). The commentators have not provided any insights beyond those already available in our original paper. We hope that their future contributions (and the associated journal space) will take the form of substantive research on this important topic.

Ik was eerlijk gezegd nogal verbijsterd over dit commentaar. Sampson et al. hadden mijns inziens goed beargumenteerd gehakt gemaakt van het stuk van K&B en die dachten het met zulke slappe argumenten af te kunnen doen?

Waar komt die 15 procent toch vandaan?
Ik werd na het lezen van deze stukken ook nieuwsgierig naar de herkomst van die ’15 procent’. Ik besloot eerst eens te mailen met Sampson. Die had het commentaar van K&B nog niet gezien en was ook verrast dat het onderzoek al lang en breed gebruikt werd op Internet door diverse organisaties die de alternatieve gezondheidszorg promoten. Die ’15 procent’ was hem onbekend, omdat die immers niet in het artikel staat. Ook was hij nogal geschrokken van de reactie van K&B die hun bezwaren ontzettend gemakzuchtig afdoen. Ze zijn van plan er binnenkort op terug te komen [Update: inmiddels gebeurd].
In eerste instantie dacht ik dat die ’15 procent’ wel eens kon komen van een verkeerde interpretatie van het resultaat dat K&B gaven in hun artikel:

Patients whose GP has additional CAM training have 0–30% lower healthcare costs and mortality rates, depending on age groups and type of CAM. The lower costs result from fewer hospital stays and fewer prescription drugs

Was dat interval van 0 tot 30% misschien opgevat als een betrouwbaarheidsinterval? Dan zou het wel voor de hand liggen om het gevonden resultaat precies in het midden daarvan te veronderstellen. Uit het commentaar van K&B was echter duidelijk dat het meer een grove aanduiding is van de mogelijke waarden van die besparing. Maar is het wel een eerlijke weergave? De cijfers waar het om gaat, moeten komen uit de tabel met de gecorrigeerde gegevens:

 

Tabel 3 uit het stuk van Kooreman en Baars. Hierin staan in de eerste drie kolommen de gecorrigeerde verschillen in kosten per categorie
Tabel 3 uit het stuk van Kooreman en Baars. De eerste drie kolommen geven de gecorrigeerde verschillen in kosten per categorie (per kwartaal in euro’s). Arcering door mij aangebracht.

Inderdaad treffen we die (ongeveer) 400 euro besparing aan van de antroposofische 75-plussers. Er staat echter ook in dat in de leeftijdsgroep tot 25 jaar de patiënten bij de homeopathische huisarts 100 euro meer kostten dan die bij de reguliere arts, 47 procent duurder! Is het dan niet eerlijker om het interval weer te geven als lopend van -47% tot 30%?  Om een wat beter beeld van het resultaat te krijgen, zouden aantallen patiënten per cel, standaarddeviaties en p-waardes goed uitkomen. Ik besloot daarom ook maar eens met Kooreman te mailen.

Het was niet een interpretatiefout van de Volkskrant geweest, het stond namelijk al in het persbericht van de Universiteit van Tilburg. En Baars noemde het ook in een radio-interview (Hoe?Zo! radio 9 juni 2010, vanaf 19.05). Kooreman had duidelijk niet veel trek in een discussie met mij en wees erop dat in het persbericht ‘ongeveer 15 procent’ staat en niet ’15 procent’. Ook ging hij niet in op mijn herhaalde verzoek om de achterliggende cijfers van de tabel te sturen. Van een (niet gecorrigeerd) niet significant verschil van 7 procent kan ik echter niet op een verantwoorde manier een verschil van ‘ongeveer 15 procent’ maken, liet ik hem weten. Daarop vernam ik niets meer van Kooreman. Jammer. Ik heb nog wel gevonden dat de ‘ongeveer 15 procent’ echt door beide heren zelf in het leven is geroepen. De aanleiding van het persbericht was het indienen van het stuk voor een congres in december 2010. De deadline voor de abstracts was 31 mei 2010 en in hun abstract schrijven ze:

Conclusions: There is evidence that treatment by GPs who completed additional training in complementary medicine (anthroposophic medicine, homeopathy or acupuncture) results in approximately 15% health care cost reduction.

prof. dr. Peter Kooreman
prof. dr. Peter Kooreman

In een opiniestuk in Trouw, ruim een jaar later, liet Kooreman die ‘(ongeveer) 15 procent’ achterwege en vat het resultaat zo samen: ‘Recent onderzoek laat zien dat huisartsen die zich na hun reguliere opleiding hebben geschoold in acupunctuur, antroposofische geneeswijzen of homeopathie goedkoper werken dan reguliere huisartsen, ook als zo goed mogelijk wordt gecorrigeerd voor de verschillende achtergrondkenmerken van patiënten. Hun patiënten leven bovendien langer‘.
Dit opiniestuk was onder andere bedoeld om de aandacht te vestigen op een boek waarin Kooreman een hoofdstuk schreef en daarin schrijft hij het nog wat voorzichtiger op: ‘Kooreman en Baars vinden op basis van gegevens van een Nederlandse zorgverzekeraar aanwijzingen dat huisartsen die zich na hun reguliere opleiding hebben geschoold in acupunctuur, antroposofische geneeswijzen of homeopathie goedkoper werken dan reguliere huisartsen.‘ (vetgedrukt telkens door mij).
Op diverse websites werd aan het stuk van K&B gerefereerd met een afwijkende titel: ‘Patients Whose GP Knows Complementary Medicine Have Lower Costs and Live Longer’ in plaats van ‘Patients whose GP knows complementary medicine tend to have lower costs and live longer’. Ik dacht in eerste instantie dat dit subtiele misleiding was van die websites (vooral, omdat ook Ullman het doet). De titel is echter tussen de aankondiging van het aanbieden voor publicatie en de daadwerkelijke publicatie veranderd in de wat minder stellige versie. Kooreman heeft op zijn site die oude versie gewoon vervangen door de gepubliceerde versie, zodat alle links verwijzen naar de recentste versie. De verschillende versies zijn ook te zien via de bibliotheek van de Universiteit van Tilburg.

Conclusie
Het heeft er alle schijn van dat Kooreman en Baars het echte resultaat van hun onderzoek, ‘we hebben geen significant verschil gevonden’, hebben geprobeerd weer te geven als iets dat hun beter uitkomt. Ook lijken ze niet te beroerd om collega-wetenschappers hiermee op het verkeerde been te zetten (zie bijvoorbeeld het naschrift bij deze column). Het is natuurlijk wat vervelend als mensen als Nienhuys, Renckens en ik daar lastige vragen over stellen. Die blogs van ons zijn nog wel af te doen als het te verwachten geluid van zelfbenoemde kwakzalversbestrijders maar de kritiek van vakgenoten als Sampson kon natuurlijk niet onbeantwoord blijven. Dat K&B ook die kritiek zo hooghartig menen af te kunnen doen, verbaast me toch wel.
Het contrasteert ook met de manier waarop Kooreman zelf zegt te hebben aangedrongen op een zorgvuldige interpretatie van de resultaten van de studie. Op het congres “Heel de Mens“ (4 oktober 2012) hield hij een voordracht waarin hij erop wees dat die veelal werd gebracht als bewijs dat alternatieve gezondheidszorg als zodanig goedkoper werkt, terwijl die volgens hem alleen aantoont dat huisartsen met kennis van die alternatieve zorg goedkoper werken, zonder dat direct duidelijk is of het komt door het toepassen van die alternatieve zorg. Ook wijst hij erop dat de prijs die Baars en hij kregen voor de studie op het European Congress for Integrative Medicine gesponsord is door de homeopathische firma Heel en dat veel van de sites die het bericht brengen dat detail weglaten.
Klinkt heel integer, maar nergens in zijn verhaal heeft hij het er over dat het echte resultaat van de studie zo misleidend is weergegeven door de auteurs zelf. Die misleiding is begonnen met hun abstract en het daaropvolgende persbericht van de Universiteit van Tilburg. Er wordt een cijfer genoemd als resultaat van een nog niet gepubliceerd onderzoek, maar daar blijkt het niet eens in voor te komen. Zouden universiteiten natuurlijk ook niet moeten doen, de ongecontroleerde stokpaardjes van hun medewerkers uitdragen, daar zijn vaker ongelukken van gekomen.

Naschrift
Kooreman en Baars deden hun rekenwerk nog eens over met een grotere dataset waarover ze in 2014 publiceerden, zie Verzekerde zorgkosten van patiënten bij alternatieve huisarts. Op het congres van de Vereniging tegen de kwakzalverij in 2017 besprak Marco Blanker deze studie, terug te zien op YouTube.

Statistiek en genezing

by 59 Comments

Homeopathische middelen mogen niet meer verkocht worden als geneesmiddel voor een bepaalde kwaal, als de werking niet is bewezen.
Vele sceptici slaken bij dit nieuws een zucht van verlichting. Vele gebruikers en beoefenaars zullen hier echter weinig van begrijpen. De werking is toch bewezen? Ik nam gister nog een druppeltje en de kwaal werd minder. En hoe zit dat dan met al die andere mensen die al jaren tot tevredenheid homeopathische middelen gebruiken? Is dat dan geen bewijs? De methode om dit soort bewijs te kunnen testen heet statistiek.

Wat doet statistiek?

Statistiek kan worden ingezet om fenomenen te onderzoeken en hopelijk een link te leggen met de oorzaak ervan. Stel we nemen een willekeurig fenomeen. Bijvoorbeeld het aantal krokodillenbeten bij mensen die een paraplu dragen. Als we puur naar de cijfers kijken dan zal blijken dat de meeste mensen die gebeten werden door een krokodil, geen paraplu bij zich hadden. Hieruit zou de conclusie of theorie kunnen worden gedestilleerd dat het dragen van een paraplu een afweermiddel is tegen krokodillenbeten. En getest in Nederland met bijvoorbeeld Maurice de Hond zal inderdaad blijken dat er niemand met een paraplu is gebeten door een krokodil. De cijfers lijken de theorie dus te ondersteunen. Er is echter een probleem. Weten we wel zeker dat er sprake is van de juiste oorzaak bij dit gevolg? Kunnen er geen andere redenen zijn dat mensen met een paraplu niet gebeten worden door krokodillen. Een voor de hand liggend vergelijk is het aantal loslopende krokodillen vergelijken met het aantal krokodillenbeten, en de locatie. Dan blijkt dat Nederland een laag aantal loslopende krokodillen kent en dat dien ten gevolge het aantal krokodillenbeten dan ook laag zal zijn. In Nederland regent het vaak, dus het aantal mensen dat een paraplu draagt is hoog. Zie hier het ontstaan van een foute oorzaak-gevolgrelatie. De theorie is verworpen, omdat er een betere theorie is die beter voorspelt wat er aan de hand is.

Het probleem van statistiek

Zoals hierboven gezien kan statistiek dus een verkeerd beeld van de werkelijkheid geven als er niet genoeg toetsen worden ingebouwd, die toetsen of er geen andere oorzaken zijn. In bovenstaand voorbeeld zou je bijvoorbeeld als extra toets kunnen meten hoeveel mensen in Nederland zonder paraplu gebeten werden door krokodillen. Het probleem hiervan is dat we alleen kunnen toetsen wat we zelf als eventuele andere oorzaak kunnen aanwijzen. Er kan altijd een onbekende oorzaak zijn, die onze statistische methode in de war schopt, en leidt tot een positief resultaat.

Een andere methode is om geen andere oorzaak te toetsen, maar alleen te beschouwen wat er gebeurt bij mensen die nergens aan mee doen. Dit wil ik verduidelijken met een geneesmiddelonderzoek. Stel een nieuw middel tegen hoofdpijn wordt getest. Dan willen we weten of dit nieuwe middel beter geneest dan oude middelen. We zouden dus eerst mensen met hoofdpijn moeten testen met het oude middel, dan moeten we mensen testen die het nieuwe middel gebruiken, en om zeker te zijn dat de mensen niet vanzelf genezen zal er ook getest moeten worden met een nepgeneesmiddel, oftewel de placebo groep. Is dit genoeg? Eigenlijk niet, want het kan zijn dat extra aandacht voor het probleem zonder een werkend medicijn ook al tot verlichting van de klachten leidt. We zullen dus ook mensen met hoofdpijn moeten testen die niet meedoen aan de test, en die geen medicijnen nemen. Is dit genoeg? Misschien wel, maar er kunnen altijd andere oorzaken zijn die hoofdpijn veroorzaken, die niet bekend zijn zoals bijvoorbeeld: schijnt de zon, woont iemand bij veel smog, heeft iemand gedronken, is het geen reactie op een andere stof en ga zo maar door. Er zijn eigenlijk teveel andere mogelijke oorzaken te bedenken die niet worden meegenomen in het onderzoek.

Het probleem van statistiek is dus dat het alleen een zeker resultaat geeft als alle andere factoren kunnen worden uitgesloten. Maar dit kunnen we alleen als deze oorzaken bekend zijn, anders wordt het moeilijk erop te testen, of ze uit te sluiten.

Is homeopathie getest?

Homeopathie is veelvoudig getest, maar alleen of voornamelijk met statistische onderzoeken. (Dat is niet helemaal waar, maar daar kom ik zo op terug). Het claimen van een werking gebaseerd op deze onderzoeken is dus twijfelachtig. Het enige dat we echt kunnen laten zien, is of er een verband is tussen de mensen die homeopathische middelen hebben genomen, en de mensen die daarna zich beter voelden. Homeopaten claimen over het algemeen dat deze verbanden zijn aangetoond, sceptici claimen dat de onderzoeken niet goed genoeg zijn uitgevoerd, omdat niet alle oorzaken zijn getoetst. Homeopaten zetten zich daarnaast af tegen de claim dat de wetenschap alles weet en dat gewone geneesmiddelen wel goed werken, of dat de werking daarvan is aangetoond.

En hier hebben ze een punt. Ook bij “echte” geneesmiddelen kunnen er vragen worden gesteld bij het statistisch onderzoek. Maar omdat deze door mensen met veel kennis worden uitgevoerd, die ook nog eens enorme schadeclaims kunnen krijgen als ze dit verkeerd doen, zijn deze onderzoeken wel betrouwbaarder. Echter dit zal vast niet in elk geval zo zijn, er zijn altijd rotte appels.

Is er een oplossing?

Ja, er is een oplossing, die is echter niet altijd gemakkelijk. De oplossing zou zijn om een mechanisme te toetsen waarmee de oorzaak en het gevolg wordt verklaard, en niet alleen wordt aangetoond. Statistiek is voornamelijk inzetbaar in het laatste geval. Statistisch gezien kun je aantonen dat als je de schakelaar van de lamp omzet, de lamp gaat branden (mits de lamp niet stuk is en de stekker in het stopcontact zit). Dit is echter geen verklaring. De verklaring is dat er elektriciteit door de draden heen kan die licht opwekt in de lamp. De schakelaar sluit het circuit waardoor dit mogelijk is (een gedetailleerdere uitleg is vast mogelijk). Op deze manier kunnen we de statistische resultaten verklaren.

Kunnen we homeopathie verklaren?

Er zijn diverse pogingen gedaan om homeopathie te verklaren, echter deze stuiten allemaal op ongeloof, of gaan regelrecht tegen andere resultaten in. Zo is de chemische samenstelling Statistiek en genezing 1van een homeopathisch middel nagenoeg hetzelfde als die van water. Andere mechanisme voor overdracht van werkzaamheid zijn tot nu toe niet voldoende verklaard. Ook het produceren van homeopathische middelen gaat op een wijze die veel vragen oproept, voornamelijk waarom er maar één bepaalde manier van mengen is die werkt. Daarnaast kan men geen antwoord geven waarom iets verder verdunnen een krachtiger en tegenovergestelde werking geeft. Vooral dit laatste principe gaat in tegen alle andere bekende werkzaamheden van medicijnen. Oftewel om homeopathie te kunnen verklaren moet je geloven in een heel ander wereldbeeld, dat niet overeenkomt met het wereldbeeld zoals dat gewoon dagelijks te zien valt. Iedereen weet dat 2 aspirientjes beter werken dan 1, en dat 2 treinen harder trekken dan 1 trein.

Het is in de discussie over homeopathie dus belangrijk dat we niet alleen de statistische onderzoeken bediscussiëren, maar ook vooral over wat deze onderzoeken betekenen, en of ze goed zijn uitgevoerd. De werking claimen aan de hand van resultaten is niet sterk genoeg zonder dat er een bewezen mechanisme is van overdracht. Dit laatste is niet te bewijzen door terug te vallen op werkzaamheid of behandelresultaten. Wil dit naar tevredenheid gebeuren dan zal er meer nodig zijn. Dit geldt niet alleen voor homeopathie, maar is ook van belang voor alle (alternatieve) behandelingen.