Kloptdatwel?

statistiek

Remt een groene omgeving kortetermijndenken?

by 18 Comments

Engels - UK vlag 30x24Wat zou je kiezen? 100 euro nu meteen of 110 euro over drie maanden? Met de lage rentes van de laatste jaren, lijkt het verstandiger om voor het hogere bedrag over drie maanden te gaan. In de praktijk nemen mensen echter vaker het snelle geld. Hoogleraar groeps- en organisatiepsychologie Mark van Vugt en zijn team aan de Vrije Universiteit Amsterdam probeerden uit te vinden of de omgeving waarin je deze vraag stelt, uitmaakt. Van Vugt : “Impulsiviteit en korte termijn denken zijn typisch menselijke eigenschappen. In ons onderzoek keken we of natuur die mechanismen in ons brein kon beïnvloeden.” (persbericht VU, 6 nov. 2013). 

Het onderzoek is gepubliceerd als: Do natural landscapes reduce future discounting in humans? Arianne J. van der Wal, Hannah M. Schade, Lydia Krabbendam, and Mark van Vugt (Proc R Soc B 2013 280: 20132295).

geld-bos-stad-fav-img640x198

Waarom zouden hun bevindingen ons moeten interesseren? De onderzoekers stellen in het persbericht:

Het effect van natuur op menselijk beslisgedrag is van belang bij het aanpakken van problemen zoals afvalproductie, klimaatverandering, en de explosieve bevolkingsgroei. Want juist strategieën en gedrag die zich slechts richten op de korte termijn, veroorzaken de huidige sociale en milieuproblemen. […] Om ervoor te zorgen dat mensen beslissingen nemen die minder schadelijk zijn voor zichzelf, hun omgeving of het milieu, kan de invloed van natuur dus belangrijk zijn. Een groot deel van de wereldbevolking woont in steden. Door manieren te zoeken om mensen in steden toch in contact te brengen met de natuur, kunnen we gedrag ten aanzien van bijvoorbeeld het milieu positief en wellicht structureel veranderen.

Dat zijn nogal grote woorden en ik denk dat die niet echt ondersteund worden door de resultaten van dit onderzoek, dat ziet er toch wat dunnetjes uit. Twee van de drie experimenten zijn ‘priming’-onderzoekjes van het soort dat de laatste paar jaar nogal onder vuur is komen liggen (zeker na de Stapelaffaire). Het grootste probleem dat ik heb met dat soort tests, is dat de onderzoekers denken te weten hoe hun ingreep uitpakt. Vaak wordt er bijvoorbeeld met afbeeldingen gewerkt, die verschillende specifieke effect bij de proefpersonen zouden moeten bewerkstelligen. Maar als je er wat kritischer naar kijkt, kun je die afbeeldingen vaak ook onderscheiden op heel andere kenmerken dan waar het in het onderzoek om zou moeten gaan.
Het derde experiment dat in het artikel beschreven wordt, lijkt daarom interessanter. Dit keer geen plaatjes van bossen als surrogaat voor een natuurervaring, maar de deelnemers werden daadwerkelijk op een wandeling gestuurd door het Amsterdamse Bos. Een andere groep moest het doen met de stedelijk omgeving van de Zuidas. Na vijf minuten wandelen, ontmoetten ze een onderzoeksassistent die ze verschillende taken voorlegde. Het meest in de media beschreven onderdeel heeft veel weg van een spelletje: eerst kregen de deelnemers de vraag waar hun voorkeur naar uitging, 100 euro nu meteen of 110 euro over 90 dagen. De deelnemers die voor de directe 100 euro gingen, kregen de vervolgvraag wat ze zouden kiezen als het latere bod verhoogd werd: 100 euro nu of 120 euro later. En dat werd zo voortgezet totdat het laatste bod op 170 euro lag.
Het idee achter deze opzet is dat mensen die kiezen voor het uitgestelde, maar hogere bedrag in het algemeen ook meer rekening houden met de lange termijn. In vaktermen noem je dit een temporal discounting game en het is veel gebruikt door andere onderzoekers. Maar hier was de uitvoering afwijkend en de onderzoekers hadden daar te weinig oog voor, denk ik. De hypothese was dat de groep die aan het bos werd blootgesteld eerder zou kiezen voor de uitgestelde hogere beloning, omdat … ja, dat is natuurlijk waar dit eigenlijk om zou moeten gaan. De onderzoekers gaan er vanuit (en dat zullen veel mensen ook wel plausibel vinden) dat die blootstelling aan een natuurlijke omgeving je meer bewust zou maken van de gevolgen van je beslissingen ook in de verderweg gelegen toekomst en dat je daarom eerder doordachte beslissingen zal nemen. Of zoals ze dat in het artikel verwoorden: ‘when people are exposed to scenes of natural landscapes their discount rates are lower compared with exposure to urban landscapes’.

De resultaten worden als volgt gegeven:

Confirming Hypothesis 1, participants in the nature versus urban condition showed a significant difference in temporal discounting (F1,41 = 5.41, p = 0.025, part. η2 = 0.12). In the nature condition, the individual indifference point of the participants was lower than that in the urban condition, with Mnature = 122.38 (s.d. = 16.40) and Murban = 135.45 (s.d. = 20.17). On average, we found a 10% reduction in future discounting in the nature condition versus urban condition (figure 3).

En in een grafiek weergegeven:

figure3

Deze presentatie van de cijfers is onnodig ingewikkeld. Waarom niet een eenvoudig tabelletje dat laat zien hoeveel deelnemers er uiteindelijk met welk bedrag vandoor gingen? Gelukkig zijn ook de data van dit onderzoek onder Open Access bij het artikel beschikbaar gesteld en kon ik dat tabelletje zelf maken:

De cijfers achter de grafiek hierboven.
De cijfers achter de grafiek hierboven.

Nu valt meteen iets vreemds op: zo te zien waren er twee deelnemers (uit de stadsgroep) die 180 euro wisten te scoren, maar het laatste bod zou ‘100 euro nu of 170 na 90 dagen’ geweest zijn. Ik vermoed dat het hier om twee slimme deelnemers ging, die doorhadden dat ze telkens een beter bod kregen als ze aan het snelle geld vasthielden (de 100 euro direct uitgekeerd). Het lijkt dan slim om een nog beter bod af te wachten. Helaas kwam het laatste bod met 170 euro eerder dan verwacht en ze grepen naast het hogere bedrag.
De onderzoekers vertellen dat dit ‘spel’ gebruikt is door andere onderzoekers (Wilson & Daily, Kirby et al.), maar die deden dat toch op een essentieel andere manier. In dit experiment was het laagste bedrag telkens 100 euro, terwijl die andere onderzoekers het lage bedrag ook lieten variëren. Een eerste bod van ‘100 euro nu of 110 later’ zou je dan kunnen laten volgen door ’85 euro nu of 102 euro later’. Dan zouden de deelnemers waarschijnlijk niet kunnen bedenken dat ze met wachten (telkens het lage bedrag kiezen) de grootste kans zouden hebben op een hoge opbrengst, zonder risico om lager dan die 100 euro uit te komen. Die ‘zekere’ 100 euro is sowieso al een fors bedrag, waarom dan niet een gokje gewaagd om een echte klapper te maken?
In de berekening van de gemiddelden is de bijdrage van deze twee deelnemers meegenomen als 180 euro, maar dat slaat dus nergens op (misschien een codeerfoutje?). Als je het als een spelletje beschouwt, moet je hun score op 100 euro zetten. En anders weet je gewoon niet op welk moment ze voor het hogere, uitgestelde bedrag waren gegaan; dat het bieden ophield bij 170 euro is tamelijk willekeurig. De gemiddelden hebben daarom ook geen echte betekenis en er conclusies uit trekken, kan volgens mij niet, laat staan er met statistische tests een serieuze vergelijking tussen de twee groepen op baseren. Toch zou je wel wat met de resultaten kunnen doen als je er wat voorzichtiger mee omgaat. Het spelaspect kun je waarschijnlijk wel negeren als je alleen naar de eerste vraag kijkt (‘100 euro nu of 110 euro na 90 dagen’). Dan zie je nog steeds een significant verschil:4 van de 22 deelnemers in de stad kozen voor de uitgestelde beloning tegen 11 van de 21 deelnemers in de natuur (Fisher’s exact test: p=0.02).

Er is echter wel meer aan te merken. Wetenschapsjournalist Elmar Veerman (via wie ik hierop stuitte) schreef een leuk kritisch artikel op Wetenschap24 over dit onderzoek. Hij vraagt zich onder meer af of je niet veel eerder het vertrouwen meet dat de deelnemers hebben in degene die hun het geld aanbied, dan die toekomstgerichtheid. Ook merkt hij op dat het vreemd is dat er geen verschil werd gevonden tussen de deelnemers die opgegroeid waren in stedelijke of natuurlijke omgeving. Het zou dan om een beïnvloeding gaan die maar kort aanhoudt, wat enigszins merkwaardig lijkt als de verklaring van het effect volgens de onderzoekers zou kloppen.
Een ander punt, dat door Van Vugt wel onderkend wordt, is dat de natuurlijke conditie in dit geval wel een heel vriendelijk karakter had. Wat zou het resultaat zijn als je hetzelfde experiment zou uitvoeren met deelnemers die net door de woestijn hebben gelopen, of in een omgeving waar wilde dieren voorkomen? En in hoeverre was het van belang dat het om natuur gaat? Wat als je die deelnemers in een gezellig pittoresk stukje Amsterdam had laten rondwandelen?

Ik heb hier maar naar één van de experimenten in detail gekeken [update 15/11/2013: intussen geconstateerd dat met de data van experiment 1 hetzelfde mis aan de hand is], dus zal ik geen oordeel vellen over het artikel als geheel. Wel is er dus minstens één punt dat opgepakt moet worden door de auteurs, die vergelijking tussen de twee groepen in experiment drie deugt gewoon niet. Op zich heb ik niet zoveel bezwaar tegen dit soort onderzoekjes, maar ik stoor me wel aan de betekenis die toegekend wordt aan de resultaten. De onderzoekers gaan zelf al ver in hun artikel, maar het persbericht van de universiteit is helemaal ‘over the top’. Er wordt veel meer toegeschreven aan het onderzoek dan wat verantwoord is op basis van wat de wetenschappers laten zien. Maar die overtrokken weergave wordt wel gekopieerd door bijna alle media die aandacht geven aan dit onderzoek.

Van Vugt mocht het onderzoek ook in het radioprogramma Labyrint toelichten: ‘Stedelijk impulsiviteit’

Opnieuw dubieus onderzoek van tegenstanders genetisch gemodificeerd voedsel

by 19 Comments

Vorig jaar werd de wereld opgeschrikt door een studie waaruit zou blijken dat ratten die op een dieet waren gezet van genetisch gemodificeerde (GM) maïs gigantische tumoren ontwikkelden. De bijgeleverde foto’s van ratten met lijfjes waar bulten ter grootte van pingpongballen aan alle kanten uitstaken, spraken boekdelen. Hartstikke fout spul die GM-maïs, had de Franse onderzoeker Séralini dus aangetoond. Maar de ratten die ‘normaal’ te eten kregen, waren er niet veel beter aan toe. De gebruikte rattensoort staat bekend om het ontwikkelen van dergelijke kankers. Inmiddels is die studie van alle kanten afgeschoten als prutswerk en het feit dat Séralini zijn data niet wil vrijgeven, zegt misschien ook wel genoeg. Een soortgelijke studie verscheen op 11 juni jl., nu waren varkens de klos. Na 23 weken wegkauwen van GM-voer, waren hun magen duidelijk meer ontstoken dan die van hun meer fortuinlijke soortgenoten die gewoon voer kregen. Hoewel het resultaat met iets minder schokkende foto’s werd geïllustreerd, ging het nieuws weer als een lopend vuurtje het internet over. Ook nu kwam de kritiek snel op gang en die is net zo vernietigend. Anti-GM-activisten zullen er voorlopig echter nog wel mee blijven rondzwaaien, zoals ze ook doen met het onderzoek van Séralini.

Het verschil lijkt duidelijk, het gemodificeerde voedsel pakt verschrikkelijk uit. Maar klopt dat wel?
Het verschil lijkt duidelijk, het gemodificeerde voedsel pakt verschrikkelijk uit. Maar klopt dat wel?

De Australische en Amerikaanse onderzoekers voerden 84 varkens GM-soja en -maïs en 84 andere varkens ‘normaal’ voedsel. Na vijf maanden werden ze geslacht en onderzocht door dierenartsen die niet wisten wat welk varken had gegeten. Geen verschillen werden gevonden voor voedselinname, gewichtstoename, bloedwaarden en sterfte. Wel bleek dat van de varkens op het GM-dieet maar liefst 32% een hevige ontsteking van de maag had, tegen maar 12% in de controlegroep. Een plaatje maakt het duidelijker (zie rechts).

Er is van alles mis met dit onderzoek. Dat varieert van het niet vooraf bepalen waar de onderzoekers naar zouden kijken tot het niet vermelden dat ze zelf behoorlijke belangen hebben in de biologische veehouderij. Op de website rbutr.com kun je nu al 26 links vinden naar blogs en andere artikelen die stuk voor stuk het onderzoek van Carman en haar collega’s onderuit halen. Het is teveel om hier allemaal te herhalen, maar het belangrijkste is misschien wel dat het gevonden ‘significante’ verschil hoogstwaarschijnlijk een toevalstreffer is. Alleen al omdat ze meer dan veertig zaken onderzochten, was het te verwachten dat minstens twee van die tests iets zouden opleveren met een p-waarde kleiner dan 0,05 ook als het verschil in voer niets uitmaakt. Er werd ook gevonden dat in de GM-vrije groep een stofje verhoogd was dat zou kunnen duiden op problemen met de lever, maar daar hoor je de auteurs niet over. Er zijn wel methoden om je tegen dit soort ‘cherry picking’ te beschermen, maar eigenlijk moet je van te voren gewoon goed beschrijven hoe je de statistische analyse gaat aanpakken.

Nu had het verschil in die maagonstekingsgraad wel een behoorlijk lagere p-waarde dan die standaardgrens van 0,05 namelijk 0,0044. Misschien is er dan toch iets aan de hand? Nou, zelfs als je ervan uit zou gaan dat de onderzoekers vooraf hadden bedacht dat dit de belangrijkste uitkomstwaarde zou zijn, blijkt het allemaal erg mee te vallen als je de statistiek goed doet. Want ook daar maken de onderzoekers een potje van.
De volgende tabel geeft het resultaat weer van beoordeling door de dierenartsen van de varkensmagen. Die hadden eerst een indeling in vier categorieën bepaald in een ander onderzoek en die hier blind toegepast.

GM-vrij voer GM-voer
geen ontsteking 4 8
lichte ontsteking 31 23
middelmatige ontsteking 29 18
ernstige ontsteking 9 23

Het totaal aantal varkens is wat lager dan eerder opgemerkt, 73 en 72 tegen 84 waarmee beide groepen startten. Er waren er namelijk al een stel gestorven voordat het einde van de testperiode bereikt was. Die sterfte is niet raar, maar wel meer dan je normaal gesproken kunt verwachten in een varkenshouderij. En dat roept ook weer vragen op. Maar nu even terug naar de statistiek. De onderzoekers vonden het verschil bij de ‘ernstige ontsteking’ toch wel opvallend. Ze gooiden nu al andere categorieën op een hoopje en kregen de volgende tabel:

GM-vrij voer GM-voer
geen ernstige ontsteking 64 49
ernstige ontsteking 9 23

Een significant verschil als je een Chi-kwadraattoets gebruikt (p=0,0044), maar diezelfde test had je ook kunnen doen zonder de lichtste categorieën bij elkaar te nemen. De p-waarde is dan iets minder indrukwekkend (p=0,011). Nog steeds significant als het de enige uitkomstwaarde van het onderzoek was geweest, maar met al die andere tests erbij, wordt het wat dubieus of we mogen spreken van een ‘verrassing’. Je zou natuurlijk ook ‘geen’ en ‘licht’ bij elkaar kunnen nemen en vergelijken met ‘middelmatig’ en ‘ernstig’; dan komt er niets bijzonders uit. Het heeft allemaal wat willekeurigs.
Het bijelkaar vegen van die categorieën heeft ook een ander bezwaar: het zijn categorieën die in een verhouding staan, het zijn meer dan labeltjes. Door de categorieën samen te voegen, gooi je informatie weg. Als je bijvoorbeeld in de eerste tabel de eerste en derde rij zou verwisselen, zie je een veel sterker verband tussen GM-voer en ontsteking; voor de in elkaar geschoven tabel maakt het echter niets uit. Een test (Wilcoxon) die er wel rekening meehoudt dat de categorie ‘licht’ een lagere ontstekingswaarde inhoudt dan ‘middelmatig’ laat geen significant verschil zien (p=0.281).
Er blijft dus niet zo veel van over, de skeptische statistici ook weer opgelucht. Maar het wordt eigenlijk nog erger als we Dr. Robert Friendship, een specialist op het gebied van de gezondheid van varkens, mogen geloven. Hij stelt dat de onderzoekers überhaupt niet hebben aangetoond dat er sprake was van maagontstekingen:

The researchers did a visual scoring of the colour of the lining of the stomach of pigs at the abattoir and misinterpreted redness to indicate evidence of inflammation. It does not. […] There is no relationship between the colour of the stomach in the dead, bled-out pig at a slaughter plant and inflammation.

De rode kleur zegt in dit geval dus helemaal niets. Ik hoop dat die nu wel heel erg verschijnt op de kaken van Carman en haar companen.

Via de volgende twee links van rbutr zijn de meest interessante blogs over deze kwestie wel te vinden: link1 en link2.

 

Alternatieve huisartsen werken 15 procent goedkoper? Een verzinsel!

by 95 Comments

Engels - UK vlag 30x24Op Internet worden door verdedigers van alternatieve zorg onder andere de volgende mythes verspreid: de Zwitserse overheid zou in een rapport hebben aangetoond dat homeopathie werkt en alternatieve huisartsen zouden maar liefst 15 procent goedkoper werken dan hun reguliere collega’s. Dat Zwitserse onderzoek is echter niet het standpunt van de overheid en ook niet door de overheid uitgevoerd (link, link). Inhoudelijk is het ook niet zo best. Maar dat belemmerde de in homeopathische kringen populaire Dana Ullman niet om het als een ‘Remarkable Report‘ weer te geven op The Huffington Post. Dat bericht werd door allerlei alternatieve sites overgenomen.
In zijn volgende stuk herhaalde Ullman zijn verkeerde weergave van het ‘Zwitserse rapport’, maar haalde nu ook het Nederlands onderzoek aan van professor dr. Peter Kooreman en dr. Erik  Baars. Daaruit zou blijken dat de patiënten van huisartsen, die naast gewone zorg ook homeopathie, acupunctuur of antroposofische geneeswijzen toepassen, 15 procent minder kosten zouden opleveren voor hun zorgverzekeraar. Die 15 procent staat echter nergens in het artikel en kan ook niet uit de resultaten afgeleid worden. Waar komt die mythe dan vandaan?

dr. Erik Baars
dr. Erik Baars

Eerste kritiek
Het onderzoek van Kooreman en Baars (K&B) kwam de wereld in via een bericht in de Volkskrant  (8 juni 2010) en werd vrij snel daarna besproken door Cees Renckens en Jan Willem Nienhuys op de site van de Vereniging tegen de Kwakzalverij. Een probleem met een directe vergelijking tussen de kosten van de patiëntenpopulaties van reguliere en alternatieve huisartsen is dat die nogal van elkaar kunnen verschillen. Bekend is dat de belangstelling voor alternatieve geneeswijzen vaak samengaat met een hoger opleidingsniveau, en een in het algemeen hogere sociaaleconomische status , precies de parameters die ook statistisch gesproken samengaan met minder ziekte en een langer leven. In de studie van K&B is daarvoor gecorrigeerd door te vergelijken binnen postcodegebiedjes; binnen zo’n klein gebiedje zijn die verschillen in sociaaleconomische status niet zo groot.
Renckens en Nienhuys merken op dat vreemd genoeg alleen van de vergelijking op basis van de ongecorrigeerde gegevens een totaalresultaat wordt gegeven: een niet-significant verschil van 7%. Zij vragen zich af waar die 15 procent uit het Volkskrantartikel eigenlijk op slaat. Ook valt ze op dat de (gecorrigeerde) kosten voor 75-plussers bij antroposofen enorm veel lager zijn (400 euro per kwartaal op een totaal van ruim 1300 euro), maar dat dit toch maar net significant is. Het gaat daarom misschien maar om heel kleine aantallen of de spreiding is door enkele uitschieters enorm (of allebei). Volgens de VtdK liet Kooreman in een reactie weten dat ‘uit het bovenstaande duidelijk is dat in de VtdK de competentie ontbreekt om het genoemde onderzoek te beoordelen‘. Renckens en Nienhuys besloten hun commentaar met de opmerking dat we misschien eerst maar moeten wachten met in het gegoochel met cijfers te duiken tot de auteurs het in een fatsoenlijk tijdschrift weten te publiceren. Het stond immers alleen nog als ‘submitted article’ op de eigen website van Kooreman.

Gepubliceerd en becommentarieerd
Uiteindelijk werd het artikel in december 2012 gepubliceerd in The European Journal of Health Economics als Patients whose GP knows complementary medicine tend to have lower costs and live longer (Open Access). Voor de duidelijkheid: GP staat voor General Practioner en is dus een huisarts, CAM staat voor Complementary and Alternative Medicine, wat ik gemakshalve maar alternatieve zorg blijf noemen. Via een linkje van Rbutr werd ik geattendeerd op die publicatie en het recente commentaar daarop van onder andere Christopher Sampson. De reactie van deze Engelsen is wel open op de site van Sampson te vinden (pdf). Hun kritiek omvat onder andere de volgende punten:

  • Ten eerste wijzen ze er op dat K&B niet corrigeren voor meervoudig toetsen. Er worden vergelijkingen gemaakt bij tal van subgroepen (naar leeftijd, soort medische handeling en per soort alternatieve zorg) en dan moet je erg oppassen dat je niet toevallige uitschieters als significant bestempelt;
  • In het artikel staat ook maar één uitkomstmaat die iets met de gezondheidstoestand van patiënten te maken heeft, het sterftecijfer. Dit is mijns inziens een heel belangrijke observatie. Er is geen enkele relatie te leggen op grond van de gegevens in de studie tussen het soort handeling (alternatief of regulier) en de kosten. Je had het hele onderzoek in feite net zo goed kunnen doen met een opdeling van de huisartsen naar hun favoriete automerk. De uitkomst (neigend naar significantie, of zo) was dan misschien wel geweest dat Mercedes rijdende artsen goedkoper werken, maar dat had vast niemand dan serieus genomen;
  • De conclusie van het artikel, 0 tot 30% lagere kosten en mortaliteit bij de alternatieve patiënten, vinden ze onoprecht, gezien wat de auteurs aanvoeren aan gegevens en analyse;
  • Ten slotte wijzen ze er op, dat je erg voorzichtig zou moeten zijn met het zo weergeven van het onderzoek. Juist omdat lobbygroepen voor alternatieve zorg het als propaganda zouden kunnen gebruiken, terwijl het resultaat helemaal niet zo duidelijk is. Sampson et al. hierover in hun conclusie:  ‘The study does not demonstrate that GP-CAM training is associated with either reduced healthcare costs or reduced mortality. Academics have a responsibility to communicate their research carefully and without misinterpretation. Kooreman and Baars have failed to do this.’

In hetzelfde nummer staat ook de reactie van K&B op deze kritiek. Met betrekking tot dat meervoudige toetsen stellen ze dat ze zoveel significante resultaten vonden (17-21%) dat die niet allemaal toegeschreven kunnen worden aan fout-positieve resultaten. Statistisch gezien een uiterst merkwaardige opvatting over de problematiek van meervoudig toetsen. Over de weergave van de resultaten merken ze op dat de 30% zowel slaat op de 400 euro die minder werd uitgegeven ten behoeve van de 75-plussers bij antroposofische artsen als de lagere mortaliteit, die ook 30% lager was (bij mannen). Ook wijzen ze erop dat ‘0%’ in het gegeven interval ligt. Misschien moeten we hieruit opmaken dat ze een niet al te harde claim neerleggen, maar ik vind het een uiterst onduidelijke manier van samenvatten van het resultaat. Ze besluiten met:

Throughout, we have been careful to stress the limitations of our study and the need for further research based on better datasets (and we continue to do so in our contacts related to this study with the media, practitioners, and other parties). The commentators have not provided any insights beyond those already available in our original paper. We hope that their future contributions (and the associated journal space) will take the form of substantive research on this important topic.

Ik was eerlijk gezegd nogal verbijsterd over dit commentaar. Sampson et al. hadden mijns inziens goed beargumenteerd gehakt gemaakt van het stuk van K&B en die dachten het met zulke slappe argumenten af te kunnen doen?

Waar komt die 15 procent toch vandaan?
Ik werd na het lezen van deze stukken ook nieuwsgierig naar de herkomst van die ’15 procent’. Ik besloot eerst eens te mailen met Sampson. Die had het commentaar van K&B nog niet gezien en was ook verrast dat het onderzoek al lang en breed gebruikt werd op Internet door diverse organisaties die de alternatieve gezondheidszorg promoten. Die ’15 procent’ was hem onbekend, omdat die immers niet in het artikel staat. Ook was hij nogal geschrokken van de reactie van K&B die hun bezwaren ontzettend gemakzuchtig afdoen. Ze zijn van plan er binnenkort op terug te komen [Update: inmiddels gebeurd].
In eerste instantie dacht ik dat die ’15 procent’ wel eens kon komen van een verkeerde interpretatie van het resultaat dat K&B gaven in hun artikel:

Patients whose GP has additional CAM training have 0–30% lower healthcare costs and mortality rates, depending on age groups and type of CAM. The lower costs result from fewer hospital stays and fewer prescription drugs

Was dat interval van 0 tot 30% misschien opgevat als een betrouwbaarheidsinterval? Dan zou het wel voor de hand liggen om het gevonden resultaat precies in het midden daarvan te veronderstellen. Uit het commentaar van K&B was echter duidelijk dat het meer een grove aanduiding is van de mogelijke waarden van die besparing. Maar is het wel een eerlijke weergave? De cijfers waar het om gaat, moeten komen uit de tabel met de gecorrigeerde gegevens:

 

Tabel 3 uit het stuk van Kooreman en Baars. Hierin staan in de eerste drie kolommen de gecorrigeerde verschillen in kosten per categorie
Tabel 3 uit het stuk van Kooreman en Baars. De eerste drie kolommen geven de gecorrigeerde verschillen in kosten per categorie (per kwartaal in euro’s). Arcering door mij aangebracht.

Inderdaad treffen we die (ongeveer) 400 euro besparing aan van de antroposofische 75-plussers. Er staat echter ook in dat in de leeftijdsgroep tot 25 jaar de patiënten bij de homeopathische huisarts 100 euro meer kostten dan die bij de reguliere arts, 47 procent duurder! Is het dan niet eerlijker om het interval weer te geven als lopend van -47% tot 30%?  Om een wat beter beeld van het resultaat te krijgen, zouden aantallen patiënten per cel, standaarddeviaties en p-waardes goed uitkomen. Ik besloot daarom ook maar eens met Kooreman te mailen.

Het was niet een interpretatiefout van de Volkskrant geweest, het stond namelijk al in het persbericht van de Universiteit van Tilburg. En Baars noemde het ook in een radio-interview (Hoe?Zo! radio 9 juni 2010, vanaf 19.05). Kooreman had duidelijk niet veel trek in een discussie met mij en wees erop dat in het persbericht ‘ongeveer 15 procent’ staat en niet ’15 procent’. Ook ging hij niet in op mijn herhaalde verzoek om de achterliggende cijfers van de tabel te sturen. Van een (niet gecorrigeerd) niet significant verschil van 7 procent kan ik echter niet op een verantwoorde manier een verschil van ‘ongeveer 15 procent’ maken, liet ik hem weten. Daarop vernam ik niets meer van Kooreman. Jammer. Ik heb nog wel gevonden dat de ‘ongeveer 15 procent’ echt door beide heren zelf in het leven is geroepen. De aanleiding van het persbericht was het indienen van het stuk voor een congres in december 2010. De deadline voor de abstracts was 31 mei 2010 en in hun abstract schrijven ze:

Conclusions: There is evidence that treatment by GPs who completed additional training in complementary medicine (anthroposophic medicine, homeopathy or acupuncture) results in approximately 15% health care cost reduction.

prof. dr. Peter Kooreman
prof. dr. Peter Kooreman

In een opiniestuk in Trouw, ruim een jaar later, liet Kooreman die ‘(ongeveer) 15 procent’ achterwege en vat het resultaat zo samen: ‘Recent onderzoek laat zien dat huisartsen die zich na hun reguliere opleiding hebben geschoold in acupunctuur, antroposofische geneeswijzen of homeopathie goedkoper werken dan reguliere huisartsen, ook als zo goed mogelijk wordt gecorrigeerd voor de verschillende achtergrondkenmerken van patiënten. Hun patiënten leven bovendien langer‘.
Dit opiniestuk was onder andere bedoeld om de aandacht te vestigen op een boek waarin Kooreman een hoofdstuk schreef en daarin schrijft hij het nog wat voorzichtiger op: ‘Kooreman en Baars vinden op basis van gegevens van een Nederlandse zorgverzekeraar aanwijzingen dat huisartsen die zich na hun reguliere opleiding hebben geschoold in acupunctuur, antroposofische geneeswijzen of homeopathie goedkoper werken dan reguliere huisartsen.‘ (vetgedrukt telkens door mij).
Op diverse websites werd aan het stuk van K&B gerefereerd met een afwijkende titel: ‘Patients Whose GP Knows Complementary Medicine Have Lower Costs and Live Longer’ in plaats van ‘Patients whose GP knows complementary medicine tend to have lower costs and live longer’. Ik dacht in eerste instantie dat dit subtiele misleiding was van die websites (vooral, omdat ook Ullman het doet). De titel is echter tussen de aankondiging van het aanbieden voor publicatie en de daadwerkelijke publicatie veranderd in de wat minder stellige versie. Kooreman heeft op zijn site die oude versie gewoon vervangen door de gepubliceerde versie, zodat alle links verwijzen naar de recentste versie. De verschillende versies zijn ook te zien via de bibliotheek van de Universiteit van Tilburg.

Conclusie
Het heeft er alle schijn van dat Kooreman en Baars het echte resultaat van hun onderzoek, ‘we hebben geen significant verschil gevonden’, hebben geprobeerd weer te geven als iets dat hun beter uitkomt. Ook lijken ze niet te beroerd om collega-wetenschappers hiermee op het verkeerde been te zetten (zie bijvoorbeeld het naschrift bij deze column). Het is natuurlijk wat vervelend als mensen als Nienhuys, Renckens en ik daar lastige vragen over stellen. Die blogs van ons zijn nog wel af te doen als het te verwachten geluid van zelfbenoemde kwakzalversbestrijders maar de kritiek van vakgenoten als Sampson kon natuurlijk niet onbeantwoord blijven. Dat K&B ook die kritiek zo hooghartig menen af te kunnen doen, verbaast me toch wel.
Het contrasteert ook met de manier waarop Kooreman zelf zegt te hebben aangedrongen op een zorgvuldige interpretatie van de resultaten van de studie. Op het congres “Heel de Mens“ (4 oktober 2012) hield hij een voordracht waarin hij erop wees dat die veelal werd gebracht als bewijs dat alternatieve gezondheidszorg als zodanig goedkoper werkt, terwijl die volgens hem alleen aantoont dat huisartsen met kennis van die alternatieve zorg goedkoper werken, zonder dat direct duidelijk is of het komt door het toepassen van die alternatieve zorg. Ook wijst hij erop dat de prijs die Baars en hij kregen voor de studie op het European Congress for Integrative Medicine gesponsord is door de homeopathische firma Heel en dat veel van de sites die het bericht brengen dat detail weglaten.
Klinkt heel integer, maar nergens in zijn verhaal heeft hij het er over dat het echte resultaat van de studie zo misleidend is weergegeven door de auteurs zelf. Die misleiding is begonnen met hun abstract en het daaropvolgende persbericht van de Universiteit van Tilburg. Er wordt een cijfer genoemd als resultaat van een nog niet gepubliceerd onderzoek, maar daar blijkt het niet eens in voor te komen. Zouden universiteiten natuurlijk ook niet moeten doen, de ongecontroleerde stokpaardjes van hun medewerkers uitdragen, daar zijn vaker ongelukken van gekomen.

Naschrift
Kooreman en Baars deden hun rekenwerk nog eens over met een grotere dataset waarover ze in 2014 publiceerden, zie Verzekerde zorgkosten van patiënten bij alternatieve huisarts. Op het congres van de Vereniging tegen de kwakzalverij in 2017 besprak Marco Blanker deze studie, terug te zien op YouTube.

Statistiek en genezing

by 59 Comments

Homeopathische middelen mogen niet meer verkocht worden als geneesmiddel voor een bepaalde kwaal, als de werking niet is bewezen.
Vele sceptici slaken bij dit nieuws een zucht van verlichting. Vele gebruikers en beoefenaars zullen hier echter weinig van begrijpen. De werking is toch bewezen? Ik nam gister nog een druppeltje en de kwaal werd minder. En hoe zit dat dan met al die andere mensen die al jaren tot tevredenheid homeopathische middelen gebruiken? Is dat dan geen bewijs? De methode om dit soort bewijs te kunnen testen heet statistiek.

Wat doet statistiek?

Statistiek kan worden ingezet om fenomenen te onderzoeken en hopelijk een link te leggen met de oorzaak ervan. Stel we nemen een willekeurig fenomeen. Bijvoorbeeld het aantal krokodillenbeten bij mensen die een paraplu dragen. Als we puur naar de cijfers kijken dan zal blijken dat de meeste mensen die gebeten werden door een krokodil, geen paraplu bij zich hadden. Hieruit zou de conclusie of theorie kunnen worden gedestilleerd dat het dragen van een paraplu een afweermiddel is tegen krokodillenbeten. En getest in Nederland met bijvoorbeeld Maurice de Hond zal inderdaad blijken dat er niemand met een paraplu is gebeten door een krokodil. De cijfers lijken de theorie dus te ondersteunen. Er is echter een probleem. Weten we wel zeker dat er sprake is van de juiste oorzaak bij dit gevolg? Kunnen er geen andere redenen zijn dat mensen met een paraplu niet gebeten worden door krokodillen. Een voor de hand liggend vergelijk is het aantal loslopende krokodillen vergelijken met het aantal krokodillenbeten, en de locatie. Dan blijkt dat Nederland een laag aantal loslopende krokodillen kent en dat dien ten gevolge het aantal krokodillenbeten dan ook laag zal zijn. In Nederland regent het vaak, dus het aantal mensen dat een paraplu draagt is hoog. Zie hier het ontstaan van een foute oorzaak-gevolgrelatie. De theorie is verworpen, omdat er een betere theorie is die beter voorspelt wat er aan de hand is.

Het probleem van statistiek

Zoals hierboven gezien kan statistiek dus een verkeerd beeld van de werkelijkheid geven als er niet genoeg toetsen worden ingebouwd, die toetsen of er geen andere oorzaken zijn. In bovenstaand voorbeeld zou je bijvoorbeeld als extra toets kunnen meten hoeveel mensen in Nederland zonder paraplu gebeten werden door krokodillen. Het probleem hiervan is dat we alleen kunnen toetsen wat we zelf als eventuele andere oorzaak kunnen aanwijzen. Er kan altijd een onbekende oorzaak zijn, die onze statistische methode in de war schopt, en leidt tot een positief resultaat.

Een andere methode is om geen andere oorzaak te toetsen, maar alleen te beschouwen wat er gebeurt bij mensen die nergens aan mee doen. Dit wil ik verduidelijken met een geneesmiddelonderzoek. Stel een nieuw middel tegen hoofdpijn wordt getest. Dan willen we weten of dit nieuwe middel beter geneest dan oude middelen. We zouden dus eerst mensen met hoofdpijn moeten testen met het oude middel, dan moeten we mensen testen die het nieuwe middel gebruiken, en om zeker te zijn dat de mensen niet vanzelf genezen zal er ook getest moeten worden met een nepgeneesmiddel, oftewel de placebo groep. Is dit genoeg? Eigenlijk niet, want het kan zijn dat extra aandacht voor het probleem zonder een werkend medicijn ook al tot verlichting van de klachten leidt. We zullen dus ook mensen met hoofdpijn moeten testen die niet meedoen aan de test, en die geen medicijnen nemen. Is dit genoeg? Misschien wel, maar er kunnen altijd andere oorzaken zijn die hoofdpijn veroorzaken, die niet bekend zijn zoals bijvoorbeeld: schijnt de zon, woont iemand bij veel smog, heeft iemand gedronken, is het geen reactie op een andere stof en ga zo maar door. Er zijn eigenlijk teveel andere mogelijke oorzaken te bedenken die niet worden meegenomen in het onderzoek.

Het probleem van statistiek is dus dat het alleen een zeker resultaat geeft als alle andere factoren kunnen worden uitgesloten. Maar dit kunnen we alleen als deze oorzaken bekend zijn, anders wordt het moeilijk erop te testen, of ze uit te sluiten.

Is homeopathie getest?

Homeopathie is veelvoudig getest, maar alleen of voornamelijk met statistische onderzoeken. (Dat is niet helemaal waar, maar daar kom ik zo op terug). Het claimen van een werking gebaseerd op deze onderzoeken is dus twijfelachtig. Het enige dat we echt kunnen laten zien, is of er een verband is tussen de mensen die homeopathische middelen hebben genomen, en de mensen die daarna zich beter voelden. Homeopaten claimen over het algemeen dat deze verbanden zijn aangetoond, sceptici claimen dat de onderzoeken niet goed genoeg zijn uitgevoerd, omdat niet alle oorzaken zijn getoetst. Homeopaten zetten zich daarnaast af tegen de claim dat de wetenschap alles weet en dat gewone geneesmiddelen wel goed werken, of dat de werking daarvan is aangetoond.

En hier hebben ze een punt. Ook bij “echte” geneesmiddelen kunnen er vragen worden gesteld bij het statistisch onderzoek. Maar omdat deze door mensen met veel kennis worden uitgevoerd, die ook nog eens enorme schadeclaims kunnen krijgen als ze dit verkeerd doen, zijn deze onderzoeken wel betrouwbaarder. Echter dit zal vast niet in elk geval zo zijn, er zijn altijd rotte appels.

Is er een oplossing?

Ja, er is een oplossing, die is echter niet altijd gemakkelijk. De oplossing zou zijn om een mechanisme te toetsen waarmee de oorzaak en het gevolg wordt verklaard, en niet alleen wordt aangetoond. Statistiek is voornamelijk inzetbaar in het laatste geval. Statistisch gezien kun je aantonen dat als je de schakelaar van de lamp omzet, de lamp gaat branden (mits de lamp niet stuk is en de stekker in het stopcontact zit). Dit is echter geen verklaring. De verklaring is dat er elektriciteit door de draden heen kan die licht opwekt in de lamp. De schakelaar sluit het circuit waardoor dit mogelijk is (een gedetailleerdere uitleg is vast mogelijk). Op deze manier kunnen we de statistische resultaten verklaren.

Kunnen we homeopathie verklaren?

Er zijn diverse pogingen gedaan om homeopathie te verklaren, echter deze stuiten allemaal op ongeloof, of gaan regelrecht tegen andere resultaten in. Zo is de chemische samenstelling Statistiek en genezing 1van een homeopathisch middel nagenoeg hetzelfde als die van water. Andere mechanisme voor overdracht van werkzaamheid zijn tot nu toe niet voldoende verklaard. Ook het produceren van homeopathische middelen gaat op een wijze die veel vragen oproept, voornamelijk waarom er maar één bepaalde manier van mengen is die werkt. Daarnaast kan men geen antwoord geven waarom iets verder verdunnen een krachtiger en tegenovergestelde werking geeft. Vooral dit laatste principe gaat in tegen alle andere bekende werkzaamheden van medicijnen. Oftewel om homeopathie te kunnen verklaren moet je geloven in een heel ander wereldbeeld, dat niet overeenkomt met het wereldbeeld zoals dat gewoon dagelijks te zien valt. Iedereen weet dat 2 aspirientjes beter werken dan 1, en dat 2 treinen harder trekken dan 1 trein.

Het is in de discussie over homeopathie dus belangrijk dat we niet alleen de statistische onderzoeken bediscussiëren, maar ook vooral over wat deze onderzoeken betekenen, en of ze goed zijn uitgevoerd. De werking claimen aan de hand van resultaten is niet sterk genoeg zonder dat er een bewezen mechanisme is van overdracht. Dit laatste is niet te bewijzen door terug te vallen op werkzaamheid of behandelresultaten. Wil dit naar tevredenheid gebeuren dan zal er meer nodig zijn. Dit geldt niet alleen voor homeopathie, maar is ook van belang voor alle (alternatieve) behandelingen.

TED lezing van Ben Goldacre over onzinclaims

by 18 Comments

De Engelse publicist Ben Goldacre gaf in 2011 een interessante TED-Talkover ‘bad science’. Elke dag zijn er nieuwsberichten over nieuwe gezondheidsadviezen, maar hoe kun je weten of ze kloppen? Arts en epidemioloog Ben Goldacre toont ons op hoge snelheid op welke manieren bewijsmateriaal wordt gemanipuleerd, van de verblindend voor de hand liggende voedingsclaims tot de zeer subtiele trucs van de farmaceutische industrie. Met Nederlandse ondertiteling.

Ben Goldacre is de auteur van ‘Bad Science’ — unpicking dodgy scientific claims made by scaremongering journalists, dubious government reports, evil pharmaceutical corporations, PR companies and quacks.

Wie geen videoscherm ziet kan hier klikken.

 

 

Begin 2011 zetten we ook al een lezing van Ben Goldacre op Kloptdatwel.