Kloptdatwel?

Wetenschap

Kip zonder kop beter af met aanroepen Allah

by 23 Comments

Veel religies hebben voorschriften met betrekking tot voedsel. Volgens islamitisch gebruik zijn kippen bijvoorbeeld pas halal als je ze op de juiste manier slacht. Tijdens het slachten moet Allah  aangeroepen worden en niet wat anders, want dan is het vlees haram en mag een moslim het eigenlijk niet eten. Nu zou je als gelovige moslim dit voorschrift gewoon kunnen accepteren als een gegeven, maar als je nu op basis van modern wetenschappelijk onderzoek kunt laten zien dat er ook ‘objectieve’ argumenten voor zijn, dan ben je natuurlijk wel gek als je dat niet probeert. Niet dan?

Onderzoekers van de universiteit van Batna in Algerije publiceerden vorig jaar een artikel waarin ze verschillen laten zien tussen het vlees van correct geslachte kippen en van kippen waarbij het ritueel niet helemaal goed werd uitgevoerd (pdf). De onderzoekers kozen 66 kipjes uit om te slachten. De ene helft werd keurig volgens islamitisch gebruik om zeep geholpen: de halsslagader, luchtpijp en slokdarm worden met één haal van een scherp mes doorgesneden onder het aanroepen van Allah met de woorden ‘Bismillah-Allahu Akber’. De minder fortuinlijke groep moest het stellen met dezelfde behandeling waarbij het aanroepen van Allah achterwege werd gelaten. Vervolgens werden delen van de borstspier en de levers op sterk water gezet en gestuurd naar een laboratorium voor nader onderzoek.

In het weefsel van de kippen die zonder aanroep van Allah waren geslacht, waren veranderingen te zien. Diverse opeenhopingen van cellen in de bloedvaten van de levers en het borstvlees. De netjes geslachte kipjes hadden hier geen last van. Heel duidelijk wordt dat uit de afbeeldingen die in het artikel staan:

Volkomen helder, links haram en rechts halal
Volkomen helder, links haram en rechts halal

Ja, en die opeenhopingen vormen een uitgelezen kans voor de groei van bacteriën volgens de auteurs. De suggestie is duidelijk: het slachtvoorschrift kan ook vanuit gezondheidsoogpunt goed onderbouwd worden. Met deze plaatjes moeten we het trouwens doen wat onderbouwing betreft. Er is niet eens een tabel waarin de gevonden verschillen netjes geturfd tegenover elkaar gezet zijn.
De bedroevend lage kwaliteit van dit onderzoek lijkt overigens niet in eerste instantie ingegeven om de uitkomst te bereiken die vanuit religieus standpunt gewenst is. Toen ik zocht wat de eerste auteur nog meer had geschreven, trof ik een soortgelijk artikel aan in hetzelfde tijdschrift. Even weinig data en nog minder plaatjes, maar nu ging het niet om religieus slachten, maar om het opkweken van kuikens in ruimtes bij normale of verhoogde temperatuur.

Sommige tijdschriften publiceren alles, als je maar betaalt. Nou ja, alles? Misschien had de editor van dit blad (International Journal of Poultry Science) dat in Pakistan wordt uitgegeven wel even achter zijn oren gekrabd als de uitkomst net andersom was geweest. Dat is natuurlijk wel het ‘risico’ als je als bepaalde zaken, die je op grond van geloof aanneemt, wil toetsen op een eerlijke wetenschappelijke manier. Of zouden de onderzoekers dan het artikel misschien niet hebben ingestuurd en zo de editor zijn dilemma hebben bespaard? Over een ethische commissie die het onderzoek goedgekeurd heeft, rept het artikel niet en ik denk niet dat het tijdschrift het voorschrijft. De kippen zullen allemaal wel gewoon verkocht zijn voor consumptie, ook naar haram geslachte kippen is er in Algerije waarschijnlijk vraag genoeg.

(via een blog van Jeffrey Beall [mirror])

 

Klimaatsceptici scoren puntje tegen Lewandowsky: Recursive Fury ingetrokken

by 68 Comments

Psycholoog Stephan Lewandowsky gooide in 2012 een bommetje in de voortgaande strijd van klimaatsceptici tegen de wetenschappelijk consensus rondom de menselijke invloed op de opwarming van de aarde. In een artikel getiteld NASA Faked the Moon Landing—Therefore, (Climate) Science Is a Hoax lijkt hij de klimaatsceptici als complotdenkers weg te zetten. Die reageerden natuurlijk verontwaardigd op hun eigen websites en in de commentaren bij blogs die erover berichten. En die online uitingen werden vervolgens weer onderzocht op complotdenken door Lewandowsky. Nieuw artikel, nieuwe verontwaardiging. En nu, een jaar later, ingetrokken.

Lewandowsky-retraction-640x250

LOG12 – Moon Landing
De volledige titel van het eerste artikel dat Lewandowsky schreef met Klaus Oberauer en Gilles Gignac is: “NASA Faked the Moon Landing—Therefore, (Climate) Science Is a Hoax – An Anatomy of the Motivated Rejection of Science” (afgekort LOG12, naar de beginletters van de auteurs) en is  gepubliceerd in Psychological Science  (hier een vrij toegankelijke versie). Het is pas in maart 2013 officieel verschenen, maar de commotie begon in juli 2012 toen het geaccepteerd was en online werd verspreid.
Het ‘resultaat’ werd gretig opgepakt door de media. Als (sociaal)psychologen ergens goed in zijn gebleken de laatste jaren, is het wel weinig overtuigende verbanden vertaald te krijgen in spraakmakende krantenkoppen. Niet verwonderlijk dat de klimaatsceptici op hun achterste benen stonden en uit alle macht probeerden de onzin van dit onderzoek aan te tonen.
Wat staat er nu eigenlijk voor schokkends in? Het onderzoek is gebaseerd op een vragenlijst die werd uitgezet via een aantal websites die over klimaatverandering gaan. De deelnemers werd gevraagd in hoeverre ze eens of oneens waren met zaken die in de klimaatdiscussie een rol spelen (‘verbranding van fossiele brandstoffen draagt bij aan de opwarming van de aarde’, ‘verbranden van fossiele brandstoffen heeft al negatieve gevolgen laten zien’). Maar ze kregen ook vragen over redelijk bekende complottheorieën (moord op Kennedy, die maanlandingshoax uit de titel), algemeen wetenschappelijk aanvaarde feiten (aids wordt veroorzaakt door hiv, roken veroorzaakt longkanker) en hoe ze dachten over de vrije markt.
De onderzoekers gooien al deze data in een vrij gecompliceerd statistisch model (Structural equation modeling) en daaruit komt dan met name een sterke samenhang tussen een voorkeur voor vrije markt en klimaatscepsis uit opborrelen. En eigenlijk ook dat maar weinig mensen waarde hechten aan complottheorieën; als ze dat al doen leidt dat eerder tot ongeloof in algemeen aanvaarde wetenschappelijk feiten dan in verwerpen van de theorie rond klimaatopwarming.

Stephan Lewandowsky
Stephan Lewandowsky

Belangrijkste kritiek op het onderzoek gaat over de manier waarop de deelnemers werden geselecteerd. Volgens de auteurs probeerden ze zowel volgers van de consensus rondom klimaatopwarming in hun onderzoek te krijgen als sceptici door de enquête aan te bieden via acht websites die pro-wetenschap zijn en vijf die je als klimaatsceptisch kunt aanduiden. Die laatsten deden echter niet mee. De sceptici in de enquête kwamen dus via de ‘reguliere’ sites binnen, maar er waren er wel genoeg voor de vergelijking (in totaal 1.145 bruikbare inzendingen). Bij uitkomen van het artikel gingen de websitebeheerders van sceptische blogs natuurlijk na of dat wel klopte van die afgeslagen uitnodiging. En daar lijkt toch een luchtje aan te zitten.
Ook het rekenwerk van Lewandowsky is niet direct helemaal transparant en lijkt voor een niet-ingewijde nodeloos ingewikkeld. De kans dat de uitkomst bewust vertekend is door een paar lieden die klimaatsceptici in een kwaad daglicht wilden stellen, is ook niet uit te sluiten bij zo’n Internet-poll en het lijkt erop dat daar maar weinig inspanning voor nodig was geweest. Er waren ook maar 10 respondenten die iets in de maanlandingshoax zagen, dus de titel lijkt sowieso wat overtrokken.

De verdediging van Lewandowsky rammelt ook wel wat. Zo heeft ie behoorlijk vaag gedaan over de vijf sceptische sites die geweigerd zouden hebben om zijn poll te plaatsen en zat zich te verkneukelen bij het idee dat al die boze klimaatscepsisbloggers ijverig hun mailboxen aan het doorpluizen zouden zijn om te zien of ze twee jaar eerder misschien een mailtje te snel hadden weg gegooid. Wat blijkt, is dat een assistent van hem die uitnodiging had gestuurd, zonder echter op  te merken dat het om een onderzoek van Lewandowsky ging en vervolgens is er ook niet veel moeite gedaan om bij ‘geen antwoord’ of een weigering even door te drukken en het belang duidelijk te maken. En of de poll nu wel op SkepticalScience (de belangrijkste reguliere site) stond, is inmiddels ook de vraag (misschien was het alleen een oproep via Twitter of stond het in een reactie op de site).
Voor een lezer die niet heel erg op de hoogte is van de rollen die Lewandowsky, zijn mede auteurs en zijn opponenten in de echte discussie spelen (die over klimaatverandering) komen de reacties van Lewandowsky op de kritiek een beetje gemakkelijk over en hij lijkt ze wat lichtzinnig belachelijk te maken. Ik weet niet of dat nu zijn bedoeling was, maar bij mij werkt het eerder wat sympathie op voor de sceptici (op dit punt dan).

Recursive fury
Maar laten we even wel wezen, het is niet meer dan een Internet-poll! Misschien was de te verwachten commotie ook wel iets waar Lewandowsky stiekem op hoopte en zat hij al klaar voor het vervolgonderzoek: het analyseren van de reacties op blogs over zijn onderzoek en het verband met complotdenken! Dit mondde uit in een artikel: Recursive fury: Conspiracist ideation in the blogosphere in response to research on conspiracist ideation gepubliceerd in Frontiers in Psychology: Personality Science and Individual Differences. Dit keer deed Lewandowsky het samen met Oberauer, John Cook en Michael Marriott. Meteen was daarover zoveel trammelant dat het er toe leidde dat Frontiers het artikel uit voorzorg offline haalde.
Vorige week berichtte weblog Retraction Watch dat het nu ook formeel is ingetrokken. Belangrijkste reden is dat Frontiers de juridische aansprakelijkheid niet aandurft. Een aantal personen die in het artikel of in de supplementen met naam genoemd zijn (of waarvan hun opmerkingen zo tot de persoon zijn terug te leiden), zijn van mening dat er sprake is van smaad. In die supplementen zijn bijvoorbeeld ook reacties van mensen opgenomen die geen uitgesproken klimaatsceptici zijn, maar die suggestie wordt wel gewekt door onhandige benaming van het stuk. Een ander punt is dat minstens één van de auteurs (Marriott) ook in de onderzoeksperiode blogs schreef waarin hij flink kritiek uitte op sommige klimaatsceptici die in het artikel worden genoemd. Dat lijkt mij inderdaad wat dubieus.
Het stuk staat nog wel online (pdf) op de site van de University of Western Australia, waar Lewandowsky tot januari dit jaar werkzaam was. Het is onderhoudend leesvoer, maar of het faire wetenschap is, waag ik te betwijfelen. Ik kan me goed voorstellen dat het op de klimaatsceptici overkomt als een lafhartige aanval vanuit de veilige ivoren toren van het afgeschermde academisch wereldje. De groep die bekeken wordt, is stiekem ook verschoven van de bezoekers van klimaatblogs naar de auteurs van de sceptische blogs (want daarvan komt het merendeel van de onderzochte commentaren). Zowel de sceptici die zich door LOG12 onheus bejegend voelen als Lewendowski maken dat onderscheid eigenlijk niet.

Plos One – absence of any role of free-market worldview or conservatism in the rejection of GM foods
Misschien is het maar beter om die twee onderzoekjes te vergeten en alleen te kijken naar een ander onderzoek van Lewandowsky dat vorig jaar verscheen in Open Access journal Plos One: “The Role of Conspiracist Ideation and Worldviews in Predicting Rejection of Science“. Dit is gebaseerd op een representatieve steekproef onder de Amerikaanse bevolking uitgevoerd door een onafhankelijk onderzoeksbureau, dus hoeven we ons minder druk te maken over bias in de selectie. Volgens Lewandowsky bevestigen de resultaten die van LOG12. Dat klopt wel aardig, maar ook hier haalt Lewandowsky het complotdenken naar voren door het in de titel op te nemen, terwijl het dus helemaal niet zo’n grote en duidelijke rol speelt. In een FAQ bij het artikel, waarin Lewandowsky zelf een aantal vragen bedenkt en beantwoordt, geeft hij zelf wat het belangrijkste resultaat van de studie was:

The involvement of conspiratorial thinking in the rejection of science is not very surprising, given the existing body of literature that we review in the paper. Similarly, the important role of free-market worldviews in the rejection of climate science is also not surprising in light of previous results […] What is surprising, and in our view quite remarkable, is the absence of any role of free-market worldview or conservatism in the rejection of GM foods, and their rather weak (and mutually opposing) role in the rejection of vaccinations.

In een stuk van Tania Lombrozo komt ook naar voren dat Lewandowsky meer maakt van dat complotdenkersaspect dan misschien gerechtvaardigd is op grond van zijn onderzoek:

I asked Lewandowsky about his experience as a researcher working on the psychology of science denial, and in particular his take on the blogospheric reception to his forthcoming paper. He suggested that the paper engendered such hostility because it not only “cast people who rejected climate science in a less than favorable light,” but also because “it was too close to the truth.” Of course, he points out, “the way the blogosphere responded was really by confirming my finding. What they basically did was spin one conspiracy theory after another, trying to invalidate the data.”

Uh? Zo maakt Lewandowsky zich er wel een beetje gemakkelijk vanaf. Je zou zelfs kunnen zeggen dat hij de kritiek op zijn studie vergelijkt met de aanvallen op de klimaatwetenschap zelf op basis van idiote complottheorieën. Alleen gaat die vlieger niet op omdat zijn Internet-poll zich moeilijk laat vergelijken met het inmiddels tamelijk robuuste bewijs voor de menselijke invloed op de klimaatopwarming dat berust op talloze onderzoeken van een groot aantal onderzoekers uit verschillende disciplines.
Lewandowsky stelt ook her en der dat er nog helemaal geen academische artikelen zijn verschenen die kritiek uiten op LOG12. Daarmee impliceert hij dat hij de kritiek van de sceptici niet al te serieus neemt. Beetje makkelijk is dat wel, want dat soort artikelen zou dan geschreven moeten worden door (zich aangevallen voelende) personen die misschien soms wel wetenschappelijk ervaring hebben, maar niet thuis zijn in hoe het binnen de psychologie werkt. Of van andere psychologen die het werk van Lewandowsky belangrijk genoeg vinden om eens kritisch door te pluizen. En dat laatste gebeurde de laatste jaren juist niet zoveel in die kringen …

Hier wat Lewandowsky er zelf over te zeggen heeft. Hij gaat dus toch wel in op kritiek en doet dus zelf lekker mee op het niet peer reviewed strijdtoneel. Maar lees ook de comments, daarin staan weer links naar de reacties op de sites van klimaatsceptici. In een net verschenen video legt Lewandowsky de hele gang van zaken uit vanuit zijn perspectief en vertelt ook iets over de zaken die zich niet zo in het openbaar afspelen (de ‘Subterranean War on Science‘ ):

Lewandowsky kwam eerder ter sprake op Kloptdatwel in de bespreking van ‘The Debunking Handbook‘ dat hij samen met Cook schreef, één van de co-auteurs van Recursive Fury en één van de mensen achter de website SkepticalScience.com.

Update 11 april 2014: over de retractie is ook al weer een heleboel afgeblogd en gediscussieerd in commentaren op die blogs. Frontiers heeft tot twee keer toe een toelichting geven, telkens iets duidelijker. In het laatste bericht stelt de Editor-in-Chief dat het artikel eigenlijk nooit gepubliceerd had mogen worden, omdat de individuen aan wie kenmerken van complotdenken werden toegeschreven, geïdentificeerd konden worden en daarvoor geen toestemming hadden gegeven:

For Frontiers, publishing the identities of human subjects without consent cannot be justified in a scientific paper. Some have argued that the subjects and their statements were in the public domain and hence it was acceptable to identify them in a scientific paper, but accepting this will set a dangerous precedent. With so much information of each of us in the public domain, think of a situation where scientists use, for example, machine learning to cluster your public statements and attribute to you personality characteristics, and then name you on the cluster and publish it as a scientific fact in a reputable journal. While the subjects and their statements were public, they did not give their consent to a public psychological diagnosis in a scientific study. Science cannot be abused to specifically label and point out individuals in the public domain.

Lijkt mij ook.

Chris French over parapsychologie en wetenschap

by 2 Comments

In november vorig jaar organiseerde het Centre for Inquiry UK een symposium over wetenschap en pseudowetenschap. Professor Chris French sprak over parapsychologie en of dat nu een serieuze wetenschap is of eerder een pseudowetenschap.

Chris French is hoogleraar psychologie en oprichter van de Anomalistic Psychology Research Unit aan Goldsmiths University. Daarnaast is hij Special Advisor en voormalig Editor-in-Chief  van The Skeptic Magazine, het bekendste skeptische tijdschrift van het Verenigd Koninkrijk en schrijft hij regelmatig een interessante column in The Guardian.
De parapsychologie bestudeert door levende wezens veroorzaakte verschijnselen die niet verklaard kunnen worden door de natuurwetten en -krachten. Het gaat om onderwerpen als telepathie, helderziendheid, psychokinese en leven na de dood. Over het algemeen gaan wetenschappers er van uit dat deze verschijnselen niet bestaan; zoals French in de lezing vertelt, werd er bij de bouw van de Large Hadron Collider geen rekening gehouden met paranormale effecten 😉

De lezing gaat grotendeels over wat wetenschap en pseudowetenschap van elkaar onderscheidt (of hoe moeilijk het is dat onderscheid aan te brengen) en pas in het laatste kwartier past French deze inzichten toe op parapsychologie. Zijn conclusie is wellicht verrassend:

Meer over het demarcatieprobleem is te lezen in mijn boekbespreking van ‘Philopsophy of Pseudoscience’. Op de website van Skepsis staat ook heel wat te lezen over parapsychologie

Verzekerde zorgkosten van patiënten bij alternatieve huisarts

by 37 Comments

In een recent artikel stellen Peter Kooreman en Erik Baars dat de zorgkosten van de patiënten van complementaire huisartsen die gedekt worden door de basisverzekering substantieel lager zijn dan die van sociaal-economisch vergelijkbare patiënten met een reguliere huisarts. Dat deden ze eerder al op basis van een kleiner bestand van een andere zorgverzekeraar. Toen beweerden ze ook dat ze aanwijzingen hadden gevonden dat patiënten bij complementaire huisartsen langer zouden leven. Op dat onderzoek kwam veel kritiek en dit nieuwe onderzoek lijkt niet veel beter.

[update geplaatst op 4-9-2014]

Anderhalf miljoen patiënten

Professor dr. Peter Kooreman, hoogleraar gezondheidseconomie aan de Universiteit van Tilburg, en dr. Erik Baars, lector antroposofische gezondheidszorg aan Hogeschool Leiden en senior onderzoeker bij het Louis Bolk Instituut, hebben wederom een database van een zorgverzekeraar mogen doorpluizen op zoek naar kostenverschillen tussen patiënten die een reguliere huisarts hebben of bij een huisarts zitten die aangesloten is bij een van de beroepsverenigingen voor alternatieve zorg. Hun bevindingen hebben ze opgeschreven in Complementair werkende huisartsen en de kosten van zorg (Economische Statistische Berichten, 7 feb. 2014). Dit onderzoek van Kooreman en Baars (K&B) is een vervolg op de eerder door hun uitgevoerde analyse op een kleiner bestand. Die studie verscheen in het gezaghebbende European Journal of Health Economics en heb ik vorig jaar besproken in Alternatieve huisartsen werken 15 procent goedkoper? Een verzinsel.

prof. dr. Peter Kooreman
prof. dr. Peter Kooreman

Nu konden K&B de gegevens van maar liefst 1,5 miljoen patiënten analyseren; tien keer zoveel als de vorige keer. Dat lijkt een stuk indrukwekkender dan het is. Het (ongecorrigeerde) verschil in de vorige studie was 7 procent in het voordeel van de complementaire groep, maar niet significant (blijkbaar is de spreiding enorm). Nu vinden K&B 10,1 procent lagere kosten en of dat significant is, staat eigenlijk niet in het artikel. Het lijkt erop dat K&B alleen geïnteresseerd zijn in significante verschillen in subgroepen. Bij dat zoeken naar significante verschillen, lijken ze echter niet veel zorgvuldigheid te betrachten. Merkwaardig, omdat daar eerder stevige kritiek op kwam (van Sampson et al.), zoals ik in mijn vorige blog heb beschreven.
Een belangrijke beperking van beide studies is dat het alleen gaat om de kosten die vergoed werden door de zorgverzekeraar. Hoe hoog de niet vergoede kosten waren, is niet bekend. In de meeste aanvullende verzekeringen zit een maximum aan gedekte kosten voor complementaire zorg. Hoeveel van de verzekerden haalden dat maximum en betaalden vervolgens de rest van de complementaire behandelingen uit eigen zak? De aanspraak op de aanvullende verzekering door de  complementaire groep is aanzienlijk hoger dan die van de reguliere groep en waarschijnlijk gingen er dan ook meer over dat maximum heen. Dus kan dit zeker een rol spelen bij het beantwoorden van de vraag hoe het zit met de totale zorgkosten, niet alleen die van de zorgverzekeraars.

Gezondheidsindicatoren

Sampson en zijn co-auteurs merkten in hun kritiek op de eerdere studie ook al op dat de enige uitkomstindicator in de studie die aan gezondheid gerelateerd is, namelijk sterfte, een ongelukkige is om de populaties van huisartsen te vergelijken. Het door K&B gevonden verschil bleek bij een statistische analyse die meer geschikt is, overigens niet significant. In de huidige studie is dat weer niet het geval, toch spreken K&B eerst weer van “lichte aanwijzingen voor lagere sterfte onder patiënten met een complementair werkende huisarts op basis van een lineair kansmodel en een conditioneel logitmodel” om dan pas met de conclusie van een wel geschikte analyse te komen: “maar geen aanwijzingen voor verschillen in sterfte op basis van een proportional hazard-model.” Een beetje raar, het lijkt erop dat K&B toch even graag die ‘lichte aanwijzingen’ genoemd wilden hebben, hoewel het betekenisloos is.

Over de correctie op socioeconomische verschillen

dr. Erik Baars
dr. Erik Baars

Bekend is dat de belangstelling voor CAM (Complementary and Alternative Medicine) vaak samengaat met een hoger opleidingsniveau en een in het algemeen hogere socioeconomische status, precies de parameters die ook statistisch gesproken samengaan met minder ziekte en een langer leven. De kracht van de eerdere studie was nu net dat er redelijk gecorrigeerd kon worden voor deze verschillen, omdat toen gegevens op postcode-6 niveau beschikbaar waren.
K&B merken zelf op over het belang daarvan: “However, since socio-economic differences within a 4-digit postal code are typically large, this would not be a credible approach for identifying a causal effect of CAM on costs.” In deze grotere database waren de gegevens slechts tot op postcode-4 niveau beschikbaar.
Of de socioeconomische verschillen het verschil in kosten kunnen verklaren, diepen K&B niet verder uit. Ze geven echter wel argumenten die het in twijfel lijken te trekken, bijvoorbeeld door te suggereren dat je in de CAM-groep ook hogere ziektekosten zou kunnen verwachten: “Ander onderzoek laat echter zien dat bij complementair werkende artsen relatief veel patiënten met ernstige en chronische ziektes voorkomen (Melchart et al., 2005)” Deze observatie uit Zwitserland is echter gebaseerd op de inschatting van de betrokken huisartsen en patiënten zelf (zie Schlussbericht PEK, April 2005, blz 37) en het verschil kan goed veroorzaakt zijn door bias. Dat blijkt ook uit een ander onderzoek (pdf) in het kader van die Zwitserse PEK dat Kooreman en Baars niet noemen. Daarin staat onder andere:

An important finding in this context is that CAM patients rated their main health problems as more severe than did COM patients, although general health assessments were not different between patient groups. Our data therefore provide some evidence that individual morbidity is not directly associated with overall selfrated assessment of health. The differing perceptions of severity of illness may primarily be linked to different frequencies of major symptoms in the three patient populations of the study, but also may be related to different adjustments and coping strategies with disease in patients seeking COM or CAM.

en

Furthermore, CAM patients see their main health problems as more severe than COM patients, although self-perceived general health levels appear to be equal.

Ook hier ontkom ik niet aan de indruk dat K&B naar een vooraf gewenste uitkomst toe redeneren. Dat vond ook Marc Pomp, consultant gezondheidseconomie, die een reactie in ESB schreef:

Nog los van de vraag of de Zwitserse situatie van toepassing is op Nederland, zijn er allerlei andere potentiële verschillen tussen patiënten met een alternatieve huisarts en patiënten met een reguliere huisarts. De claim waarmee het artikel opent – dat de zorgkosten bij vergelijkbare patiënten van alternatieve huisartsen lager zijn – wordt daarom op geen enkele manier ondersteund door de schattingsresultaten.

K&B reageerden hier weer op en delen en passant een sneer uit naar de kritiek op hun eerdere studie:

Ook nadat gecorrigeerd is voor achtergrondkenmerken, voor zover de beschikbare data dat toelaten, zijn die verschillen zo groot en significant dat ze niet zomaar kunnen worden genegeerd. Natuurlijk is ook in dit onderzoek het scheiden van oorzakelijke effecten (dat wil zeggen de effecten van het doen en laten van de huisarts) en selectie-effecten een uitdaging. Wij zijn ons daarvan zeer bewust en hebben dan ook nergens beweerd dat de gevonden kostenverschillen een zuiver causaal verband weergeven. Integendeel, wij hebben telkens benadrukt dat voor het scheiden van selectie- en oorzakelijke effecten rijkere datasets en nieuwe onderzoeksdesigns nodig zijn. De reactie van Pomp snijdt dan ook geen hout, net als het door hem geciteerde commentaar van Sampson et al. (Kooreman en Baars, 2013). Hetzelfde geldt voor commentaar dat, zonder peer review en zonder wederhoor, op websites is geplaatst.

Helaas staan deze commentaren niet vrij toegankelijk op de site van ESB. Mijn blog was dan wel niet peer reviewed, maar aan wederhoor heb ik wel degelijk gedaan. Juist het gebrek aan bereidheid om in te gaan op mijn vragen vond ik toen bijzonder storend. De cijfers zoals ze gepresenteerd worden, zijn niet controleerbaar en toen ik er om vroeg kreeg ik de achterliggende aantallen per cel, p-waardes en meer van dat soort informatie, niet.

De 0 tot 30 procent uit de vorige studie

Een belangrijk punt in mijn vorige blog was dat de resultaten misleidend weergegeven waren. In krantenberichten stond dat complementaire huisartsen 15 procent goedkoper waren, gebaseerd op een persbericht van de UvT. In het uiteindelijk gepubliceerde artikel werd dat gemaskeerd als dat ze “kostenverschillen vonden, afhankelijk van het type complementaire huisarts en de leeftijdscategorie van de patiënt, die variëren tussen 0 en 30 procent.” In het persbericht van de UvT dat nu uitging staat hierover dat daaruit eerder de ‘te weinig genuanceerde weergave’ van ongeveer 15 procent lagere kosten was gedestilleerd. In feite is het nog minder genuanceerd, zoals ik heb laten zien: de werkelijk gevonden verschillen (voor wat ze statistische gezien waard zijn) lopen uiteen van -47% tot 30%,  wat natuurlijk een heel ander beeld geeft. In een kader bij hun ESB artikel geven K&B echter wederom doodleuk het interval 0 tot 30 procent als resultaat van die eerdere studie.

De overstappers

De meest interessante groep laten K&B vrijwel buiten hun analyses. Een grote groep patiënten wisselde minstens een keer van reguliere naar complementaire huisarts (of andersom). In hun modelberekening wordt deze groep er helemaal uit gelaten, terwijl die toch groot is ten opzichte van de groep ‘zuivere’ CAM-patiënten. Alleen een ruwe vergelijking wordt gegeven:

Tabel 1 uit het artikel van Kooreman en Baars (ESB, 7-2-2014)
Tabel 1 uit het artikel van Kooreman en Baars (ESB, 7-2-2014)

Een voor de hand liggende vraag is bijvoorbeeld of er een relatie te ontdekken is tussen de zorgkosten van deze patiënten en het type huisarts dat ze op een bepaald moment hadden. Wellicht dat patiënten zich vertrouwd voelen bij een CAM huisarts zolang hun klachten niet heel ernstig zijn, maar switchen naar de reguliere zorg als ze serieuze gezondheidsproblemen ondervinden. Aangezien deze groep de hoogste zorgkosten heeft en ruim de helft van het aantal ‘zuivere’ CAM patiënten beslaat, is deze mogelijkheid niet zomaar te negeren. Maar misschien komen K&B later nog wel met dit soort analyses.

Conclusie

Kritiek krijgen vinden Kooreman en Baars blijkbaar niet zo leuk. Ze reageren daar overdreven geïrriteerd op, zonder echt in te gaan op de kritiekpunten. Dit onderzoek betekent in feite een forse stap terug op de weg naar de conclusie die K&B graag zouden trekken, nl. dat CAM-artsen minstens zo goede zorg leveren en dat ook nog tegen lagere kosten. Over de gezondheidseffecten van het verschil in type zorg kunnen ze niets zeggen en wat de kosteneffectiviteit betreft ook niet veel. Voor de overheid is er nu dus eerder nog minder reden om onderzoek naar CAM te faciliteren.

Update 4 september 2014

Het is Kooreman en Baars deze keer ook weer gelukt om hun onderzoek in een internationaal goed gelezen wetenschappelijk tijdschrift geplaatst te krijgen. Het verscheen vorige week in BMJ Open onder de titel A 6-year comparative economic evaluation of healthcare costs and mortality rates of Dutch patients from conventional and CAM GPs. Het bevat niet veel meer informatie dan de wat leesbaardere versie in ESB. Wat wel opvalt is dat er nu een analyse van ‘de overstappers’ is toegevoegd. Je zou misschien denken dat dat komt, omdat ik hierboven opschreef dat zo’n analyse heel interessant zou kunnen zijn, maar het komt eigenlijk omdat één van de reviewers er om vroeg (de review history is ook vrij beschikbaar en wel interessant leesvoer).
De belangrijkste conclusie uit die analyse van de overstappers is volgens K&B: “After correction for observed differences between the groups by means of linear regression analyses, switching from a CON to a CAM GP results in 34 Euros lower costs (not significant: p = 0.83) and switching from a CAM to a CON GP results in 360 Euros higher costs (p < 0.079).” Kun je daar iets mee? Je zou kunnen bedenken dat die patiënten na de overstap naar een reguliere huisarts eindelijk de serieuze zorg kregen die ze nodig hadden, maar een andere verklaring is natuurlijk ook mogelijk. Blijft giswerk zonder extra informatie.

Er schoot me nog wel een mogelijke verklaring voor het aanzienlijke verschil in totale kosten voor de verzekeraar te binnen (als we er even van uitgaan dat die met een betere analysemethode ook overeind zou blijven). Nienhuys en Renckens viel het bij de eerder studie al op dat de kosten in sommige categorieën veel lager waren,  maar dat het toch maar net significant was. Als mogelijke verklaring wezen ze op uitschieters. Die zou je het beste kunnen zoeken in de ziekenhuiskosten, omdat die verreweg het grootste deel van het verschil veroorzaken. Het lijkt me nu niet onredelijk te veronderstellen dat er een relatief kleine groep patiënten met ernstige (chronische) aandoeningen is, die een flink deel van de kosten ‘veroorzaakt’. Denk aan oncologie, dialyse. Die patiënten danken hun voortbestaan in belangrijke mate aan reguliere zorg die berust op moderne ontwikkelingen in de medische wetenschap. Het zijn ook vaak patiënten die goed voorgelicht worden en zichzelf informeren over hun ziekte. Zouden die patiënten zich eerder thuisvoelen bij een alternatieve of bij een reguliere huisarts? Ik zou daarom wel eens een grafiekje willen zien van de verdeling van de gemiddelde kosten per patiënt uit de verschillende groepen. Grote kans dat die een heel verschillende verdeling laat zien, met een ‘vette staart’ bij de regulieren.
Een zelfde gedachte gaat op voor de verschillen in kosten voor geneesmiddelen. Zouden er bijvoorbeeld veel hemofiliepatiënten (die zeer dure bloedstollingsmiddelen nodig hebben) bij een antroposofische huisarts dokteren? Ik hoop het niet, want de antroposofische ideeën over bloed zijn uiterst merkwaardig.

Pandemieën – rampenfilm of een reëel gevaar?

by 3 Comments

Fly para 14

Iedereen weet wel dat Hollywood films het niet altijd even nauw nemen met de werkelijkheid. Ondanks dat besef wil ik mij nog wel eens ergeren aan opzichtige wetenschappelijke onjuistheden in op andere vlakken uitstekende films. Maar helaas weet ik over lang niet alle thema’s genoeg om films echt kritisch te kunnen bekijken. Een reeks lezingen die in januari van start ging gaat mij hierbij hopelijk helpen. De Paradisolezingen, gegeven in Paradiso in Amsterdam, hebben als thema ‘Science of Fiction’ en behandelen de zin en onzin van wetenschappelijke thema’s in films. In de eerste lezing van de reeks stond het onderzoek, en de controverse rondom de publicatie, van viroloog Prof. dr. Ron Fouchier centraal. De thematische virusuitbraak-rampenfilm Contagion werd als onderdeel van de lezing kritisch bekeken. Op deze zondagochtend waren er in een goed gevuld Paradiso een hoop interessante dingen te horen, die ik in deze bijdrage graag met jullie wil delen.

Ron Fouchier is hoogleraar Moleculaire virologie aan het Erasmus MC in Rotterdam en stond wereldwijd in de schijnwerpers vanwege het creëren van een ‘airborne’ variant van het vogelgriepvirus H5N1. Het doel hiervan was om te ontdekken welke mutaties nodig zijn om het virus via de lucht verspreidbaar te maken. Wetenschappelijk allemaal zeer interessant natuurlijk, maar hiermee was er dus wel een recept ontwikkeld om van een op zich al gevaarlijk virus een potentieel nog gevaarlijkere variant te maken. Vooral rondom de publicatie van de onderliggende onderzoeksresultaten en -methoden ontstond groot debat zowel binnen als buiten wetenschappelijke kringen. Mede hierdoor stond Fouchier in de Time top 100 van invloedrijkste mensen in 2012.

Film vs wetenschap

De lezing van Fouchier begint met een clip van Contagion, een bekende Hollywood film gebaseerd op een worst-case scenario van een vogelgriep-pandemie. Hoewel her en der wel wat aangedikt, leek Fouchier geen grote problemen te hebben met de wetenschappelijke basis van deze film. Zijn grootste kritiek was dat Amerika in z’n eentje alles oplost in de film en als beste wegkomt in deze wereldwijde ramp. In werkelijkheid vergt de aanpak van een virusuitbraak wereldwijde samenwerking, met vanzelfsprekend zijn eigen lab in Rotterdam als belangrijke speler. Dat de Amerikanen er bovendien in slaagden om binnen drie maanden een werkend vaccin te ontwikkelen, was uiteraard nóg minder geloofwaardig.

Jude Law als Alan Krumwiede in Contagion.
Jude Law als Alan Krumwiede in Contagion.

Een belangrijke spiegeling tussen film en werkelijkheid draait om de aanwezigheid van het ‘alternatieve circuit’. In de film is de blogger (en samenzweringstheorist) Alan Krumwiede een belangrijke aanjager van de paniek die onder mensen ontstaat. Hij beweert dat hij van zijn eigen virusinfectie genezen is door een homeopathisch middel gebaseerd op Forsythia, een bekende uit de Chinese kruidengeneeskunde. Later in de film blijkt dat hij nooit ziek is geweest en een aardig zakcentje heeft verdiend via sponsoren uit de homeopathische industrie en donaties via zijn blog. Uiteraard kennen we deze figuren uit de realiteit (zie ook deze post) en ook tijdens de SARS uitbraak waren er genoeg kwakzalvers actief dat in ieder geval de Amerikaanse overheid al in actie kwam.

Pandemieën

Een pandemie is, simpel gezegd, een epidemie op wereldwijde schaal waarbij een nieuw opgekomen ziekte zich met ernstige gevolgen verspreidt over grote delen van de wereld. De bekendste pandemie waar we momenteel mee te maken hebben is aids, met sinds 1980 naar schatting al 25 miljoen doden. Veel andere bekende pandemieën, zoals bijvoorbeeld de Spaanse Griep uit 1918 waar 50 tot 100 miljoen doden vielen, zijn varianten van het griepvirus waar het onderzoek van Fouchier zich ook op richt. In Contagion staat het dodental uiteindelijk op 26 miljoen, waarmee het hoog in de ranglijsten van dodelijkste pandemieën terecht zou komen.

Een belangrijke term in het karakteriseren van de pandemie, welke ook in de film gebruik wordt, is het reproductiegetal R0. Dit getal geeft aan hoeveel nieuwe besmettingen een besmettingsgeval veroorzaakt (bij afwezigheid van medische maatregelen). Bij een R0 onder de 1 zal de ziekte langzaam verdwijnen. Bij een R0 groter dan 1 kan een epidemie of pandemie ontstaan. In Contagion heeft het virus een R0 van 4, waarbij elk persoon dus 4 nieuwe mensen kan besmetten. Dit is aan de hoge kant maar zeker niet ondenkbaar; aids ligt in deze orde van grootte, en mazelen zijn nog besmettelijker. De R0 is ook van invloed op de hoeveelheid mensen die gevaccineerd zouden moeten worden om de verspreiding van de ziekte effectief te kunnen remmen. Bij een R0 van 4 impliceert dit dat 75% van de mensen een vaccin zouden moeten krijgen. Dit zou uiteraard een immense taak zijn, zeker wanneer het vaccin nog ontwikkeld moet worden!

Screenshot van de film Contagion
Screenshot van de film Contagion

Een recent voorbeeld van een potentieel pandemisch virus is MERS (Middle East Respiratory Syndrome), dat zich eind 2012 voor het eerst deed gelden in Saudi Arabië. Het virus vertoont overeenkomsten met het SARS virus, en na verder onderzoek is gebleken dat het virus zijn oorsprong heeft in vleermuizen, en via kamelen bij de mens terecht is gekomen. Niet geheel ontoevallig is het virus in Contagion ook afkomstig van vleermuizen. De simpele maar verrassende uitleg voor de belangrijke rol van vleermuizen is dat er enorm veel soorten vleermuizen zijn (1240 volgens Wikipedia: ongeveer 20% van alle zoogdiersoorten). Binnen deze grote groep zoogdieren zijn veel virussen actief die potentieel direct of indirect op mensen overdraagbaar zijn (lees hier meer).

Mutaties en fretten

Een virus dat overspringt van dier naar mens wordt een zoönose genoemd; in veel gevallen blijft het bij die eerste stap en verspreidt het virus zich niet verder van mens op mens. De grote vraag is dan dus of een zoönose zich kan aanpassen om ook weer van mens tot mens over te kunnen springen, met potentieel pandemische gevolgen. Het H5N1 virus, dat via geïnfecteerde vogels (waaronder pluimvee) bij mensen terechtkomt, kan dat tot nu toe (gelukkig!) nog niet. Maar vanwege het hoge overlijdensrisico van mensen die ermee besmet raken, is het begrijpelijk dat we hier meer over te weten willen komen. Voordat Fouchier en zijn team aan de slag gingen was er simpelweg nog geen enkel inzicht in wat voor mutaties dit soort veranderingen in het virus kunnen veroorzaken.

Voor het onderzoek werd het H5N1 virus in de evolutionaire snelkookpan gestopt door middel van zowel artificiële introducties van mutaties en “natuurlijke” mutaties in een groep fretten, waarbij het virus veelvuldig van fret naar fret werd overgebracht. Fretten worden gebruikt in dit soort onderzoek omdat, verrassend genoeg, de structuur van hun longweefsel zeer sterk overeenkomt met dat van mensen. Door de meest succesvolle mutanten te propageren ontstond er een variant die via de lucht tussen fretten kon overspringen. Hierna konden de mutaties die dit mogelijk maakten geïdentificeerd worden. De conclusie was dat een combinatie van slechts vijf kunstmatige en natuurlijk mutaties deze verandering mogelijk maakte. Een aantal van deze mutaties zijn in wilde mutanten in verschillende gebieden al geobserveerd. Door de resultaten van dit onderzoek kunnen we nu beter inschatten waar de meest risicovolle varianten van het H5N1 voorkomen (klik hier voor een verdiepend artikel).

To publish or not to publish

De publicatie van het onderzoek van Fouchier en zijn team is diverse malen vertraagd door onderzoekscommissies die de consequenties van het openbaar maken van de resultaten wilden nagaan. De resultaten zijn ondertussen gepubliceerd, en wel in een special issue over H5N1 in het blad Science. Er loopt echter nog steeds een rechtszaak aangespannen door Fouchier en het Erasmus MC, die zich in hun vrijheid van wetenschapsbeoefening beperkt voelden door de Nederlandse overheid. Die overheid dwong Fouchier namelijk om een exportvergunning voor de publicatie van dit onderzoek aan te vragen. Naast het feit dat dit gewoon veel tijd en moeite kost en wetenschappers hindert in hun werk, is het geen vrolijk vooruitzicht dat het ambtelijk apparaat zijn oordeel velt over de vraag of wetenschappelijk onderzoek gepubliceerd mag worden.

Bioterrorisme

Hoewel het gebruik van proefdieren op zichzelf al niet zonder controverse is, is dit natuurlijk niks vergeleken met het creëren van een gevaarlijke variant van een al berucht virus. Het gevaar van het virus werd in de discussie achteraf door Fouchier echter wel wat afgezwakt. Hoewel het virus wel via de lucht overdraagbaar was geworden, leek het op andere vlakken weer minder effectief te zijn dan het originele virus. De zorgen over bioterrorisme benaderde Fouchier toch redelijk laconiek. Hoewel hij niet ontkende dat er altijd duistere krachten zullen zijn die proberen een biologisch superwapen te creëren, benadrukte hij dat dit toch ongelooflijk moeilijk is en het tot nu toe nog nooit iemand gelukt is. En hij zou het moeten weten.

De volgende Paradisolezing “De tragiek van de lichtsnelheid” is te zien om 10:30 op zondag 2 februari; kijk hier voor meer informatie over de hele reeks lezingen in 2014.