Kloptdatwel?

statistiek

Rechtbank niet onder de indruk van beroep op studie Kooreman & Baars

by 4 Comments

Jarenlang betaalde zorgverzekeraar Achmea forse bedragen aan het Medisch Centrum Rhijnauwen (MCR) te Bunnik voor door het MCR gedeclareerde laboratoriumonderzoeken. Totdat de verzekeraar erachter kwam dat deze onderzoeken niet waren aangevraagd door huisartsen – zoals op de declaraties stond – maar door natuurartsen, orthomoleculaire artsen en diëtisten. Onderzoeken aangevraagd door dergelijke behandelaars kwamen volgens de polisvoorwaarden niet voor vergoeding in aanmerking. Achmea begon daarop een civiele procedure tegen het MCR en in mei 2013 stelde de rechtbank al vast dat de verzekeraar de declaraties onverschuldigd betaald had.
In het eindvonnis van 9 juli 2014 heeft de rechtbank vervolgens niet alleen bepaald dat het MCR een bedrag van € 1.313.402,35 (plus enkele duizenden euro’s aan beslag- en proceskosten) terug moet betalen aan Achmea, maar ook dat de beide bestuurders van het MCR persoonlijk aansprakelijk zijn voor dit bedrag. Opmerkelijk feit: de bestuurders hadden betoogd dat Achmea geen schade had geleden. Alternatief werkende artsen zouden volgens hen juist zorgen voor forse besparingen voor zorgverzekeraars, waarbij de bestuurders met de bekende studie van Kooreman en Baars wapperden. Helaas voor hen wilde de rechtbank er niet aan.

Urinemonster
Urinemonster

Het MCR (“Medische zorg zoals u altijd gewild heeft”) is blijkens zijn website gevestigd op dezelfde locatie als het Europees Laboratorium voor Nutriënten (ELN), Vital Cell Life en het Gezondsheidscentrum Bunnik. “Door de samenwerking met het Europees Laboratorium voor Nutriënten is er de mogelijkheid niet alledaagse onderzoekingen in bloed en urine te laten verrichten”, aldus de website. Om die laboratoriumonderzoeken ging het in de rechtszaak van Achmea tegen het MCR. De rechterlijke uitspraken maken niet duidelijk om welke onderzoeken het precies ging (het waren er honderden), maar het ELN heeft ook een eigen website, die net als die van het MCR nogal gedateerd overkomt. Daar vinden we een heel scala aan testen die door het laboratorium worden uitgevoerd. Het gaat dan om het testen van bloed of urine op de aanwezigheid van spoorelementen, aminozuren, vetzuren en vitaminen, maar ook om testen voor het vaststellen van allergieën, testen voor het detecteren van belasting met zware metalen (o.a. kwik in speeksel-test), testen voor het functioneren van organen en testen voor het opsporen van verstoring van de darmflora. Ook voor testen op de ziekte van Lyme draait het ELN zijn hand niet om.

De casus

Het MCR kreeg veel aanvragen voor laboratoriumonderzoek van natuurartsen, orthomoleculaire artsen en diëtisten. Het laboratoriumonderzoek werd uitgevoerd door het ELN en door het MCR via een factoringbedrijf (Mediparc) gedeclareerd bij Achmea. Op basis van de overeenkomst tussen het MCR en Achmea mocht het MCR het aanleveren van declaraties uitbesteden aan een derde partij, maar de overeenkomst bepaalde tevens dat de zorgaanbieder zelf te allen tijde verantwoordelijk en aansprakelijk bleef voor de declaraties. Verzekerden van Achmea konden aanspraak maken op vergoeding van de kosten voor laboratoriumonderzoek mits dit was aangevraagd door huisartsen, bedrijfsartsen, verloskundigen of medisch specialisten. Bij de declaraties van het MCR leek deze voorwaarde geen problemen op te leveren: op de declaraties stond vrijwel altijd dat de onderzoeken waren aangevraagd door huisartsen. Kennelijk begon Achmea eind 2009 toch nattigheid te voelen. De verzekeraar voerde een steekproef uit onder 51 willekeurige verzekerden die aan een door het MCR gedeclareerd laboratoriumonderzoek waren onderworpen. Achmea stelde daarop vast dat in slechts 4% van de gevallen laboratoriumonderzoek was gedeclareerd dat volgens de polisvoorwaarden voor vergoeding in aanmerking kwam.

Zo ging een balletje rollen, dat leidde tot een claim van Achmea (aanvankelijk ruim 2 miljoen euro) vanwege ten onrechte betaalde declaraties en uiteindelijk een rechtszaak, die op 9 juli 2014 voorlopig geëindigd is met een forse overwinning van de verzekeraar. Het MCR moet € 1.313.402,35 plus beslag- en proceskosten betalen, al is het vonnis op dit punt voor een groot deel niet uitvoerbaar bij voorraad verklaard omdat dat tot het faillissement van het MCR zou kunnen leiden en het centrum dan zijn hoger beroep niet meer zelf zou kunnen bekostigen (r.o. 3.11 van het eindvonnis). Met andere woorden, er hoeft pas betaald te worden als ook het hoger beroep verloren wordt.

Bijzonder is dat ook de bestuurders van het MCR – een stichting – door de rechtbank aansprakelijk worden gehouden voor de door Achmea geleden schade, en nog wel hoofdelijk ook (i.e. beiden kunnen voor het volledige bedrag worden aangesproken). Bestuurdersaansprakelijkheid bestaat daar waar de bestuurders van een rechtspersoon een ernstig verwijt van bepaalde wanpraktijken kan worden gemaakt. Een groot deel van het eindvonnis gaat over de vraag of de bestuurders inderdaad een ernstig verwijt kan worden gemaakt. Het is nogal een lang verhaal (r.o. 3.14-5.16 van het eindvonnis), maar in het kort komt het hier op neer: de rechtbank constateert dat een andere grote zorgverzekeraar (CZ) al eens contact met het MCR had opgenomen over declaraties waarop ten onrechte “huisarts” vermeld stond en dat had ertoe moeten leiden dat de beide bestuurders gingen onderzoeken hoe het stond met declaraties bij andere zorgverzekeraars. Dat hebben zij echter nagelaten, waardoor het factoringbedrijf declaraties met de veldcode “huisarts” bleef versturen, hetgeen in een zeer groot aantal gevallen in strijd met de waarheid was. Dat kan hen ernstig verweten worden en de bestuurders draaien daarom op voor de door Achmea geleden schade van ruim 1,3 miljoen euro. Overigens onderzoekt het Openbaar Ministerie nog of de declaraties opzettelijk verkeerd zijn ingevuld (zie ook dit artikel).

Kostenbesparingen door alternatieve artsen?

Achmea had aangevoerd dat de kosten van het MCR voor laboratoriumonderzoeken gemiddeld drie keer zo hoog waren als het landelijk gemiddelde (tussenvonnis, r.o. 6.17). De bestuurders meenden echter dat Achmea juist blij moest zijn met al die laboratoriumonderzoeken verricht op verzoek van de genoemde natuurartsen, orthomoleculaire artsen en diëtisten. Die leiden volgens wetenschappelijk onderzoek immers juist tot flinke kostenbesparingen voor zorgverzekeraars:

“5.17. Volgens [gedaagde 1] heeft Achmea geen schade geleden. In verband daarmee betoogt hij dat in zijn algemeenheid door MCR laboratoriumonderzoeken worden gedaan van patiënten met langdurige klachten die de huisartsen of medisch specialisten niet (geheel) kunnen oplossen. Na onderzoek bij MCR en de daaropvolgende zorg verminderen de klachten en kan het traject bij de medisch specialist worden beëindigd of verminderd, wat een forse besparing voor de zorgverzekeraar oplevert. Dit blijkt volgens MCR uit wetenschappelijk onderzoek. Daarom moet Achmea volgens [gedaagde 1] specificeren welke kosten aan de betreffende verzekerden zijn betaald die betrekking hebben op een laboratoriumonderzoek en welke kosten anders zouden zijn gemaakt.

5.18. Het argument van [gedaagde 1], verband houdend met de besparing van kosten door Achmea, slaagt niet. Ter onderbouwing van zijn standpunt heeft [gedaagde 1] een artikel overgelegd van [X] en [Y] gepubliceerd op [link] op 22 juni 2011. In dit artikel, met de titel “Patients whose GP knows complementary medicine tend to have lower cost and live longer”, concluderen de auteurs dat patiënten van wie de huisarts (‘general practitioner’) aanvullende training heeft op het gebied van complementaire en alternatieve geneeskunde (‘complementary and alternative medicine’) 0 tot 30% lagere zorgkosten hebben, afhankelijk van de leeftijdsgroep en het type complementaire en alternatieve geneeskunde. De drie voornaamste stromingen hierin zijn volgens de auteurs antroposofische geneeskunde, acupunctuur en homeopathie. Een eerste punt dat opvalt is dat de onderzoekers zich hebben beperkt tot huisartsen met aanvullende training op een van deze drie terreinen. Vaststaat dat alle laboratoriumonderzoeken waarover het in dit geding gaat afkomstig zijn van niet-huisartsen. Al op grond hiervan faalt het besparingsargument van [gedaagde 1]. Verder concluderen de auteurs dat de resultaten van hun onderzoek niet kunnen worden gegeneraliseerd omdat het onderzoek zich heeft beperkt tot één zorgverzekeraar, actief in een beperkt gebied in Nederland, en tot een klein aantal huisartsen met de hiervoor genoemde aanvullende training. Ook merken de onderzoekers op dat zij niet alle gegevens hebben gebruikt die nodig zijn om een optimale vergelijking te maken van de kosteneffectiviteit en dat een groot aantal onderwerpen nader moet worden onderzocht. Andere resultaten van soortgelijke onderzoeken zijn door [gedaagde 1] niet overgelegd. Dat Achmea kosten heeft bespaard op de wijze zoals [gedaagde 1] betoogt kan dus niet worden aangenomen.”

dr. Erik Baars
dr. Erik Baars

Hoewel de auteurs van het onderzoek Patients whose GP knows complementary medicine tend to have lower cost and live longer merkwaardig genoeg geanonimiseerd zijn, is hun identiteit gemakkelijk te achterhalen. Het gaat om de onderzoekers Peter Kooreman en Erik Baars, beiden met antroposofische sympathieën. Hun onderzoek verscheen pas eind 2012 in het European Journal of Health Economics, maar was daarvoor al meer dan twee jaar beschikbaar via internet, o.a. via de eigen website van Kooreman, die om die reden ook als [link] zal zijn weergegeven in het vonnis. Cees Renckens en Jan Willem Nienhuys leverden in juni 2010 al stevige kritiek op het onderzoek en hier op Kloptdatwel? verscheen in mei 2013 een uitgebreid commentaar van Pepijn van Erp. Een vervolgonderzoek van Kooreman en Baars werd eveneens door Pepijn bekritiseerd. En ten slotte reageerden ook in het European Journal of Health Economics zelf enkele critici (zie ook hier).

prof. dr. Peter Kooreman
prof. dr. Peter Kooreman

Ik zal de genoemde kritiekpunten hier niet herhalen; de lezer zij verwezen naar de relevante artikelen. Wel is het misschien nog aardig op te merken dat de rechtbank kennelijk denkt dat uit de studie van Kooreman en Baars volgt dat patiënten van alternatieve huisartsen 0 tot 30% lagere zorgkosten hebben. Dat schrijven de onderzoekers inderdaad, maar Pepijn van Erp liet in zijn eerste artikel al zien dat hun eigen tabellen uitwijzen dat het eerder -47 tot 30% is. Jongeren waren bij de homeopaat aanzienlijk duurder uit (47% duurder) en 75-plussers kunnen beter niet naar de acupuncturist (16% duurder)! Zorgverzekeraars van 50-74-jarigen zullen op hun beurt weer niet staan te juichen bij de keuze voor een antroposofische huisarts: bijna 8% duurder. Ik verzin het niet: dit volgt allemaal uit de tabellen van Kooreman en Baars. Voor wat die waard zijn natuurlijk.

Ook de terughoudendheid die de rechtbank bij de onderzoekers meent te bespeuren lijkt me niet helemaal terecht. Was het immers niet Kooreman die nog vóór publicatie van het onderzoek in de Volkskrant repte van “spectaculaire” kostenverschillen die “niet te verwaarlozen zijn, zeker met het oog op de stijgende zorguitgaven”? In datzelfde stukje trouwens ook de idiote constatering van Kooreman dat een antroposofische arts “minder snel [zal] adviseren een kind in te enten tegen de bof en mazelen. Hij gelooft dat het goed is voor de opbouw van het immuunsysteem om die ziekten door te maken, wat de latere kans op ziekte doet verkleinen.” Tsja, als je op basis van je geloof mensen belangrijke zorg onthoudt, kun je inderdaad flink besparen…

Slot

De rechtbank kon het beroep op de studie van Kooreman en Baars gemakkelijk pareren door erop te wijzen dat die studie op huisartsen zag, terwijl het in de casus van het MCR in de meeste gevallen juist niet om huisartsen ging. Een van de bestuurders heeft al aangekondigd in hoger beroep te gaan en blijkens zijn toelichting tegenover RTL Nieuws zal het argument van “alternatieven leveren zorgverzekeraars besparingen op” ook daar waarschijnlijk gevoerd worden:

“Wij doen veel met voeding, allemaal wetenschappelijk onderbouwd. De politiek wil dat ook van zorgverleners, om te voorkomen dat de zorgkosten verder stijgen.”

Het argument van de vermeende besparingen door alternatieve artsen is dankzij het onderzoek van Kooreman en Baars erg populair in alternatieve kringen. Het Patiënten Platform Complementaire Gezondheidszorg deed er vorig jaar in een open brief aan minister Schippers bijvoorbeeld gretig een beroep op. De beroemdheden die de brief medeondertekenden waren er blijkbaar niet van op de hoogte dat de studie van de beide onderzoekers tamelijk pover is en zeker geen verstrekkende conclusies over kostenbesparingen rechtvaardigt. De uitspraak van de rechtbank in de zaak van het MCR biedt gelukkig een mooie kapstok om dat laatste nog eens uitdrukkelijk onder de aandacht te brengen.

Verder lezen:

Op de website van de Vereniging tegen de Kwakzalverij zijn eerder drie artikelen over deze zaak verschenen (1, 2, 3).

Volgende sociale psycholoog struikelt – de zaak Förster

by 23 Comments

Na de schandalen rond Diederik Stapel en Dirk Smeesters is nu weer een hoogleraar sociale psychologie ernstig in de problemen gekomen. Het Landelijk Orgaan Wetenschappelijke Integriteit oordeelt dat professor Jens Förster, verbonden aan de Universiteit van Amsterdam, in minstens één artikel data heeft gebruikt, die eigenlijk niet op een normale wijze verkregen kunnen zijn. De gegevens zijn te ‘perfect’ en bevatten veel minder ruis dan je normaal verwacht bij het soort experimenten dat Förster uitvoerde.

Jens Förster
Jens Förster

Begin 2012 publiceerde Förster een artikel in Social Psychological and Personality Science onder de titel Sense Creative! The Impact of Global and Local Vision, Hearing, Touching, Tasting and Smelling on Creative and Analytic Thought. In het artikel beschrijven Förster en zijn co-auteur Markus Denzler een aantal experimenten op basis van een theorie die door Förster is ontwikkeld: GLObal versus LOcal processing Model. Deze theorie, kortweg GLOMO, gaat over het verschil dat zou bestaan tussen het verwerken van waarnemingen van iets in het geheel (global) of meer met een focus op details (local).
Het nieuwe van Försters onderzoek is dat hij het niet alleen beperkt tot visuele waarneming, zoals anderen eerder deden, maar experimenteert met geluid, geur, smaak en aanraking als prikkels. De experimenten komen er meestal op neer dat proefpersonen worden geprimed met ofwel een globale ofwel een lokale prikkel, en dan worden getest met analytische en creatieve testjes (op Wetenschap24 meer uitleg hierover). Uit het abstract van de bewuste studie:

Throughout separate 12 studies, participants were asked to look at, listen to, touch, taste or smell details of objects, or to perceive them as wholes. Global processing increased category breadth and creative relative to analytic performance, whereas for local processing the opposite was true. Results suggest that the way we taste, smell, touch, listen to, or look at events affects complex cognition, reflecting procedural embodiment effects.

Boven de weergave in de artikelen en onder in de volgorde local-control-global (low-med-high), waarbij het lineaire verband duidelijk wordt. (afbeelding van Wetenschap24)
Boven de weergave in de artikelen en onder in de volgorde local-control-global (low-med-high), waarbij het lineaire verband duidelijk wordt. (afb. Wetenschap24)

De resultaten leken echter veel te mooi om waar te zijn. Een UvA-collega van Förster, werkzaam op een andere afdeling, viel het op dat het ‘positieve’ effect van de priming met een globale prikkel precies het tegenovergestelde effect had als de priming met een lokale prikkel.
Dat is niet meteen duidelijk als je kijkt naar de grafiekjes van Förster, maar als je de volgorde van de weergave een beetje verandert, zie dat gemiddelden van ‘Global’ en ‘Local’ even ver af liggen van het gemiddelde van de controlegroep (zie afbeelding hiernaast). Dat kan natuurlijk een keer gebeuren, maar het patroon trad op in alle beschreven experimenten.

Een tweetal oudere artikelen werd erbij gehaald en daar bleken dezelfde uitgesproken lineaire verbanden op te duiken. In totaal werden in de drie artikelen 42 experimenten gevonden. En die vertonen allemaal hetzelfde beeld, zoals hieronder in een visuele samenvatting gezien kan worden:

 

Een grafische weergave van de 42 experimenten.(meta-montage door @neuroskeptic)
Een grafische weergave van de resultaten van de 42 experimenten,de lineariteit springt er uit (meta-montage door Neuroskeptic)

Ter vergelijking onderzocht deze medewerker, alleen of met anderen, ook een tiental artikelen van vakgenoten van Förster, waarin een soortgelijke opzet werd gebruikt (dus telkens met drie groepen). Daarin was er geen sprake van een dergelijk sterke lineariteit. De opmerkelijke resultaten van Förster zouden misschien nog wel verklaard kunnen worden door Questionable Research Practices (QRP), zoals het weglaten van uitschieters,  het aanvullen van de data met gegevens van extra steekproeven na een eerste evaluatie die net niet lekker uitkwam, of het verwijderen van deelnemers die hun onderzoek niet serieus genoeg hadden ingevuld. Dat laatste zou nog wel mogen, maar dan moet je vooraf precies vastleggen hoe je dat doet en niet achteraf, zoals in het geval Smeesters.
Ook kun je niet meteen uitsluiten dat deze experimenten op een nog onbegrepen lineair verband zijn gestuit. Maar ook als je er van uit gaat dat dat lineair verband er echt is, dan zouden de gegevens daar nog steeds veel te mooi bij passen. Er is veel te weinig spreiding in de gegevens. Bij nadere beschouwing blijkt het ook zeer onwaarschijnlijk dat QRP deze te ‘perfecte’ gegevens zouden kunnen opleveren op basis van een set gegevens die in eerste instantie wel netjes verkregen was. De analyse van de anonieme klager(s) die de basis vormde voor de klacht bij Commissie Wetenschappelijke Integriteit (CWI) van de Universiteit van Amsterdam (UvA)  is gelekt naar Retraction Watch.

De klacht werd door de CWI onderzocht, maar die kwam in juli 2013 uiteindelijk niet verder dan de aanbeveling om een ‘letter of concern’ te publiceren omtrent de twijfels over de data (geanonimiseerd rapport, pdf). Förster ontkende dat hij slordig was geweest en zich schuldig had gemaakt aan QRP. De klager vond dat de CWI haar werk onvoldoende had gedaan en ging in beroep bij het LOWI met onder de volgende punten van kritiek: de CWI had archiefonderzoek moeten doen naar de dataverzameling, meer getuigen (onderzoeksassistenten) moeten horen, andere artikelen van Förster en de ruwe databestanden moeten onderzoeken, en ook veel sneller moeten werken.
In het LOWI-rapport(pdf), dat deze week uitkwam (de berichtgeving kwam eind april al op gang na een stuk van Frank van Kolfschooten in NRC), wordt de klager niet op alle punten in het gelijk gesteld. Vooral procedureel valt de CWI niet veel te verwijten. Het is niet zo raar dat die zich beperkt heeft tot de concreet aangedragen problemen. In de zaken van Stapel en Smeesters lag het anders: daar kwamen snel bekentenissen en kregen de CWI’s opdracht van de Colleges van Bestuur om verder onderzoek te doen.
Inhoudelijk geeft het LOWI de klager echter wel gelijk en deelt de mening er eigenlijk geen aanwijzingen zijn gevonden dat QRP tot de onwaarschijnlijke data geleid kunnen hebben en dat het daarom niet bij zo’n ‘letter of concern’ zou kunnen blijven. De statistische experts die vervolgens door het LOWI ingeschakeld werden, kwamen met nog een opmerkelijk gegeven in de data. Als je kijkt naar subgroepen, je splitst de data op naar man/vrouw bijvoorbeeld, dan is er helemaal geen spoor van die lineariteit terug te vinden. De afwijkingen ten opzichte van het lineaire verband bij mannen en vrouwen heffen elkaar precies op als je de data samenvoegt. Dit lijkt helemaal bizar, maar misschien voegt het niet zo veel toe aan het reeds ontstane beeld dat de data sowieso geconstrueerd moeten zijn. En dat door iemand zonder al te veel kennis van statistiek. Förster ontkent intussen dat hij iets verkeerd heeft gedaan en spreekt van een onterechte heksenjacht.

Is het statistisch bewijs voldoende om het oordeel fraude te kunnen vellen? In de analyse van de klager wordt een waarde berekend die zou inhouden dat er maar een kans is van één op 508 triljoen dat de gegevens van een normale steekproef afkomstig zouden kunnen zijn zonder manipulatie. De statisticus Richard Gill (Universiteit Leiden), die zich vaak roert in de commentaren op diverse blogs over deze zaak, geeft echter aan dat je je niet moet blindstaren op dit soort cijfers. Ze hangen af van allerlei aannames rondom de gebruikte modellen. Als handvat om er zinnig mee om te gaan, stelt hij dat je eerst maar eens het aantal nullen moet halveren en als er dan nog steeds een buitensporig aantal nullen staat, halveer je het nog maar eens. In dit geval blijft er dan echter nog steeds een absurd lage kans over. Gill noemt Förster ‘ofwel een oplichter of volkomen incompetent.’
Er zijn ook andere aanwijzingen dat er iets goed is misgegaan. Het LOWI heeft zich alleen gebogen over het artikel dat de aanleiding was tot de klacht. Van de oudere artikelen die ook door de klager zijn geanalyseerd, zijn de gegevens niet eens meer beschikbaar (gecrashte harddisk). Van het artikel in 2012 zijn de originele formulieren vernietigd, hoewel de aangeraden bewaartermijn nog niet was verlopen. En er is onduidelijkheid over wanneer en waar de gegevens precies verzameld zouden zijn. Misschien dat dit soort slordigheden vrij vaak voorkomen (of kwamen) in de sociale psychologie, maar het wordt in dit geval toch wel moeilijk om het niet te zien als een poging om een ernstiger probleem te verhullen.
Samenvattend volgens het LOWI: “is de conclusie […] onontkoombaar dat voor de uitkomsten van dit onderzoek in het artikel onderzoeksgegevens zijn gemanipuleerd of gegevens bewust zijn bijgesteld.” Het oordeelt dat er sprake is geweest van schending van de wetenschappelijke integriteit en adviseert de UvA om het tijdschrift te verzoeken het artikel in te trekken. Op het moment van schrijven van dit stuk was er nog geen officiële mededeling van de UvA, maar de woordvoerder liet al weten dat ze het advies overnemen. Er lijkt vooralsnog geen onderzoek naar andere artikelen van Förster geïnitieerd te worden. [Update 4/10/2014. NRC: ‘UvA gaat toch mogelijke fraude psycholoog onderzoeken‘]

Förster zou eigenlijk volgende maand aan de slag gaan als ‘Humboldt-professor’ in Bochum met een beurs van 5 miljoen euro, dat is voorlopig uitgesteld. In Duitsland is het overigens nog akelig stil rond deze zaak. Merkwaardig, want Förster heeft een grotere status dan Stapel of Smeesters in het vakgebied. Het is opvallend dat deze drie zaken allemaal aan Nederlandse universiteiten naar boven komen. Is het hier erger dan in het buitenland? Waarschijnlijk niet en heeft het er meer mee te maken dat sinds de affaire Stapel de wegen naar CWI’s en LOWI sneller gevonden worden door klokkenluiders en klagers van buitenaf.

Verder lezen:

Radioactieve neerslag van Fukushima veroorzaakte geen duizenden doden in de VS

by 10 Comments

Onderzoeken van de Amerikaanse wetenschappers Joseph Mangano and Janette Sherman over de gezondheidseffecten van radioactieve neerslag die vrijkwam bij de ramp in Fukushima veroorzaakten nogal wat onrust in de Verenigde Staten. In 2011 lieten ze zien dat er in de maanden na de ramp al 14.000 extra doden zouden zijn gevallen. En in een recentere studie dat er veel meer kinderen werden geboren met een aangeboren schildklierafwijking.
Hier zijn wetenschappers aan het woord en dan lijkt het snel serieuzere koek dan andere alarmistische verhalen over de gevolgen van de ramp bij Fukushima die meestal uit uiterst vage hoek blijken te komen. Andere onderzoekers probeerden de bevindingen echter na te rekenen en kwamen snel tot de conclusie dat er niets van deugt.

Het artikel met de 14.000 extra doden in de Verenigde staten werd als volgt in een persbericht aangekondigd:

 An estimated 14,000 excess deaths in the United States are linked to the radioactive fallout from the disaster at the Fukushima nuclear reactors in Japan, according to a major new article in the December 2011 edition of the International Journal of Health Services.   This is the first peer-reviewed study published in a medical journal documenting the health hazards of Fukushima.

Het is gepubliceerd als: An unexpected mortality increase in the United States follows arrival of the radioactive plume from Fukushima: is there a correlation? Wat recenter (2013) is het artikel waarin ze laten zien dat er veel meer aangeboren schildklierafwijkingen zouden zijn voorgekomen in de maanden na de ramp: Changes in confirmed plus borderline cases of congenital hypothyroidism in California as a function of environmental fallout from the Fukushima nuclear meltdown (Open Journal of Pediatrics).

Dat klinkt allemaal niet best, nietwaar? Beide artikelen deugen echter van geen kanten. In de volgende  video wordt de hele gedachtegang van Mangano en Sherman gefileerd, er blijft niets van over. Het is een en al verdraaien van cijfers, wat in mijn ogen haast niet anders dan opzettelijk kan zijn gebeurd. De onderbouwing van de verklaring hoe een lage dosis radioactieve straling in zo’n korte tijd tot zoveel doden zou kunnen leiden, blijkt ook niet meer te zijn dan een e-mailtje van een andere wetenschapper.

‘Hoe kan dit soort prutswetenschap toch gepubliceerd worden in peer reviewed tijdschriften?’ vraag je je misschien af. Het eerste artikel werd gepubliceerd in een tijdschrift dat helemaal niet over epidemiologie gaat, maar over de beleidsmatige kanten van gezondheidszorg. Het is maar de vraag of de uitgezochte reviewers überhaupt verstand hadden van dit soort rekenwerk. Bij het tweede artikel is het nog veel duidelijker, dat werd gepubliceerd in een open access tijdschrift dat op het beruchte lijstje van Jeffrey Beall [mirror] voorkomt. Dat tijdschrift weigerde ook zonder opgaaf van reden een ingezonden commentaar.

In Popular Mechanics verscheen een artikel over de vervelende gevolgen van publicatie van dit soort nonsens wetenschap: What Can We Do About Junk Science? Dat stuk besluit met:

It’s easy to blame the impact of junk science on sloppy experiments, irresponsible reporters, or a failure of peer review. But even after it’s debunked, junk science sticks because it preys on the public’s fear and distrust. Ultimately, junk science can be dispelled only if individuals think like scientists: Evaluate all the evidence and try to disprove your own preconceptions.

Dat laatste kan wel waar zijn, maar daarvoor is wel inspanning van wetenschappers voor nodig. Je moet wel weten waar je moet zoeken naar dat bewijs en enigszins weten hoe je het moet beoordelen. Een academische ‘debunk’ in de vorm van een reactie in het tijdschrift bereikt het reeds misleide publiek waarschijnlijk ook niet zo snel. Daarom waardeer ik het zeer dat sommige wetenschappers de moeite nemen om middels zo’n YouTube video duidelijk uiteen te zetten wat er allemaal mis is met deze artikelen.

Mazelenvaccinatie – statistieken van de niet-inenters

by 92 Comments

De mazelen-epidemie die in mei 2013 begon, loopt gelukkig ten einde. De mazelen doken voornamelijk op in gemeenten met een lage vaccinatiegraad en die liggen voor het grootste deel op de Bible Belt, de strook van Zeeland tot in Overijssel waar veel personen van reformatorische gezindte wonen. Niet zo vreemd dat er weer veel discussie was of niet-inenten vanwege godsdienstige redenen nog wel van deze tijd is en of vaccinatie niet verplicht zou moeten worden. De niet-inentende refo’s lagen behoorlijk onder vuur. Begin augustus kwam echter opeens een andere groep niet-inenters in beeld, de antroposofen.

Volgens een artikel in Trouw zouden die minstens zo’n grote groep niet-vaccinerenden zijn en het is dus niet terecht om met het betweterige vingertje alleen op de reformatorische christenen te wijzen:

Maar de grootste groep niet-inenters bestaat volgens het Rijksinstituut voor Volksgezondheid en Milieu (RIVM) uit antroposofen, bijvoorbeeld bekend van de vrije scholen. Het vooroordeel kan de wereld uit: reformatorische christenen vormen niet één massief blok tegen kindervaccinatie. Veel eensgezinder daarin zijn de antroposofen.

Op het blog van Skepsis hield Jan Willem Nienhuys wekelijks de stand van zaken bij rond de mazelenepidemie. Hij merkte als eerste op dat het verhaal dat antroposofen de grootste groep niet-inenters zou zijn, niet kon kloppen. Het verhaal bleef echter hardnekkig rondzingen, ondanks dat het RIVM nadrukkelijk ontkende het zo gezegd te hebben. De Trouwjournalist die het optekende uit de mond van Roel Coutinho (toen nog directeur Centrum infectieziektebestrijding van het RIVM), wilde niet van een misverstand weten en het ‘feit’ werd vervolgens door andere kranten, medische websites en weblogs overgenomen.
Harde gegevens over de samenstelling van de groep niet-inenters zijn niet beschikbaar, maar door de beschikbare data te combineren kun je wel tot de conclusie komen, dat het niet klopt. Twitteraar @ticobas stoorde zich nogal al aan de halsstarrigheid van de bewuste journalist en pakte de handschoen op om uit te zoeken hoe het nu wel zit. Die zoektocht mondde uit in een drietal uitgebreide blogs op de website Fallacy hunting.

Mazelenpatiënten-1-5-2013-26-2-2014In de eerste blog (Mazelen statistieken (I) – Is 1 op de 5 niet-inenters een ‘refo’?) probeert @ticobas een realistischere schatting te geven van het aandeel niet gevaccineerden vanwege godsdienstige redenen. De schatting die het RIVM hanteert (20 procent) is gebaseerd op een berekening die wel erg kort door de bocht is, percentages die slaan op verschillende leeftijdsgroepen worden gemakshalve met elkaar vermenigvuldigd. De schrijver focust op de basisschoolpopulatie wat wel een redelijk keus is, omdat dat de belangrijkste groep is die risico loopt om mazelen te krijgen tijdens een epidemie. Op basis van een aantal beargumenteerde aannames en schattingen is de conclusie dat niet ingeënte basisschoolleerlingen van bevindelijk gereformeerde ouders tussen de 23 en 33 procent van het totaal uitmaken.
Hoe het zit met de antroposofische basisschoolleerlingen wordt in het tweede deel onderzocht (Mazelen statistieken (II) – Vormen antroposofen grootste groep niet-inenters, zoals in Trouw is beweerd?). Alléén als alle leerlingen op vrije scholen uit ‘antroposofen gezinnen’ komen én geen enkele leerling op een vrije basisschool ingeënt zou zijn, zouden antroposofische niet-inenters in aantal gelijkwaardig zijn aan de bevindelijk gereformeerde niet-inenters. Dat is natuurlijk niet aan de hand en met een aantal betere schattingen kom je tot de conclusie dat de niet-ingeënte vrije school leerlingen (antroposofen) slechts 6 tot 14 procent van het totaal niet-ingeënte basisschoolleerlingen uitmaken. De stelling van het Trouw artikel klopt dus niet, of het nu een slip of the tongue van Coutinho was of een verkeerde interpretatie van de journalist.

Tenslotte kijkt @ticobas in het derde deel (Mazelen statistieken (III) – Refobolwerken en Steinersteden) naar een ander punt uit het Trouw-artikel: “niet álle refoplaatsen zijn bastions van prikweigeraars”, dat wordt ‘aangetoond’ door te wijzen op de vaccinatiegraden van sommige ‘steinersteden’, die lager zijn dan die van sommige ‘refobolwerken’. In het blog wordt echter korte metten gemaakt met dit creatief gecijfer. Trouw vergelijkt het aantal leerlingen (wonend in welke gemeente dan ook), dat naar een reformatorische school in een gemeente gaat met de vaccinatiegraad van het aantal leerlingen dat in die gemeente woont. Dat werkt nogal misleidend, omdat op die reformatorische school veel leerlingen van buiten de gemeente kunnen zitten. In het geval van een aantal van die refobolwerken (o.a. Gorinchem dat Trouw als voorbeeld gebruikt) pakt dit ‘gunstig’ uit voor degene die wil betogen dat de aandacht voor refo’s in deze discussie overtrokken is, omdat het bij de antroposofen minstens zo erg is.

Het gaat er nu even niet om om de Zwarte Piet bij de ene of andere groep niet-inenters te leggen, of om de redenen van de refo’s en antroposofen om niet te vaccineren tegenover elkaar te zetten. Het is duidelijk dat zowel antroposofen als refo’s een belangrijk aandeel vormen binnen de groep niet-inenters. De laatsten wonen geografisch meer geconcentreerd en zijn dus vaker de klos als de mazelen toeslaan. Het stuk van Trouw lijkt echter iets meer dan een vergissing. Het was slecht onderbouwd en de antroposofen als bliksemafleider kwamen misschien iets te goed uit. Een positieve reactie op het noeste corrigerende rekenwerk van @ticobas kon er bij de schrijver van het stuk helaas niet af: die blockte hem op Twitter.

Update 12/3/2015: na Trouw nog eens op deze misser gewezen te hebben (nav een recent artikel dat er op teruggreep), is er nu uiteindelijk alsnog een correctie geplaatst.

 

 

Verzekerde zorgkosten van patiënten bij alternatieve huisarts

by 37 Comments

In een recent artikel stellen Peter Kooreman en Erik Baars dat de zorgkosten van de patiënten van complementaire huisartsen die gedekt worden door de basisverzekering substantieel lager zijn dan die van sociaal-economisch vergelijkbare patiënten met een reguliere huisarts. Dat deden ze eerder al op basis van een kleiner bestand van een andere zorgverzekeraar. Toen beweerden ze ook dat ze aanwijzingen hadden gevonden dat patiënten bij complementaire huisartsen langer zouden leven. Op dat onderzoek kwam veel kritiek en dit nieuwe onderzoek lijkt niet veel beter.

[update geplaatst op 4-9-2014]

Anderhalf miljoen patiënten

Professor dr. Peter Kooreman, hoogleraar gezondheidseconomie aan de Universiteit van Tilburg, en dr. Erik Baars, lector antroposofische gezondheidszorg aan Hogeschool Leiden en senior onderzoeker bij het Louis Bolk Instituut, hebben wederom een database van een zorgverzekeraar mogen doorpluizen op zoek naar kostenverschillen tussen patiënten die een reguliere huisarts hebben of bij een huisarts zitten die aangesloten is bij een van de beroepsverenigingen voor alternatieve zorg. Hun bevindingen hebben ze opgeschreven in Complementair werkende huisartsen en de kosten van zorg (Economische Statistische Berichten, 7 feb. 2014). Dit onderzoek van Kooreman en Baars (K&B) is een vervolg op de eerder door hun uitgevoerde analyse op een kleiner bestand. Die studie verscheen in het gezaghebbende European Journal of Health Economics en heb ik vorig jaar besproken in Alternatieve huisartsen werken 15 procent goedkoper? Een verzinsel.

prof. dr. Peter Kooreman
prof. dr. Peter Kooreman

Nu konden K&B de gegevens van maar liefst 1,5 miljoen patiënten analyseren; tien keer zoveel als de vorige keer. Dat lijkt een stuk indrukwekkender dan het is. Het (ongecorrigeerde) verschil in de vorige studie was 7 procent in het voordeel van de complementaire groep, maar niet significant (blijkbaar is de spreiding enorm). Nu vinden K&B 10,1 procent lagere kosten en of dat significant is, staat eigenlijk niet in het artikel. Het lijkt erop dat K&B alleen geïnteresseerd zijn in significante verschillen in subgroepen. Bij dat zoeken naar significante verschillen, lijken ze echter niet veel zorgvuldigheid te betrachten. Merkwaardig, omdat daar eerder stevige kritiek op kwam (van Sampson et al.), zoals ik in mijn vorige blog heb beschreven.
Een belangrijke beperking van beide studies is dat het alleen gaat om de kosten die vergoed werden door de zorgverzekeraar. Hoe hoog de niet vergoede kosten waren, is niet bekend. In de meeste aanvullende verzekeringen zit een maximum aan gedekte kosten voor complementaire zorg. Hoeveel van de verzekerden haalden dat maximum en betaalden vervolgens de rest van de complementaire behandelingen uit eigen zak? De aanspraak op de aanvullende verzekering door de  complementaire groep is aanzienlijk hoger dan die van de reguliere groep en waarschijnlijk gingen er dan ook meer over dat maximum heen. Dus kan dit zeker een rol spelen bij het beantwoorden van de vraag hoe het zit met de totale zorgkosten, niet alleen die van de zorgverzekeraars.

Gezondheidsindicatoren

Sampson en zijn co-auteurs merkten in hun kritiek op de eerdere studie ook al op dat de enige uitkomstindicator in de studie die aan gezondheid gerelateerd is, namelijk sterfte, een ongelukkige is om de populaties van huisartsen te vergelijken. Het door K&B gevonden verschil bleek bij een statistische analyse die meer geschikt is, overigens niet significant. In de huidige studie is dat weer niet het geval, toch spreken K&B eerst weer van “lichte aanwijzingen voor lagere sterfte onder patiënten met een complementair werkende huisarts op basis van een lineair kansmodel en een conditioneel logitmodel” om dan pas met de conclusie van een wel geschikte analyse te komen: “maar geen aanwijzingen voor verschillen in sterfte op basis van een proportional hazard-model.” Een beetje raar, het lijkt erop dat K&B toch even graag die ‘lichte aanwijzingen’ genoemd wilden hebben, hoewel het betekenisloos is.

Over de correctie op socioeconomische verschillen

dr. Erik Baars
dr. Erik Baars

Bekend is dat de belangstelling voor CAM (Complementary and Alternative Medicine) vaak samengaat met een hoger opleidingsniveau en een in het algemeen hogere socioeconomische status, precies de parameters die ook statistisch gesproken samengaan met minder ziekte en een langer leven. De kracht van de eerdere studie was nu net dat er redelijk gecorrigeerd kon worden voor deze verschillen, omdat toen gegevens op postcode-6 niveau beschikbaar waren.
K&B merken zelf op over het belang daarvan: “However, since socio-economic differences within a 4-digit postal code are typically large, this would not be a credible approach for identifying a causal effect of CAM on costs.” In deze grotere database waren de gegevens slechts tot op postcode-4 niveau beschikbaar.
Of de socioeconomische verschillen het verschil in kosten kunnen verklaren, diepen K&B niet verder uit. Ze geven echter wel argumenten die het in twijfel lijken te trekken, bijvoorbeeld door te suggereren dat je in de CAM-groep ook hogere ziektekosten zou kunnen verwachten: “Ander onderzoek laat echter zien dat bij complementair werkende artsen relatief veel patiënten met ernstige en chronische ziektes voorkomen (Melchart et al., 2005)” Deze observatie uit Zwitserland is echter gebaseerd op de inschatting van de betrokken huisartsen en patiënten zelf (zie Schlussbericht PEK, April 2005, blz 37) en het verschil kan goed veroorzaakt zijn door bias. Dat blijkt ook uit een ander onderzoek (pdf) in het kader van die Zwitserse PEK dat Kooreman en Baars niet noemen. Daarin staat onder andere:

An important finding in this context is that CAM patients rated their main health problems as more severe than did COM patients, although general health assessments were not different between patient groups. Our data therefore provide some evidence that individual morbidity is not directly associated with overall selfrated assessment of health. The differing perceptions of severity of illness may primarily be linked to different frequencies of major symptoms in the three patient populations of the study, but also may be related to different adjustments and coping strategies with disease in patients seeking COM or CAM.

en

Furthermore, CAM patients see their main health problems as more severe than COM patients, although self-perceived general health levels appear to be equal.

Ook hier ontkom ik niet aan de indruk dat K&B naar een vooraf gewenste uitkomst toe redeneren. Dat vond ook Marc Pomp, consultant gezondheidseconomie, die een reactie in ESB schreef:

Nog los van de vraag of de Zwitserse situatie van toepassing is op Nederland, zijn er allerlei andere potentiële verschillen tussen patiënten met een alternatieve huisarts en patiënten met een reguliere huisarts. De claim waarmee het artikel opent – dat de zorgkosten bij vergelijkbare patiënten van alternatieve huisartsen lager zijn – wordt daarom op geen enkele manier ondersteund door de schattingsresultaten.

K&B reageerden hier weer op en delen en passant een sneer uit naar de kritiek op hun eerdere studie:

Ook nadat gecorrigeerd is voor achtergrondkenmerken, voor zover de beschikbare data dat toelaten, zijn die verschillen zo groot en significant dat ze niet zomaar kunnen worden genegeerd. Natuurlijk is ook in dit onderzoek het scheiden van oorzakelijke effecten (dat wil zeggen de effecten van het doen en laten van de huisarts) en selectie-effecten een uitdaging. Wij zijn ons daarvan zeer bewust en hebben dan ook nergens beweerd dat de gevonden kostenverschillen een zuiver causaal verband weergeven. Integendeel, wij hebben telkens benadrukt dat voor het scheiden van selectie- en oorzakelijke effecten rijkere datasets en nieuwe onderzoeksdesigns nodig zijn. De reactie van Pomp snijdt dan ook geen hout, net als het door hem geciteerde commentaar van Sampson et al. (Kooreman en Baars, 2013). Hetzelfde geldt voor commentaar dat, zonder peer review en zonder wederhoor, op websites is geplaatst.

Helaas staan deze commentaren niet vrij toegankelijk op de site van ESB. Mijn blog was dan wel niet peer reviewed, maar aan wederhoor heb ik wel degelijk gedaan. Juist het gebrek aan bereidheid om in te gaan op mijn vragen vond ik toen bijzonder storend. De cijfers zoals ze gepresenteerd worden, zijn niet controleerbaar en toen ik er om vroeg kreeg ik de achterliggende aantallen per cel, p-waardes en meer van dat soort informatie, niet.

De 0 tot 30 procent uit de vorige studie

Een belangrijk punt in mijn vorige blog was dat de resultaten misleidend weergegeven waren. In krantenberichten stond dat complementaire huisartsen 15 procent goedkoper waren, gebaseerd op een persbericht van de UvT. In het uiteindelijk gepubliceerde artikel werd dat gemaskeerd als dat ze “kostenverschillen vonden, afhankelijk van het type complementaire huisarts en de leeftijdscategorie van de patiënt, die variëren tussen 0 en 30 procent.” In het persbericht van de UvT dat nu uitging staat hierover dat daaruit eerder de ‘te weinig genuanceerde weergave’ van ongeveer 15 procent lagere kosten was gedestilleerd. In feite is het nog minder genuanceerd, zoals ik heb laten zien: de werkelijk gevonden verschillen (voor wat ze statistische gezien waard zijn) lopen uiteen van -47% tot 30%,  wat natuurlijk een heel ander beeld geeft. In een kader bij hun ESB artikel geven K&B echter wederom doodleuk het interval 0 tot 30 procent als resultaat van die eerdere studie.

De overstappers

De meest interessante groep laten K&B vrijwel buiten hun analyses. Een grote groep patiënten wisselde minstens een keer van reguliere naar complementaire huisarts (of andersom). In hun modelberekening wordt deze groep er helemaal uit gelaten, terwijl die toch groot is ten opzichte van de groep ‘zuivere’ CAM-patiënten. Alleen een ruwe vergelijking wordt gegeven:

Tabel 1 uit het artikel van Kooreman en Baars (ESB, 7-2-2014)
Tabel 1 uit het artikel van Kooreman en Baars (ESB, 7-2-2014)

Een voor de hand liggende vraag is bijvoorbeeld of er een relatie te ontdekken is tussen de zorgkosten van deze patiënten en het type huisarts dat ze op een bepaald moment hadden. Wellicht dat patiënten zich vertrouwd voelen bij een CAM huisarts zolang hun klachten niet heel ernstig zijn, maar switchen naar de reguliere zorg als ze serieuze gezondheidsproblemen ondervinden. Aangezien deze groep de hoogste zorgkosten heeft en ruim de helft van het aantal ‘zuivere’ CAM patiënten beslaat, is deze mogelijkheid niet zomaar te negeren. Maar misschien komen K&B later nog wel met dit soort analyses.

Conclusie

Kritiek krijgen vinden Kooreman en Baars blijkbaar niet zo leuk. Ze reageren daar overdreven geïrriteerd op, zonder echt in te gaan op de kritiekpunten. Dit onderzoek betekent in feite een forse stap terug op de weg naar de conclusie die K&B graag zouden trekken, nl. dat CAM-artsen minstens zo goede zorg leveren en dat ook nog tegen lagere kosten. Over de gezondheidseffecten van het verschil in type zorg kunnen ze niets zeggen en wat de kosteneffectiviteit betreft ook niet veel. Voor de overheid is er nu dus eerder nog minder reden om onderzoek naar CAM te faciliteren.

Update 4 september 2014

Het is Kooreman en Baars deze keer ook weer gelukt om hun onderzoek in een internationaal goed gelezen wetenschappelijk tijdschrift geplaatst te krijgen. Het verscheen vorige week in BMJ Open onder de titel A 6-year comparative economic evaluation of healthcare costs and mortality rates of Dutch patients from conventional and CAM GPs. Het bevat niet veel meer informatie dan de wat leesbaardere versie in ESB. Wat wel opvalt is dat er nu een analyse van ‘de overstappers’ is toegevoegd. Je zou misschien denken dat dat komt, omdat ik hierboven opschreef dat zo’n analyse heel interessant zou kunnen zijn, maar het komt eigenlijk omdat één van de reviewers er om vroeg (de review history is ook vrij beschikbaar en wel interessant leesvoer).
De belangrijkste conclusie uit die analyse van de overstappers is volgens K&B: “After correction for observed differences between the groups by means of linear regression analyses, switching from a CON to a CAM GP results in 34 Euros lower costs (not significant: p = 0.83) and switching from a CAM to a CON GP results in 360 Euros higher costs (p < 0.079).” Kun je daar iets mee? Je zou kunnen bedenken dat die patiënten na de overstap naar een reguliere huisarts eindelijk de serieuze zorg kregen die ze nodig hadden, maar een andere verklaring is natuurlijk ook mogelijk. Blijft giswerk zonder extra informatie.

Er schoot me nog wel een mogelijke verklaring voor het aanzienlijke verschil in totale kosten voor de verzekeraar te binnen (als we er even van uitgaan dat die met een betere analysemethode ook overeind zou blijven). Nienhuys en Renckens viel het bij de eerder studie al op dat de kosten in sommige categorieën veel lager waren,  maar dat het toch maar net significant was. Als mogelijke verklaring wezen ze op uitschieters. Die zou je het beste kunnen zoeken in de ziekenhuiskosten, omdat die verreweg het grootste deel van het verschil veroorzaken. Het lijkt me nu niet onredelijk te veronderstellen dat er een relatief kleine groep patiënten met ernstige (chronische) aandoeningen is, die een flink deel van de kosten ‘veroorzaakt’. Denk aan oncologie, dialyse. Die patiënten danken hun voortbestaan in belangrijke mate aan reguliere zorg die berust op moderne ontwikkelingen in de medische wetenschap. Het zijn ook vaak patiënten die goed voorgelicht worden en zichzelf informeren over hun ziekte. Zouden die patiënten zich eerder thuisvoelen bij een alternatieve of bij een reguliere huisarts? Ik zou daarom wel eens een grafiekje willen zien van de verdeling van de gemiddelde kosten per patiënt uit de verschillende groepen. Grote kans dat die een heel verschillende verdeling laat zien, met een ‘vette staart’ bij de regulieren.
Een zelfde gedachte gaat op voor de verschillen in kosten voor geneesmiddelen. Zouden er bijvoorbeeld veel hemofiliepatiënten (die zeer dure bloedstollingsmiddelen nodig hebben) bij een antroposofische huisarts dokteren? Ik hoop het niet, want de antroposofische ideeën over bloed zijn uiterst merkwaardig.