Kloptdatwel?

statistiek

Ig Nobel voor poepende honden met extreem richtingsgevoel

by 11 Comments

Vorige week was het weer tijd voor de uitreiking van de Ig Nobels, de onderscheidingen voor wetenschappelijk onderzoek “dat je eerst aan het lachen maakt, en dan aan het denken zet.” Dit jaar vielen onderzoekers in de prijzen met onderzoek naar wat er gebeurt in de hersenen van mensen die het gezicht van Jezus zien in een geroosterde boterham en anderen met hun onderzoek naar tampons van gepekelde varkensvleesreepjes die helpen om een bloedneus te stelpen. En dan waren er ook nog de honden die hun behoefte het liefst in noord-zuidrichting bleken te doen. Maar dat laatste onderzoek lijkt wel erg dunnetjes.

Op de Nederlandse Ig Nobel Night-website staat het zo:

Ig Nobel Biologieprijs 2014 (Tsjechië, Duitsland)
Vlastimil Hart, Petra Nováková, Erich Pascal Malkemper, Sabine Begall, Vladimír Hanzal, Miloš Ježek, Tomáš Kušta, Veronika Němcová, Jana Adámková, Kateřina Benediktová, Jaroslav Červený & Hynek Burda,
Voor het zorgvuldig documenteren dat poepende en plassende honden hun lichaamsas bij voorkeur in lijn houden met het noord-zuid gerichte aardmagnetische veld.

Op het eerste gezicht inderdaad typisch zo’n onderzoekje dat de quasi serieuze Ig Nobelprijs wel lijkt te verdienen. Maar stinkt dit onderzoek toch niet een beetje? Als je kijkt naar het resultaat zoals dat in het artikel zelf is gegeven, valt al meteen wat op:

Results

Dogs preferred to excrete with the body being aligned along the North–South axis under calm MF conditions. This directional behavior was abolished under unstable MF. The best predictor of the behavioral switch was the rate of change in declination, i.e., polar orientation of the MF.

Zo werd de richting van de poepende hond vastgesteld: "measured as a compass direction of the thoracic spine (between scapulae) towards the head"
Zo werd de richting van de poepende hond vastgesteld: “measured as a compass direction of the thoracic spine (between scapulae) towards the head”

De bevinding is dus veel specifieker dan je zou denken als je alleen afgaat op de berichtgeving in de pers en wat de IgNobel jury er zelf over schrijft. De onderzoekers vonden namelijk juist géén bewijs voor hun oorspronkelijke hypothese dat honden zich zouden richten op het magnetisch veld. Geen correlatie met hun houding tijdens het poepen of plassen met de noord-zuidrichting. Maar toen ze achteraf(!) gingen zitten vissen in hun data vonden ze zo’n correlatie wel bij een subgroep: bij die poepsessies die hadden plaatsgevonden op locaties waar er nauwelijks variatie was in het magnetisch veld. Eigenlijk nog specifieker, het gaat om de variatie in de declinatie van het magnetisch veld, het verschil in richting tussen het ware noorden en de richting die de naald van een magnetisch kompas aangeeft. Als je denkt dat het allemaal klopt, moeten die honden dus niet alleen heel gevoelig zijn voor de richting van het magnetisch veld, maar ook een absoluut richtingsgevoel hebben dat ze in staat zou stellen perfect het kaartnoorden aan te wijzen!

Als je het volgende fragment onder Discussion in het artikel leest, weet je eigenlijk genoeg hoe dit resultaat tot stand is gekomen:

Although the observers were acquainted with our previous studies on magnetic alignment in animals and could have consciously or unconsciously biased the results, no one, not even the coordinators of the study, hypothesized that expression of alignment could have been affected by the geomagnetic situation, and particularly by such subtle changes of the magnetic declination. The idea leading to the discovery of the correlation emerged after sampling was closed and the first statistical analyses (with rather negative results, cf. Figure 1) had been performed. Also, the acquisition of data on magnetic declination was carried out without knowledge of heading values on the respective time and date.

Er staat nauwelijks iets over hoeveel mogelijke verbanden tussen de poeprichting en aspecten van het magnetisch veld ze hebben zitten vergelijken, maar te zien aan het superspecifieke subgroepje waarvoor ze een ‘significant’ resultaat vinden, zijn dat er vermoedelijk behoorlijk wat geweest. Dan moet je natuurlijk wel corrigeren voor meervoudig toetsen, maar daarover staat niets in het artikel. Dat ‘significant’ stelt dus niet zo veel voor. En als je dan toch achteraf wil gaan zitten vissen naar mogelijke verbanden, is het wel een beetje jammer dat je allerlei andere mogelijke invloeden, zoals windrichting en zonposities niet in je data hebt meegenomen (daarvan hadden de onderzoekers vooraf al bedacht dat die irrelevant zouden zijn).
Al in januari dit jaar las ik kritisch commentaar op dit onderzoek, dat er weinig van heel laat. Nu ik weer opnieuw zocht naar besprekingen, kwam ik uit dezelfde periode meer kritiek tegen. Misschien hebben ze dit bij Ig Nobel allemaal gemist, omdat het niet in de vorm is gegoten van wetenschappelijke artikelen of commentaar bij het artikel zelf (maar dat is er ook!). Maar je zou eigenlijk denken dat ze wel zouden weten dat je voor kritische beschouwingen van dit soort vrij onbenullig onderzoek misschien beter op blogs kunt kijken.

Dat dieren gevoelig kunnen zijn voor het aards magnetisch veld is niet zo’n gekke gedachte, maar dat honden zich iets zouden aantrekken van minimale variaties in de declinatie daarvan bij het poepen en plassen (als ze die al zouden kunnen waarnemen), lijkt me uiterst onwaarschijnlijk. Vincent Icke zei het ook al in De Wereld Draait Door (vanaf 7:40): “Dit zal geen stand houden, volgens mij kunnen we dit zo in de Ig Nobelprullenbak gooien.” Terugtrekken dus, deze Ig Nobelprijs!

Rechtbank niet onder de indruk van beroep op studie Kooreman & Baars

by 4 Comments

Jarenlang betaalde zorgverzekeraar Achmea forse bedragen aan het Medisch Centrum Rhijnauwen (MCR) te Bunnik voor door het MCR gedeclareerde laboratoriumonderzoeken. Totdat de verzekeraar erachter kwam dat deze onderzoeken niet waren aangevraagd door huisartsen – zoals op de declaraties stond – maar door natuurartsen, orthomoleculaire artsen en diëtisten. Onderzoeken aangevraagd door dergelijke behandelaars kwamen volgens de polisvoorwaarden niet voor vergoeding in aanmerking. Achmea begon daarop een civiele procedure tegen het MCR en in mei 2013 stelde de rechtbank al vast dat de verzekeraar de declaraties onverschuldigd betaald had.
In het eindvonnis van 9 juli 2014 heeft de rechtbank vervolgens niet alleen bepaald dat het MCR een bedrag van € 1.313.402,35 (plus enkele duizenden euro’s aan beslag- en proceskosten) terug moet betalen aan Achmea, maar ook dat de beide bestuurders van het MCR persoonlijk aansprakelijk zijn voor dit bedrag. Opmerkelijk feit: de bestuurders hadden betoogd dat Achmea geen schade had geleden. Alternatief werkende artsen zouden volgens hen juist zorgen voor forse besparingen voor zorgverzekeraars, waarbij de bestuurders met de bekende studie van Kooreman en Baars wapperden. Helaas voor hen wilde de rechtbank er niet aan.

Urinemonster
Urinemonster

Het MCR (“Medische zorg zoals u altijd gewild heeft”) is blijkens zijn website gevestigd op dezelfde locatie als het Europees Laboratorium voor Nutriënten (ELN), Vital Cell Life en het Gezondsheidscentrum Bunnik. “Door de samenwerking met het Europees Laboratorium voor Nutriënten is er de mogelijkheid niet alledaagse onderzoekingen in bloed en urine te laten verrichten”, aldus de website. Om die laboratoriumonderzoeken ging het in de rechtszaak van Achmea tegen het MCR. De rechterlijke uitspraken maken niet duidelijk om welke onderzoeken het precies ging (het waren er honderden), maar het ELN heeft ook een eigen website, die net als die van het MCR nogal gedateerd overkomt. Daar vinden we een heel scala aan testen die door het laboratorium worden uitgevoerd. Het gaat dan om het testen van bloed of urine op de aanwezigheid van spoorelementen, aminozuren, vetzuren en vitaminen, maar ook om testen voor het vaststellen van allergieën, testen voor het detecteren van belasting met zware metalen (o.a. kwik in speeksel-test), testen voor het functioneren van organen en testen voor het opsporen van verstoring van de darmflora. Ook voor testen op de ziekte van Lyme draait het ELN zijn hand niet om.

De casus

Het MCR kreeg veel aanvragen voor laboratoriumonderzoek van natuurartsen, orthomoleculaire artsen en diëtisten. Het laboratoriumonderzoek werd uitgevoerd door het ELN en door het MCR via een factoringbedrijf (Mediparc) gedeclareerd bij Achmea. Op basis van de overeenkomst tussen het MCR en Achmea mocht het MCR het aanleveren van declaraties uitbesteden aan een derde partij, maar de overeenkomst bepaalde tevens dat de zorgaanbieder zelf te allen tijde verantwoordelijk en aansprakelijk bleef voor de declaraties. Verzekerden van Achmea konden aanspraak maken op vergoeding van de kosten voor laboratoriumonderzoek mits dit was aangevraagd door huisartsen, bedrijfsartsen, verloskundigen of medisch specialisten. Bij de declaraties van het MCR leek deze voorwaarde geen problemen op te leveren: op de declaraties stond vrijwel altijd dat de onderzoeken waren aangevraagd door huisartsen. Kennelijk begon Achmea eind 2009 toch nattigheid te voelen. De verzekeraar voerde een steekproef uit onder 51 willekeurige verzekerden die aan een door het MCR gedeclareerd laboratoriumonderzoek waren onderworpen. Achmea stelde daarop vast dat in slechts 4% van de gevallen laboratoriumonderzoek was gedeclareerd dat volgens de polisvoorwaarden voor vergoeding in aanmerking kwam.

Zo ging een balletje rollen, dat leidde tot een claim van Achmea (aanvankelijk ruim 2 miljoen euro) vanwege ten onrechte betaalde declaraties en uiteindelijk een rechtszaak, die op 9 juli 2014 voorlopig geëindigd is met een forse overwinning van de verzekeraar. Het MCR moet € 1.313.402,35 plus beslag- en proceskosten betalen, al is het vonnis op dit punt voor een groot deel niet uitvoerbaar bij voorraad verklaard omdat dat tot het faillissement van het MCR zou kunnen leiden en het centrum dan zijn hoger beroep niet meer zelf zou kunnen bekostigen (r.o. 3.11 van het eindvonnis). Met andere woorden, er hoeft pas betaald te worden als ook het hoger beroep verloren wordt.

Bijzonder is dat ook de bestuurders van het MCR – een stichting – door de rechtbank aansprakelijk worden gehouden voor de door Achmea geleden schade, en nog wel hoofdelijk ook (i.e. beiden kunnen voor het volledige bedrag worden aangesproken). Bestuurdersaansprakelijkheid bestaat daar waar de bestuurders van een rechtspersoon een ernstig verwijt van bepaalde wanpraktijken kan worden gemaakt. Een groot deel van het eindvonnis gaat over de vraag of de bestuurders inderdaad een ernstig verwijt kan worden gemaakt. Het is nogal een lang verhaal (r.o. 3.14-5.16 van het eindvonnis), maar in het kort komt het hier op neer: de rechtbank constateert dat een andere grote zorgverzekeraar (CZ) al eens contact met het MCR had opgenomen over declaraties waarop ten onrechte “huisarts” vermeld stond en dat had ertoe moeten leiden dat de beide bestuurders gingen onderzoeken hoe het stond met declaraties bij andere zorgverzekeraars. Dat hebben zij echter nagelaten, waardoor het factoringbedrijf declaraties met de veldcode “huisarts” bleef versturen, hetgeen in een zeer groot aantal gevallen in strijd met de waarheid was. Dat kan hen ernstig verweten worden en de bestuurders draaien daarom op voor de door Achmea geleden schade van ruim 1,3 miljoen euro. Overigens onderzoekt het Openbaar Ministerie nog of de declaraties opzettelijk verkeerd zijn ingevuld (zie ook dit artikel).

Kostenbesparingen door alternatieve artsen?

Achmea had aangevoerd dat de kosten van het MCR voor laboratoriumonderzoeken gemiddeld drie keer zo hoog waren als het landelijk gemiddelde (tussenvonnis, r.o. 6.17). De bestuurders meenden echter dat Achmea juist blij moest zijn met al die laboratoriumonderzoeken verricht op verzoek van de genoemde natuurartsen, orthomoleculaire artsen en diëtisten. Die leiden volgens wetenschappelijk onderzoek immers juist tot flinke kostenbesparingen voor zorgverzekeraars:

“5.17. Volgens [gedaagde 1] heeft Achmea geen schade geleden. In verband daarmee betoogt hij dat in zijn algemeenheid door MCR laboratoriumonderzoeken worden gedaan van patiënten met langdurige klachten die de huisartsen of medisch specialisten niet (geheel) kunnen oplossen. Na onderzoek bij MCR en de daaropvolgende zorg verminderen de klachten en kan het traject bij de medisch specialist worden beëindigd of verminderd, wat een forse besparing voor de zorgverzekeraar oplevert. Dit blijkt volgens MCR uit wetenschappelijk onderzoek. Daarom moet Achmea volgens [gedaagde 1] specificeren welke kosten aan de betreffende verzekerden zijn betaald die betrekking hebben op een laboratoriumonderzoek en welke kosten anders zouden zijn gemaakt.

5.18. Het argument van [gedaagde 1], verband houdend met de besparing van kosten door Achmea, slaagt niet. Ter onderbouwing van zijn standpunt heeft [gedaagde 1] een artikel overgelegd van [X] en [Y] gepubliceerd op [link] op 22 juni 2011. In dit artikel, met de titel “Patients whose GP knows complementary medicine tend to have lower cost and live longer”, concluderen de auteurs dat patiënten van wie de huisarts (‘general practitioner’) aanvullende training heeft op het gebied van complementaire en alternatieve geneeskunde (‘complementary and alternative medicine’) 0 tot 30% lagere zorgkosten hebben, afhankelijk van de leeftijdsgroep en het type complementaire en alternatieve geneeskunde. De drie voornaamste stromingen hierin zijn volgens de auteurs antroposofische geneeskunde, acupunctuur en homeopathie. Een eerste punt dat opvalt is dat de onderzoekers zich hebben beperkt tot huisartsen met aanvullende training op een van deze drie terreinen. Vaststaat dat alle laboratoriumonderzoeken waarover het in dit geding gaat afkomstig zijn van niet-huisartsen. Al op grond hiervan faalt het besparingsargument van [gedaagde 1]. Verder concluderen de auteurs dat de resultaten van hun onderzoek niet kunnen worden gegeneraliseerd omdat het onderzoek zich heeft beperkt tot één zorgverzekeraar, actief in een beperkt gebied in Nederland, en tot een klein aantal huisartsen met de hiervoor genoemde aanvullende training. Ook merken de onderzoekers op dat zij niet alle gegevens hebben gebruikt die nodig zijn om een optimale vergelijking te maken van de kosteneffectiviteit en dat een groot aantal onderwerpen nader moet worden onderzocht. Andere resultaten van soortgelijke onderzoeken zijn door [gedaagde 1] niet overgelegd. Dat Achmea kosten heeft bespaard op de wijze zoals [gedaagde 1] betoogt kan dus niet worden aangenomen.”

dr. Erik Baars
dr. Erik Baars

Hoewel de auteurs van het onderzoek Patients whose GP knows complementary medicine tend to have lower cost and live longer merkwaardig genoeg geanonimiseerd zijn, is hun identiteit gemakkelijk te achterhalen. Het gaat om de onderzoekers Peter Kooreman en Erik Baars, beiden met antroposofische sympathieën. Hun onderzoek verscheen pas eind 2012 in het European Journal of Health Economics, maar was daarvoor al meer dan twee jaar beschikbaar via internet, o.a. via de eigen website van Kooreman, die om die reden ook als [link] zal zijn weergegeven in het vonnis. Cees Renckens en Jan Willem Nienhuys leverden in juni 2010 al stevige kritiek op het onderzoek en hier op Kloptdatwel? verscheen in mei 2013 een uitgebreid commentaar van Pepijn van Erp. Een vervolgonderzoek van Kooreman en Baars werd eveneens door Pepijn bekritiseerd. En ten slotte reageerden ook in het European Journal of Health Economics zelf enkele critici (zie ook hier).

prof. dr. Peter Kooreman
prof. dr. Peter Kooreman

Ik zal de genoemde kritiekpunten hier niet herhalen; de lezer zij verwezen naar de relevante artikelen. Wel is het misschien nog aardig op te merken dat de rechtbank kennelijk denkt dat uit de studie van Kooreman en Baars volgt dat patiënten van alternatieve huisartsen 0 tot 30% lagere zorgkosten hebben. Dat schrijven de onderzoekers inderdaad, maar Pepijn van Erp liet in zijn eerste artikel al zien dat hun eigen tabellen uitwijzen dat het eerder -47 tot 30% is. Jongeren waren bij de homeopaat aanzienlijk duurder uit (47% duurder) en 75-plussers kunnen beter niet naar de acupuncturist (16% duurder)! Zorgverzekeraars van 50-74-jarigen zullen op hun beurt weer niet staan te juichen bij de keuze voor een antroposofische huisarts: bijna 8% duurder. Ik verzin het niet: dit volgt allemaal uit de tabellen van Kooreman en Baars. Voor wat die waard zijn natuurlijk.

Ook de terughoudendheid die de rechtbank bij de onderzoekers meent te bespeuren lijkt me niet helemaal terecht. Was het immers niet Kooreman die nog vóór publicatie van het onderzoek in de Volkskrant repte van “spectaculaire” kostenverschillen die “niet te verwaarlozen zijn, zeker met het oog op de stijgende zorguitgaven”? In datzelfde stukje trouwens ook de idiote constatering van Kooreman dat een antroposofische arts “minder snel [zal] adviseren een kind in te enten tegen de bof en mazelen. Hij gelooft dat het goed is voor de opbouw van het immuunsysteem om die ziekten door te maken, wat de latere kans op ziekte doet verkleinen.” Tsja, als je op basis van je geloof mensen belangrijke zorg onthoudt, kun je inderdaad flink besparen…

Slot

De rechtbank kon het beroep op de studie van Kooreman en Baars gemakkelijk pareren door erop te wijzen dat die studie op huisartsen zag, terwijl het in de casus van het MCR in de meeste gevallen juist niet om huisartsen ging. Een van de bestuurders heeft al aangekondigd in hoger beroep te gaan en blijkens zijn toelichting tegenover RTL Nieuws zal het argument van “alternatieven leveren zorgverzekeraars besparingen op” ook daar waarschijnlijk gevoerd worden:

“Wij doen veel met voeding, allemaal wetenschappelijk onderbouwd. De politiek wil dat ook van zorgverleners, om te voorkomen dat de zorgkosten verder stijgen.”

Het argument van de vermeende besparingen door alternatieve artsen is dankzij het onderzoek van Kooreman en Baars erg populair in alternatieve kringen. Het Patiënten Platform Complementaire Gezondheidszorg deed er vorig jaar in een open brief aan minister Schippers bijvoorbeeld gretig een beroep op. De beroemdheden die de brief medeondertekenden waren er blijkbaar niet van op de hoogte dat de studie van de beide onderzoekers tamelijk pover is en zeker geen verstrekkende conclusies over kostenbesparingen rechtvaardigt. De uitspraak van de rechtbank in de zaak van het MCR biedt gelukkig een mooie kapstok om dat laatste nog eens uitdrukkelijk onder de aandacht te brengen.

Verder lezen:

Op de website van de Vereniging tegen de Kwakzalverij zijn eerder drie artikelen over deze zaak verschenen (1, 2, 3).

Volgende sociale psycholoog struikelt – de zaak Förster

by 23 Comments

Na de schandalen rond Diederik Stapel en Dirk Smeesters is nu weer een hoogleraar sociale psychologie ernstig in de problemen gekomen. Het Landelijk Orgaan Wetenschappelijke Integriteit oordeelt dat professor Jens Förster, verbonden aan de Universiteit van Amsterdam, in minstens één artikel data heeft gebruikt, die eigenlijk niet op een normale wijze verkregen kunnen zijn. De gegevens zijn te ‘perfect’ en bevatten veel minder ruis dan je normaal verwacht bij het soort experimenten dat Förster uitvoerde.

Jens Förster
Jens Förster

Begin 2012 publiceerde Förster een artikel in Social Psychological and Personality Science onder de titel Sense Creative! The Impact of Global and Local Vision, Hearing, Touching, Tasting and Smelling on Creative and Analytic Thought. In het artikel beschrijven Förster en zijn co-auteur Markus Denzler een aantal experimenten op basis van een theorie die door Förster is ontwikkeld: GLObal versus LOcal processing Model. Deze theorie, kortweg GLOMO, gaat over het verschil dat zou bestaan tussen het verwerken van waarnemingen van iets in het geheel (global) of meer met een focus op details (local).
Het nieuwe van Försters onderzoek is dat hij het niet alleen beperkt tot visuele waarneming, zoals anderen eerder deden, maar experimenteert met geluid, geur, smaak en aanraking als prikkels. De experimenten komen er meestal op neer dat proefpersonen worden geprimed met ofwel een globale ofwel een lokale prikkel, en dan worden getest met analytische en creatieve testjes (op Wetenschap24 meer uitleg hierover). Uit het abstract van de bewuste studie:

Throughout separate 12 studies, participants were asked to look at, listen to, touch, taste or smell details of objects, or to perceive them as wholes. Global processing increased category breadth and creative relative to analytic performance, whereas for local processing the opposite was true. Results suggest that the way we taste, smell, touch, listen to, or look at events affects complex cognition, reflecting procedural embodiment effects.

Boven de weergave in de artikelen en onder in de volgorde local-control-global (low-med-high), waarbij het lineaire verband duidelijk wordt. (afbeelding van Wetenschap24)
Boven de weergave in de artikelen en onder in de volgorde local-control-global (low-med-high), waarbij het lineaire verband duidelijk wordt. (afb. Wetenschap24)

De resultaten leken echter veel te mooi om waar te zijn. Een UvA-collega van Förster, werkzaam op een andere afdeling, viel het op dat het ‘positieve’ effect van de priming met een globale prikkel precies het tegenovergestelde effect had als de priming met een lokale prikkel.
Dat is niet meteen duidelijk als je kijkt naar de grafiekjes van Förster, maar als je de volgorde van de weergave een beetje verandert, zie dat gemiddelden van ‘Global’ en ‘Local’ even ver af liggen van het gemiddelde van de controlegroep (zie afbeelding hiernaast). Dat kan natuurlijk een keer gebeuren, maar het patroon trad op in alle beschreven experimenten.

Een tweetal oudere artikelen werd erbij gehaald en daar bleken dezelfde uitgesproken lineaire verbanden op te duiken. In totaal werden in de drie artikelen 42 experimenten gevonden. En die vertonen allemaal hetzelfde beeld, zoals hieronder in een visuele samenvatting gezien kan worden:

 

Een grafische weergave van de 42 experimenten.(meta-montage door @neuroskeptic)
Een grafische weergave van de resultaten van de 42 experimenten,de lineariteit springt er uit (meta-montage door Neuroskeptic)

Ter vergelijking onderzocht deze medewerker, alleen of met anderen, ook een tiental artikelen van vakgenoten van Förster, waarin een soortgelijke opzet werd gebruikt (dus telkens met drie groepen). Daarin was er geen sprake van een dergelijk sterke lineariteit. De opmerkelijke resultaten van Förster zouden misschien nog wel verklaard kunnen worden door Questionable Research Practices (QRP), zoals het weglaten van uitschieters,  het aanvullen van de data met gegevens van extra steekproeven na een eerste evaluatie die net niet lekker uitkwam, of het verwijderen van deelnemers die hun onderzoek niet serieus genoeg hadden ingevuld. Dat laatste zou nog wel mogen, maar dan moet je vooraf precies vastleggen hoe je dat doet en niet achteraf, zoals in het geval Smeesters.
Ook kun je niet meteen uitsluiten dat deze experimenten op een nog onbegrepen lineair verband zijn gestuit. Maar ook als je er van uit gaat dat dat lineair verband er echt is, dan zouden de gegevens daar nog steeds veel te mooi bij passen. Er is veel te weinig spreiding in de gegevens. Bij nadere beschouwing blijkt het ook zeer onwaarschijnlijk dat QRP deze te ‘perfecte’ gegevens zouden kunnen opleveren op basis van een set gegevens die in eerste instantie wel netjes verkregen was. De analyse van de anonieme klager(s) die de basis vormde voor de klacht bij Commissie Wetenschappelijke Integriteit (CWI) van de Universiteit van Amsterdam (UvA)  is gelekt naar Retraction Watch.

De klacht werd door de CWI onderzocht, maar die kwam in juli 2013 uiteindelijk niet verder dan de aanbeveling om een ‘letter of concern’ te publiceren omtrent de twijfels over de data (geanonimiseerd rapport, pdf). Förster ontkende dat hij slordig was geweest en zich schuldig had gemaakt aan QRP. De klager vond dat de CWI haar werk onvoldoende had gedaan en ging in beroep bij het LOWI met onder de volgende punten van kritiek: de CWI had archiefonderzoek moeten doen naar de dataverzameling, meer getuigen (onderzoeksassistenten) moeten horen, andere artikelen van Förster en de ruwe databestanden moeten onderzoeken, en ook veel sneller moeten werken.
In het LOWI-rapport(pdf), dat deze week uitkwam (de berichtgeving kwam eind april al op gang na een stuk van Frank van Kolfschooten in NRC), wordt de klager niet op alle punten in het gelijk gesteld. Vooral procedureel valt de CWI niet veel te verwijten. Het is niet zo raar dat die zich beperkt heeft tot de concreet aangedragen problemen. In de zaken van Stapel en Smeesters lag het anders: daar kwamen snel bekentenissen en kregen de CWI’s opdracht van de Colleges van Bestuur om verder onderzoek te doen.
Inhoudelijk geeft het LOWI de klager echter wel gelijk en deelt de mening er eigenlijk geen aanwijzingen zijn gevonden dat QRP tot de onwaarschijnlijke data geleid kunnen hebben en dat het daarom niet bij zo’n ‘letter of concern’ zou kunnen blijven. De statistische experts die vervolgens door het LOWI ingeschakeld werden, kwamen met nog een opmerkelijk gegeven in de data. Als je kijkt naar subgroepen, je splitst de data op naar man/vrouw bijvoorbeeld, dan is er helemaal geen spoor van die lineariteit terug te vinden. De afwijkingen ten opzichte van het lineaire verband bij mannen en vrouwen heffen elkaar precies op als je de data samenvoegt. Dit lijkt helemaal bizar, maar misschien voegt het niet zo veel toe aan het reeds ontstane beeld dat de data sowieso geconstrueerd moeten zijn. En dat door iemand zonder al te veel kennis van statistiek. Förster ontkent intussen dat hij iets verkeerd heeft gedaan en spreekt van een onterechte heksenjacht.

Is het statistisch bewijs voldoende om het oordeel fraude te kunnen vellen? In de analyse van de klager wordt een waarde berekend die zou inhouden dat er maar een kans is van één op 508 triljoen dat de gegevens van een normale steekproef afkomstig zouden kunnen zijn zonder manipulatie. De statisticus Richard Gill (Universiteit Leiden), die zich vaak roert in de commentaren op diverse blogs over deze zaak, geeft echter aan dat je je niet moet blindstaren op dit soort cijfers. Ze hangen af van allerlei aannames rondom de gebruikte modellen. Als handvat om er zinnig mee om te gaan, stelt hij dat je eerst maar eens het aantal nullen moet halveren en als er dan nog steeds een buitensporig aantal nullen staat, halveer je het nog maar eens. In dit geval blijft er dan echter nog steeds een absurd lage kans over. Gill noemt Förster ‘ofwel een oplichter of volkomen incompetent.’
Er zijn ook andere aanwijzingen dat er iets goed is misgegaan. Het LOWI heeft zich alleen gebogen over het artikel dat de aanleiding was tot de klacht. Van de oudere artikelen die ook door de klager zijn geanalyseerd, zijn de gegevens niet eens meer beschikbaar (gecrashte harddisk). Van het artikel in 2012 zijn de originele formulieren vernietigd, hoewel de aangeraden bewaartermijn nog niet was verlopen. En er is onduidelijkheid over wanneer en waar de gegevens precies verzameld zouden zijn. Misschien dat dit soort slordigheden vrij vaak voorkomen (of kwamen) in de sociale psychologie, maar het wordt in dit geval toch wel moeilijk om het niet te zien als een poging om een ernstiger probleem te verhullen.
Samenvattend volgens het LOWI: “is de conclusie […] onontkoombaar dat voor de uitkomsten van dit onderzoek in het artikel onderzoeksgegevens zijn gemanipuleerd of gegevens bewust zijn bijgesteld.” Het oordeelt dat er sprake is geweest van schending van de wetenschappelijke integriteit en adviseert de UvA om het tijdschrift te verzoeken het artikel in te trekken. Op het moment van schrijven van dit stuk was er nog geen officiële mededeling van de UvA, maar de woordvoerder liet al weten dat ze het advies overnemen. Er lijkt vooralsnog geen onderzoek naar andere artikelen van Förster geïnitieerd te worden. [Update 4/10/2014. NRC: ‘UvA gaat toch mogelijke fraude psycholoog onderzoeken‘]

Förster zou eigenlijk volgende maand aan de slag gaan als ‘Humboldt-professor’ in Bochum met een beurs van 5 miljoen euro, dat is voorlopig uitgesteld. In Duitsland is het overigens nog akelig stil rond deze zaak. Merkwaardig, want Förster heeft een grotere status dan Stapel of Smeesters in het vakgebied. Het is opvallend dat deze drie zaken allemaal aan Nederlandse universiteiten naar boven komen. Is het hier erger dan in het buitenland? Waarschijnlijk niet en heeft het er meer mee te maken dat sinds de affaire Stapel de wegen naar CWI’s en LOWI sneller gevonden worden door klokkenluiders en klagers van buitenaf.

Verder lezen:

Radioactieve neerslag van Fukushima veroorzaakte geen duizenden doden in de VS

by 10 Comments

Onderzoeken van de Amerikaanse wetenschappers Joseph Mangano and Janette Sherman over de gezondheidseffecten van radioactieve neerslag die vrijkwam bij de ramp in Fukushima veroorzaakten nogal wat onrust in de Verenigde Staten. In 2011 lieten ze zien dat er in de maanden na de ramp al 14.000 extra doden zouden zijn gevallen. En in een recentere studie dat er veel meer kinderen werden geboren met een aangeboren schildklierafwijking.
Hier zijn wetenschappers aan het woord en dan lijkt het snel serieuzere koek dan andere alarmistische verhalen over de gevolgen van de ramp bij Fukushima die meestal uit uiterst vage hoek blijken te komen. Andere onderzoekers probeerden de bevindingen echter na te rekenen en kwamen snel tot de conclusie dat er niets van deugt.

Het artikel met de 14.000 extra doden in de Verenigde staten werd als volgt in een persbericht aangekondigd:

 An estimated 14,000 excess deaths in the United States are linked to the radioactive fallout from the disaster at the Fukushima nuclear reactors in Japan, according to a major new article in the December 2011 edition of the International Journal of Health Services.   This is the first peer-reviewed study published in a medical journal documenting the health hazards of Fukushima.

Het is gepubliceerd als: An unexpected mortality increase in the United States follows arrival of the radioactive plume from Fukushima: is there a correlation? Wat recenter (2013) is het artikel waarin ze laten zien dat er veel meer aangeboren schildklierafwijkingen zouden zijn voorgekomen in de maanden na de ramp: Changes in confirmed plus borderline cases of congenital hypothyroidism in California as a function of environmental fallout from the Fukushima nuclear meltdown (Open Journal of Pediatrics).

Dat klinkt allemaal niet best, nietwaar? Beide artikelen deugen echter van geen kanten. In de volgende  video wordt de hele gedachtegang van Mangano en Sherman gefileerd, er blijft niets van over. Het is een en al verdraaien van cijfers, wat in mijn ogen haast niet anders dan opzettelijk kan zijn gebeurd. De onderbouwing van de verklaring hoe een lage dosis radioactieve straling in zo’n korte tijd tot zoveel doden zou kunnen leiden, blijkt ook niet meer te zijn dan een e-mailtje van een andere wetenschapper.

‘Hoe kan dit soort prutswetenschap toch gepubliceerd worden in peer reviewed tijdschriften?’ vraag je je misschien af. Het eerste artikel werd gepubliceerd in een tijdschrift dat helemaal niet over epidemiologie gaat, maar over de beleidsmatige kanten van gezondheidszorg. Het is maar de vraag of de uitgezochte reviewers überhaupt verstand hadden van dit soort rekenwerk. Bij het tweede artikel is het nog veel duidelijker, dat werd gepubliceerd in een open access tijdschrift dat op het beruchte lijstje van Jeffrey Beall [mirror] voorkomt. Dat tijdschrift weigerde ook zonder opgaaf van reden een ingezonden commentaar.

In Popular Mechanics verscheen een artikel over de vervelende gevolgen van publicatie van dit soort nonsens wetenschap: What Can We Do About Junk Science? Dat stuk besluit met:

It’s easy to blame the impact of junk science on sloppy experiments, irresponsible reporters, or a failure of peer review. But even after it’s debunked, junk science sticks because it preys on the public’s fear and distrust. Ultimately, junk science can be dispelled only if individuals think like scientists: Evaluate all the evidence and try to disprove your own preconceptions.

Dat laatste kan wel waar zijn, maar daarvoor is wel inspanning van wetenschappers voor nodig. Je moet wel weten waar je moet zoeken naar dat bewijs en enigszins weten hoe je het moet beoordelen. Een academische ‘debunk’ in de vorm van een reactie in het tijdschrift bereikt het reeds misleide publiek waarschijnlijk ook niet zo snel. Daarom waardeer ik het zeer dat sommige wetenschappers de moeite nemen om middels zo’n YouTube video duidelijk uiteen te zetten wat er allemaal mis is met deze artikelen.

Mazelenvaccinatie – statistieken van de niet-inenters

by 92 Comments

De mazelen-epidemie die in mei 2013 begon, loopt gelukkig ten einde. De mazelen doken voornamelijk op in gemeenten met een lage vaccinatiegraad en die liggen voor het grootste deel op de Bible Belt, de strook van Zeeland tot in Overijssel waar veel personen van reformatorische gezindte wonen. Niet zo vreemd dat er weer veel discussie was of niet-inenten vanwege godsdienstige redenen nog wel van deze tijd is en of vaccinatie niet verplicht zou moeten worden. De niet-inentende refo’s lagen behoorlijk onder vuur. Begin augustus kwam echter opeens een andere groep niet-inenters in beeld, de antroposofen.

Volgens een artikel in Trouw zouden die minstens zo’n grote groep niet-vaccinerenden zijn en het is dus niet terecht om met het betweterige vingertje alleen op de reformatorische christenen te wijzen:

Maar de grootste groep niet-inenters bestaat volgens het Rijksinstituut voor Volksgezondheid en Milieu (RIVM) uit antroposofen, bijvoorbeeld bekend van de vrije scholen. Het vooroordeel kan de wereld uit: reformatorische christenen vormen niet één massief blok tegen kindervaccinatie. Veel eensgezinder daarin zijn de antroposofen.

Op het blog van Skepsis hield Jan Willem Nienhuys wekelijks de stand van zaken bij rond de mazelenepidemie. Hij merkte als eerste op dat het verhaal dat antroposofen de grootste groep niet-inenters zou zijn, niet kon kloppen. Het verhaal bleef echter hardnekkig rondzingen, ondanks dat het RIVM nadrukkelijk ontkende het zo gezegd te hebben. De Trouwjournalist die het optekende uit de mond van Roel Coutinho (toen nog directeur Centrum infectieziektebestrijding van het RIVM), wilde niet van een misverstand weten en het ‘feit’ werd vervolgens door andere kranten, medische websites en weblogs overgenomen.
Harde gegevens over de samenstelling van de groep niet-inenters zijn niet beschikbaar, maar door de beschikbare data te combineren kun je wel tot de conclusie komen, dat het niet klopt. Twitteraar @ticobas stoorde zich nogal al aan de halsstarrigheid van de bewuste journalist en pakte de handschoen op om uit te zoeken hoe het nu wel zit. Die zoektocht mondde uit in een drietal uitgebreide blogs op de website Fallacy hunting.

Mazelenpatiënten-1-5-2013-26-2-2014In de eerste blog (Mazelen statistieken (I) – Is 1 op de 5 niet-inenters een ‘refo’?) probeert @ticobas een realistischere schatting te geven van het aandeel niet gevaccineerden vanwege godsdienstige redenen. De schatting die het RIVM hanteert (20 procent) is gebaseerd op een berekening die wel erg kort door de bocht is, percentages die slaan op verschillende leeftijdsgroepen worden gemakshalve met elkaar vermenigvuldigd. De schrijver focust op de basisschoolpopulatie wat wel een redelijk keus is, omdat dat de belangrijkste groep is die risico loopt om mazelen te krijgen tijdens een epidemie. Op basis van een aantal beargumenteerde aannames en schattingen is de conclusie dat niet ingeënte basisschoolleerlingen van bevindelijk gereformeerde ouders tussen de 23 en 33 procent van het totaal uitmaken.
Hoe het zit met de antroposofische basisschoolleerlingen wordt in het tweede deel onderzocht (Mazelen statistieken (II) – Vormen antroposofen grootste groep niet-inenters, zoals in Trouw is beweerd?). Alléén als alle leerlingen op vrije scholen uit ‘antroposofen gezinnen’ komen én geen enkele leerling op een vrije basisschool ingeënt zou zijn, zouden antroposofische niet-inenters in aantal gelijkwaardig zijn aan de bevindelijk gereformeerde niet-inenters. Dat is natuurlijk niet aan de hand en met een aantal betere schattingen kom je tot de conclusie dat de niet-ingeënte vrije school leerlingen (antroposofen) slechts 6 tot 14 procent van het totaal niet-ingeënte basisschoolleerlingen uitmaken. De stelling van het Trouw artikel klopt dus niet, of het nu een slip of the tongue van Coutinho was of een verkeerde interpretatie van de journalist.

Tenslotte kijkt @ticobas in het derde deel (Mazelen statistieken (III) – Refobolwerken en Steinersteden) naar een ander punt uit het Trouw-artikel: “niet álle refoplaatsen zijn bastions van prikweigeraars”, dat wordt ‘aangetoond’ door te wijzen op de vaccinatiegraden van sommige ‘steinersteden’, die lager zijn dan die van sommige ‘refobolwerken’. In het blog wordt echter korte metten gemaakt met dit creatief gecijfer. Trouw vergelijkt het aantal leerlingen (wonend in welke gemeente dan ook), dat naar een reformatorische school in een gemeente gaat met de vaccinatiegraad van het aantal leerlingen dat in die gemeente woont. Dat werkt nogal misleidend, omdat op die reformatorische school veel leerlingen van buiten de gemeente kunnen zitten. In het geval van een aantal van die refobolwerken (o.a. Gorinchem dat Trouw als voorbeeld gebruikt) pakt dit ‘gunstig’ uit voor degene die wil betogen dat de aandacht voor refo’s in deze discussie overtrokken is, omdat het bij de antroposofen minstens zo erg is.

Het gaat er nu even niet om om de Zwarte Piet bij de ene of andere groep niet-inenters te leggen, of om de redenen van de refo’s en antroposofen om niet te vaccineren tegenover elkaar te zetten. Het is duidelijk dat zowel antroposofen als refo’s een belangrijk aandeel vormen binnen de groep niet-inenters. De laatsten wonen geografisch meer geconcentreerd en zijn dus vaker de klos als de mazelen toeslaan. Het stuk van Trouw lijkt echter iets meer dan een vergissing. Het was slecht onderbouwd en de antroposofen als bliksemafleider kwamen misschien iets te goed uit. Een positieve reactie op het noeste corrigerende rekenwerk van @ticobas kon er bij de schrijver van het stuk helaas niet af: die blockte hem op Twitter.

Update 12/3/2015: na Trouw nog eens op deze misser gewezen te hebben (nav een recent artikel dat er op teruggreep), is er nu uiteindelijk alsnog een correctie geplaatst.