Kloptdatwel?

Wetenschap

Gun mij toch de eer: ik kwakzalf en ik promoveer

by 42 Comments

Gun mij toch de eer: ik kwakzalf en ik promoveer 1
Cees Renckens schrijft columns voor Kloptdatwel. Van 1988 tot 2011 was hij voorzitter van de Vereniging tegen de Kwakzalverij. Foto: Vivian Oei.

In Groningen promoveerde op 13 januari 2014 de psychiater Rogier Hoenders op een proefschrift over ‘integratieve psychiatrie’.  Dat alternatieve genezers promoveren is niet uniek maar wel vrij zeldzaam. Eerst een korte terugblik op hen, die hem voorgingen.

In juni 2008 promoveerde de Amerikaanse chiropractor Sidney Rubinstein, thans verbonden aan het EMGO van de Vrije Universiteit (VU), op een onderzoek naar de complicaties van de chiropractische behandeling van nekpijn. Deze waren volgens hem erg beperkt en daarom behoefde deze behandelwijze, die volgens hem werkzaam was, niet te worden ontraden. Voor die beweerde werkzaamheid kon hij echter geen goede argumenten verzinnen. Promotor was prof.dr. M. van Tulder, bewegingswetenschapper en epidemioloog.

In december 2010 promoveerde de fysiotherapeut/acupuncturist Ineke Van den Berg – de Lange op The contribution of acupuncture and moxibustion to healthcare; an evidence-based approach. Zij achtte op grond van een ten tijde van het verschijnen van het proefschrift reeds gedateerde en achterhaalde meta-analyse bewezen dat moxabranden op de kleine teen tot correctie van stuitligging naar hoofdligging leidt. Over het werkingsmechanisme produceerde zij wat gebrabbel, dat door de hoogleraar gynaecologie aan dezelfde Erasmus Universiteit als ‘lariekoek’ werd betiteld. Promotores waren prof.dr. M.G.M. Hunink, epidemioloog en dr. J.J. Duvekot, gynaecoloog.

Erik Baars, antroposofisch basisarts, promoveerde  in november 2011 aan de Universiteit Wageningen op A systems biology-orientated treatment of seasonal allergic rhinitis with Citrus/Cydonia comp. Het onderzochte middel is een antroposofisch kruidenmengsel dat wordt ingespoten bij hooikoorts, bestaande uit kweepeer en citroenzuur. Het middel is niet geregistreerd en verboden in ons land. Baars heeft dat verbod genegeerd en maakt ook nergens melding van goedkeuring van zijn onderzoek door een medisch-ethische commissie. Dr. Gerard te Meerman, klinisch epidemioloog, besprak het proefschrift in het Nederlands Tijdschrift tegen de Kwakzalverij (NTtdK) van maart 2012. Hij constateerde dat de artikelen uit het proefschrift niet in peer reviewed tijdschriften zijn gepubliceerd. Het begrip ‘systems biology’ zoals in de biologie gehanteerd, heeft helemaal niets te maken met de curieuze betekenis die er in dit proefschrift aan gegeven wordt. Het is Te Meerman bovendien een raadsel waarom de herhaalde dubieuze niveauwisselingen (tussen erkende, plausibele geneesmiddelen en antroposofische middelen) niet onderkend zijn door de promotores en de leescommissie. Zo lijkt het proefschrift op ‘een documentaire afgewisseld door reclame’. Promotores waren prof.dr.ir. H.F.J. Savelkoul, biochemicus (Universiteit Wageningen) en co-promotor was prof.dr. E.M. Kingma, filosoof (TU Eindhoven).

René Castien, manueel therapeut, promoveerde op 26 september 2013 aan de VU op ‘Manual therapy and chronic tension-type headache: A study into the effectiveness of manual therapy of chronic tension-type headache’. Hij vergeleek de resultaten van manuele therapie (MT) bij spanningshoofdpijn met die van de gemiddelde huisarts en de MT deed het veel beter. Hij bood echter geen MT in engere zin, maar tuigde dit op met twee andere interventies. Het blijft goed mogelijk dat alleen alle aandacht en de ambiance van de MT als ‘theatraal placebo’ (Colquhoun) heeft gewerkt, waartegenover die weinig spectaculaire huisartsenzorg natuurlijk te kampen heeft gehad met een nocebo-effect, dat het natuurlijk beloop nadelig zal hebben beïnvloed. Als er al een conclusie mogelijk is uit dit onderzoek met al zijn beperkingen, dan zou dat moeten zijn dat spierversterkende oefeningen wellicht een gunstig effect kunnen hebben bij spanningshoofdpijn, maar dat houdingsadviezen en zeker manuele handgrepen achterwege kunnen blijven. Een plausibel werkingsmechanisme heeft Castien niet kunnen vinden, maar de ‘mobilisatie’ van de nek was het zeker niet. Promotores waren prof.dr. J. Dekker, gezondheidspsycholoog (VU) en prof.dr. D.A.W.M. van der Windt , eerste lijns epidemioloog (Keele University).

Eric Manheimer, Amerikaans acupuncturist en epidemioloog aan de EMGO, promoveerde in november 2013 op  Systematic reviews in the field of complementary and alternative medicine: importance, methods and examples concerning acupuncture. Vermeulen besprak deze dissertatie in het NTtdK van december 2013 en concludeerde: ‘Samenvattend, heeft de promovendus een zoekstrategie beschreven, een register van methodologisch zwakke trials gemaakt, een aantal Cochrane reviews samengevat waarbij hij geen blijk geeft van inzicht in de betekenis van statistische significantie, de zoveelste inleiding voor het opzetten van systematische reviews geschreven, een naïeve vragenlijst rondgestuurd en drie met andere reviews overlappende systematische reviews aan de literatuur toegevoegd. Hiermee verkreeg hij aan de Vrije Universiteit zijn doctoraat’. Promotores waren prof.dr. L.M. Bouter, bioloog en epidemioloog EMGO (VU), en prof.dr. D.A.W.M. van der Windt, eerstelijnsepidemioloog (Keele University).

Als voorlopig hoogtepunt in deze reeks proeven van bekwaamheid, veelal al te welwillend beoordeeld door promotoren en leescommissies, promoveerde op 13 januari een heuse medisch specialist uit Groningen op de ‘integrative’ psychiatry’, een uit Amerika overgewaaid eufemisme waarmee alternatieve geneeswijzen de reguliere geneeskunde worden binnengesmokkeld. Bij Rogier Hoenders betreft dat vooral boeddhistische technieken, acupunctuur, Chinese en ayurvedische kruiden, ontspanning, spiritualiteit en desgewenst verwijzing naar genezers buiten zijn GGZ-centrum. De kern van de dissertatie wordt gevormd door drie artikelen die zijn gepubliceerd in het Journal of Alternative and Complementary Medicine, een blad waarvan hoofdredacteur dr. K. Jobst zowel homeopaat als acupuncturist is. Het is volgens zijn promotores en rector magnificus prof.dr. E. Sterken echter een regulier peer reviewed tijdschrift en die publicaties kunnen dus gewoon meetellen. Enkele weken voor de 13de januari ontving de Vereniging tegen de Kwakzalverij (VtdK) de uitnodiging om een van de hoogleraren uit haar bestuur te laten opponeren tijdens de promotie. Om vervolgens niet medeplichtig te worden aan de te kwader ure uit te reiken bul, zag het VtdK-bestuur daar van af. Het attendeerde de rector op de bedenkelijke kwaliteit van het proefschrift en verzocht om een herbeoordeling door een minder pro-alternatieve leescommissie.  Binnen twee dagen besliste Sterken dat het proefschrift aan alle eisen voldeed.

Promotores waren prof.dr. P. de Jonge, psycholoog met leeropdracht psychiatrische epidemiologie (Rijksuniversiteit Groningen) en prof.dr. J.T.V.M. de Jong, emeritus transculturele psychiatrie (VU). Zij zijn medeverantwoordelijk voor de forse knauw, die de reputatie van het doctoraat aan de Groningse universiteit met deze ernstige beoordelingsfout heeft  opgelopen. Als het Peerd van Ome Loeks nog had geleefd, dan zou het zich daarvoor alsnog dood geschaamd hebben.

Homeopathie tegen biggendiarree en wetenschappelijke integriteit

by 62 Comments

De Universiteit Wageningen (WUR) ziet geen reden om te kijken naar de mogelijke schending van de wetenschappelijke integriteit bij een artikel over de inzet van homeopathie tegen biggendiarree. Het inhoudelijke meningsverschil zou nog wel binnen de academische kaders van journal en peer review voortgezet kunnen worden volgens de WUR. En eigenlijk konden buitenstaanders sowieso niet klagen. Het gaat echter niet alleen om de inhoudelijke discussie, maar ook om de verantwoordelijkheid om fouten, waarvan de auteurs op de hoogte zijn, toe te geven en te corrigeren. Een artikel met kanjers van fouten blijft zo ongecorrigeerd voortbestaan en wordt door de homeopathielobby al jarenlang gebruikt voor hun propaganda. Ook de Nederlandse en Britse parlementen worden er nu mee lastiggevallen.

De biggenstudie

Het gaat om de biggenstudie die ik eerder op Kloptdatwel heb besproken in “Biggenstudie krijgt prijs: homeopaten blij met dode mus?” De auteurs van de studie zijn Irene Camerlink (toen nog masterstudent), Liesbeth Ellinger (homeopathisch dierenarts), Evert-Jan Bakker (Leerstoelgroep Wiskundige en statistische methoden, WUR) en Egbert Lantinga (Leerstoelgroep Farming Systems Ecology, WUR). Het artikel heeft als titel Homeopathy as replacement to antibiotics in the case of Escherichia coli diarrhoea in neonatal piglets (hier vrij toegankelijk) en er is ook een Nederlandse versie.
Heel in kort komt het er op neer dat ze zeugen voor de bevalling besproeiden met een homeopathisch verdunning van E.Coli (30K) en dat daarna bleek dat er bij de biggetjes die geboren werden veel minder diarree, veroorzaakt door E.Coli, voorkwam dan in een controlegroep.

Er zijn grofweg drie serieuze problemen met dit onderzoek,

  • de statistiek deugt niet: de significantie is op het verkeerde niveau berekend. Het aantal zieke biggetjes is vergeleken, terwijl die elkaar besmetten en het middel aan de zeug is gegeven;
  • de blindering deugt niet: de ‘Wageningse methode’ is gebruikt, dwz. twee sprayflacons, één met het middel en één met placebo, in plaats van 52 flacons, één voor iedere zeug;
  • de bacterie waar het om gaat is helemaal niet aangetoond: het enige sample dat getest werd, kwam negatief terug voor E.Coli.

In mijn eerdere stuk heb dit uitgebreider besproken. Voor een andere kritische bespreking, zie het blog van Kausik Datta: “homeopathy replacing antibiotic? Oy vey!“

Kwakzalver & Kar

In 2011 had ik met Camerlink over de (on)zin van dit soort onderzoek gecorrespondeerd. Met Ellinger raakte ik in het voorjaar van 2012 (dus na mijn ‘dode mus’-stuk) in discussie in de brievenrubriek van het blad Arts & Auto. Door sommigen wordt dat blad gekscherend ‘Kwakzalver & Kar’ genoemd, omdat er nogal eens een kritiekloos stuk over alternatieve gezondheidszorg in verschijnt. Zo’n stuk als dat van homeopathisch arts Michel de Sonnaville, waarin hij de loftrompet stak over de mogelijkheden van homeopathie bij ernstige infectieziekten en ook de biggenstudie aanhaalde (maart 2012). Dat leverde een ingezonden brief op, waarop De Sonnaville in een reactie met een ‘onderzoek’ van een Franse homeopaat over homeopathie tegen cholera op Haïti aan kwam zetten. Het opvoeren van homeopathie als iets dat tegen cholera zou helpen, schoot me in het verkeerde keelgat en ik klom in de pen om deze onethische praktijken aan de kaak te stellen. En passant deelde ik ook een sneer uit over die biggenstudie.
Vreemd genoeg (dacht ik) reageerde Ellinger op mijn brief, verontwaardigd dat ik haar biggetjesonderzoek als prutswerk verwierp. We wisselden nog een paar felle brieven uit. In de laatste brief gaf ze onomwonden toe dat die blindering in de biggenstudie inderdaad op die ondeugdelijke wijze was uitgevoerd. Wat later begreep ik dat De Sonnaville en Ellinger behalve collega’s ook  echtgenoten zijn, maar dat terzijde.

Wetenschappelijke integriteit

Gedurende deze brievenwisseling (die even duurde, omdat Arts & Auto een maandblad is) nam ik via e-mail contact op met Bakker (de derde auteur), van wie ik vermoedde dat hij (mede)verantwoordelijk was geweest voor de statistiek. Hij gaf toe dat ze al anderhalf jaar wisten van die statistische blunder. Ik denk dat ze de opmerkingen daarover van Jan Willem Nienhuys en mij hadden gelezen na mijn mailcontact met Camerlink. Bakker had overigens de data gekregen toen het onderzoek al was afgerond en was dus niet op de hoogte van de foutieve opzet (hij had er blijkbaar ook niet naar gevraagd). Hij gaf nog wel aan dat er met een correcte berekening toch nog een significant resultaat overbleef. Ik heb hem toen voorgelegd of hij zich niet verantwoordelijk voelde om op zijn minst een correctie te plaatsen, zeker nu hij wist dat er nog veel meer mee mis was. Daar kreeg ik echter geen reactie op. Dezelfde gewetensvraag stelde ik ook aan Lantinga, zonder daar een reactie op te krijgen.
Dat verstoppertje spelen en weglopen voor verantwoordelijkheid stoorde me. Dat wetenschappers af en toe een keer flink misgrijpen, kan ik begrijpen, maar om er dan niets aan te willen doen om het recht te zetten, vind ik geen beste zaak. Volgens mij zouden vooral Bakker en Lantinga zich iets moet aantrekken van deze problemen. Camerlink was nog student en Ellinger is zelfstandige, die kon ik ook moeilijk ergens op aanspreken via de WUR. Beide heren voeren de studie echter nog altijd op op hun publicatielijst (1, 2). Ik besloot daarom toch maar de stap te zetten naar de vertrouwenspersoon voor wetenschappelijke integriteit, misschien dat die wat beweging in de zaak kon krijgen. Zou de WUR zelf orde op zaken kunnen stellen?
Toen diende zich het eerste probleempje aan, nergens op de site van de WUR was te vinden bij wie ik moest zijn. Uiteindelijk vond ik uit dat ik bij professor dr. Bas Kemp zou moeten aankloppen. Ik stuurde hem alles, het artikel, mijn blog, de briefwisseling in Arts & Auto, de mailwisseling met Bakker en Lantinga. En om wat duidelijker te maken dat het mijns inziens van belang is dat er wat gebeurde, wees hem er ook op dat de studie regelmatig aangehaald werd door de homeopathielobby, richting de Minister voor Landbouw bijvoorbeeld. Kemp antwoordde dat hij het zou oppakken. Een week of zeven later, het was inmiddels half november 2012, kreeg ik antwoord. Niet van Kemp, maar van mr. Frans Pingen, hoofd van de juridische afdeling van de WUR:

Met dit schrijven wil ik u berichten dat uw reactie geen aanleiding geeft om onderzoek te doen naar de wetenschappelijke integriteit van de schrijvers van dit artikel. Uit uw reactie maken wij op dat u het (op onderdelen) niet eens bent met de inhoud van het artikel en dat u daarover uw ongenoegen tot uitdrukking brengt.

Inhoudelijke wetenschappelijke discussies worden niet op instellingsniveau gevoerd als zij geen schending van de wetenschappelijke integriteit betreffen. Wij willen u daarom adviseren om deze wetenschappelijke discussie binnen de academische kaders van journal en peer review voort te zetten.

Gedoe

Ik begreep hier weinig van. Had Kemp mijn brief zomaar doorgestuurd zonder er zelf inhoudelijk naar te kijken en contact op te nemen met de auteurs om te kijken of er wat te bemiddelen viel? Dat had ik namelijk verwacht. Kijk zelf maar eens hoe de rol van de vertrouwenspersoon in het Landelijk Model Klachtenregeling Wetenschappelijke Integriteit van de VSNU beschreven staat. Ik had Kemp voorgesteld om te kijken of ze het artikel niet beter zouden kunnen intrekken om het terug te brengen tot wat het in mijn ogen is, een minorscriptie met ernstige gebreken en zeker geen artikel dat thuishoort op de publicatielijst van serieuze wetenschappers. Toen ik die regeling nog eens goed bekeek, leken mij ook wat termijnen overschreden te zijn, maar dat boeide me niet zo. Wel wilde ik graag uitleg over deze beslissing en waarom ze zo makkelijk heen stapten over de eigen verantwoordelijkheid van de auteurs om de evidente fouten recht te zetten. ‘De wetenschappelijke discussie binnen de academische kaders van journal en peer review voortzetten’? Hoe zouden ze dat voor zich zien? Moet ik dan een ingezonden brief sturen naar Homeopathy (dat onlangs de enige serieus te nemen wetenschapper uit de editorial board mieterde)? En wie had nu eigenlijk de beslissing genomen om er niets mee te doen ? Ik vroeg Pingen dus maar hoe ze die hele klachtenregeling hadden toegepast en of ik ertegen in beroep kon gaan. Het antwoord dat kwam verbaasde me nog meer dan zijn eerste brief:

Op dit moment is er binnen Wageningen UR nog geen commissie wetenschappelijke integriteit ingesteld. Daartoe worden wel voorbereidingen getroffen. Tot die tijd wordt er al naar gelang de inhoud van een klacht binnen de organisatie bekeken hoe daarop te reageren.

Overduidelijk betreft uw grief jegens het door u aangehaalde artikel geen klacht die vatbaar is voor een onderzoek naar de wetenschappelijke integriteit van de auteurs. In eerdere mails geeft u aan kritiek te hebben op onderhavig artikel en dat u van mening bent dat het artikel teruggebracht zou moeten worden tot ‘wat die is: een minorscriptie met ernstige gebreken’.

en:

Zolang de klachtenprocedure wetenschappelijke integriteit voor derden en de commissie wetenschappelijke integriteit nog niet zijn geïnstitutionaliseerd binnen Wageningen UR, bestaat er geen enkele mogelijkheid voor de stichting Skepsis om bij Wageningen UR te klagen. Zou dit al wel de situatie zijn dan zou uw klacht open staan voor de commissie maar zal die op grond van het bovenstaande tot niet-ontvankelijkheid leiden. Nu er in casu geen enkele regeling van toepassing is komt er ook geen besluit waartegen u een bezwaarschrift kunt indienen.

Geen bezwaar mogelijk? Kan dat zo maar? Ik heb dat nog bij de secretaris van het Landelijk Orgaan Wetenschappelijke Integriteit (LOWI) voorgelegd. Net voor Kerst vorig jaar kreeg ik als antwoord dat het LOWI van mening was dat de WUR dat toch verkeerd zag. Het mocht wel degelijk als een besluit van het College van Bestuur gezien worden, waartegen beroep in principe mogelijk was, maar:

In het onderhavige geval gaat het om een wetenschappelijke controverse waar de wetenschappelijke discussie zich toespitst op het (ten onrechte) gebruiken van statistieken en het ontbreken van E. Coli en de noodzaak van (herhaal)proeven dienaangaande, en ten slotte de conclusies die op grond hiervan al dan niet getrokken kunnen worden. Zo een discussie hoort thuis in het wetenschappelijk forum en niet bij het LOWI noch bij het CvB van de WUR.

Ik ben het met deze visie volstrekt oneens. De fouten in het onderzoek zijn niet helemaal uit het artikel zelf te halen. En belangrijker: waarom worden de auteurs die aan de WUR zijn verbonden niet aangespoord om de fouten,  die bij hun inmiddels welbekend zijn, te corrigeren? Daar zijn allerlei manieren voor. Voor mijn part schrijven ze er een blog over. Als er maar iets komt waar je naar kunt verwijzen als de zoveelste homeopathische organisatie naar het onderzoek verwijst als ‘uitstekend onderzoek van een respectabele universiteit dat de werking van homeopathie bewijst’. En ik weet dus nog steeds niet of er ook maar één persoon met verstand van experimenteel onderzoek serieus heeft gekeken naar mijn bezwaren. Zelfs van Kemp weet ik dat niet, die liet ook niets meer van zich horen.

Toevallig was net twee weken eerder een interessante casus aan de Universiteit Utrecht naar voren gekomen. De betrokken onderzoekers trokken hun artikel terug, omdat ze een fout ontdekten die waarschijnlijk nooit door iemand anders zou worden opgemerkt als ze het zelf niet hadden gemeld. Dat is natuurlijk wel even slikken: “We realiseren dat terugtrekking kan leiden tot reputatieschade”, maar “toch vonden we het niet goed om niks te doen. Je moet als onderzoekers je verantwoordelijkheid nemen als er iets is misgegaan. Je wilt voorkomen dat andere onderzoekers je gaan citeren, of verkeerde keuzes maken als gevolg van dit artikel.” Dat lijkt mij een houding die toe te juichen is. Deze casus, die in mijn ogen aardig vergelijkbaar is met de biggenstudie,  legde ik de juristen van de WUR en het LOWI ook nog voor als lichtend voorbeeld, maar ik heb niets meer van ze vernomen.

Propaganda

En zo blijft er dus een onzinnig artikel staan zonder enige kanttekening vanuit de universiteit Wageningen. En het wordt nog regelmatig aangehaald. Soms in wetenschappelijke artikelen, maar minstens zo vaak in publiciteitsuitingen van de homeopathielobby. Het Britse Homeopathy Research Institute (HRI, “an innovative international charity created to address the need for high quality scientific research in homeopathy“) diende onlangs een stuk in bij de commissie  voor wetenschap en technologie van het Britse parlement. In het stuk pleit het HRI voor nader onderzoek naar de inzet van homeopathie in de veesector om het antibioticagebruik te verminderen en aldus het grote probleem van resistentie tegen te gaan. In het stuk wordt de biggenstudie opgevoerd als één van de  belangrijkste studies die nog niet eerder is gepresenteerd aan de commissies van het parlement: HRI submission to antimicrobial resistance inquiry published (zie ‘full text’ voor het ingediende stuk). Toevallig of niet, in ons land schreef op hetzelfde moment het Patiënten Platform Complementaire Gezondheidszorg samen met de Artsenvereniging Voor Integrale Geneeskunde een brief van vergelijkbare strekking aan de Tweede Kamer. Ook daarin wordt de biggenstudie aangehaald.
Zouden ze dat nu leuk vinden aan de WUR, deze aandacht voor die studie? Intussen hebben ze daar nu wel een Commissie voor Wetenschappelijke Integriteit ingesteld met nieuwe vertrouwenspersonen. Zelf heb ik er na al dit geneuzel niet zoveel trek meer in om het nogmaals te proberen. Ik troost me met de gedachte dat ik niet de enige ben die tegen dit soort problemen aanloopt. Wordt het niet eens tijd voor een onafhankelijke ombudsman voor de wetenschap?

foto titelpagina  Flickr:woodleywonderworks

Remt een groene omgeving kortetermijndenken?

by 18 Comments

Engels - UK vlag 30x24Wat zou je kiezen? 100 euro nu meteen of 110 euro over drie maanden? Met de lage rentes van de laatste jaren, lijkt het verstandiger om voor het hogere bedrag over drie maanden te gaan. In de praktijk nemen mensen echter vaker het snelle geld. Hoogleraar groeps- en organisatiepsychologie Mark van Vugt en zijn team aan de Vrije Universiteit Amsterdam probeerden uit te vinden of de omgeving waarin je deze vraag stelt, uitmaakt. Van Vugt : “Impulsiviteit en korte termijn denken zijn typisch menselijke eigenschappen. In ons onderzoek keken we of natuur die mechanismen in ons brein kon beïnvloeden.” (persbericht VU, 6 nov. 2013). 

Het onderzoek is gepubliceerd als: Do natural landscapes reduce future discounting in humans? Arianne J. van der Wal, Hannah M. Schade, Lydia Krabbendam, and Mark van Vugt (Proc R Soc B 2013 280: 20132295).

geld-bos-stad-fav-img640x198

Waarom zouden hun bevindingen ons moeten interesseren? De onderzoekers stellen in het persbericht:

Het effect van natuur op menselijk beslisgedrag is van belang bij het aanpakken van problemen zoals afvalproductie, klimaatverandering, en de explosieve bevolkingsgroei. Want juist strategieën en gedrag die zich slechts richten op de korte termijn, veroorzaken de huidige sociale en milieuproblemen. […] Om ervoor te zorgen dat mensen beslissingen nemen die minder schadelijk zijn voor zichzelf, hun omgeving of het milieu, kan de invloed van natuur dus belangrijk zijn. Een groot deel van de wereldbevolking woont in steden. Door manieren te zoeken om mensen in steden toch in contact te brengen met de natuur, kunnen we gedrag ten aanzien van bijvoorbeeld het milieu positief en wellicht structureel veranderen.

Dat zijn nogal grote woorden en ik denk dat die niet echt ondersteund worden door de resultaten van dit onderzoek, dat ziet er toch wat dunnetjes uit. Twee van de drie experimenten zijn ‘priming’-onderzoekjes van het soort dat de laatste paar jaar nogal onder vuur is komen liggen (zeker na de Stapelaffaire). Het grootste probleem dat ik heb met dat soort tests, is dat de onderzoekers denken te weten hoe hun ingreep uitpakt. Vaak wordt er bijvoorbeeld met afbeeldingen gewerkt, die verschillende specifieke effect bij de proefpersonen zouden moeten bewerkstelligen. Maar als je er wat kritischer naar kijkt, kun je die afbeeldingen vaak ook onderscheiden op heel andere kenmerken dan waar het in het onderzoek om zou moeten gaan.
Het derde experiment dat in het artikel beschreven wordt, lijkt daarom interessanter. Dit keer geen plaatjes van bossen als surrogaat voor een natuurervaring, maar de deelnemers werden daadwerkelijk op een wandeling gestuurd door het Amsterdamse Bos. Een andere groep moest het doen met de stedelijk omgeving van de Zuidas. Na vijf minuten wandelen, ontmoetten ze een onderzoeksassistent die ze verschillende taken voorlegde. Het meest in de media beschreven onderdeel heeft veel weg van een spelletje: eerst kregen de deelnemers de vraag waar hun voorkeur naar uitging, 100 euro nu meteen of 110 euro over 90 dagen. De deelnemers die voor de directe 100 euro gingen, kregen de vervolgvraag wat ze zouden kiezen als het latere bod verhoogd werd: 100 euro nu of 120 euro later. En dat werd zo voortgezet totdat het laatste bod op 170 euro lag.
Het idee achter deze opzet is dat mensen die kiezen voor het uitgestelde, maar hogere bedrag in het algemeen ook meer rekening houden met de lange termijn. In vaktermen noem je dit een temporal discounting game en het is veel gebruikt door andere onderzoekers. Maar hier was de uitvoering afwijkend en de onderzoekers hadden daar te weinig oog voor, denk ik. De hypothese was dat de groep die aan het bos werd blootgesteld eerder zou kiezen voor de uitgestelde hogere beloning, omdat … ja, dat is natuurlijk waar dit eigenlijk om zou moeten gaan. De onderzoekers gaan er vanuit (en dat zullen veel mensen ook wel plausibel vinden) dat die blootstelling aan een natuurlijke omgeving je meer bewust zou maken van de gevolgen van je beslissingen ook in de verderweg gelegen toekomst en dat je daarom eerder doordachte beslissingen zal nemen. Of zoals ze dat in het artikel verwoorden: ‘when people are exposed to scenes of natural landscapes their discount rates are lower compared with exposure to urban landscapes’.

De resultaten worden als volgt gegeven:

Confirming Hypothesis 1, participants in the nature versus urban condition showed a significant difference in temporal discounting (F1,41 = 5.41, p = 0.025, part. η2 = 0.12). In the nature condition, the individual indifference point of the participants was lower than that in the urban condition, with Mnature = 122.38 (s.d. = 16.40) and Murban = 135.45 (s.d. = 20.17). On average, we found a 10% reduction in future discounting in the nature condition versus urban condition (figure 3).

En in een grafiek weergegeven:

figure3

Deze presentatie van de cijfers is onnodig ingewikkeld. Waarom niet een eenvoudig tabelletje dat laat zien hoeveel deelnemers er uiteindelijk met welk bedrag vandoor gingen? Gelukkig zijn ook de data van dit onderzoek onder Open Access bij het artikel beschikbaar gesteld en kon ik dat tabelletje zelf maken:

De cijfers achter de grafiek hierboven.
De cijfers achter de grafiek hierboven.

Nu valt meteen iets vreemds op: zo te zien waren er twee deelnemers (uit de stadsgroep) die 180 euro wisten te scoren, maar het laatste bod zou ‘100 euro nu of 170 na 90 dagen’ geweest zijn. Ik vermoed dat het hier om twee slimme deelnemers ging, die doorhadden dat ze telkens een beter bod kregen als ze aan het snelle geld vasthielden (de 100 euro direct uitgekeerd). Het lijkt dan slim om een nog beter bod af te wachten. Helaas kwam het laatste bod met 170 euro eerder dan verwacht en ze grepen naast het hogere bedrag.
De onderzoekers vertellen dat dit ‘spel’ gebruikt is door andere onderzoekers (Wilson & Daily, Kirby et al.), maar die deden dat toch op een essentieel andere manier. In dit experiment was het laagste bedrag telkens 100 euro, terwijl die andere onderzoekers het lage bedrag ook lieten variëren. Een eerste bod van ‘100 euro nu of 110 later’ zou je dan kunnen laten volgen door ’85 euro nu of 102 euro later’. Dan zouden de deelnemers waarschijnlijk niet kunnen bedenken dat ze met wachten (telkens het lage bedrag kiezen) de grootste kans zouden hebben op een hoge opbrengst, zonder risico om lager dan die 100 euro uit te komen. Die ‘zekere’ 100 euro is sowieso al een fors bedrag, waarom dan niet een gokje gewaagd om een echte klapper te maken?
In de berekening van de gemiddelden is de bijdrage van deze twee deelnemers meegenomen als 180 euro, maar dat slaat dus nergens op (misschien een codeerfoutje?). Als je het als een spelletje beschouwt, moet je hun score op 100 euro zetten. En anders weet je gewoon niet op welk moment ze voor het hogere, uitgestelde bedrag waren gegaan; dat het bieden ophield bij 170 euro is tamelijk willekeurig. De gemiddelden hebben daarom ook geen echte betekenis en er conclusies uit trekken, kan volgens mij niet, laat staan er met statistische tests een serieuze vergelijking tussen de twee groepen op baseren. Toch zou je wel wat met de resultaten kunnen doen als je er wat voorzichtiger mee omgaat. Het spelaspect kun je waarschijnlijk wel negeren als je alleen naar de eerste vraag kijkt (‘100 euro nu of 110 euro na 90 dagen’). Dan zie je nog steeds een significant verschil:4 van de 22 deelnemers in de stad kozen voor de uitgestelde beloning tegen 11 van de 21 deelnemers in de natuur (Fisher’s exact test: p=0.02).

Er is echter wel meer aan te merken. Wetenschapsjournalist Elmar Veerman (via wie ik hierop stuitte) schreef een leuk kritisch artikel op Wetenschap24 over dit onderzoek. Hij vraagt zich onder meer af of je niet veel eerder het vertrouwen meet dat de deelnemers hebben in degene die hun het geld aanbied, dan die toekomstgerichtheid. Ook merkt hij op dat het vreemd is dat er geen verschil werd gevonden tussen de deelnemers die opgegroeid waren in stedelijke of natuurlijke omgeving. Het zou dan om een beïnvloeding gaan die maar kort aanhoudt, wat enigszins merkwaardig lijkt als de verklaring van het effect volgens de onderzoekers zou kloppen.
Een ander punt, dat door Van Vugt wel onderkend wordt, is dat de natuurlijke conditie in dit geval wel een heel vriendelijk karakter had. Wat zou het resultaat zijn als je hetzelfde experiment zou uitvoeren met deelnemers die net door de woestijn hebben gelopen, of in een omgeving waar wilde dieren voorkomen? En in hoeverre was het van belang dat het om natuur gaat? Wat als je die deelnemers in een gezellig pittoresk stukje Amsterdam had laten rondwandelen?

Ik heb hier maar naar één van de experimenten in detail gekeken [update 15/11/2013: intussen geconstateerd dat met de data van experiment 1 hetzelfde mis aan de hand is], dus zal ik geen oordeel vellen over het artikel als geheel. Wel is er dus minstens één punt dat opgepakt moet worden door de auteurs, die vergelijking tussen de twee groepen in experiment drie deugt gewoon niet. Op zich heb ik niet zoveel bezwaar tegen dit soort onderzoekjes, maar ik stoor me wel aan de betekenis die toegekend wordt aan de resultaten. De onderzoekers gaan zelf al ver in hun artikel, maar het persbericht van de universiteit is helemaal ‘over the top’. Er wordt veel meer toegeschreven aan het onderzoek dan wat verantwoord is op basis van wat de wetenschappers laten zien. Maar die overtrokken weergave wordt wel gekopieerd door bijna alle media die aandacht geven aan dit onderzoek.

Van Vugt mocht het onderzoek ook in het radioprogramma Labyrint toelichten: ‘Stedelijk impulsiviteit’

“De grenzen van de wetenschap” – het Denkgelag

by 10 Comments

Op 17 oktober debatteerden vooraanstaande denkers Daniel Dennet, Massimo Pigliucci en Lawrence Krauss in Gent over ‘De grenzen van de wetenschap’. Dit debat was georganiseerd door Het Denkgelag en hier op Kloptdatwel plaatsten we er eerder een aankondiging voor. Iedereen die daar niet bij kon zijn, kan het debat nu alsnog bekijken. 

Moderator van het debat is overigens Maarten Boudry, die onlangs met Pigliucci het boek ‘Philosophy of Pseudoscience‘ samenstelde.

Het is nogal een zit om de bijna twee uur achter elkaar uit te kijken. Het volgende lijstje met onderwerpen (en de starttijden) die aan de orde komen, kan daarom helpen om meteen naar stukken te springen die je het meest interesseren:

00:00 Introduction
07:07 Limits of Science
19:40  God & the Supernatural
31:20  Science & Morality
50:11  Something out of Nothing
1:03:42  The Value of Philosophy
1:20:59  Cognitive Limits
1:35:43  Questions:
– 1:35:56 Science & Politics
– 1:43:33 The Status of Economics
– 1:48:17 Does Consciousness Exist?

1:55:00 Credits

Schrijf de minister: registreer alle klinische onderzoeken!

by 4 Comments

De website AllTrials.net heeft als doel om alle klinische onderzoeken (op zijn minst) geregistreerd te krijgen en kan daar wel wat hulp bij gebruiken. Daarom riepen ze onlangs iedere EU-burger op een brief te schrijven naar hun respectievelijke minister van Volksgezondheid:

If you live in an EU member state we need your help this week. Will you write to your country’s health minister to ask your Government to support the good progress towards clinical trial transparency in the draft Clinical Trial Regulation in debates in Europe next month.

Thanks to the letters you sent to MEPs last May some very good additions were made to the draft Regulation. These new parts of the law would mean that all clinical trials taking place in Europe would have to be registered and summary results published within a year of its ending. We need to make sure that these additions make it into the final law, and we don’t have much time as the next stage of the process starts in the first week of November.

The next stage is a series of ‘trilogue’ discussions between the European Parliament, Commission and Council. We understand that the European Council hasn’t decided its position yet. The Council is made up of representatives of all of the individual Governments of European countries so your Government’s position is very important. There’s no time to lose – please write to your health minister this week and urge them to support the good additions to the Clinical Trials Regulation.

(Dikgedrukt door auteur)

Hieronder vind je een voorbeeld van een brief die je kan sturen inclusief welke specifieke amendementen je wil dat de overheid steunt. Op de website van het Europees Parlement kan je de amendementen nalezen.

Aan Hare Excellentie, de Minister van Volksgezondheid, Welzijn en Sport,

Mevrouw Drs. E.J. Schippers

Postbus 20350
2500 EJ Den Haag

Onderwerp: Voorstel tot een EU-verordening voor klinisch geneesmiddelenonderzoek (2012/0192, COD)

Geachte mevrouw Schippers,

Met deze brief verzoek ik u en de Nederlandse regering met klem de hieronder genoemde voorgestelde wijzigingen in de Europese wetgeving met betrekking op klinische studies te steunen. De wijzigingsvoorstellen beogen dat de resultaten uit klinische studies beschikbaar gemaakt worden voor onderzoekers en artsen. Slechts 50% van de klinische studies wordt momenteel gepubliceerd – met als gevolg dat artsen en onderzoekers niet weten op wat voor bevindingen ze hun behandelingswijze nu eigenlijk baseren. Een dergelijk gebrek aan kennis kan leiden tot slechte behandelbeslissingen, gemiste kansen op goede medicatie en het onnodig herhalen van onderzoek. Alle klinische testen dienen daarom te worden geregistreerd, en de resultaten moeten bekend gemaakt worden.

De specifieke amendementen die ik u wil verzoeken te steunen betreffen:

Amendement 191, dat inhoudt dat klinische studies moeten worden geregistreerd voor aanvang van de studie;

Amendementen 30 en 250 welke inhouden dat de data in klinische studies niet geacht wordt commercieel vertrouwelijk te zijn. Deze amendementen zorgen ervoor dat commerciële overwegingen nimmer zwaarder wegen dan het belang van publiek gezondheidsonderzoek;

Amendement 193 en 253 welke inhouden dat de resultaten van een klinische proef openbaar worden gemaakt, indien een rapport van deze klinische studie is opgetekend.

Bij voorbaat dank,

[NAAM]
[ADRES]

Klik op deze link voor de brief als Word-document: AllTrials-voorbeeldbrief