• Skip to primary navigation
  • Skip to main content
  • Skip to primary sidebar

Kloptdatwel?

  • Home
  • Onderwerpen
    • (Bij)Geloof
    • Columns
    • Complottheorieën
    • Factchecking
    • Gezondheid
    • Hoax
    • Humor
    • K-d-Weetjes
    • New Age
    • Paranormaal
    • Pseudowetenschap
    • Reclame Code Commissie
    • Skepticisme
    • Skeptics in the Pub
    • Skeptische TV
    • UFO
    • Wetenschap
    • Overig
  • Skeptisch Chatten
  • Werkstuk?
  • Contact
  • Over Kloptdatwel.nl
    • Activiteiten agenda
    • Colofon – (copyright info)
    • Gedragsregels van Kloptdatwel
    • Kloptdatwel in de media
    • Interessante Links
    • Over het Bol.com Partnerprogramma en andere affiliate programma’s.
    • Social media & Twitter
    • Nieuwsbrief
    • Privacybeleid
    • Skeptisch Chatten
      • Skeptisch Chatten (archief 1)
      • Skeptisch Chatten (archief 2)
      • Skeptisch Chatten (archief 3)
      • Skeptisch Chatten (archief 4)

Wetenschap

De zaak-basrakarekiet

10 January 2020 by Pepijn van Erp 68 Comments

Malafide gebruik van procedures voor wetenschappelijke integriteit, of een volhardende poging de wetenschappelijke literatuur te ontdoen van een frauduleuze studie?

In januari 2019 schreef Harald Merckelbach in zijn maandelijkse NRC-column over pogingen van lobbyisten om wetenschappers te muilkorven door ze lastig te vallen met klachten bij hun universiteit. Het inspireerde de KNAW een symposium te organiseren over misbruik van de procedures voor wetenschappelijke integriteit die elke universiteit heeft ingesteld, en hoe daar mee om te gaan.

De zaak-basrakarekiet 1
Artikel in het universiteitsmagazine Observant (Maastricht University)

Wat opvalt in het verslag van het symposium, dat plaatsvond op 25 november, is dat de aanwezigen maar één concreet voorbeeld lijken te kennen: een bioloog die jan en alleman zou stalken met een ‘onsamenhangend verhaal’ over een studie naar de basrakarekiet die moet worden ingetrokken. Sommigen spreken zelfs hun vermoeden uit dat hij kampt met psychiatrische problemen.
Dat deze klager erop uit is onwelgevallig onderzoek te frustreren, waar het in de column van Merckelbach om draaide, blijkt nergens uit. En ook nergens vraagt de verslaggever voor Observant zich af of deze persoon misschien toch ergens een punt heeft. Aan wederhoor was blijkbaar niet gedacht.

Die omissie maken we goed hier op Kloptdatwel. Ik interviewde de klager, Klaas van Dijk geheten, telefonisch op 3 januari.


Bruin vogeltje

Als ik het goed begrijp, gaat het in deze kwestie eigenlijk om één artikel uit 2013 over een vogeltje dat voorkomt in Irak. Waar gaat die studie precies over en wat is het belang ervan binnen het vakgebied?
Het gaat om een studie naar het broedgedrag van de basrakarekiet en een korte reactie van de auteurs op een commentaar daarop, twee jaar later. In Nederland heb je soorten als de merel, de koolmees en de wilde eend, waar veel studies naar alle mogelijke aspecten van de broedbiologie zijn uitgevoerd. Wanneer beginnen ze te broeden? Hoeveel eieren leggen ze? Zijn ze monogaam of polygaam? In Nederland werden er al honderd jaar geleden uitgebreide studies gedaan naar koolmezen, in nestkastjes. Daar kun je gewoon met de fiets langs.

Elders is zulk onderzoek vaak veel beperkter. Bij deze soort, die alleen maar in Irak broedt, was er eigenlijk helemaal niets over bekend. Alleen wat losse mededelingen en een paar foto’s.
En dan verschijnt er plotseling een studie die gebaseerd is op duizend nesten, en een paar honderd gevallen die gaan over polygamie. Dan kun je best zeggen dat het een groundbreaking study is. Niet dat die soort niet bekend was, maar van heel veel basale details van de broedbiologie wist men niets.

De zaak-basrakarekiet 2
Basrakarekiet bij zijn nest (foto: Mudhafar Salim)

Als we het vertalen naar een Nederlands context moeten we dan inderdaad aan een koolmeesje denken, een alom bekende vogel?
Nee, ook in Irak is het een onbekende vogel, maar het uitzonderlijke is dat hij bijna uitsluitend in rietmoerassen in het zuiden van Irak broedt. Omdat het een soort is die maar op één plek broedt en waar er niet veel van zijn, kan zo’n soort uitsterven. Er zijn internationale afspraken die bepalen dat je de schaarse onderzoektijd inzet voor soorten die bedreigd zijn. En dat is deze basrakarekiet, want die komt op maar een heel beperkt aantal plekken voor. Hij heeft een speciale status, eigenlijk al vanaf het moment dat hij goed beschreven werd.

Bij ons broeden vergelijkbare vogels in grote rietgebieden als de Oostvaardersplassen of de Biesbosch. Denk aan de kleine en grote karekiet, de rietzanger en de bosrietzanger. Dat zijn gewoon hele vage bruine vogeltjes, die je moeilijk uit elkaar kan houden.

Die studie, waarvan de Irakees Omar Al-Sheikhly de eerste auteur is, is frauduleus volgens jou en flink wat medestanders. Wat zijn de aanwijzingen daarvoor?
De belangrijkste aanwijzing is dat de ruwe data er niet zijn. Op verzoeken om inzage wordt ofwel niet gereageerd, of er komen dreigingen. Nou, dan weet je al bijna zeker dat er wat mis is.
Het tweede is dat als we het hebben over polygamie, dan staat daar de volgende zin in het artikel “Males are often polygynous (42.9%, n=317 observed males)”. Het is maar een zinnetje, maar in de wetenschap gaat het altijd om nuances en om precisie. Zo’n percentage moet je kunnen onderbouwen.
Als je iets wilt zeggen over polygamie, dan moet je natuurlijk wel weten wie man is, en wie vrouw. Klinkt heel simpel. Bij mensen kun je het zo zien, maar hoe zit dat bij vogels? Bij de wilde eend is het makkelijk, want hun verenkleed verschilt. Dat is niet het geval bij rietzangerachtigen. Je hebt ook soorten waarbij je ze op grootte uit elkaar kunt houden. Kan hier ook niet. Dus hoe wil jij het bepalen bij de basrakarekiet, zo’n bruin vogeltje?

Dan moet je ze bijna vangen.
Precies. Dan moet je de vogels vangen en geef je ze verschillende kleurringen om de poten, een individuele kleurencode. Dan weet je dit is er eentje met rood-wit-blauw en daarmee kun je ‘m volgen in het veld, en op grond van het gedrag de mannetjes en vrouwtjes uit elkaar houden. Tegenwoordig kun je het geslacht na het vangen overigens ook heel makkelijk met DNA bepalen, maar dan moet daar materiaal van zijn en dat is er ook niet.
Het volgen kost heel veel tijd, maar het is te doen. Dan zie je bijvoorbeeld: ‘hé, deze man zit nu bij deze vrouw, maar eerder zat hij bij een vrouwtje met andere kleuren.’ Van dat soort veldonderzoek moeten ruwe gegevens zijn. Die zijn er dus niet.

De zaak-basrakarekiet 3
Rietmoeras in Zuid-Irak (foto: H. Janali, U.S. Army | Wikimedia Commons)

Foute boel

Bij het verschijnen van het artikel dachten een aantal mensen dat deze studie te mooi was om waar te zijn, ze vroegen om de data en die werden niet gegeven. Ging het zo?
Dat beestje broedt in de grote moerassen van Irak. Sadam Hoessein heeft geprobeerd om een groot deel daarvan droog te leggen. Dat is bijna vergelijkbaar met het pogen om de Waddenzee droog te leggen, een desastreuze activiteit.
Goed, op een gegeven moment is Hoessein verdreven en werd Irak weer wat toegankelijker. Toen zijn er herstelprojecten op gang gekomen. De eerste stap is dan om vast te stellen wat er allemaal zit aan soorten. Vanuit Westerse landen zijn er samenwerkingsprojecten geweest om dat vast te stellen. De Britse ornitholoog Richard Porter was daar vanuit Birdlife International bij betrokken. Omar Al-Sheikhly was een van de veldmedewerkers die hij had getraind.
Die samenwerking duurde een aantal jaar, ongeveer tot 2008, en dan verschijnt in 2013 plotseling die studie in een wetenschappelijk tijdschrift. Porter had meteen door dat er iets niet klopte.

Terwijl hij misschien eerder had gedacht dat als er een studie verschijnt van de mensen die hij heeft opgeleid ‘hé wat leuk, ben benieuwd wat ze gedaan hebben.’
Porter heeft er ook heel veel moeite ingestoken om die mensen te bewegen hun waarnemingen op papier te zetten. Hij wist ook precies wat deze Al-Sheikhly in huis had, een uitstekende fotograaf. Indertijd heeft hij ook een klein artikeltje gepubliceerd, met het idee dat er bijna niets over deze soort bekend was en dat hij nu in ieder geval mooie foto’s had. Maar dan verschijnt er jaren later ins Blaue hinein die nieuwe studie van hem.

Porter heeft vrij snel een brief gestuurd naar de redactie van het tijdschrift met de redenen waarom het niet kon kloppen. En toen ontstonden de problemen eigenlijk, want de hoofdredacteur van het tijdschrift heeft nooit en te nimmer willen toegeven dat hij een enorme blunder heeft gemaakt.
Na enorm veel vijven en zessen, zo’n anderhalf jaar later, is er uiteindelijk een reactie geplaatst van Richard Porter, die hiervoor een hele zwik medeauteurs om zich heen had verzameld waarvan je kunt zeggen dat het om de crème de la crème gaat van iedereen die iets weet van de basrakarekiet.

Het is duidelijk niet zomaar een clubje ornithologen dat achter de kritiek staat, maar zijn er ook wetenschappers die deze studie wél de voorkeur van de twijfel zouden geven?
Nul.

Waarom is er wel die discussie in het tijdschrift over geweest, is er een Expression of Concern bij het artikel geplaatst, maar is het daarbij gebleven? Waarom is het artikel toen niet ingetrokken?
Die Expression of Concern is pas gekomen nadat ik in 2016 een rapport heb gepubliceerd.

O, die is dus van later? Dus van ná die reactie van Porter, het weerwoord van Al-Sheikhly en een rejoinder weer van Porter? Dat staat er helemaal niet in uitgelegd.
Eerst is er anderhalf jaar lang in stilte geprobeerd de kwestie op te lossen. Dat ging buitengewoon moeizaam. Het was een heel geworstel om uiteindelijk die drie stukken gepubliceerd te krijgen. In het voorjaar van 2015 is het daarna in brede kring in de ornithologische gemeenschap bekend geworden. En toen ben ik erbij betrokken geraakt.

Ik vond dat we ons moesten concentreren om de ruwe data boven tafel te krijgen. Daar draait het altijd om. Tot dan toe hadden ze zich daar nog niet zo in vastgebeten. Op basis van andere dingen wij wel boven tafel hebben gekregen, is dat rapport geschreven dat op 1 juli 2016 is uitgekomen, en die Expression of Concern is daarop gebaseerd. De uitgever wil die link alleen niet leggen.

De zaak-basrakarekiet 4
Het artikel waar het om draait. (link)

Die Expression of Concern is uiteindelijk wel geplaatst door de Editor in Chief?
Dat weet ik niet. Het probleem is dat vrij vlot de uitgever, Taylor & Francis, heeft gezegd: wij communiceren niet. En de hoofdredacteur heeft nog veel eerder gezegd dat hij niet meer communiceert hierover: ‘ik sta op het standpunt dat we een nette wetenschappelijke discussie hebben gevoerd, via dat comment en die rejoinder, en die is wat mij betreft nu afgesloten. Punt.’ En op het verzoek om de ruwe data reageert hij gewoon niet.

Voor dat rapport ben ik behoorlijk tot de bodem gegaan bij de uitgever met mijn verzoek om de ruwe data. Ik heb behoorlijk stevig aan de bel moeten trekken. Maar ik heb een antwoord gekregen, essentieel voor dat rapport.

En dat antwoord was?
Nou, dat ze de data niet hoeven te geven, want dat staat niet in de regels van het tijdschrift. En verder ‘We reageren nooit meer op je. En de manier waarop jij ons benaderd hebt, dat slaat helemaal nergens op.’ Terwijl ik dus iets minder dan een jaar nodig heb gehad om dat simpele antwoord te krijgen op mijn vraag die gewoon luidde – en dat is de essentie van wetenschap – ‘Show me the data’. Zodra er twijfels zijn over studies, in welk vakgebied dan ook, dan moet je terug naar de gegevens.

Het probleem had op dat moment makkelijk opgelost kunnen zijn als die data waren getoond. Dan kan er nog wel iets mis zijn met de gegevens, maar dat hoeft nog niet te wijzen op kwade opzet.
Nee, natuurlijk niet.

Goed, dus Taylor & Francis, een van de grootste uitgevers, weigert jouw verzoek nogal bot en stelt eigenlijk ook dat het onderzoek wel in orde is. Of we ze maar op hun blauwe ogen willen geloven.

Hogerop

Daarna hebben jullie bij het Committee on Publication Ethics, COPE, aangeklopt. Of stond jij vanaf nu alleen hierin?
Toen het allemaal naar buiten kwam in 2015 zijn we gaan samenwerken en hebben verschillende wegen bewandeld om die data los te krijgen. O.a. bij de universiteit van een van de auteurs, bij de uitgever en bij de hoofdredacteur. Vrij vlot werd duidelijk dat de uitgever niet wenste samen te werken en toen hebben wij COPE benaderd. Zo van ’Beste COPE, dit zijn volgens ons de argumenten dat het allemaal niet klopt. En de uitgever, lid van jullie club, weigert met ons samen te werken. Daarom dienen wij een klacht bij jullie in.’

Dat is toen vrij snel in de soep gelopen, omdat COPE weigerde op een inhoudelijke manier naar onze kritiek te kijken en weigerde iets te doen met ons verzoek om inzage te krijgen in de data. Ze gingen mij wel dreigbrieven sturen.

Tot zover kan ik me jullie stappen nog goed indenken. Eigenlijk zou je willen dat die hoofdredacteur adequaat optreedt, die weigert om een of andere reden. Dan ga je een trapje hoger en klop je aan bij de uitgever. Die blijkt ook lastig te doen, en dan is er nog zoiets als COPE. Maar als COPE dan ook niets wil, zouden veel mensen het er maar bij laten zitten, denk ik. Waarom nu toch doorgegaan?
Wij zijn toen een hele tijd wat gescheiden bezig geweest. Ik heb me gefocust op het verkrijgen van die ruwe data, terwijl Richard Porter en anderen achter de schermen alsnog in gesprek probeerden te komen met die uitgever. Dat liep voor geen meter. Achter de schermen zijn er ook gesprekken gevoerd met Al-Sheikhly.

Tot zover krijg ik nog niet de indruk van iemand die op een kruistocht is en daarbij alle perken te buiten gaat. Het is al uitzonderlijk dat iemand zoveel moeite neemt, maar het valt nog binnen wat je de normale procedure zou kunnen noemen.
Ik denk dat het corrigeren van fouten een van de cruciale dingen is van wetenschapsbeoefening. Je kunt wel eindeloos doorgaan met het publiceren van nieuwe dingen, die stapel steeds maar hoger maken. Maar je moet ook altijd zorgen dat dat bouwwerk, waar al die nieuwe blokjes bovenop komen, stevig is. En als daar een rot stuk tussen zit, dan moet dat gewoon weg. Kun je wel zeggen dat dat allemaal niet zo vervelend is, niet belangrijk is, maar uiteindelijk stort je bouwwerk dan in elkaar.

Die motivatie komt niet duidelijk uit de berichtgeving naar voren. Ook niet dat je je niet als eenling druk maakt over deze studie. Je maakt dus sterk voor het opschonen van de wetenschap. Die moet ontdaan worden van duidelijk foute studies.
Daar zijn wel meer mensen mee bezig. Kijk naar de kwestie rond voedselwetenschapper Brian Wansink. Hoeveel tijd hebben mensen daar niet ingestoken? En je hebt in Frankrijk Nicolas Guéguen. Ik ben nu via een achterdeurtje bezig met het gedoe rond Ad van Liempt. Hoeveel tijd denk je wel dat Bart FM Droog er wel niet in gestopt heeft? Dat kost gewoon heel veel tijd. En die hebben de meeste mensen niet, of die stellen andere prioriteiten.

Lastigvallen

Even terug naar waarom dit zo’n beladen kwestie is geworden. Zelf ontving ik een aantal van je mails als cc, heb ook een enkel verontwaardigd antwoord van een geadresseerde gezien. Zonder in de details te treden, lijkt me die verontwaardiging er vooral in te liggen dat jij personen aanspreekt op hun verantwoordelijkheden die ze hebben op grond van hun functie, bijvoorbeeld een bestuurslidmaatschap van COPE. Wanneer ze dan niet of nauwelijks reageren, werp je ze voor de voeten dat ze in feite instemmen met wat die organisatie doet of, vooral, nalaat te doen.
Dat klopt. Ik kan veel doen, omdat ik van niemand afhankelijk ben. Waar dit mee te maken heeft is machtsmisbruik. Ik wijs alleen op de Nederlandse gedragscode wetenschapsbeoefening. Daar staat gewoon zwart op wit in dat jij een zorgplicht hebt ten aanzien van de wetenschap in zijn algemeen en de onderzoekers in je omgeving. Wangedrag van collega’s toelaten en verheimelijken is een van de acht voorbeelden van schending van de wetenschappelijke integriteit. Dat kun je leuk vinden of niet leuk vinden, maar dat staat er gewoon in.
In de preambule van die gedragscode staat dat die ook bedoeld is om er elkaar op aan te spreken. Als een of andere pipo, een mister nobody, dat doet, vinden ze dat niet leuk. Dat is het hele eiereneten.

COPE heeft een probleem om door te pakken tegen Taylor & Francis. Je kunt gewoon nazoeken dat die uitgever zo’n 50.000 pond per jaar moet betalen om lid te zijn. Hoe meer tijdschriften een uitgever uitgeeft, hoe meer geld die moet betalen. Dus als COPE zou zeggen tegen Taylor & Francis ‘we gaan jullie bestraffen’ dan stoppen die gewoon met betalen.
Ik kan niet bewijzen dat het zo werkt, maar het is wel zo dat er veel meer voorbeelden zijn van mensen die bij COPE hebben aangeklopt en gewoon met een kluitje in het riet worden gestuurd.

Dat ‘met een kluitje het riet insturen’ zou je kunnen zien als ‘wegkijken’ voor het echte probleem.

Sneeuwbaleffect

Het Landelijk Orgaan Wetenschappelijke Integriteit (LOWI) schrijft over een van jouw klachten: “Klager toont een gedragspatroon met een sneeuwbaleffect: Klager dient een klacht in over persoon of instantie X, waarna de behandeling van die klacht door persoon of instantie Y regelmatig leidt tot een nieuwe klacht van Verzoeker, maar dan over persoon of instantie Y, enzovoort.”
Waar ze het hier over hebben is een oude kwestie, die overigens helemaal opgelost is via bemiddeling. Maar daar gebeurde  exact hetzelfde wat nu ook gebeurt, namelijk het in grote mate verwijzen naar elkaar of niet reageren. En daar neem ik geen genoegen mee.

Zo’n gedragspatroon is misschien hinderlijk, maar je doet daarmee nog geen uitspraak of de klacht, en de opvolgende klachten, een grond hebben of niet. LOWI doet voorkomen alsof zo’n sneeuwbal aan klachten op zichzelf al bewijst dat de klager fout zit, ongeacht waar de klacht om draait.
Dat is dus wegkijken. En dat is een heel groot probleem. Niet voor mij, maar voor hen. Zodra ze hiermee één op één geconfronteerd worden, zullen ze bakzeil moeten halen als je ze precies aanspreekt op wat ze verplicht zijn te doen volgens die gedragscodes. Daar kun je niet mee wegkomen.

Ik kan me voorstellen dat het lastig is dat je aangesproken wordt op een verantwoordelijkheid die je zelf misschien meer als een abstractie ziet. Als ik nu een directe collega heb waarvan ik zie dat die de boel flest, OK, daar moet ik wat mee. Maar als ik lid ben van een bestuur van een hoog orgaan dat een beetje kletst over wetenschappelijke integriteit en er komt iemand klagen over een studie waar al een Expression of Concern bij staat … tja, daar kun je me toch niet op aanspreken?
Zorgvuldig wordt vermeden in al die stukken om het over de inhoud te hebben, en over ons simpele verzoek om een uitspraak te doen over die ruwe data. En zorgvuldig vermijden ze zelfs maar te verwijzen naar het uitvoerige rapport dat ik verspreid heb. Dat is niet voor niks.

Los daarvan heb ik ook wel gesprekken gevoerd of e-mailcontact gehad met vertrouwenspersonen die wel weten hoe het moet werken. Echt integere mensen. Dat is helaas lang niet altijd zo. Dat komt omdat er in die hele wetenschappelijke integriteit weinig tegenspraak aanwezig is.

Als je bijvoorbeeld kijkt naar een gemeente. Zodra die besluit om een boom om te hakken, zijn er wel boze inwoners waar je rekening mee moet houden, die zijn mondig en weten de pers te vinden. Dat systeem werkt nog niet goed bij wetenschappelijke integriteit, daar is men dat nog niet gewend. Daar zie je nog veel machtsmisbruik: ‘Ik ben de grote baas, en wie ben jij wel niet? Weg met die klacht!’

Intrekken

Hoe zou deze kwestie nu nog op enigszins bevredigende manier kunnen worden afgesloten? Is intrekking de enige mogelijkheid? Zoiets lijkt alleen te gebeuren als het stuk zelf overduidelijk fout is, of als de instelling waar de frauderende auteur aan verbonden is, dat verzoekt.
Er zijn drie manieren. Er zijn goede redacties, die van de Journal of Biological Chemistry is misschien wel het beste voorbeeld. Zodra ze merken dat er iets niet klopt, dan is het ‘Beste auteurs kom op met een steekhoudende verklaring of de data.’ En als het dan vaag blijft, is het hop, weg met het artikel, retraction.

Auteurs en coauteurs kunnen zelf het initiatief nemen. Het kan goed zijn dat een coauteur niet wist dat het onderzoek deels op fraude is gebaseerd. Maar dan verwacht je dat zo iemand aan de gang gaat om zijn fouten te verbeteren zo gauw hij daarvan op de hoogte is.
Een voorbeeld daarvan is net in het nieuws gekomen. Nobelprijswinnaar Frances Arnold heeft een studie uit 2019 ingetrokken, omdat de resultaten niet reproduceerbaar bleken en de experimenten niet netjes waren vastgelegd. Arnold heeft exact gedaan wat je in zo’n kwestie moet doen. Het onderzoek moet in een labboek staan, als dat er niet is of er ontbreken data, dan heb je maar één optie.

De Saoedische tweede auteur van Al-Sheikhly(2013) is inmiddels overleden. Het is maar de vraag of hij heeft geweten wat er allemaal gebeurd is. Opvallend is ook dat de exacte naam van zijn universiteit zoals die in het artikel staat, helemaal niet bestaat in Saoedi-Arabië. Richard Porter en anderen hadden Omar Al-Sheikhly al zover gekregen om hem het artikel te laten terugtrekken. Toen stak echter de Italiaanse coauteur een stok tussen de deur, die wil dat niet.

Ook een universiteit kan om intrekking verzoeken. In de Nederlandse situatie geldt dat als er een affiliatie van een universiteit staat bij een artikel, dat die universiteit daarvoor verantwoordelijk is en dat blijft in principe voor altijd zo. Wij hebben die weg proberen te bewandelen bij de universiteit van Pisa, waar die Italiaanse onderzoeker aan verbonden is. Maar zelfs met collega’s als tussenpersoon wilde hij niet reageren. Ik heb in 2017 een klacht ingediend, heel netjes, mooi formeel. Geen reactie.

Recht op klagen

De aanleiding voor dit gesprek is het verslag van dat symposium. Daaruit haal je als lezer uit dat jouw strijd een voorbeeld is van hoe je het klachtrecht niet zou moeten gebruiken, dat het een malafide klacht zou zijn.
Dat is machtsmisbruik. Je kunt niet zomaar eenzijdig besluiten iemand het recht ontnemen om dit soort dingen aan de kaak te stellen. Dat hebben ze gedaan. Ik zit daar niet zo erg mee. Het laatste woord is er nog niet over gezegd.

Het enige voorbeeld dat de deelnemers van de workshop naar voren weten te brengen, is jouw casus. Alsof die zou draaien om het belemmeren van onderzoek.
Al die dingen zouden opgelost zijn als al die mensen eens rustig dat rapport hadden doorgelezen en hadden gereageerd met ‘ja inderdaad, ik weet er weliswaar niet veel van, ben geen ornitholoog, maar die ruwe data is een probleem en het ziet er toch wel heel erg naar uit dat dit op fraude is gebaseerd.’ Dan was er niets aan de hand geweest, maar dat doen ze niet.

Dat COPE, zegt u, blijkt toch een wassen neus. Het is natuurlijk prima als uitgevers samen een orgaan opstarten om over integriteitskwesties te overleggen, maar er is geen onafhankelijke instantie daarnaast waar je echt kunt aankloppen?
Het is prima dat ze richtlijnen maken. Ze hebben principes, maar ze worden boos als je ze op die principes wijst. Dat komt toch weer voort uit het grote machtsverschil.
In Nederland hebben we het voorbeeld van het stikstofdossier. Daar werden op politiek niveau enorme machtspelletjes gespeeld. Het moest en zou op een bepaalde manier erdoor gedrukt worden. Dat lukte. Maar er was één persoon, die gewoon gebruik maakt van zijn wettelijke mogelijkheden binnen het klachtrecht. Die beste man heeft niets meer gezegd dan ‘In de wet staat A en volgens mij doen jullie B. Meneer de rechter, kunt u er even naar kijken?’

Dat lijkt wel enigszins vergelijkbaar. Alleen is er in die stikstofkwestie een onafhankelijke rechter die een bindende uitspraak kon doen. In de wetenschap is die er niet.
Ik heb er lang over nagedacht en weet inmiddels ook wel waarom dat niet zo is. Kijk eens naar het medisch tuchtrecht. Als een arts een ernstige fout maakt, dan wordt dat niet onder het tafel gemoffeld. Dat staat meteen in de krant. Dan komt er een klacht en als het ziekenhuis dat niet goed oppakt, dan ga je naar het medisch tuchtcollege en daar is dan een openbare hoorzitting. Daar mag iedereen heen.

Een probleem van het klachtensysteem rondom wetenschappelijke integriteit is, dat het allemaal geheim is. Geheimhouding. Ik heb mails gekregen waar de honden geen brood van lusten. ‘Als jij dit doet, gaan we de zaak onmiddellijk stopzetten!’ Dat slaat helemaal nergens op. Je kunt er alleen uitkomen door het openbaar te doen.
En daar zijn goede argumenten voor, want in bijna alle gevallen gaat het om wetenschappers die volledig door de overheid betaald worden. Dan heeft toch iedereen het recht om te zien hoe ze zich verdedigen tegen redelijke argumenten dat ze zich niet netjes aan de regels hebben gehouden?
Het tegenargument is altijd dat zo iemands carrière beschadigd zou worden. Maar dat geldt precies hetzelfde voor artsen. En je hebt altijd nog de wetgeving op smaad en laster. Als jij echt een kwaadaardige klacht indient, dan valt dat onder smaad en laster. Toch?

In het symposiumverslag wordt gesproken over ‘diep door het slijk halen’ en zelfs stalking, maar volgens mij hebben ze je daarvoor niet daadwerkelijk aangeklaagd. Is er sprake van overdrijving? Want zo lijkt dít haast op laster.
De journalist heeft niets bij mij gecheckt! Er staat in dat artikel bijvoorbeeld een hele concrete uitspraak van Yvonne Erkens, de voorzitter van Leidse commissie voor wetenschappelijke integriteit, dat ik wel vijftig e-mails op een dag gestuurd zou hebben. Ik heb de journalist gevraagd om dat te bewijzen, kom maar op met die mails. Geen reactie.

Filed Under: Wetenschap Tagged With: Al-Sheikhly, basrakarekiet, COPE, Klaas van Dijk, KNAW, LOWI, wetenschappelijke fraude, wetenschappelijke integriteit

Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd

15 August 2019 by Pepijn van Erp 43 Comments

Onderzoekers van het Erasmus Medisch Centrum bekeken wat er zoal aan wetenschappelijk onderzoek is gepubliceerd over het inzetten van muziek om pijnbestrijding te verbeteren bij operaties. De conclusie van hun meta-analyse is dat patiënten als ze naar muziek luisteren tijdens de operatie minder pijnstillers nodig hebben. In de berichtgeving komt telkens een opvallend detail naar voren: met heavy metal zou het niet werken!

Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd 5‘Met muziek tijdens operatie minder pijnstillers nodig, maar heavy metal werkt niet’ schrijft de NOS. En in de NRC: “De kans op bijwerkingen en langdurig gebruik van pijnstilling neemt hierdoor ook af, concluderen de onderzoekers. Heavy Metal en hardrock blijken niet te werken.” [update 20/8/2019: NRC heeft het bericht inmiddels ook aangepast na mijn opmerkingen].
Bij RTL Nieuws hebben ze een paar mensen gevonden die daar vraagtekens bij hebben, die kwamen er naar eigen zeggen juist sneller bovenop door de stevige muziek.

De berichtgeving is telkens grotendeels gebaseerd op een eigen nieuwsbericht van het Erasmus MC: Met Chopin onder het mes. Daarin wordt het onderzoek dat gepubliceerd is in het tijdschrift Annals of Surgery toegelicht, maar staat ook de volgende paragraaf:

Heavy metal

De onderzoekers ontdekten dat bij sommige muziek het gunstige effect niet optreedt. Heavy metal blijkt niet te werken. Een bepaald type hardrock evenmin. Jeekel: “Er zijn aanwijzingen dat de muziek aan bepaalde voorwaarden moet voldoen. Er moet een zeker ritme in zitten dat aansluit bij het hartritme, er moeten harmonieën zijn en pauzes. In sommige muziek zit dat niet. Dan werkt het niet goed.
Jeekel wil graag verder onderzoek doen om te bepalen welke muziek het beste resultaat geeft. “Misschien ontdekken we een algemene structuur en kunnen we die muziek dan componeren.”

Hans Jeekel, emeritus hoogleraar chirurgie, kwamen we op Kloptdatwel al eerder tegen. Hij schreef mee aan een nogal mager ZonMW-rapportje over ‘evidence-based complementaire zorg’, waarbij hij in de pers merkwaardige uitspraken deed over homeopathie. En onze columnist Cees Renckens schreef nog niet zo lang gelden weinig vertrouwen te hebben in eerder onderzoek van Jeekel naar de effecten van muziek onder volledige narcose.

Meta-analyse

Ik was wel nieuwsgierig waarom in het stuk van Erasmus MC zo stellig stond dat heavy metal (en een ander bepaald type hardrock) niet zou werken. Het is geen citaat, maar het leek me waarschijnlijk dat de auteur dit ook wel uit de mond van Jeekel had opgetekend. Vol goede moed besloot ik het artikel in Annals of Surgery door te nemen. Al snel kwam ik erachter dat daar de termen ‘heavy metal’ of ‘hardrock’ helemaal niet in voorkomen. Maar goed, dacht ik, het is een meta-analyse, misschien is het een conclusie uit een van de onderliggende studies die opgevallen was, maar niet apart vermeld in het artikel.
De onderliggende studies zijn nogal verschillend van opzet. Omdat ik me niet zo goed kon voorstellen dat onderzoekers patiënten aan heavy metal zouden blootstellen zonder dat die daar zelf om hadden gevraagd, besloot ik alle studies te bekijken waarbij er sprake was van een keuze voor specifieke muziek door de proefpersonen zelf. Dan bleven er nog iets van vijftien over, waarvan ik de meeste vrij gemakkelijk kon vinden (van één onderzoek ontbreekt de referentie, maar kon ik wel achterhalen; van twee andere kon ik geen pdf vinden). In slechts twee van die studies staat dat er ook rockmuziek is gebruikt (in één geval wordt specifiek Metallica genoemd), maar uit die studies blijkt geen verschil.

Hans-Joachim Trappe

Ik mailde Jeekel daarom maar eens om te vragen waar het negatieve oordeel over heavy metal op gebaseerd is. Hij zou er op terugkomen en deed dat ook, zie verderop in dit stuk. Intussen was ik op Twitter via Leo Blokhuis op een ander spoor gezet. De bekende hoogleraar neuropsychologie Erik Scherder had in een interview iets gezegd over heavy metal, maar dat was al heel wat genuanceerder en had niet direct betrekking op het gebruik tijdens operaties.
Sowieso valt op dat als je met trefwoordcombinaties als ‘heavy metal music health effects’ zoekt, je best veel onderzoek vindt. Meestal gaat het echter om psychologisch onderzoek zonder dat er fysiologische effecten zijn gemeten (of waarbij er op dat vlak geen verschillen waren te zien), gaat het om heel kleine groepen en zijn de resultaten voor heavy metal voor het welbevinden eerder positief dan negatief te noemen (hoewel het natuurlijk wel uitmaakt of iemand de muziek überhaupt te pruimen vindt).

Uiteindelijk belandde ik bij een stuk van de Duitse hoogleraar cardiologie Hans-Joachim Trappe, die onderzoek naar het effect van muziek heeft gedaan en zelf een zeer verdienstelijk organist is. Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd 6In een brochure uitgegeven door de Duitse hartstichting (Herztöne – Musik und Gesundheit, 2010) schrijft hij het volgende:

Heavy Metal hat keine therapeutische Heilkraft, ebenso wenig wie Technomusik. Während bei Heavy Metal zum Teil noch echte Instrumente zum Einsatz kommen, ist Technomusik synthetisch. Diese Musik kann im Einzelfall helfen, Aggressionen abzubauen, Wut, Enttäuschung und Frustrationen besser zu verarbeiten, physiologisch werden aber Herzfrequenz und Blutdruck erhöht, Stress baut sich auf, so dass diese Musik eher zerstörerisch wirkt. Auch über plötzliche Todesfälle durch Herzrhythmusstörungen bei Techno-Partys ist berichtet worden. Es ist bezeichnend, dass bei Heavy Metal und Technomusik selbst Pflanzen weniger gut gedeihen oder gar eingehen, wenn sie damit dauernd beschallt werden.

Een nogal stellig geformuleerd stukje met discutabele uitspraken. Dat er doden zijn gevallen bij techno-parties zal natuurlijk meer met het drugsgebruik dat daar nogal gebruikelijk is te maken hebben, dan met de muziek an sich. Waar Trappe dit precies op baseert (het is van vóór zijn eigen onderzoek dat later aan de orde komt) is niet direct duidelijk, in de folder staan geen bronnen. Maar in een artikel in Heart uit 2010 (waar nogal wat andere auteurs weer aan refereren voor de vemeende negatieve gezondheidseffecten van heavy metal) schrijft hij het even stellig op:

The greatest benefit on health is visible with classical music and meditation music, whereas heavy metal music or techno are not only ineffective but possibly dangerous and can lead to stress and/or life-threatening arrhythmias.
[…]
In contrast, heavy metal or techno music can lead to stress and restlessness, sleep disturbances, fatigue, exhaustion, impairment of the immune system, hardness of hearing and/or loss of hearing.
[…]
Heavy metal and techno are ineffective or even dangerous. This music encourages rage, disappointment and aggressive behaviour while causing both heart rate and blood pressure to increase. Breastfeeding mothers should avoid this music because there is a negative influence on milk flow.

Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd 7Hierbij verwijst Trappe steeds naar een hoofdstuk uit het boek Heilen mit Tönen van ene Felicitas Storm, waarover ik verder niets kon vinden, maar zeker niet de indruk maakt van een wetenschappelijk verantwoord werk. “Die Reiki-Meisterin Felicitas Storm arbeitet in ihren Performances mit Klangschalen, Mantras, Atemübungen und Meditationen.” staat er bij een aanbieder van het boek. Ai. In de recentere artikelen van Trappe wordt er ook niet meer aan gerefereerd.

Terzijde: muziek voor planten

De laatste zin uit het citaat van Trappe uit de brochure doet me ook vermoeden dat het deels gebaseerd is op onderzoeken bij planten. In ‘Muzikale mest – Kunnen planten ons horen?’ uit  Skepter 26.2 (2014) schreef Dirk Koppenaal over verschillende experimenten die gedaan zijn om het effect van muziek op de groei van planten te onderzoeken. Zo vergeleek Dorothy Retallack, een bachelorstudent musicologie, eind jaren 1960 de invloed van klassieke en rockmuziek:

Geïnspireerd door de gebedsproeven van dominee Franklin Loehr vroeg zij zich af of planten klassieke muziek boven de door haar verfoeide rockmuziek verkozen. De resultaten waren verbluffend. De planten in de kas met de klassieke zender groeiden en bloeiden en bogen zich naar de radio alsof zij geen noot wilden missen. De planten die de rockzender moesten verduren, werden daarentegen lang en dun en bogen zich zo ver mogelijk van de herrie vandaan. Ze dronken ook aanmerkelijk meer dan de controles en de ‘klassieke’ planten.

De wetenschap was wat minder onder de indruk. De omstandigheden waren niet bijster goed gecontroleerd, de statistiek was niet best en de resultaten werden nooit in een betrouwbaar laboratorium herhaald.  Retallack wist haar onderzoek niet in een wetenschappelijk tijdschrift gepubliceerd te krijgen en schreef het uiteindelijk in een boek uitgegeven door een New Age-uitgeverij: The Sound of Music and Plants (1973). Mythbusters deed in 2004 nog wel een poging om het idee te testen en vond eerder een positief effect van de ruige muziek,

Heavy metal is OK, ABBA is de klos

Maar ik vond dat Trappe later zelf ook bij mensen het effect van verschillende muzieksoorten heeft onderzocht. In het artikel ‘Musik und Herz – Was ist gesichert, was nicht, was ist neu?‘ gepubliceerd in Der Kardiologe in 2017 beschrijft hij twee experimenten waaraan in totaal 120 proefpersonen deelnamen. Het eerste experiment waarin naast werk van Bach ook heavy metal, gewoon lawaai en stilte werden gebruikt, publiceerde hij echter al eerder in Musik-, Tanz- und Kunsttherapie (2014). Later werd een tweede experiment met dezelfde methode uitgevoerd, nu met muziek van Mozart, Johann Strauss jr. en ABBA. Uit de samenvatting:

In own studies we could demonstrate that classical music, heavy metal music and relaxation led to decreased HR, systolic and diastolic pressures in comparison to pop music of the Swedish group ABBA. Music is important and music therapy will increase and will help in many diseases.

Wat deed Trappe? Hij onderzocht wat de bloeddruk en hartslag voor, tijdens en na blootstelling aan de muzieksoorten waren. Daar komen dan dit soort grafieken uit:

Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd 8

Trappe schrijft over deze resultaten dat de bloeddruk bij het luisteren van Bach daalde van 128,3 mmHg vooraf, naar 120,8 mmHg tijdens het luisteren, heel significant met indrukwekkende p-waarden. Bij heavy metal is het 123,5 mmHg vooraf en 119,9 mmHg tijdens. Ook een significante daling, maar minder sterk dan bij Bach, aldus Trappe. En bij ABBA is er ‘vreemd genoeg’ geen significante daling te zien (van 123,6 mmHg naar 121,9 mmHg).
Wie echter gewoon naar de grafiekjes kijkt, zal zo zien dat alle waarden – voor tijdens en na – niet wezenlijk van elkaar verschillen. Dat er bij Bach gemiddeld een grotere daling te zien is, kan ook verklaard worden door de iets hogere beginwaarden. Uiteindelijk is ABBA de dupe van het statistische prutswerk van Trappe. In het artikel schrijft hij nog een hele paragraaf onder de subtitel ‘Was ist bei ABBA anders? Warum „wirkt“ ABBA nicht wie Bach oder Mozart?’ …

Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd 9Voor de liefhebbers: de heavy metal gebruikt in dit onderzoek gaat om vijf nummers van de CD Indestructible van de band Disturbed die in 2008 uitkwam.

Het onderzoek van Trappe staat nog wel heel ver af van het meten van effecten op pijnstilling, maar laat zeker niet zien dat ‘het bij heavy metal niet werkt’. Ik vroeg hem per mail of hij op grond van dit eigen onderzoek zijn uitspraak uit 2010 had herzien, maar daar kreeg ik nog geen antwoord op.

Jeekel legt uit

Jeekel had inmiddels (gisteravond) tijd gevonden om een aardig uitgebreid antwoord op mijn mail te sturen. Hij had inderdaad geen ‘level-1 bewijs’  dat heavy metal minder effect heeft of helemaal niets doet in vergelijking met andere muzieksoorten. Dat het in het stukje van Erasmus MC zo terecht is gekomen, komt omdat hij verteld had dat in een aantal studies geen effect van heavy metal was gevonden. Maar dat waren te weinig onderzoeken om harde uitspraken over te doen, volgens Jeekel. De uitspraak over heavy metal had een te pregnante plaats gekregen in het stuk.

Ik bedacht me dat er misschien een probeem schuilt in de onduidelijke status van die ‘amazingerasmusmc’-website. De berichten zijn duidelijk geen persberichten, maar in dit geval lijkt het bericht min of meer wel zo opgevat te zijn door andere media. Aan de andere kant is er ook geen duidelijke redactie: er wordt wel gerept van ‘redactie contacten’, maar niet van een hoofdredacteur en/of redactiestatuut. Van de disclaimer wordt ook je ook niet veel wijzer. Wie kun je eigenlijk aanspreken op fouten op die site? Het lijkt mij dat dat toch gewoon de afdeling communicatie is.

Maar in zijn mail vertelde Jeekel ook dat ze bij een systematische review van dierproeven wel duidelijk bewijs hadden gevonden. Harde wetenschappelijke studies, die echter niet in een interview te vertellen zouden zijn. Ik neem aan dat Jeekel doelt op deze recente, mede door hem geschreven, overzichtsstudie: Music Affects Rodents: A Systematic Review of Experimental Research‘.
Een van de aandachtspunten daarin is inderdaad een vergelijking van de effecten van verschillende soorten muziek op ratten en muizen. Die vergelijking werd gedaan in zeven studies (van de in totaal 42 in de review opgenomen artikelen), waarvan er eentje (Erken, 2008) naast Mozart, herrie en stilte ook rockmuziek gebruikte. Geen heavy metal, geen hardrock. En op de keper beschouwd, kwam er niets relevants uit. Was ook niet te verwachten met de gekozen uitkomstmaten (iets met veranderingen in rode bloedcellen) en maar zeven ratten per groep.
Eigenlijk vind ik het nogal verbazingwekkend dat er ethische commissies zijn die goedkeuring gaven aan het opofferen van proefdieren voor het onderzoeken of het wat uitmaakt of je ratten twee weken lang een uur per dag naar Mozart of slappe rockmuziek laat luisteren. Zeker als de onderzoekers er geen blijk van geven eenvoudige statistische analyses netjes te kunnen uitvoeren…
Er was nog een andere studie (McCarthy, 1992) waar iets van rock gebruikt was, maar daar gaat het weer op zo’n fors volume (80 dB) dat schadelijke effecten eerder daar aan geweten kunnen worden dan aan de muzieksoort; hier was ook geen sprake van een controlegroep met andere muziek.

Het idee dat heavy metal niets zou doen, of zelfs negatieve effecten heeft, kunnen we volgens mij wel toeschrijven aan onderzoekers met een stevige bias tegen die muzieksoort. En helaas worden hun ongegronde oordelen blijkbaar makkelijk overgenomen door andere onderzoekers die er niet kritisch naar hebben gekeken.

Filed Under: Factchecking, Gezondheid, Wetenschap Tagged With: Bach, Erasmus MC, Felicitas Storm, Hans Jeekel, Hans-Joachim Trappe, heavy metal, Heilen mit Tönen, muziek, operaties, pijnstilling

Ingetrokken artikelen van Diederik Stapel worden ook in 2019 nog steeds geciteerd

4 July 2019 by Hans van Maanen 10 Comments

Ingetrokken artikelen van Diederik Stapel worden ook in 2019 nog steeds geciteerd 10
Stapel bij VPRO Boeken (2014)

Je zou verwachten dat iedere psycholoog, misschien wel iedere wetenschapper, op de hoogte is van de lotgevallen van Diederik Stapel, en zijn frauduleuze bevindingen niet meer argeloos citeert. Was het maar waar: nog steeds — zeven jaar na de affaire — worden Stapels artikelen aangehaald.

Dit blijkt uit een binnenkort te publiceren onderzoek van Luis Morís Fernández en Miguel Vadillo van de Universidad Autónoma de Madrid, ‘Retracted papers die hard’. ‘Weinig gevallen van wetenschappelijk wangedrag en datavervalsing hebben de aandacht ontvangen die Stapel heeft gekregen, maar het weerhoudt geleerden er niet van zijn teruggetrokken artikelen te citeren,’ aldus de auteurs.

Sinds het bedrog van Stapel in 2011 aan het licht kwam, zijn 58 van zijn artikelen ingetrokken; volgens de site Retraction Watch staat Stapel daarmee overigens vierde op de lijst auteurs met de meeste retracties. De omvang van zijn fraude deed een schok door de psychologie en andere takken van wetenschap gaan, en leidde mede tot een algemene herbezinning op het wetenschappelijk proces.

Fernández en Vadillo namen 20 veelgeciteerde artikelen van Stapel, en bekeken of die minstens een jaar na retractie nog steeds werden geciteerd — positief, dus zonder kanttekening, negatief, dus met de retractie genoemd, of neutraal, waarbij het alleen om bijvoorbeeld de methodologie van een artikel ging. De tijdschriften waarin de citaten voorkwamen, werden gescoord naar belang en naar vakgebied.

Ingetrokken artikelen van Diederik Stapel worden ook in 2019 nog steeds geciteerd 11
In 2015 bekeek de Volkskrant ook al eens hoe het stond met het citeren van de ingetrokken artikelen.

De 20 artikelen werden in totaal 102 keren geciteerd terwijl ze toen al minstens een jaar waren teruggetrokken. Daarvan waren er 80 citaties positief, 9 neutraal en 13 negatief. Van de 80 positieve citaties stonden er 21 in de belangrijke psychologische bladen zoals Frontiers in Psychology en Cognition and Emotion, en 41 in andere grote tijdschriften. In 2018 werden artikelen van Stapel nog 7 keer geciteerd waarvan 6 keer instemmend, in 2019 tot dusver 4 keer waarvan 3 instemmend. Dat zullen er dus nog wel wat meer worden, verwachten de auteurs.

Het aantal citaties van de artikelen van Stapel daalde overigens wel al voordat ze formeel werden ingetrokken, waarschijnlijk door de grote media-aandacht.

Met de huidige technologie, menen de auteurs, zou het voor tijdschriftredacties betrekkelijk eenvoudig zijn om verwijzingen naar een teruggetrokken artikel uit de literatuurlijst te vissen. Daar bestaat zelfs al een computerprogramma voor, net zoals er een programma is dat waarschuwt voor foutieve statistische resultaten. ‘De tijd dat bibliothecarissen met een groot stempel retracties moesten aangeven op de pagina’s van gedrukte tijdschriften is allang voorbij,’ besluiten zij. ‘Met de komst van nieuwe technologieën, elektronische tijdschriftene, digitale registers en enorme databanken moet dit probleem tot het verleden gaan behoren.’

Filed Under: Wetenschap Tagged With: citaties, diederik stapel, retraction watch

Bedenker van de Mente neurofeedback hoofdband voor autisme sjoemelde met wetenschappelijke titels

26 March 2019 by Pepijn van Erp 17 Comments

Kinderen met autisme of PDD-NOS zouden volgens het bedrijf Mente Autisme geholpen zijn met een hoofdband die werkt met neurofeedback: “Sensoren in de hoofdband meten de hersenactiviteiten van je kind. Met behulp van geluiden worden de hersengolven in een rustiger patroon gebracht.” Voor kinderen tot 12 jaar zou het dragen van de band gedurende 40 minuten per dag al na een paar weken duidelijke verbeteringen laten zien.

De band is ontwikkeld door de Maltees Adrian Attard Trevisan, die er prat op ging maar liefst twee keer gepromoveerd te zijn, eerst in het Verenigd Koninkrijk en later in Italië. The Sunday Times of Malta onthult nu echter dat daar maar weinig van klopt.

Bedenker van de Mente neurofeedback hoofdband voor autisme sjoemelde met wetenschappelijke titels 12

 

De Maltese krant schrijft dat Trevisan sinds hij in 2012 begon met de marketing van de Mente deed alsof hij gepromoveerd was in de neurowetenschappen aan het University College London. Daar was hij echter alleen maar ingeschreven als masterstudent. In 2015 promoveerde hij dan wel echt aan een Italiaanse universiteit, maar een medewerker van Trevisan beweert nu dat delen van het proefschrift overgeschreven zijn van onderzoek wat hij deed, plagiaat dus.

In Nederland is de hoofdband sinds enige tijd ook verkrijgbaar. Een paar maanden terug werd er nog aandacht aan besteed in het programma Editie NL. Maar werkt die hoofdband nu wel of niet? Op de website van de leverancier in Nederland wordt verwezen naar een aantal wetenschappelijke artikelen. Eigenlijk is maar eentje daarvan relevant, een onderzoek waarvan de resultaten werden gepubliceerd in de journal Frontiers Neurology.
Erg onder de indruk raakte ik niet na het lezen. Uiteindelijk bleven er na heel veel uitvallers 17 deelnemers in de groep over die een echt werkende hoofdband omkregen en evenveel in de controlegroep. Er wordt gesproken over significante resultaten, maar er zijn zoveel vergelijkingen gemaakt zonder te corrigeren voor meervoudig toetsen, dat dat ook niet echt verrassend is.

Volkomen terecht dat de woordvoerder van Nederlandse Vereniging voor Autisme tegenover Editie NL zich erg terughoudend opstelde. De band kost ook maar liefst 2000 euro. Je mag toch eigenlijk wel wat serieuzer onderzoek verwachten als een bedrijf zoveel geld voor een apparaat vraagt, waarvan de werking allerminst bewezen is. Sowieso is het maar de vraag of neurofeedback echt iets doet (dus niet alleen op grafiekjes van hersengolven), lees daarvoor het redelijk recente (2017) artikel van Niki Korteweg uit Skepter:

https://skepsis.nl/neurofeedback-weinig-bewijs/

Titelfoto: screenshot uitzending Editie NL 

Filed Under: Factchecking, Gezondheid, Wetenschap Tagged With: Adrian Attard Trevisan, hoofdband, Mente Autisme, neurofeedback

5 redenen waarom het zo moeilijk is om als een wetenschapper te denken

4 March 2019 by Emiel De Jonge 13 Comments

5 redenen waarom het zo moeilijk is om als een wetenschapper te denken 13
Christian Jarrett – de oorspronkelijke auteur – volgens zijn eigen LinkedIn profiel: Cognitive neuroscientist turned science writer. Editor and creator of the British Psychological Society’s Research Digest blog. Author of PERSONOLOGY, Using The Science of Personality Change To Your Advantage.

Denken als een wetenschapper is erg moeilijk, zelfs voor een wetenschapper. Eerdere overtuigingen moeten aan de kant worden gezet, de kwaliteit en betekenis van het bewijs geëvalueerd en afgewogen worden tegenover de context van eerdere bevindingen. Maar je eigen overtuigingen opzij leggen en objectief blijven, zit niet in de menselijke aard.

Er is een overweldigende hoeveelheid wetenschappelijk bewijs dat de theorie van evolutie ondersteunt en toch zegt één derde van de Amerikanen dat de theorie volkomen verkeerd is. Net zo is er overweldigende wetenschappelijke overeenstemming dat menselijke activiteit bijdraagt aan klimaatverandering en toch twijfelt één derde van de amerikanen.

In Engeland zijn ze er net zo aan toe.  In een recente survey zei 96 procent van de leraren dat ze geloofden dat studenten beter leren wanneer ze les krijgen volgens hun persoonlijke leerstijl, en dat terwijl er nauwelijks wetenschappelijke bewijs is voor dat idee. In een nieuw deel van de  serie Psychology of Learning and Motivation, bekijken Priti Shah en haar collega’s van de universiteit van Michigan in detail naar de redenen waarom mensen zo slecht zijn in wetenschappelijk denken. In dit artikel beschrijf ik vijf belangrijke inzichten.

We worden makkelijk beïnvloed door anekdotes

Wanneer we alledaagse beslissingen nemen, zoals het beginnen van een nieuwe behandeling of het inschrijven voor een bepaald vak op de universiteit, zullen de meeste van ons krachtiger beïnvloed worden door de persoonlijk getuigenis van één persoon dan door een onpersoonlijke beoordeling of uitslagen die gemiddeld zijn over veel mensen. Dit is de kracht van een anekdote die onze kritische vermogens dooft. In een studie die vorig jaar uit is gekomen, vroegen Fernando Rodriguez en zijn collega’s tientallen studenten om wetenschappelijke nieuwsberichten te beoordelen die onteechte conclusies trokken uit zwak bewijs. Sommige van die berichten begonnen met een anekdote die de foutieve conclusies ondersteunde, andere verslagen bevatte geen anekdotes en functioneerden als controle. Ongeacht hun universitaire niveau of kennis van wetenschappelijke concepten, waren de studenten minder goed in het kritisch evalueren van de berichten als ze met een anekdote begonnen. “Anekdotische verhalen kunnen ons vermogen om wetenschappelijk onderbouwde uitspraken te doen in reële situaties ondermijnen”, zeiden de onderzoekers. Natuurlijk wordt gezondheids- en wetenschapsnieuws in de media gebracht door middel van anekdotes, de kans dat de nieuwsconsument alle beweringen in het bericht voor waar aanneemt, wordt zo vergroot.

We zijn te zelfverzekerd

Wanneer we geconfronteerd worden met een wetenschappelijke bewering, vinden veel mensen het moeilijk om wetenschappelijk te denken over de desbetreffende bewering, omdat we ons begrip van de wetenschap overschatten. Een studie van 2003 vroeg honderden universiteitsstudenten om verschillende wetenschappelijke nieuwsberichten te lezen, te interpreteren en hun begrip te beoordelen. De studenten maakten veel interpretatiefouten,  zoals het verwarren van correlatie en oorzakelijk verband zelfs wanneer ze dachten dat ze de materie begrepen. Dit doet sterk denken aan een enquête uit de jaren 80 onder duizenden Britten en Amerikanen: bijna 60 procent zei dat ze matig of goed geïnformeerd waren over nieuwe wetenschappelijke bevindingen en toch kon een veel lager percentage, eenvoudige vragen over elementaire wetenschap beantwoorden. Een deel van het probleem lijkt er in te schuilen dat we onze begrip van wetenschappelijke tekst baseren op hoe goed we de gebruikte taal snappen. Dit betekent dat populaire wetenschappelijke verhalen geschreven in lekentaal bij kunnen dragen aan een vals vertrouwen. Deze “tekstvaardigheidsbias” kan je ook terugzien bij wetenschapslezingen: een recente studie laat zien dat studenten de kennis die ze hadden opgedaan bij een lezing, overschatten als die gegeven was door een boeiende spreker.

We zijn bevooroordeeld door onze eerdere overtuigingen.

Dit obstakel voor een wetenschappelijke objectieve blik is aangetoond in een nu klassieke studie uit de jaren ’70 waarbin deelnemers gevraagd werde om wetenschappelijke onderzoek te beoordelen dat in strijd was met hun eerdere overtuiging, of die juist ondersteunde. Een van die studies liet bijvoorbeeld zien dat het aantal moorden lager was in Amerkaanse staten waar de doodstraf nog werd uitgevoerd. Deelnemers lieten een duidelijke bias in hun beoordeling zien. Als ze voor de doodstraf waren, dan oordeelden ze positiever over de studie over doodstraf. Als ze echter tegen de doodstraf waren, dan zagen ze er sneller fouten in.
Wetenschappelijke vaardigheden bieden weinig bescherming tegen deze cognitieve voorkeur, ze kunnen deze voorkeur zelfs versterken. Een studie uit 2013 vroeg deelnemers om een onderzoeksartikel te beoordelen over wapenwetgeving. De deelnemers die cijfermatig beter onderlegd waren, waren nog duidelijker bevooroordeeld: als de bevindingen van de studie hun overtuiging ondersteunden, was hun oordeel positief, maar als de bevindingen in strijd waren met hun overtuiging, gebruikten ze hun vaardigheden om de bevindingen neer te sabelen. Dit verschijnsel wordt “identiteitsbeschermende cognitie” genoemd wordt.

We worden verleid door grafieken, formules en inhoudsloze neurowetenschap.

De gemiddelde kranten- of tijdschriftlezer raakt makkelijk verblind met de oppervlakkige rekwisieten van de wetenschap, zoals formules, grafieken en vaktaal. Neem de volgende studie van Ibrahim et al,: onderzoekers vroegen deelnemers gevraagd een nieuwsbericht te bekijken over een correlatiestudie over genetisch gemodificeerde voedsel, dat ofwel in lijn was met het bestaande bewijs dat laat zien dat het veilig is, ofwel het daar niet mee in overeenstemming was en suggereerde dat het schadelijk zou kunnen zijn. Het bericht was wel of niet vergezeld van een spreidingsdiagram. Als het bericht dat niet overeenkwam met het onderzoek van het verleden zo’n grafische weergave had van het correlatieonderzoek, waren de deelnemers eerder geneigd om het onderzoek te interpreteren als bewijs voor het idee dat “genetisch gemodificeerde voedsel schadelijk zijn”, dan wanneer de deelnemers hetzelfde bericht hadden gelezen zonder grafiek. “Dit is zorgelijk”, schreef Shah et al., “want het demonstreert hoe makkelijk mensen overtuigd kunnen worden door nieuwe data, ongeacht de wetenschappelijke merites van de resultaten.” Soortgelijk onderzoek naar de kritische vaardigheden van lezers heeft aangetoond dat zij op een soort gelijke manier als verblind worden door ongegronde neurowetenschappelijke jargon en zinloze formules.

Alleen slim zijn is niet genoeg.

Zelfs ervaren onderzoekers leiden aan de menselijke tekortkomingen die wetenschappelijk denken ondermijnen. Hun kritische vermogens worden besmet door hun doelstelling, door hun uiteindelijke motivatie voor het doen van hun experimenten. Dit is waarom de open science revolutie die momenteel gaande is in psychologie zo belangrijk is: wanneer onderzoekers hun methodes en hypotheses transparant maken, en ze hun studies  vooraf registreren, dat is de kans kleiner dat ze afgeleid, of zelfs bedorven worden door confirmatie bias (het uitkiezen van bewijs dat past bij hun bestaande overtuiging).

Kijk bijvoorbeeld naar systematische reviews in de psychotherapie: een recente analyse laat zien dat de conclusies van veel onderzoek zodanig verdraaid wordt dat de conclusie de voorkeur van de onderzoekers ondersteunt. In andere gevallen liet het hele bouwerk van de wetenschapspublicatie, van journals tot wetenschapsjournalisten, hun kritische vaardigheden vallen, alleen maar omdat men het eens wat met de boodschap die opduikt uit een onderzoek.

In hun boek, laten Shah en haar collega’s zien dat ruwe cognitieve vaardigheid (IQ) geen goede voorspeller voor iemands vaardigheid om als een wetenschapper te denken. Belangrijker is de mentale attidude, iemands “behoefte aan kennis” en zijn vaardigheid of motivatie om hun buikgevoel te negeren en diep na te denken. Een positieve noot is dat deze talenten ogenschijnlijk meer kneedbaar zijn, en dus trainbaar, dan intelligentie op zich. Maar er is nog heel wat stevig bewijs voor nodig om dat idee te testen.

Bovenstaande is uit het Engels vertaald met goedkeuring van de auteur:

Christian Jarrett – 5 Reasons It’s So Hard To Think Like A Scientist.

Filed Under: Wetenschap

  • « Go to Previous Page
  • Page 1
  • Page 2
  • Page 3
  • Page 4
  • Page 5
  • Page 6
  • Interim pages omitted …
  • Page 39
  • Go to Next Page »

Primary Sidebar

Steun ons via:
Een aankoopbol.com Partner (meer info)
Of een donatie

Schrijf je in voor de nieuwsbrief!

Skeptic RSS feed

  • Skepsis
  • Error
  • SBM
Inschrijvingen Skepsiscongres 2025 geopend: Was vroeger alles beter?
9 May 2025 - Ward van Beek
Inschrijvingen Skepsiscongres 2025 geopend: Was vroeger alles beter?

.Het vorige congres ligt nog vers in ons geheugen, maar omdat ontwikkelingen steeds sneller gaan zijn wij alweer druk bezig met het Skepsiscongres 2025, op zaterdag 1 november a.s.  De maatschappij bekeken met een skeptische bril Je hoort het vaak:…Lees meer Inschrijvingen Skepsiscongres 2025 geopend: Was vroeger alles beter? › [...]

Graancirkels op European Skeptics Congress 2024
7 May 2025 - SkepsisSiteBeheerder
Graancirkels op European Skeptics Congress 2024

Voordracht van Francesco Grassi op ESC2024 in Lyon.Lees meer Graancirkels op European Skeptics Congress 2024 › [...]

SKEPP wordt 35… en dat vieren ze!
27 April 2025 - SkepsisSiteBeheerder
SKEPP wordt 35… en dat vieren ze!

Onze Belgische zusterorganisatie SKEPP bestaat dit jaar 35 jaar. Op zaterdag 10 mei vieren ze dat met een mooi programma. Hoofdgast is de bekende skepticus en emeritus hoogleraar psychologie Chris French die onlangs ook tot erelid van SKEPP werd benoemd.…Lees meer SKEPP wordt 35… en dat vieren ze! › [...]

RSS Error: A feed could not be found at `https://skepp.be/feed`; the status code is `404` and content-type is `text/html; charset=UTF-8`

David Geier, Mail Order Pharmacist
10 May 2025 - Kathleen Seidel

David Geier was in the drug business. What was he selling before the FDA stepped in? The post David Geier, Mail Order Pharmacist first appeared on Science-Based Medicine. [...]

Dr. Vinay Prasad is Now the Medical Establishment. It’s His Job to Run RCTs, and It’s Our Job to Call Him a Lying Piece of $#!& if He Fails.
9 May 2025 - Jonathan Howard

"I wish Vinay all the best for his new role. It's a whole new state of play when the buck stops with you." The post Dr. Vinay Prasad is Now the Medical Establishment. It’s His Job to Run RCTs, and It’s Our Job to Call Him a Lying Piece of $#!& if He Fails. first appeared on Science-Based Medicine. [...]

Breathing Easy: Treating Allergic Rhinitis
8 May 2025 - Scott Gavura

Spring is a miserable season for those with seasonal allergies. There are effective drug- and non-drug measures that can control most symptoms effectively. The post Breathing Easy: Treating Allergic Rhinitis first appeared on Science-Based Medicine. [...]

Recente reacties

  • Klaas van Dijk on Bedenkingen bij het rapport over oversterfte van Ronald Meester en Marc JacobsOp https://archive.is/1Exnu staat een gearchiveerde versie van een recente posting van Ronald Meester op LinkedIn. In deze posting verwijst
  • Klaas van Dijk on Bedenkingen bij het rapport over oversterfte van Ronald Meester en Marc JacobsEen verbeterde versie van Hoofdstuk 6 van dit rapport van Ronald Meester en Marc Jacobs is op 22 april 2025
  • Hans1263 on Volgens Maurice de Hond beschikt hij over telepathische gavenHet filmpje waarin hij een trucje met Jeroen Pauw uithaalt, bewijst natuurlijk helemaal niets, ja misschien het denkniveau van De
  • Renate1 on De linke weekendbijlage (17-2025)En de paashaas is er snel vandoor gegaan,
  • Hans1263 on De linke weekendbijlage (17-2025)@Renate1 Nee, de paashaas heeft het in een mandje op zijn rug. 😅😅😅

Archief Kloptdatwel.nl

Copyright © 2025 · Metro Pro on Genesis Framework · WordPress · Log in