Kloptdatwel?

Wetenschap

Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd

by 43 Comments

Onderzoekers van het Erasmus Medisch Centrum bekeken wat er zoal aan wetenschappelijk onderzoek is gepubliceerd over het inzetten van muziek om pijnbestrijding te verbeteren bij operaties. De conclusie van hun meta-analyse is dat patiënten als ze naar muziek luisteren tijdens de operatie minder pijnstillers nodig hebben. In de berichtgeving komt telkens een opvallend detail naar voren: met heavy metal zou het niet werken!

Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd 1‘Met muziek tijdens operatie minder pijnstillers nodig, maar heavy metal werkt niet’ schrijft de NOS. En in de NRC: “De kans op bijwerkingen en langdurig gebruik van pijnstilling neemt hierdoor ook af, concluderen de onderzoekers. Heavy Metal en hardrock blijken niet te werken.” [update 20/8/2019: NRC heeft het bericht inmiddels ook aangepast na mijn opmerkingen].
Bij RTL Nieuws hebben ze een paar mensen gevonden die daar vraagtekens bij hebben, die kwamen er naar eigen zeggen juist sneller bovenop door de stevige muziek.

De berichtgeving is telkens grotendeels gebaseerd op een eigen nieuwsbericht van het Erasmus MC: Met Chopin onder het mes. Daarin wordt het onderzoek dat gepubliceerd is in het tijdschrift Annals of Surgery toegelicht, maar staat ook de volgende paragraaf:

Heavy metal

De onderzoekers ontdekten dat bij sommige muziek het gunstige effect niet optreedt. Heavy metal blijkt niet te werken. Een bepaald type hardrock evenmin. Jeekel: “Er zijn aanwijzingen dat de muziek aan bepaalde voorwaarden moet voldoen. Er moet een zeker ritme in zitten dat aansluit bij het hartritme, er moeten harmonieën zijn en pauzes. In sommige muziek zit dat niet. Dan werkt het niet goed.
Jeekel wil graag verder onderzoek doen om te bepalen welke muziek het beste resultaat geeft. “Misschien ontdekken we een algemene structuur en kunnen we die muziek dan componeren.”

Hans Jeekel, emeritus hoogleraar chirurgie, kwamen we op Kloptdatwel al eerder tegen. Hij schreef mee aan een nogal mager ZonMW-rapportje over ‘evidence-based complementaire zorg’, waarbij hij in de pers merkwaardige uitspraken deed over homeopathie. En onze columnist Cees Renckens schreef nog niet zo lang gelden weinig vertrouwen te hebben in eerder onderzoek van Jeekel naar de effecten van muziek onder volledige narcose.

Meta-analyse

Ik was wel nieuwsgierig waarom in het stuk van Erasmus MC zo stellig stond dat heavy metal (en een ander bepaald type hardrock) niet zou werken. Het is geen citaat, maar het leek me waarschijnlijk dat de auteur dit ook wel uit de mond van Jeekel had opgetekend. Vol goede moed besloot ik het artikel in Annals of Surgery door te nemen. Al snel kwam ik erachter dat daar de termen ‘heavy metal’ of ‘hardrock’ helemaal niet in voorkomen. Maar goed, dacht ik, het is een meta-analyse, misschien is het een conclusie uit een van de onderliggende studies die opgevallen was, maar niet apart vermeld in het artikel.
De onderliggende studies zijn nogal verschillend van opzet. Omdat ik me niet zo goed kon voorstellen dat onderzoekers patiënten aan heavy metal zouden blootstellen zonder dat die daar zelf om hadden gevraagd, besloot ik alle studies te bekijken waarbij er sprake was van een keuze voor specifieke muziek door de proefpersonen zelf. Dan bleven er nog iets van vijftien over, waarvan ik de meeste vrij gemakkelijk kon vinden (van één onderzoek ontbreekt de referentie, maar kon ik wel achterhalen; van twee andere kon ik geen pdf vinden). In slechts twee van die studies staat dat er ook rockmuziek is gebruikt (in één geval wordt specifiek Metallica genoemd), maar uit die studies blijkt geen verschil.

Hans-Joachim Trappe

Ik mailde Jeekel daarom maar eens om te vragen waar het negatieve oordeel over heavy metal op gebaseerd is. Hij zou er op terugkomen en deed dat ook, zie verderop in dit stuk. Intussen was ik op Twitter via Leo Blokhuis op een ander spoor gezet. De bekende hoogleraar neuropsychologie Erik Scherder had in een interview iets gezegd over heavy metal, maar dat was al heel wat genuanceerder en had niet direct betrekking op het gebruik tijdens operaties.
Sowieso valt op dat als je met trefwoordcombinaties als ‘heavy metal music health effects’ zoekt, je best veel onderzoek vindt. Meestal gaat het echter om psychologisch onderzoek zonder dat er fysiologische effecten zijn gemeten (of waarbij er op dat vlak geen verschillen waren te zien), gaat het om heel kleine groepen en zijn de resultaten voor heavy metal voor het welbevinden eerder positief dan negatief te noemen (hoewel het natuurlijk wel uitmaakt of iemand de muziek überhaupt te pruimen vindt).

Uiteindelijk belandde ik bij een stuk van de Duitse hoogleraar cardiologie Hans-Joachim Trappe, die onderzoek naar het effect van muziek heeft gedaan en zelf een zeer verdienstelijk organist is. Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd 2In een brochure uitgegeven door de Duitse hartstichting (Herztöne – Musik und Gesundheit, 2010) schrijft hij het volgende:

Heavy Metal hat keine therapeutische Heilkraft, ebenso wenig wie Technomusik. Während bei Heavy Metal zum Teil noch echte Instrumente zum Einsatz kommen, ist Technomusik synthetisch. Diese Musik kann im Einzelfall helfen, Aggressionen abzubauen, Wut, Enttäuschung und Frustrationen besser zu verarbeiten, physiologisch werden aber Herzfrequenz und Blutdruck erhöht, Stress baut sich auf, so dass diese Musik eher zerstörerisch wirkt. Auch über plötzliche Todesfälle durch Herzrhythmusstörungen bei Techno-Partys ist berichtet worden. Es ist bezeichnend, dass bei Heavy Metal und Technomusik selbst Pflanzen weniger gut gedeihen oder gar eingehen, wenn sie damit dauernd beschallt werden.

Een nogal stellig geformuleerd stukje met discutabele uitspraken. Dat er doden zijn gevallen bij techno-parties zal natuurlijk meer met het drugsgebruik dat daar nogal gebruikelijk is te maken hebben, dan met de muziek an sich. Waar Trappe dit precies op baseert (het is van vóór zijn eigen onderzoek dat later aan de orde komt) is niet direct duidelijk, in de folder staan geen bronnen. Maar in een artikel in Heart uit 2010 (waar nogal wat andere auteurs weer aan refereren voor de vemeende negatieve gezondheidseffecten van heavy metal) schrijft hij het even stellig op:

The greatest benefit on health is visible with classical music and meditation music, whereas heavy metal music or techno are not only ineffective but possibly dangerous and can lead to stress and/or life-threatening arrhythmias.
[…]
In contrast, heavy metal or techno music can lead to stress and restlessness, sleep disturbances, fatigue, exhaustion, impairment of the immune system, hardness of hearing and/or loss of hearing.
[…]
Heavy metal and techno are ineffective or even dangerous. This music encourages rage, disappointment and aggressive behaviour while causing both heart rate and blood pressure to increase. Breastfeeding mothers should avoid this music because there is a negative influence on milk flow.

Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd 3Hierbij verwijst Trappe steeds naar een hoofdstuk uit het boek Heilen mit Tönen van ene Felicitas Storm, waarover ik verder niets kon vinden, maar zeker niet de indruk maakt van een wetenschappelijk verantwoord werk. “Die Reiki-Meisterin Felicitas Storm arbeitet in ihren Performances mit Klangschalen, Mantras, Atemübungen und Meditationen.” staat er bij een aanbieder van het boek. Ai. In de recentere artikelen van Trappe wordt er ook niet meer aan gerefereerd.

Terzijde: muziek voor planten

De laatste zin uit het citaat van Trappe uit de brochure doet me ook vermoeden dat het deels gebaseerd is op onderzoeken bij planten. In ‘Muzikale mest – Kunnen planten ons horen?’ uit  Skepter 26.2 (2014) schreef Dirk Koppenaal over verschillende experimenten die gedaan zijn om het effect van muziek op de groei van planten te onderzoeken. Zo vergeleek Dorothy Retallack, een bachelorstudent musicologie, eind jaren 1960 de invloed van klassieke en rockmuziek:

Geïnspireerd door de gebedsproeven van dominee Franklin Loehr vroeg zij zich af of planten klassieke muziek boven de door haar verfoeide rockmuziek verkozen. De resultaten waren verbluffend. De planten in de kas met de klassieke zender groeiden en bloeiden en bogen zich naar de radio alsof zij geen noot wilden missen. De planten die de rockzender moesten verduren, werden daarentegen lang en dun en bogen zich zo ver mogelijk van de herrie vandaan. Ze dronken ook aanmerkelijk meer dan de controles en de ‘klassieke’ planten.

De wetenschap was wat minder onder de indruk. De omstandigheden waren niet bijster goed gecontroleerd, de statistiek was niet best en de resultaten werden nooit in een betrouwbaar laboratorium herhaald.  Retallack wist haar onderzoek niet in een wetenschappelijk tijdschrift gepubliceerd te krijgen en schreef het uiteindelijk in een boek uitgegeven door een New Age-uitgeverij: The Sound of Music and Plants (1973). Mythbusters deed in 2004 nog wel een poging om het idee te testen en vond eerder een positief effect van de ruige muziek,

Heavy metal is OK, ABBA is de klos

Maar ik vond dat Trappe later zelf ook bij mensen het effect van verschillende muzieksoorten heeft onderzocht. In het artikel ‘Musik und Herz – Was ist gesichert, was nicht, was ist neu?‘ gepubliceerd in Der Kardiologe in 2017 beschrijft hij twee experimenten waaraan in totaal 120 proefpersonen deelnamen. Het eerste experiment waarin naast werk van Bach ook heavy metal, gewoon lawaai en stilte werden gebruikt, publiceerde hij echter al eerder in Musik-, Tanz- und Kunsttherapie (2014). Later werd een tweede experiment met dezelfde methode uitgevoerd, nu met muziek van Mozart, Johann Strauss jr. en ABBA. Uit de samenvatting:

In own studies we could demonstrate that classical music, heavy metal music and relaxation led to decreased HR, systolic and diastolic pressures in comparison to pop music of the Swedish group ABBA. Music is important and music therapy will increase and will help in many diseases.

Wat deed Trappe? Hij onderzocht wat de bloeddruk en hartslag voor, tijdens en na blootstelling aan de muzieksoorten waren. Daar komen dan dit soort grafieken uit:

Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd 4

Trappe schrijft over deze resultaten dat de bloeddruk bij het luisteren van Bach daalde van 128,3 mmHg vooraf, naar 120,8 mmHg tijdens het luisteren, heel significant met indrukwekkende p-waarden. Bij heavy metal is het 123,5 mmHg vooraf en 119,9 mmHg tijdens. Ook een significante daling, maar minder sterk dan bij Bach, aldus Trappe. En bij ABBA is er ‘vreemd genoeg’ geen significante daling te zien (van 123,6 mmHg naar 121,9 mmHg).
Wie echter gewoon naar de grafiekjes kijkt, zal zo zien dat alle waarden – voor tijdens en na – niet wezenlijk van elkaar verschillen. Dat er bij Bach gemiddeld een grotere daling te zien is, kan ook verklaard worden door de iets hogere beginwaarden. Uiteindelijk is ABBA de dupe van het statistische prutswerk van Trappe. In het artikel schrijft hij nog een hele paragraaf onder de subtitel ‘Was ist bei ABBA anders? Warum „wirkt“ ABBA nicht wie Bach oder Mozart?’ …

Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd 5Voor de liefhebbers: de heavy metal gebruikt in dit onderzoek gaat om vijf nummers van de CD Indestructible van de band Disturbed die in 2008 uitkwam.

Het onderzoek van Trappe staat nog wel heel ver af van het meten van effecten op pijnstilling, maar laat zeker niet zien dat ‘het bij heavy metal niet werkt’. Ik vroeg hem per mail of hij op grond van dit eigen onderzoek zijn uitspraak uit 2010 had herzien, maar daar kreeg ik nog geen antwoord op.

Jeekel legt uit

Jeekel had inmiddels (gisteravond) tijd gevonden om een aardig uitgebreid antwoord op mijn mail te sturen. Hij had inderdaad geen ‘level-1 bewijs’  dat heavy metal minder effect heeft of helemaal niets doet in vergelijking met andere muzieksoorten. Dat het in het stukje van Erasmus MC zo terecht is gekomen, komt omdat hij verteld had dat in een aantal studies geen effect van heavy metal was gevonden. Maar dat waren te weinig onderzoeken om harde uitspraken over te doen, volgens Jeekel. De uitspraak over heavy metal had een te pregnante plaats gekregen in het stuk.

Ik bedacht me dat er misschien een probeem schuilt in de onduidelijke status van die ‘amazingerasmusmc’-website. De berichten zijn duidelijk geen persberichten, maar in dit geval lijkt het bericht min of meer wel zo opgevat te zijn door andere media. Aan de andere kant is er ook geen duidelijke redactie: er wordt wel gerept van ‘redactie contacten’, maar niet van een hoofdredacteur en/of redactiestatuut. Van de disclaimer wordt ook je ook niet veel wijzer. Wie kun je eigenlijk aanspreken op fouten op die site? Het lijkt mij dat dat toch gewoon de afdeling communicatie is.

Maar in zijn mail vertelde Jeekel ook dat ze bij een systematische review van dierproeven wel duidelijk bewijs hadden gevonden. Harde wetenschappelijke studies, die echter niet in een interview te vertellen zouden zijn. Ik neem aan dat Jeekel doelt op deze recente, mede door hem geschreven, overzichtsstudie: Music Affects Rodents: A Systematic Review of Experimental Research‘.
Een van de aandachtspunten daarin is inderdaad een vergelijking van de effecten van verschillende soorten muziek op ratten en muizen. Die vergelijking werd gedaan in zeven studies (van de in totaal 42 in de review opgenomen artikelen), waarvan er eentje (Erken, 2008) naast Mozart, herrie en stilte ook rockmuziek gebruikte. Geen heavy metal, geen hardrock. En op de keper beschouwd, kwam er niets relevants uit. Was ook niet te verwachten met de gekozen uitkomstmaten (iets met veranderingen in rode bloedcellen) en maar zeven ratten per groep.
Eigenlijk vind ik het nogal verbazingwekkend dat er ethische commissies zijn die goedkeuring gaven aan het opofferen van proefdieren voor het onderzoeken of het wat uitmaakt of je ratten twee weken lang een uur per dag naar Mozart of slappe rockmuziek laat luisteren. Zeker als de onderzoekers er geen blijk van geven eenvoudige statistische analyses netjes te kunnen uitvoeren…
Er was nog een andere studie (McCarthy, 1992) waar iets van rock gebruikt was, maar daar gaat het weer op zo’n fors volume (80 dB) dat schadelijke effecten eerder daar aan geweten kunnen worden dan aan de muzieksoort; hier was ook geen sprake van een controlegroep met andere muziek.

Het idee dat heavy metal niets zou doen, of zelfs negatieve effecten heeft, kunnen we volgens mij wel toeschrijven aan onderzoekers met een stevige bias tegen die muzieksoort. En helaas worden hun ongegronde oordelen blijkbaar makkelijk overgenomen door andere onderzoekers die er niet kritisch naar hebben gekeken.

Ingetrokken artikelen van Diederik Stapel worden ook in 2019 nog steeds geciteerd

by 10 Comments

Ingetrokken artikelen van Diederik Stapel worden ook in 2019 nog steeds geciteerd 6
Stapel bij VPRO Boeken (2014)

Je zou verwachten dat iedere psycholoog, misschien wel iedere wetenschapper, op de hoogte is van de lotgevallen van Diederik Stapel, en zijn frauduleuze bevindingen niet meer argeloos citeert. Was het maar waar: nog steeds — zeven jaar na de affaire — worden Stapels artikelen aangehaald.

Dit blijkt uit een binnenkort te publiceren onderzoek van Luis Morís Fernández en Miguel Vadillo van de Universidad Autónoma de Madrid, ‘Retracted papers die hard’. ‘Weinig gevallen van wetenschappelijk wangedrag en datavervalsing hebben de aandacht ontvangen die Stapel heeft gekregen, maar het weerhoudt geleerden er niet van zijn teruggetrokken artikelen te citeren,’ aldus de auteurs.

Sinds het bedrog van Stapel in 2011 aan het licht kwam, zijn 58 van zijn artikelen ingetrokken; volgens de site Retraction Watch staat Stapel daarmee overigens vierde op de lijst auteurs met de meeste retracties. De omvang van zijn fraude deed een schok door de psychologie en andere takken van wetenschap gaan, en leidde mede tot een algemene herbezinning op het wetenschappelijk proces.

Fernández en Vadillo namen 20 veelgeciteerde artikelen van Stapel, en bekeken of die minstens een jaar na retractie nog steeds werden geciteerd — positief, dus zonder kanttekening, negatief, dus met de retractie genoemd, of neutraal, waarbij het alleen om bijvoorbeeld de methodologie van een artikel ging. De tijdschriften waarin de citaten voorkwamen, werden gescoord naar belang en naar vakgebied.

Ingetrokken artikelen van Diederik Stapel worden ook in 2019 nog steeds geciteerd 7
In 2015 bekeek de Volkskrant ook al eens hoe het stond met het citeren van de ingetrokken artikelen.

De 20 artikelen werden in totaal 102 keren geciteerd terwijl ze toen al minstens een jaar waren teruggetrokken. Daarvan waren er 80 citaties positief, 9 neutraal en 13 negatief. Van de 80 positieve citaties stonden er 21 in de belangrijke psychologische bladen zoals Frontiers in Psychology en Cognition and Emotion, en 41 in andere grote tijdschriften. In 2018 werden artikelen van Stapel nog 7 keer geciteerd waarvan 6 keer instemmend, in 2019 tot dusver 4 keer waarvan 3 instemmend. Dat zullen er dus nog wel wat meer worden, verwachten de auteurs.

Het aantal citaties van de artikelen van Stapel daalde overigens wel al voordat ze formeel werden ingetrokken, waarschijnlijk door de grote media-aandacht.

Met de huidige technologie, menen de auteurs, zou het voor tijdschriftredacties betrekkelijk eenvoudig zijn om verwijzingen naar een teruggetrokken artikel uit de literatuurlijst te vissen. Daar bestaat zelfs al een computerprogramma voor, net zoals er een programma is dat waarschuwt voor foutieve statistische resultaten. ‘De tijd dat bibliothecarissen met een groot stempel retracties moesten aangeven op de pagina’s van gedrukte tijdschriften is allang voorbij,’ besluiten zij. ‘Met de komst van nieuwe technologieën, elektronische tijdschriftene, digitale registers en enorme databanken moet dit probleem tot het verleden gaan behoren.’

Bedenker van de Mente neurofeedback hoofdband voor autisme sjoemelde met wetenschappelijke titels

by 17 Comments

Kinderen met autisme of PDD-NOS zouden volgens het bedrijf Mente Autisme geholpen zijn met een hoofdband die werkt met neurofeedback: “Sensoren in de hoofdband meten de hersenactiviteiten van je kind. Met behulp van geluiden worden de hersengolven in een rustiger patroon gebracht.” Voor kinderen tot 12 jaar zou het dragen van de band gedurende 40 minuten per dag al na een paar weken duidelijke verbeteringen laten zien.

De band is ontwikkeld door de Maltees Adrian Attard Trevisan, die er prat op ging maar liefst twee keer gepromoveerd te zijn, eerst in het Verenigd Koninkrijk en later in Italië. The Sunday Times of Malta onthult nu echter dat daar maar weinig van klopt.

Bedenker van de Mente neurofeedback hoofdband voor autisme sjoemelde met wetenschappelijke titels 8

 

De Maltese krant schrijft dat Trevisan sinds hij in 2012 begon met de marketing van de Mente deed alsof hij gepromoveerd was in de neurowetenschappen aan het University College London. Daar was hij echter alleen maar ingeschreven als masterstudent. In 2015 promoveerde hij dan wel echt aan een Italiaanse universiteit, maar een medewerker van Trevisan beweert nu dat delen van het proefschrift overgeschreven zijn van onderzoek wat hij deed, plagiaat dus.

In Nederland is de hoofdband sinds enige tijd ook verkrijgbaar. Een paar maanden terug werd er nog aandacht aan besteed in het programma Editie NL. Maar werkt die hoofdband nu wel of niet? Op de website van de leverancier in Nederland wordt verwezen naar een aantal wetenschappelijke artikelen. Eigenlijk is maar eentje daarvan relevant, een onderzoek waarvan de resultaten werden gepubliceerd in de journal Frontiers Neurology.
Erg onder de indruk raakte ik niet na het lezen. Uiteindelijk bleven er na heel veel uitvallers 17 deelnemers in de groep over die een echt werkende hoofdband omkregen en evenveel in de controlegroep. Er wordt gesproken over significante resultaten, maar er zijn zoveel vergelijkingen gemaakt zonder te corrigeren voor meervoudig toetsen, dat dat ook niet echt verrassend is.

Volkomen terecht dat de woordvoerder van Nederlandse Vereniging voor Autisme tegenover Editie NL zich erg terughoudend opstelde. De band kost ook maar liefst 2000 euro. Je mag toch eigenlijk wel wat serieuzer onderzoek verwachten als een bedrijf zoveel geld voor een apparaat vraagt, waarvan de werking allerminst bewezen is. Sowieso is het maar de vraag of neurofeedback echt iets doet (dus niet alleen op grafiekjes van hersengolven), lees daarvoor het redelijk recente (2017) artikel van Niki Korteweg uit Skepter:

https://skepsis.nl/neurofeedback-weinig-bewijs/

Titelfoto: screenshot uitzending Editie NL 

5 redenen waarom het zo moeilijk is om als een wetenschapper te denken

by 13 Comments

5 redenen waarom het zo moeilijk is om als een wetenschapper te denken 9
Christian Jarrett – de oorspronkelijke auteur – volgens zijn eigen LinkedIn profiel: Cognitive neuroscientist turned science writer. Editor and creator of the British Psychological Society’s Research Digest blog. Author of PERSONOLOGY, Using The Science of Personality Change To Your Advantage.

Denken als een wetenschapper is erg moeilijk, zelfs voor een wetenschapper. Eerdere overtuigingen moeten aan de kant worden gezet, de kwaliteit en betekenis van het bewijs geëvalueerd en afgewogen worden tegenover de context van eerdere bevindingen. Maar je eigen overtuigingen opzij leggen en objectief blijven, zit niet in de menselijke aard.

Er is een overweldigende hoeveelheid wetenschappelijk bewijs dat de theorie van evolutie ondersteunt en toch zegt één derde van de Amerikanen dat de theorie volkomen verkeerd is. Net zo is er overweldigende wetenschappelijke overeenstemming dat menselijke activiteit bijdraagt aan klimaatverandering en toch twijfelt één derde van de amerikanen.

In Engeland zijn ze er net zo aan toe.  In een recente survey zei 96 procent van de leraren dat ze geloofden dat studenten beter leren wanneer ze les krijgen volgens hun persoonlijke leerstijl, en dat terwijl er nauwelijks wetenschappelijke bewijs is voor dat idee. In een nieuw deel van de  serie Psychology of Learning and Motivation, bekijken Priti Shah en haar collega’s van de universiteit van Michigan in detail naar de redenen waarom mensen zo slecht zijn in wetenschappelijk denken. In dit artikel beschrijf ik vijf belangrijke inzichten.

We worden makkelijk beïnvloed door anekdotes

Wanneer we alledaagse beslissingen nemen, zoals het beginnen van een nieuwe behandeling of het inschrijven voor een bepaald vak op de universiteit, zullen de meeste van ons krachtiger beïnvloed worden door de persoonlijk getuigenis van één persoon dan door een onpersoonlijke beoordeling of uitslagen die gemiddeld zijn over veel mensen. Dit is de kracht van een anekdote die onze kritische vermogens dooft. In een studie die vorig jaar uit is gekomen, vroegen Fernando Rodriguez en zijn collega’s tientallen studenten om wetenschappelijke nieuwsberichten te beoordelen die onteechte conclusies trokken uit zwak bewijs. Sommige van die berichten begonnen met een anekdote die de foutieve conclusies ondersteunde, andere verslagen bevatte geen anekdotes en functioneerden als controle. Ongeacht hun universitaire niveau of kennis van wetenschappelijke concepten, waren de studenten minder goed in het kritisch evalueren van de berichten als ze met een anekdote begonnen. “Anekdotische verhalen kunnen ons vermogen om wetenschappelijk onderbouwde uitspraken te doen in reële situaties ondermijnen”, zeiden de onderzoekers. Natuurlijk wordt gezondheids- en wetenschapsnieuws in de media gebracht door middel van anekdotes, de kans dat de nieuwsconsument alle beweringen in het bericht voor waar aanneemt, wordt zo vergroot.

We zijn te zelfverzekerd

Wanneer we geconfronteerd worden met een wetenschappelijke bewering, vinden veel mensen het moeilijk om wetenschappelijk te denken over de desbetreffende bewering, omdat we ons begrip van de wetenschap overschatten. Een studie van 2003 vroeg honderden universiteitsstudenten om verschillende wetenschappelijke nieuwsberichten te lezen, te interpreteren en hun begrip te beoordelen. De studenten maakten veel interpretatiefouten,  zoals het verwarren van correlatie en oorzakelijk verband zelfs wanneer ze dachten dat ze de materie begrepen. Dit doet sterk denken aan een enquête uit de jaren 80 onder duizenden Britten en Amerikanen: bijna 60 procent zei dat ze matig of goed geïnformeerd waren over nieuwe wetenschappelijke bevindingen en toch kon een veel lager percentage, eenvoudige vragen over elementaire wetenschap beantwoorden. Een deel van het probleem lijkt er in te schuilen dat we onze begrip van wetenschappelijke tekst baseren op hoe goed we de gebruikte taal snappen. Dit betekent dat populaire wetenschappelijke verhalen geschreven in lekentaal bij kunnen dragen aan een vals vertrouwen. Deze “tekstvaardigheidsbias” kan je ook terugzien bij wetenschapslezingen: een recente studie laat zien dat studenten de kennis die ze hadden opgedaan bij een lezing, overschatten als die gegeven was door een boeiende spreker.

We zijn bevooroordeeld door onze eerdere overtuigingen.

Dit obstakel voor een wetenschappelijke objectieve blik is aangetoond in een nu klassieke studie uit de jaren ’70 waarbin deelnemers gevraagd werde om wetenschappelijke onderzoek te beoordelen dat in strijd was met hun eerdere overtuiging, of die juist ondersteunde. Een van die studies liet bijvoorbeeld zien dat het aantal moorden lager was in Amerkaanse staten waar de doodstraf nog werd uitgevoerd. Deelnemers lieten een duidelijke bias in hun beoordeling zien. Als ze voor de doodstraf waren, dan oordeelden ze positiever over de studie over doodstraf. Als ze echter tegen de doodstraf waren, dan zagen ze er sneller fouten in.
Wetenschappelijke vaardigheden bieden weinig bescherming tegen deze cognitieve voorkeur, ze kunnen deze voorkeur zelfs versterken. Een studie uit 2013 vroeg deelnemers om een onderzoeksartikel te beoordelen over wapenwetgeving. De deelnemers die cijfermatig beter onderlegd waren, waren nog duidelijker bevooroordeeld: als de bevindingen van de studie hun overtuiging ondersteunden, was hun oordeel positief, maar als de bevindingen in strijd waren met hun overtuiging, gebruikten ze hun vaardigheden om de bevindingen neer te sabelen. Dit verschijnsel wordt “identiteitsbeschermende cognitie” genoemd wordt.

We worden verleid door grafieken, formules en inhoudsloze neurowetenschap.

De gemiddelde kranten- of tijdschriftlezer raakt makkelijk verblind met de oppervlakkige rekwisieten van de wetenschap, zoals formules, grafieken en vaktaal. Neem de volgende studie van Ibrahim et al,: onderzoekers vroegen deelnemers gevraagd een nieuwsbericht te bekijken over een correlatiestudie over genetisch gemodificeerde voedsel, dat ofwel in lijn was met het bestaande bewijs dat laat zien dat het veilig is, ofwel het daar niet mee in overeenstemming was en suggereerde dat het schadelijk zou kunnen zijn. Het bericht was wel of niet vergezeld van een spreidingsdiagram. Als het bericht dat niet overeenkwam met het onderzoek van het verleden zo’n grafische weergave had van het correlatieonderzoek, waren de deelnemers eerder geneigd om het onderzoek te interpreteren als bewijs voor het idee dat “genetisch gemodificeerde voedsel schadelijk zijn”, dan wanneer de deelnemers hetzelfde bericht hadden gelezen zonder grafiek. “Dit is zorgelijk”, schreef Shah et al., “want het demonstreert hoe makkelijk mensen overtuigd kunnen worden door nieuwe data, ongeacht de wetenschappelijke merites van de resultaten.” Soortgelijk onderzoek naar de kritische vaardigheden van lezers heeft aangetoond dat zij op een soort gelijke manier als verblind worden door ongegronde neurowetenschappelijke jargon en zinloze formules.

Alleen slim zijn is niet genoeg.

Zelfs ervaren onderzoekers leiden aan de menselijke tekortkomingen die wetenschappelijk denken ondermijnen. Hun kritische vermogens worden besmet door hun doelstelling, door hun uiteindelijke motivatie voor het doen van hun experimenten. Dit is waarom de open science revolutie die momenteel gaande is in psychologie zo belangrijk is: wanneer onderzoekers hun methodes en hypotheses transparant maken, en ze hun studies  vooraf registreren, dat is de kans kleiner dat ze afgeleid, of zelfs bedorven worden door confirmatie bias (het uitkiezen van bewijs dat past bij hun bestaande overtuiging).

Kijk bijvoorbeeld naar systematische reviews in de psychotherapie: een recente analyse laat zien dat de conclusies van veel onderzoek zodanig verdraaid wordt dat de conclusie de voorkeur van de onderzoekers ondersteunt. In andere gevallen liet het hele bouwerk van de wetenschapspublicatie, van journals tot wetenschapsjournalisten, hun kritische vaardigheden vallen, alleen maar omdat men het eens wat met de boodschap die opduikt uit een onderzoek.

In hun boek, laten Shah en haar collega’s zien dat ruwe cognitieve vaardigheid (IQ) geen goede voorspeller voor iemands vaardigheid om als een wetenschapper te denken. Belangrijker is de mentale attidude, iemands “behoefte aan kennis” en zijn vaardigheid of motivatie om hun buikgevoel te negeren en diep na te denken. Een positieve noot is dat deze talenten ogenschijnlijk meer kneedbaar zijn, en dus trainbaar, dan intelligentie op zich. Maar er is nog heel wat stevig bewijs voor nodig om dat idee te testen.

Bovenstaande is uit het Engels vertaald met goedkeuring van de auteur:

Christian Jarrett – 5 Reasons It’s So Hard To Think Like A Scientist.

Kans op toeval is onzin

by 17 Comments

Het is lastig om wetenschappelijke publicaties te beoordelen. Vaak komt er ingewikkelde statistiek bij kijken. Maar er is een eenvoudig middel waarmee je althans soms kunt nagaan dat het om onzin gaat. Dat is namelijk als de auteur het heeft over de ‘kans op toeval’. Wie die woorden gebruikt heeft het niet begrepen.

Met even googelen vind je bijvoorbeeld een uitleg over het begrip significantie met de volgende zin “Vinden we geen significant verschil (dus een kans groter dan 5% dat het toeval is)…” . Dan hoef je niet meer verder te lezen. In het Engels is het niet moeilijk om zinnen tegen te komen als “We see some differences, but want to know if those differences are likely due to chance” en “it [het statistische pakket] will show you ‘.05,’ meaning that the finding has a five percent (.05) chance of not being true.”

Kans op toeval is onzin 10

Loterijen

Er is vrijwel geen enkele loterij waar de uitslag ‘het is toeval’ of ‘het is geen toeval’ luidt. Wat er wel gebeurt is dat onderzoekers een of ander resultaat vinden, en zich dan afvragen: ‘Stel dat het proces dat tot dit resultaat geleid heeft volledig door toeval bepaald wordt, en er dus helemaal geen speciaal effect is, wat voor kans zou er dan geweest om dit resultaat te krijgen?’ In dat geval heb je een duidelijk kansmodel (‘er is niks aan de hand’) en dan kun je aan de hand van het model de kans uitrekenen. Meestal gaat het dan niet om ‘dit resultaat’ maar om ‘dit of een extremer resultaat’. Als die kans slechts 1 op 20 of nog kleiner is, is het gebruik om te denken dat er misschien toch iets aan de hand is, en dat noemen we dan significant, wat dus jargon is voor: het heeft heel misschien iets te betekenen. Die 1 op 20 is dus niet de kans dat het effect puur een toevalseffect is. Het is de berekende kans om een dergelijke uitkomst te krijgen als het wel degelijk toeval is. (De echte kans op de gevonden uitkomst is natuurlijk gewoon 1, want het is gebeurd.)

Als je aan een loterij meedoet met tienduizend loten en één prijs, dan kan de winnaar –  en iedereen anders trouwens ook – achteraf uitrekenen dat de kans dat die ene persoon de prijs zou winnen slechts één op tienduizend was. Er is niettemin geen enkele reden om dan te denken dat er iets anders dan toeval een rol heeft gespeeld, en al helemaal niet dat de kans dat de winnaar níét door een hogere macht begunstigd is slechts 0,0001 is. De winnaar kan dat gevoel natuurlijk wel hebben, speciaal als hij de prijs goed kan gebruiken, maar het blijft onzin.

Is er echt iets aan de hand bij een significant resultaat? Laten we uitgaan van een situatie die helaas helemaal niet denkbeeldig is. Er zijn 1000 onderzoekers die de meest krankjorume ideeën hebben en experimenten doen om te kijken of die ideeën ook kloppen. Slechts één onderzoeker heeft het geluk dat het idee ook ergens op slaat. Die zijn proef wijst dat dan ook uit. In de praktijk is dat helemaal niet zo zeker en ook als de proef goed is ingericht heeft deze geluksvogel geen 100% kans dat zijn proef slaagt, maar doorgaans slechts 80%. Maar dat negeren we even. Als alle onderzoekers akelig goed hun best doen om zo eerlijk mogelijk hun rare idee te testen, zullen er toch nog altijd circa 50 een significant resultaat vinden. In deze ideale situatie is nog steeds ongeveer 98% van de significante resultaten gewoon onzin.

Visexpedities

In de praktijk is het veel erger. De ideeën van de onderzoekers zijn niet zozeer krankjorum als wel heel erg wazig. Ze weten niet precies waarnaar ze op zoek zijn. Ze willen weten of sommige soorten voedsel een extra gunstig of extra nadelig effect op de gezondheid hebben. Dan vragen ze proefpersonen de oren van het hoofd over wat die zoal eten, en ze gaan voor tientallen gezondheids- of ziekte-effecten na hoe het verloopt met de betrokkenen. Of nog erger: ze gaan bepaalde zieken vragen wat die de afgelopen jaren gegeten en gedronken hebben. Of ze willen weten of mensen die in bepaalde maanden geboren zijn een bepaalde affiniteit met mensen die in dezelfde of andere maanden geboren zijn. In dat geval kun je dus een tabel maken van echtscheidingspercentage voor elk der 78 soorten echtparen (de ene partner in januari, de andere in januari, februari, maart etc.) en dan kijken of er soorten zijn die eruit springen. Bij sommige onderzoeken kun je op allerlei manieren subgroepen vormen, allemaal natuurlijk als je voorafgaand aan je onderzoek eigenlijk helemaal niet wist waar je naar op zoek bent. Een andere mogelijkheid is dat je verschillende manieren van statistiek bedrijven probeert.

Kans op toeval is onzin 11
Visexpeditie (bron)

Het effect van deze visexpedities in data is dat misschien wel de helft van de onderzoekers (ik ben voorzichtig) een ‘significant’ resultaat vindt dat wel ergens gepubliceerd kan worden. Dan hebben we dus 500 ‘significante’ resultaten, waarvan er maar één ook echt iets voorstelt, dus 99,8% van de significante resultaten is onzin. Voor dit voorbeeld maakt het helemaal niet uit of de onderzoekers allemaal de data zolang martelen totdat er een ‘resultaat’ komt of dat maar de helft daarmee succes boekt. Er staan zulke grote beloningen klaar voor significante resultaten en de straf voor het publiceren van iets dat later onzin blijkt, is zo gering dat we tegenwoordig de situatie hebben dat in allerlei wat zachtere wetenschappen vrijwel alle resultaten onzin zijn, zuiver omdat de onderzoekers allemaal hun lessen statistiek vergeten zijn en denken dat ‘significant’  inhoudt dat er slechts een klein kansje (1 op 20) is dat ze zich vergissen. Dit wordt verergerd doordat al het rekenwerk door de computer gedaan wordt en je als onderzoeker helemaal niet hoeft te snappen wat die computer doet.
Wat je op zijn best kunt zeggen, is dat je waarschijnlijk tamelijk kleine a priori kans met twintig is vermenigvuldigd, en alleen als je niet achteraf aan het knutselen bent geslagen met de gegevens.

Onderzoekers die medicijnen ontwikkelen hebben deels met hetzelfde te maken. Die proberen ook vele duizenden substanties uit. Bij opeenvolgende proeven in reageerbuizen, met proefdieren en met gezonde vrijwilligers, proberen ze zich een beeld te vormen van de activiteit van hun spul. In elk stadium valt er veel af. Pas op het laatst, dus als ze al in het bezit zijn van veel kennis, worden de kostbare proeven gedaan met echte zieken. Maar ook dan gaat de geschatte kans dat het spul werkzaam is op basis van wat al bekend is omhoog met een bescheiden factor, tenminste als de proef gunstig uitpakt. (Je moet eigenlijk met odds rekenen, maar bij deze uitleg met hele grove getallen is dat onbelangrijk.)

Onderzoekers die daarentegen homeopathie onderzoeken, verdoen hun tijd. De kans dat twee eeuwen natuurkundig, chemisch, farmacologisch en medisch onderzoek er helemaal naast zit, is praktisch nul. Een statistisch significante uitslag zal die kans met twintig vermenigvuldigen, en dat is nog steeds praktisch nul. Mocht de uitkomst heel erg significant zijn, dan moeten we de kans meewegen dat er ergens een of andere andere fout is gemaakt, gebrekkige blindering bijvoorbeeld. Een berucht Nederlands onderzoek naar homeopathie bij kalverdiarree kwam effectief op p=0,0000001, en ik trof ooit een obscuur Mexicaans artikel aan over homeopathie bij astma met p=0,00000000001.
De kans dat er een methodologische fout is gemaakt is, is dan aanzienlijk, althans oneindig veel malen groter dan de kans dat twee eeuwen wetenschap de prullenbak in moet. De homeopaten zien dat anders, die beweren dat hun rituele bereidingswijzen en onzinnige diagnostiek allerlei spirituele genezende krachten losmaken. Die krachten blijken zich echter niet aan de statistiek te willen houden want bij goed opgezette proeven komt er nooit wat van terecht.

Kans op toeval is onzin 12

Sir Edmund

De reden voor mij om dit allemaal nog eens te vertellen is dat de zaterdagbijlage van de Volkskrant, Sir Edmund, op 30 september 2017 een omvangrijk stuk van Martijn van Calmthout afdrukte over de ontevredenheid van wetenschappers met de zogeheten p-waarde. De drempel zou misschien van 0,05 naar 0,005 moeten. Ik betwijfel of dat de oplossing is. Wetenschappers moeten zich inhouden met p-hacking, ze moeten corrigeren voor meervoudig testen, en zouden eigenlijk alleen maar p-waarden moeten publiceren als ze van tevoren exact aangeven welke hypothese ze gaan testen en hoe ze dat gaan doen. Als het exploratief onderzoek is, dan moeten ze dat op zijn minst dat duidelijk zeggen.

Wat echter heel zorgelijk is, is dat Van Calmthout zelf het tot achtmaal toe heeft over ‘de kans op toeval’. Mijn beginsel ‘zo gauw je de frase “kans op toeval” of “due to chance” ziet staan, niet verder lezen’ is eigenlijk van toepassing.

Van Calmthout suggereert dat je een munt kunt testen door hem tienmaal op te gooien. Komt hij dan elke keer op kop, dan is de munt waarschijnlijk vals. Dat is onzin. De kans dat een willekeurige munt uit iemands portemonnee een grote voorkeur voor kop heeft is astronomisch klein. Hoe het zit met de kans dat je een corrupte goochelende scheidsrechter treft die op zo’n manier probeert te beïnvloeden wie er op welke helft speelt, dat weet ik niet. Als je moet beslissen: is dit stom toeval of is er wat met die munt, zal na een vluchtige controle of de munt niet krom is of aan beide kanten een kop heeft, de beslissing nog steeds zijn: stom toeval. Dan kun je net zo goed de vluchtige controle meteen doen, en het tienmaal opgooien overslaan.

Interessant genoeg zijn sommige munten waarvan de beeldenaar een beetje dik is niet helemaal ‘eerlijk’: als je ze op een heel gladde ondergrond, een glazen plaat bijvoorbeeld, snel om een verticale as laat tollen, vallen ze vaker met de kop naar beneden, en ‘munt’ boven. De gladde ondergrond is essentieel, want kleine oneffenheden werken als randomizer en misschien zijn er heel veel omwentelingen nodig voordat de lichte onbalans zijn werk kan doen. Op een ruwe ondergrond duurt het tollen wellicht niet lang genoeg. Rob Nanninga schreef in Parariteiten dat je onder gunstige omstandigheden negen van de tienmaal munt krijgt. Dat heb ik nooit gehaald. Het werkte vroeger met guldens met Juliana erop, en tegenwoordig met sommige euromunten (halve euro’s met koning Albert erop, naar ik meen).

Hoe slecht Van Calmthout in het vak zit, blijkt ook nog uit iets anders: de beroemde grondlegger van de wetenschappelijke statistiek, Sir Ronald Fisher, wordt betiteld met Robert Fischer (de schaakkampioen), en het feit dat hij drie jaar voor zijn dood naar Australië verhuisde is reden om hem tot ‘Brits-Australisch’ te bombarderen. Fisher begon zijn carrière op een landbouwkundig proefstation. Daar stop je zaden in de grond en je kijkt naar de opbrengst. In plaats van door te kweken met de 5 procent ‘beste’, kun je ook als criterium nemen dat de plant een ‘significant’ hogere opbrengst heeft. Maar doorkweken is toch wel wat anders dan meteen maar denken dat je een nieuwe bijzondere variëteit hebt, en daar een stuk over sturen naar een vakblad.