• Skip to primary navigation
  • Skip to main content
  • Skip to primary sidebar

Kloptdatwel?

  • Home
  • Onderwerpen
    • (Bij)Geloof
    • Columns
    • Complottheorieën
    • Factchecking
    • Gezondheid
    • Hoax
    • Humor
    • K-d-Weetjes
    • New Age
    • Paranormaal
    • Pseudowetenschap
    • Reclame Code Commissie
    • Skepticisme
    • Skeptics in the Pub
    • Skeptische TV
    • UFO
    • Wetenschap
    • Overig
  • Skeptisch Chatten
  • Werkstuk?
  • Contact
  • Over Kloptdatwel.nl
    • Activiteiten agenda
    • Colofon – (copyright info)
    • Gedragsregels van Kloptdatwel
    • Kloptdatwel in de media
    • Interessante Links
    • Over het Bol.com Partnerprogramma en andere affiliate programma’s.
    • Social media & Twitter
    • Nieuwsbrief
    • Privacybeleid
    • Skeptisch Chatten
      • Skeptisch Chatten (archief 1)
      • Skeptisch Chatten (archief 2)
      • Skeptisch Chatten (archief 3)
      • Skeptisch Chatten (archief 4)

zelfcorrigerend

Corrigeert de wetenschap zichzelf?

18 April 2014 by Thomas de Boer 13 Comments

Dit is een vertaald artikel. Het oorspronkelijke artikel is te vinden op de website van de JREF.

Corrigeert de wetenschap zichzelf? 1
Dr. Steve Novella is klinisch neuroloog en voorzitter van de bekende podcast The Skeptics Guide to the Universe.
(foto: Zooterkin | Wikimedia Commons)

Door Dr. Steve Novella.

In theorie, ja. In praktijk, kan het beter.

Een artikel, gepubliceerd in De Economist, bespreekt een onderwerp waar skeptici al jaren over praten. Er is nogal wat onderzoek troep gepubliceerd dat onbetrouwbaar is. Dit betekent dat je standpunt nog niet juist hoeft te zijn, ook al kun onderzoeken vinden die jouw standpunt lijken te ondersteunen. Je kunt geen antwoord vinden op een vraag door alleen de onderzoeken die jou goed uitkomen te citeren. Je moet een kritische analyse doen van al het beschikbare onderzoek.

Het volledige artikel is het lezen waard en regelmatige lezers van skeptische blogs zullen waarschijnlijk veel van de punten en referenties herkennen, maar zullen vast ook wat nieuwe details leren. Hier volgt mijn eigen samenvatting van de belangrijkste aandachtsgebieden met betrekking tot de kwaliteit en betrouwbaarheid van gepubliceerd wetenschappelijk onderzoek.

De meeste studies zijn van een bedroevende kwaliteit – Om grondig wetenschappelijk onderzoek te doen heb je veel tijd en geld nodig. Onderzoekers voeren daarom vaak vooronderzoek of verkennende studies uit, die klein zijn en die slechts basale mogelijkheden tot controle kennen. Dit soort studies is onbetrouwbaar en alleen nuttig om te bepalen of verder onderzoek gerechtvaardigd is. Vooronderzoeken die positieve uitkomsten tonen, zijn vaak vals-positief (de redenen hiervoor geef ik later) en veel betrouwbaarder wanneer ze negatieve uitkomsten laten zien.

Publish or perish – Onderzoekers en instituten staan onder grote druk om te publiceren. Dit bevordert het publiceren van grote aantallen onderzoeken van lage kwaliteit of het publiceren van de “kleinst mogelijke eenheid van onderzoek” uit een lopend onderzoek om zo het aantal papers dat uit een onderzoek wordt gehaald, te maximaliseren.

Probleem bij de onderzoeker (researcher bias) – Onderzoekers zijn mensen die graag willen dat hun ideeën correct zijn en onderzoek wordt soms uitgevoerd door de industrie of anderen die belang hebben bij bepaalde uitkomsten. Zelfs binnen algemeen geaccepteerde methoden van onderzoek hebben onderzoekers nog een grote vrijheid, ofwel speelruimte. Deze vrijheid kan worden misbruikt (bewust of onbewust) om een positief resultaat te bereiken, zelfs op basis van louter negatieve data. Simmons et al. hebben laten zien dat in 60% van de gevallen een p-waarde van 0,05 kan worden gegenereerd uit negatieve data alleen maar door de speelruimte te gebruiken,  die een onderzoeker heeft. In enquêtes geeft een derde van de onderzoekers toe dat ze zich wel eens vrijheden permitteren om positieve resultaten te behalen.

Probleem bij het publiceren (publication bias) – Tijdschriften, hetzij in druk hetzij online, hebben zo hun eigen motieven voor succes. Tijdschriften die afhangen van hun abonnees willen hun impactfactor [link toegevoegd door redactie] maximaliseren en dat betekent dat ze opwindend onderzoek willen publiceren met nieuwe en verrassende uitkomsten. Zulke artikelen zijn nou net het soort dat gemakkelijk met vals-positieve resultaten komt. Open-Access tijdschriften, die auteurs een bijdrage vragen, willen juist veel publiceren, ongeacht de kwaliteit. Een recent artikel in Science wees op de bedroevende kwaliteitscontrole in deze tak van de industrie. Daarbij komt dat onderzoekers zelf eerder een artikel met positieve resultaten indienen dan een met negatieve resultaten.

Gebrek aan replicaties – Onafhankelijke replicaties zijn de sleutel tot de zelfcorrigerende aard van de wetenschap. Het probleem is echter dat wetenschappers niet voldoende replicerend onderzoek doen en dat tijdschriften ze niet genoeg publiceren. Er is het nu beroemde incident bij Psychology Today dat een vreselijk onderzoek van Daryl Bem publiceerde waarin werd geclaimd dat mensen “de toekomst konden aanvoelen”. Richard Wiseman et al. deden een exacte replicatie van een van Bem’s onderzoeken, dat negatieve uitkomsten opleverde en stuurden het naar Psychology Today voor publicatie. Hun antwoord? We publiceren geen exacte replicaties. Waarom niet? Omdat ze niet sexy genoeg zijn hun impact factor te verhogen.

Een overzicht uit 2012 laat zien dat slechts ongeveer 1% van de psychologische onderzoeken die de afgelopen eeuw zijn gepubliceerd, replicaties waren. Dit overzicht is, voor zover ik het weet, nooit gerepliceerd.

Vergissingen – Onderzoekers vergissen zich soms gewoon en reviewers pikken die fouten er niet altijd uit. Een studie uit 2011 vond dat 50% van de bekeken neurowetenschappelijke onderzoeken een bekende statistische fout bevatten – een fout die vaak negatieve resultaten veranderde in positieve resultaten.

Fraude – Hoewel vooral fraude de krantenkoppen haalt, levert het waarschijnlijk slechts een kleine bijdrage aan het probleem van vals-positieve uitkomsten in gepubliceerd onderzoek. Maar het komt voor en vervuilt daarmee de wetenschappelijke literatuur.

Het goede.

Het is niet allemaal kommer en kwel en ik wil niet een te zwart beeld schetsen. Het is mogelijk om naar alle problemen met wetenschappelijke publicaties te kijken en te concluderen dat het allemaal hopeloos gebrekkig is. Maar dat zou op zijn best nihilistisch zijn en op zijn slechts al het goede ontkennen.

Het opsommen van alle potentiële problemen bij het doen van onderzoek is niet om het als hopeloos neer te zetten, maar aan te geven dat het moeilijk is. We kunnen nog steeds betrouwbare conclusies verkrijgen in de wetenschap door zorgvuldig al het onderzoek te controleren, het slechte te verwijderen en zo vooral te steunen op het meest degelijke onderzoek dat op de juiste wijze is gerepliceerd.

Met andere woorden – al het bovenstaande informeert ons over waar we de drempel moeten leggen voor het accepteren van iets als “wetenschappelijk bewezen”. Skeptici hebben veelal een beter idee waar deze drempel gelegd moet worden dan gelovigen, die vaak een belachelijk lage drempel hanteren, tenminste voor wat betreft hun specifieke geloof.

Als alles volgens de regels gaat, functioneert wetenschap best goed. Onderzoekers zullen nauwkeurig een vondst repliceren, voordat ze tijd gaan besteden aan vervolgonderzoek. Niemand wil zijn schaarse middelen verspillen aan de vals-positieve uitkomsten van iemand anders. Uitkomsten van onderzoek die strijdig zijn, zullen diepgaand worden bediscussieerd totdat consensus is bereikt over een onderzoeksprotocol en alle partijen accepteren de uitkomsten daarvan. Met als gevolg dat we voor veel belangrijke vragen degelijke studies hebben die meerdere malen zijn gerepliceerd met een duidelijk resultaat.

Het is ook belangrijk om duidelijk te maken dat we weet hebben van alle bovengenoemde problemen bij wetenschappelijk onderzoek omdat wetenschappers de moeilijke meta-vragen stellen over het wetenschappelijke proces zelf. Dus niet alleen is wetenschap zelfcorrigerend, ook de mechanismen van zelfcorrectie zijn zelfcorrigerend.

Oplossingen

Alle genoemde problemen hebben oplossingen. Deze oplossingen zijn niet moeilijk toe te passen of duur, maar ze worden soms traag geaccepteerd omdat ze een cultuuromslag vereisen binnen de wetenschap. Hier zijn een paar suggesties.

Betere opleiding van wetenschappers – Veel vergissingen in de wetenschap komen voort uit onwetendheid en kunnen worden opgelost door een betere opleiding. Een meer formele en grondige opleiding in onderzoeksmethodologie en vergissingen die moeten worden vermeden, zou helpen. Kortom, alle wetenschappers zouden betere skeptici moeten worden en hier ligt een belangrijke rol voor de gemeenschap van skeptici.

Kwaliteitscontrole bij tijdschriften – Tijdschriften moeten hun werk beter doen door systematisch fouten en onderzoek van slechte kwaliteit tegen te houden. Er zijn, natuurlijk, wetenschappelijke tijdschriften van topkwaliteit die hierbij in het algemeen uitstekend werk verrichten, ook al slippen slechte studies soms door de mazen van het net. Het probleem is echter dat de meeste tijdschriften middelmatig en vele verschrikkelijk zijn. De tijdschriften zelf moeten beter worden gescreend en alleen degenen die een significant hoge graad van kwaliteit bereiken, moeten worden toegelaten tot de officiële peer-reviewed literatuur. We moeten de achterdeur sluiten voor slecht onderzoek dat via slechte tijdschriften binnenkomt.

Om peer-review en redactioneel-review te verbeteren, zou het een vereiste moeten zijn dat onderzoekers hun ruwe cijfermateriaal ook aanleveren wanneer ze een artikel aanbieden.

Publiceer replicaties en onderzoek met negatieve resultaten – Tijdschriften moeten ruimte maken voor publicatie van studies met negatieve resultaten en exacte replicaties. Op een bepaalde manier is het nogal egoïstisch van tijdschriften met een grote impact, om nieuw en opwindend onderzoek af te romen en niet hun eerlijke deel van het publiceren van replicaties en negatieve resultaten op zich te nemen. Dit leidt tot perverse prikkels, waardoor misschien het meest waardevolle onderzoek wordt verwaarloosd. Voor online tijdschriften is ruimte geen probleem en dus ook geen valide excuus. Voor gedrukte tijdschriften geldt dat ze secties zouden moeten reserveren voor de genoemde soort studies en zij kunnen ook online aanvullingen publiceren met alle replicaties en negatieve studies die ze maar willen. Als die maar van hoge kwaliteit zijn.

Registreer alle onderzoeken – Je kunt geen onderzoek met negatieve resultaten verstoppen als je het vooraf moet registreren. In sommige landen is registratie al verplicht als het gaat om onderzoek waar mensen bij betrokken zijn, maar andere onderzoeksgebieden kunnen ook profiteren van registratie van onderzoek.

Volledige openheid van zaken – Dit is al grotendeels het geval, maar ik vermeld het volledigheidshalve – onderzoekers moeten volledige openheid geven over mogelijke belangenverstrengeling als ze een artikel indienen of presenteren.

De media – Wetenschapsjournalisten en andere publieksvoorlichters zouden het publiek moeten inlichten over het rommelige karakter van wetenschap, en wat er allemaal nodig is om een betrouwbare conclusie te bereiken. Het publiceren van voorlopige onderzoeksresultaten met sensationele krantenkoppen, doet de publieke opinie over wetenschap geen goed.

Pleiten voor verbeteringen in de wetenschappelijke instituties en publieke voorlichting over de methoden die in de wetenschap worden gebruikt, is een van de kerntaken voor de skeptische gemeenschap. De gegevens zijn er; we kennen de problemen en de oplossingen. We hoeven alleen maar druk uit te oefenen om te verbeteringen wat misschien wel het meest belangrijke menselijke instituut is – wetenschap.

Steven Novella, arts, is Senior Fellow bij de JREF en directeur van JREF’s Science-Based Medicine project.

 

Dit is een vertaald artikel. Het oorspronkelijke artikel is te vinden op de website van de JREF.

Filed Under: Wetenschap Tagged With: jref, steve novella, wetenschap, zelfcorrigerend

Primary Sidebar

Steun ons via:
Een aankoopbol.com Partner (meer info)
Of een donatie

Schrijf je in voor de nieuwsbrief!

Skeptic RSS feed

  • Skepsis
  • SKEPP
  • SBM
Skepter 36.1 – Lentenummer 2023
25 February 2023 - SkepsisBlogBeheerder
Skepter 36.1 – Lentenummer 2023

De eerste Skepter van 2023 is eergisteren van de drukker gekomen en zit in de verzending. Hij zal ergens komende week wel bij abonnees en donateurs bezorgd worden. Weer veel moois in dit nummer. Herkent u zich in het portret hier rechts? Dit is volgens de kunstmatig intelligente plaatjesgenerator DALL·E hoe een skepticus eruitziet. Gert Jan van ’t ... Meer lezen Het bericht Skepter 36.1 – Lentenummer 2023 verscheen eerst op Skepsis Blog. [...]

Skepter 35.4 – Winternummer 2022
1 December 2022 - Pepijn van Erp
Skepter 35.4 – Winternummer 2022

Brengen genetici de mammoet, de dodo en de buidelwolf weer terug? Komt kernfusie er sneller dan velen denken? Het nut van sciencefiction als lesmateriaal. Een interview met pendelwinnaar Marieke Kuypers, en nog veel meer in dit nummer. Het bericht Skepter 35.4 – Winternummer 2022 verscheen eerst op Skepsis Blog. [...]

Piramidependelprijs voor Marieke Kuypers en Diederik Jekel feliciteert Skepsis met 35-jarig bestaan
20 November 2022 - Pepijn van Erp

Marieke Kuypers onderscheiden door Skepsis voor haar video's op TikTok en Diederik Jekel feliciteert Skepsis met een feestrede met het 35-jarig bestaan Het bericht Piramidependelprijs voor Marieke Kuypers en Diederik Jekel feliciteert Skepsis met 35-jarig bestaan verscheen eerst op Skepsis Blog. [...]

Uitreiking Zesde Vijs en Skeptische Put 2022 - 29 april
25 March 2023 - Jan Van Haver

De Zesde Vijs wordt toegekend aan iemand die zich het voorbije jaar verdienstelijk heeft gemaakt in het verspreiden van objectieve kennis inzake pseudo-wetenschap en het paranormale. De Skeptische Put wordt jaarlijks gegeven aan een persoon of organisatie die zich uitzonderlijk onkritisch heeft opgesteld, en de verspreiding of popularisering van kennis en wetenschap totaal verkeerd heeft begrepen. [...]

Komeet van Halley in “Het verhaal van Vlaanderen”?
13 February 2023 - Paul De Belder

De aflevering van ‘Het verhaal van Vlaanderen’ over de Guldensporenslag heeft ongetwijfeld de meeste commentaar opgewekt. Ook vanuit de astronomie valt er kritiek op te leveren. Inderdaad begon de bewuste aflevering met een voorstelling van de komeet van Halley.  Bij het kijken dacht ik heel even dat ik in een documentaire over sterrenkunde en niet over geschiedenis zat. Maar meteen werd de band duidelijk. [...]

Desmet dwaalt, draait en duikt
9 January 2023 - Paul De Belder

Hoewel de uitspraken van Desmet over de coronamaatregelen al langer op veel kritiek van factcheckers stuiten, kwam hij pas recentelijk echt flink in opspraak. Op een tournee langs verschillende Amerikaanse talkshows en podcasts om de Engelse vertaling van zijn boek te promoten, was hij ook te gast bij Infowars, de show van Alex Jones. Het optreden bij deze veroordeelde complotdenker en het doen van nogal stellige uitspraken over openhartoperaties onder hypnose waren de aanleiding voor een hausse aan kritische artikelen in de Vlaamse media. [...]

Was the SARS-CoV-2 Pandemic to Blame for an Increase in Unexpected Infant Deaths in 2020?
31 March 2023 - Clay Jones

New CDC data on unexpected infant deaths in 2020 show an increase, but only in Black infants. There is a good chance that this is an indirect result of the SARS-CoV-2 pandemic. The post Was the SARS-CoV-2 Pandemic to Blame for an Increase in Unexpected Infant Deaths in 2020? first appeared on Science-Based Medicine. [...]

The (Cold) Drugs Don’t Work
30 March 2023 - Scott Gavura

The FDA continues to permit the inclusion of an ineffective ingredient in hundreds of cough and cold products. The post The (Cold) Drugs Don’t Work first appeared on Science-Based Medicine. [...]

Verbicide: Language as a Pandemic Casualty
28 March 2023 - Jonathan Howard

Natural infection is getting infected. It's like water and H20.  It's amazing that a doctor is trying to convince us otherwise. The post Verbicide: Language as a Pandemic Casualty first appeared on Science-Based Medicine. [...]

Recente reacties

  • Hans1263 on De linke weekendbijlage (11-2023)Ik heb er ieder jaar weer behoorlijk last van. Meneer Overbeek in Havelte op zijn racefiets kan zich dat niet
  • Renate1 on De linke weekendbijlage (11-2023)En dan krijgen we dus weer dit soort gedoe over het afschaffen van zomertijd: https://www.volkskrant.nl/columns-opinie/de-pandemie-en-queen-
  • Renate1 on De linke weekendbijlage (11-2023)Tja, geen idee. Ik vraag me in de eerste plaats af of de bevolking zit te wachten op de afschaffing
  • Hans1263 on De linke weekendbijlage (11-2023)En dan vervolgens "Den Haag" waar men zich zich afvraagt hoe die kloof tussen bevolking en overheid.toch is veroorzaakt. Hoe
  • Klaas van Dijk on De zaak-basrakarekietLOWI komt in een recent 'advies' over een ondertussen teruggetrokken antivax preprint van VU hoogleraar Ronald Meester terug op de

Archief Kloptdatwel.nl

Copyright © 2023 · Metro Pro on Genesis Framework · WordPress · Log in