Kloptdatwel?

Wetenschap

De anti-GMO studie van Séralini – drinken van Roundup laat mannen langer leven

by 47 Comments

In het najaar van 2012 verscheen een wetenschappelijk artikel van Gilles-Eric Séralini met allemaal enge plaatjes van ratten met uitgegroeide tumors. Die ratten hadden op een dieet gestaan van genetisch gemodificeerde maïs. De resultaten van de studie werden gepresenteerd volgens een zorgvuldig voorbereide mediastrategie. Het schokkende resultaat inclusief de rattenfoto’s ging de hele wereld over.

seralini-rats-junk-science

De studie was ook meteen berucht. Wetenschappers schoten er vrijwel meteen allerlei gaten in. Het aantal ratten in de (controle)groepen was wel erg klein, het soort ratten ongeschikt voor dit type onderzoek, het was onethisch om de ratten niet tijdig uit hun lijden te verlossen, enzovoort enzovoort. Niet alleen vanwege die methodologische onzorgvuldigheden kreeg Séralini er van langs,  maar zeker ook vanwege de manier waarop hij de media had bespeeld. Het leverde een hoop discussie op en uiteindelijk werd het artikel ingetrokken.

Myles Power legt in de volgende video uit wat er nu eigenlijk wel en niet van die studie klopt:

Het is ook rustig na te lezen op zijn blog. De studie is dus een grote puinhoop. De enige correlatie die nog ergens op lijkt, is een verrassende en wordt niet in het artikel genoemd: van de mannelijke ratten die gewoon water dronken, gingen er meer dood dan van hun collega’s die water dronken waaraan de herbicide Roundup was toegevoegd! Daar hoor je de anti-GMO activisten vreemd genoeg niet over.

Handig overzichtje over wat er allemaal mis is met de Seralini-studie (bron: Genetic Literacy project)
Handig overzichtje om net zulke schokkende resultaten als die van Séralini te krijgen (bron: Genetic Literacy project)

Wat in de video ook aan de orde komt is dat ‘peer reviewed’ niet automatisch betekent dat een artikel klopt. Het artikel is nu opnieuw gepubliceerd in een ander blad, maar is voor de herpublicatie vreemd genoeg niet opnieuw inhoudelijk bekeken zoals de editor aan Retraction Watch liet weten. De nieuwe ‘reviewers’ hebben alleen gekeken of het ingediende stuk exact hetzelfde was als de ingetrokken versie. Wat betekent die herpublicatie dan? De aanhangers van Séralini zien het natuurlijk als een terechte rectificatie van die oneerlijke retractie (=censuur onder druk van GM-giganten als Monsanto, enzo) en zullen de studie vast blijven gebruiken als ‘wetenschappelijke’ onderbouwing van hun strijd tegen genetische modificatie.

Steven Novella wordt er niet blij van:

The Seralini GMO rat study is now infamous for its poor quality and overstated conclusions. The republication of the paper extends the saga, but does nothing to correct the many failings of the study.

Defenders of the republication cite the virtue of access to data, and open communication, while decrying the “censorship” of the retraction. This completely misses the point, however. The peer-reviewed literature is not just about open communication of data, but puts into place a heavy filter for quality. A study needs to reach a certain minimum level of quality before it is worthy of consideration as part of the peer-reviewed literature.

Op zich lijkt het me ook beter dat ingetrokken studies niet van de oorspronkelijk publicatieplek verdwijnen, als maar heel duidelijk gemaakt wordt, waarom het artikel ‘retracted’ is. De journals zijn daar natuurlijk niet zo happig op, omdat ze daarmee vaak ook moeten toegeven dat hun eigen procedures niet zo best gefunctioneerd hebben of dat het uitzoeken van verantwoordelijke editors en reviewers niet zo zorgvuldig gaat als ze graag doen voorkomen.

De studie staat nu in Environmental Sciences Europe, een Open Access tijdschrift van Springer: “Republished study: long-term toxicity of a Roundup herbicide and a Roundup-tolerant genetically modified maize“.

Er is bijzonder veel over deze zaak geschreven, een handig overzicht (op publicatiedatum) geeft een zoekopdracht bij The Genetic Literacy Project. Voor de liefhebbers van complottheorieën en vage sektes is het interessant om de links op het volgende blog te lezen: Seralini’s Connections to Quack Science and Strange Philosophies.

Vijftig grootste misvattingen in de psychologie

by 21 Comments

50misvattingen
De 50 grootste misvattingen in de psychologie. Door Scott O. Lilienfeld, Steven Jay Lynn, John Ruscio, Barry L. Beyerstein

Zoals al eerder vermeld op deze website is een van de doelstellingen van de Skepsis werkgroep Amsterdam om meer skeptisch georiënteerde boeken te lezen. Recentelijk hebben we ons gezamenlijk over “Vijftig grootste misvattingen in de psychologie” gebogen.

Als je met dit boek begint denk je een dikke pil te verteren hebt maar gelukkig (?) blijkt ca. 1/3 van het boek uit referenties te bestaan, hetgeen in ieder geval aangeeft dat de auteurs niet over één nacht ijs gegaan zijn tijdens het schrijven van dit boek.

Al met al leest het boek gemakkelijk, tenzij men elke referentie gaat napluizen hetgeen de “leesflow” niet ten goede komt. Het boek opent met een korte introductie in de psychomythologie, waarin men een overzicht krijgt over de typisch menselijke waarnemingsbeperkingen en drogredenen die kunnen bijdragen aan het ontstaan van dergelijke mythes. De mythes die behandeld worden zijn geclusterd in 11 gebieden, te weten “denkvermogen”, “van baarmoeder tot graf”, “herinneringen uit het verleden”, “oude honden nieuwe trucjes leren”, “veranderende percepties”, “ik heb een gevoel”, “het sociale dier”, “ken uzelve”, “bedroefd, kwaad en slecht”, “wanorde in de rechtszaal” en “kunde en pillen”. Elke cluster of hoofdstuk wordt afgesloten met een lijst met eenregelige toelichting van mythes die men zelf kan onderzoeken. Als startpunt worden enkele literatuurreferenties meegegeven. Ik wil in deze bespreking niet alle 50 mythes opsommen, maar deze ‘meer bekende’ zul je in het boek in ieder geval tegenkomen: “de meeste mensen gebruiken maar 10% van hun hersen capaciteit”, “de meeste mensen ondergaan rond de 40 of 50 een midlife crisis”, “een positieve levenshouding kan kanker weerstaan” en “de meeste mensen die in hun jeugd seksueel misbruikt zijn ontwikkelen ernstige persoonlijkheidsstoornissen als ze volwassen zijn”.

Hoe een mythe gefileerd wordt kan men het best illustreren met een voorbeeld, Mythe 4: Visuele waarneming wordt vergezeld door emissies vanuit het oog. De algemene benadering is om een mythe eerst toe te lichten, vervolgens de mentale denkfouten toe te lichten waarna de feiten ter tafel gebracht worden.

Eerst wordt de lezer uitgedaagd om eens goed om zich heen te kijken, op een voorwerp te fixeren, en vervolgens de vraag te beantwoorden of er iets uit zijn ogen kwam. Voor iemand met enige optica kennis komt deze vraag heel vreemd over. Psychologisch onderzoek laat echter zien dat dit idee bewust of onbewust bij veel mensen leeft. Denk hierbij ook aan populaire comics (Superman met zijn X-ray ogen, Cyclops van de X-men met zijn laser ogen, etc.) en aan kreten zoals “priemende ogen”. Meerdere voorbeelden, met de bijbehorende referenties, worden behandeld. Ook wordt een poging gedaan om de oorsprong van deze mythe te duiden. De lichtflitsjes die men kan waarnemen bij gesloten ogen (individuele fotonen) of als men in zijn ogen wrijft is door sommigen aangegeven als een mogelijke verklaring van deze mythe. Ook de observatie dat de ogen van sommige dieren in het donker lijken op te lichten is genoemd als een mogelijke oorzaak. Echt zeker weet men het echter niet. Wat vooral interessant lijkt te zijn is dat deze mythe moeilijk uit te roeien is. Zelfs nadat mensen voorgelicht zijn over de werking van het licht en het oog, en deze verklaring ook lijken te accepteren, blijkt uit studies dat dit deze mythe na enige tijd weer terugkeert.

Waar ik met dit boek ook mee geconfronteerd werd is dat ik als “oudere jongere” in mijn jeugd veel van de beweringen die in dit boek vermeld staan voor waar heb aangenomen, hetgeen mij weer liet nadenken over de “waarom” vraag. Het antwoord is volgens mij dat je indertijd met dit soort beweringen geconfronteerd werd op de TV, in kranten (ook de meer serieuze) en populair wetenschappelijke tijdschriften (Kijk en Natuur & Techniek). In het dorp waar ik opgroeide, was er weliswaar een bibliotheek, maar in mijn herinnering was de non-fictie sectie ook weer niet extreem groot. Ik geloof niet dat met de informatie die je daar kon vinden dit type beweringen kon fileren. Ook toen ik begin jaren ’80 naar Amsterdam verhuisde was het niet zo dat je er zo gemakkelijk achter kon komen waar dit soort informatie te vinden was. De Openbare Bibliotheek op de Prinsengracht bevatte weliswaar veel meer boeken maar om de vraag aan de informatie te koppelen was waarschijnlijk weer net iets te lastig. Alhoewel ik het indertijd ook wat drukker had met ander zaken en me dit soort vragen wat minder vaak stelde dan ik het nu doe blijft het kernpunt echter dat in die tijden (lang…lang geleden) het vinden van specifieke informatie op een bepaald gebied veel lastiger was, en dat is tegenwoordig in het internettijdperk toch heel wat makkelijker. Er staat natuurlijk veel onzin op het web maar daar staat tegenover dat er ook veel meer “echte” informatie te vinden is en, misschien nog wel belangrijker, dat het tegenwoordig makkelijker is om informatie te koppelen. Wat nu, maar ook vroeger belangrijk was, is dat men enige gedegen kennis moet bezitten om de gevonden informatie op zijn waarde (zin of onzin) te kunnen beoordelen. Gedegen kennis gekoppeld aan wat eenvoudige regels (bijvoorbeeld: controleer altijd de bron) helpt je al een heel eind op weg.

Oftewel, zoals ik het ooit eens ietwat ironisch heb proberen weer te geven in onderstaande illustratie, het is een betere wereld voor skeptici in het Google tijdperk…

Informatie zoeken in het Google tijdperk
Informatie zoeken in het Google tijdperk

Dan krijgen we de vraag of ik dit boek aan anderen wil aanbevelen. Dat kan ik met “ja” beantwoorden en niet alleen maar omdat het redelijk makkelijk leest en het een boeiend onderwerp behandeld. Het boek is een aanrader voor iedereen, inclusief beginnende en gevorderde psychologen, maar vooral voor sceptici. Als er een mythe besproken wordt waarvan je altijd al dacht dat die niet klopte dan kun je dat als een opsteker voor je sceptische vermogens beschouwen. Als er een mythe besproken wordt die jij nog steeds als waar beschouwde, dan is dat een wijze les. We blijven menselijk en het benadrukt weer eens dat je je bij een bewering moet blijven afvragen: ”Klopt dat wel?”.

 

Geïnteresseerd geraakt in het boek? Bestel het via de onderstaande link bij Bol.com en steun daarmee Kloptdatwel!

De Nederlandse versie is momenteel bij Bol.com niet leverbaar. Hieronder het laatste boek van Lilienfeld:

Volgende sociale psycholoog struikelt – de zaak Förster

by 23 Comments

Na de schandalen rond Diederik Stapel en Dirk Smeesters is nu weer een hoogleraar sociale psychologie ernstig in de problemen gekomen. Het Landelijk Orgaan Wetenschappelijke Integriteit oordeelt dat professor Jens Förster, verbonden aan de Universiteit van Amsterdam, in minstens één artikel data heeft gebruikt, die eigenlijk niet op een normale wijze verkregen kunnen zijn. De gegevens zijn te ‘perfect’ en bevatten veel minder ruis dan je normaal verwacht bij het soort experimenten dat Förster uitvoerde.

Jens Förster
Jens Förster

Begin 2012 publiceerde Förster een artikel in Social Psychological and Personality Science onder de titel Sense Creative! The Impact of Global and Local Vision, Hearing, Touching, Tasting and Smelling on Creative and Analytic Thought. In het artikel beschrijven Förster en zijn co-auteur Markus Denzler een aantal experimenten op basis van een theorie die door Förster is ontwikkeld: GLObal versus LOcal processing Model. Deze theorie, kortweg GLOMO, gaat over het verschil dat zou bestaan tussen het verwerken van waarnemingen van iets in het geheel (global) of meer met een focus op details (local).
Het nieuwe van Försters onderzoek is dat hij het niet alleen beperkt tot visuele waarneming, zoals anderen eerder deden, maar experimenteert met geluid, geur, smaak en aanraking als prikkels. De experimenten komen er meestal op neer dat proefpersonen worden geprimed met ofwel een globale ofwel een lokale prikkel, en dan worden getest met analytische en creatieve testjes (op Wetenschap24 meer uitleg hierover). Uit het abstract van de bewuste studie:

Throughout separate 12 studies, participants were asked to look at, listen to, touch, taste or smell details of objects, or to perceive them as wholes. Global processing increased category breadth and creative relative to analytic performance, whereas for local processing the opposite was true. Results suggest that the way we taste, smell, touch, listen to, or look at events affects complex cognition, reflecting procedural embodiment effects.

Boven de weergave in de artikelen en onder in de volgorde local-control-global (low-med-high), waarbij het lineaire verband duidelijk wordt. (afbeelding van Wetenschap24)
Boven de weergave in de artikelen en onder in de volgorde local-control-global (low-med-high), waarbij het lineaire verband duidelijk wordt. (afb. Wetenschap24)

De resultaten leken echter veel te mooi om waar te zijn. Een UvA-collega van Förster, werkzaam op een andere afdeling, viel het op dat het ‘positieve’ effect van de priming met een globale prikkel precies het tegenovergestelde effect had als de priming met een lokale prikkel.
Dat is niet meteen duidelijk als je kijkt naar de grafiekjes van Förster, maar als je de volgorde van de weergave een beetje verandert, zie dat gemiddelden van ‘Global’ en ‘Local’ even ver af liggen van het gemiddelde van de controlegroep (zie afbeelding hiernaast). Dat kan natuurlijk een keer gebeuren, maar het patroon trad op in alle beschreven experimenten.

Een tweetal oudere artikelen werd erbij gehaald en daar bleken dezelfde uitgesproken lineaire verbanden op te duiken. In totaal werden in de drie artikelen 42 experimenten gevonden. En die vertonen allemaal hetzelfde beeld, zoals hieronder in een visuele samenvatting gezien kan worden:

 

Een grafische weergave van de 42 experimenten.(meta-montage door @neuroskeptic)
Een grafische weergave van de resultaten van de 42 experimenten,de lineariteit springt er uit (meta-montage door Neuroskeptic)

Ter vergelijking onderzocht deze medewerker, alleen of met anderen, ook een tiental artikelen van vakgenoten van Förster, waarin een soortgelijke opzet werd gebruikt (dus telkens met drie groepen). Daarin was er geen sprake van een dergelijk sterke lineariteit. De opmerkelijke resultaten van Förster zouden misschien nog wel verklaard kunnen worden door Questionable Research Practices (QRP), zoals het weglaten van uitschieters,  het aanvullen van de data met gegevens van extra steekproeven na een eerste evaluatie die net niet lekker uitkwam, of het verwijderen van deelnemers die hun onderzoek niet serieus genoeg hadden ingevuld. Dat laatste zou nog wel mogen, maar dan moet je vooraf precies vastleggen hoe je dat doet en niet achteraf, zoals in het geval Smeesters.
Ook kun je niet meteen uitsluiten dat deze experimenten op een nog onbegrepen lineair verband zijn gestuit. Maar ook als je er van uit gaat dat dat lineair verband er echt is, dan zouden de gegevens daar nog steeds veel te mooi bij passen. Er is veel te weinig spreiding in de gegevens. Bij nadere beschouwing blijkt het ook zeer onwaarschijnlijk dat QRP deze te ‘perfecte’ gegevens zouden kunnen opleveren op basis van een set gegevens die in eerste instantie wel netjes verkregen was. De analyse van de anonieme klager(s) die de basis vormde voor de klacht bij Commissie Wetenschappelijke Integriteit (CWI) van de Universiteit van Amsterdam (UvA)  is gelekt naar Retraction Watch.

De klacht werd door de CWI onderzocht, maar die kwam in juli 2013 uiteindelijk niet verder dan de aanbeveling om een ‘letter of concern’ te publiceren omtrent de twijfels over de data (geanonimiseerd rapport, pdf). Förster ontkende dat hij slordig was geweest en zich schuldig had gemaakt aan QRP. De klager vond dat de CWI haar werk onvoldoende had gedaan en ging in beroep bij het LOWI met onder de volgende punten van kritiek: de CWI had archiefonderzoek moeten doen naar de dataverzameling, meer getuigen (onderzoeksassistenten) moeten horen, andere artikelen van Förster en de ruwe databestanden moeten onderzoeken, en ook veel sneller moeten werken.
In het LOWI-rapport(pdf), dat deze week uitkwam (de berichtgeving kwam eind april al op gang na een stuk van Frank van Kolfschooten in NRC), wordt de klager niet op alle punten in het gelijk gesteld. Vooral procedureel valt de CWI niet veel te verwijten. Het is niet zo raar dat die zich beperkt heeft tot de concreet aangedragen problemen. In de zaken van Stapel en Smeesters lag het anders: daar kwamen snel bekentenissen en kregen de CWI’s opdracht van de Colleges van Bestuur om verder onderzoek te doen.
Inhoudelijk geeft het LOWI de klager echter wel gelijk en deelt de mening er eigenlijk geen aanwijzingen zijn gevonden dat QRP tot de onwaarschijnlijke data geleid kunnen hebben en dat het daarom niet bij zo’n ‘letter of concern’ zou kunnen blijven. De statistische experts die vervolgens door het LOWI ingeschakeld werden, kwamen met nog een opmerkelijk gegeven in de data. Als je kijkt naar subgroepen, je splitst de data op naar man/vrouw bijvoorbeeld, dan is er helemaal geen spoor van die lineariteit terug te vinden. De afwijkingen ten opzichte van het lineaire verband bij mannen en vrouwen heffen elkaar precies op als je de data samenvoegt. Dit lijkt helemaal bizar, maar misschien voegt het niet zo veel toe aan het reeds ontstane beeld dat de data sowieso geconstrueerd moeten zijn. En dat door iemand zonder al te veel kennis van statistiek. Förster ontkent intussen dat hij iets verkeerd heeft gedaan en spreekt van een onterechte heksenjacht.

Is het statistisch bewijs voldoende om het oordeel fraude te kunnen vellen? In de analyse van de klager wordt een waarde berekend die zou inhouden dat er maar een kans is van één op 508 triljoen dat de gegevens van een normale steekproef afkomstig zouden kunnen zijn zonder manipulatie. De statisticus Richard Gill (Universiteit Leiden), die zich vaak roert in de commentaren op diverse blogs over deze zaak, geeft echter aan dat je je niet moet blindstaren op dit soort cijfers. Ze hangen af van allerlei aannames rondom de gebruikte modellen. Als handvat om er zinnig mee om te gaan, stelt hij dat je eerst maar eens het aantal nullen moet halveren en als er dan nog steeds een buitensporig aantal nullen staat, halveer je het nog maar eens. In dit geval blijft er dan echter nog steeds een absurd lage kans over. Gill noemt Förster ‘ofwel een oplichter of volkomen incompetent.’
Er zijn ook andere aanwijzingen dat er iets goed is misgegaan. Het LOWI heeft zich alleen gebogen over het artikel dat de aanleiding was tot de klacht. Van de oudere artikelen die ook door de klager zijn geanalyseerd, zijn de gegevens niet eens meer beschikbaar (gecrashte harddisk). Van het artikel in 2012 zijn de originele formulieren vernietigd, hoewel de aangeraden bewaartermijn nog niet was verlopen. En er is onduidelijkheid over wanneer en waar de gegevens precies verzameld zouden zijn. Misschien dat dit soort slordigheden vrij vaak voorkomen (of kwamen) in de sociale psychologie, maar het wordt in dit geval toch wel moeilijk om het niet te zien als een poging om een ernstiger probleem te verhullen.
Samenvattend volgens het LOWI: “is de conclusie […] onontkoombaar dat voor de uitkomsten van dit onderzoek in het artikel onderzoeksgegevens zijn gemanipuleerd of gegevens bewust zijn bijgesteld.” Het oordeelt dat er sprake is geweest van schending van de wetenschappelijke integriteit en adviseert de UvA om het tijdschrift te verzoeken het artikel in te trekken. Op het moment van schrijven van dit stuk was er nog geen officiële mededeling van de UvA, maar de woordvoerder liet al weten dat ze het advies overnemen. Er lijkt vooralsnog geen onderzoek naar andere artikelen van Förster geïnitieerd te worden. [Update 4/10/2014. NRC: ‘UvA gaat toch mogelijke fraude psycholoog onderzoeken‘]

Förster zou eigenlijk volgende maand aan de slag gaan als ‘Humboldt-professor’ in Bochum met een beurs van 5 miljoen euro, dat is voorlopig uitgesteld. In Duitsland is het overigens nog akelig stil rond deze zaak. Merkwaardig, want Förster heeft een grotere status dan Stapel of Smeesters in het vakgebied. Het is opvallend dat deze drie zaken allemaal aan Nederlandse universiteiten naar boven komen. Is het hier erger dan in het buitenland? Waarschijnlijk niet en heeft het er meer mee te maken dat sinds de affaire Stapel de wegen naar CWI’s en LOWI sneller gevonden worden door klokkenluiders en klagers van buitenaf.

Verder lezen:

Radioactieve neerslag van Fukushima veroorzaakte geen duizenden doden in de VS

by 10 Comments

Onderzoeken van de Amerikaanse wetenschappers Joseph Mangano and Janette Sherman over de gezondheidseffecten van radioactieve neerslag die vrijkwam bij de ramp in Fukushima veroorzaakten nogal wat onrust in de Verenigde Staten. In 2011 lieten ze zien dat er in de maanden na de ramp al 14.000 extra doden zouden zijn gevallen. En in een recentere studie dat er veel meer kinderen werden geboren met een aangeboren schildklierafwijking.
Hier zijn wetenschappers aan het woord en dan lijkt het snel serieuzere koek dan andere alarmistische verhalen over de gevolgen van de ramp bij Fukushima die meestal uit uiterst vage hoek blijken te komen. Andere onderzoekers probeerden de bevindingen echter na te rekenen en kwamen snel tot de conclusie dat er niets van deugt.

Het artikel met de 14.000 extra doden in de Verenigde staten werd als volgt in een persbericht aangekondigd:

 An estimated 14,000 excess deaths in the United States are linked to the radioactive fallout from the disaster at the Fukushima nuclear reactors in Japan, according to a major new article in the December 2011 edition of the International Journal of Health Services.   This is the first peer-reviewed study published in a medical journal documenting the health hazards of Fukushima.

Het is gepubliceerd als: An unexpected mortality increase in the United States follows arrival of the radioactive plume from Fukushima: is there a correlation? Wat recenter (2013) is het artikel waarin ze laten zien dat er veel meer aangeboren schildklierafwijkingen zouden zijn voorgekomen in de maanden na de ramp: Changes in confirmed plus borderline cases of congenital hypothyroidism in California as a function of environmental fallout from the Fukushima nuclear meltdown (Open Journal of Pediatrics).

Dat klinkt allemaal niet best, nietwaar? Beide artikelen deugen echter van geen kanten. In de volgende  video wordt de hele gedachtegang van Mangano en Sherman gefileerd, er blijft niets van over. Het is een en al verdraaien van cijfers, wat in mijn ogen haast niet anders dan opzettelijk kan zijn gebeurd. De onderbouwing van de verklaring hoe een lage dosis radioactieve straling in zo’n korte tijd tot zoveel doden zou kunnen leiden, blijkt ook niet meer te zijn dan een e-mailtje van een andere wetenschapper.

‘Hoe kan dit soort prutswetenschap toch gepubliceerd worden in peer reviewed tijdschriften?’ vraag je je misschien af. Het eerste artikel werd gepubliceerd in een tijdschrift dat helemaal niet over epidemiologie gaat, maar over de beleidsmatige kanten van gezondheidszorg. Het is maar de vraag of de uitgezochte reviewers überhaupt verstand hadden van dit soort rekenwerk. Bij het tweede artikel is het nog veel duidelijker, dat werd gepubliceerd in een open access tijdschrift dat op het beruchte lijstje van Jeffrey Beall [mirror] voorkomt. Dat tijdschrift weigerde ook zonder opgaaf van reden een ingezonden commentaar.

In Popular Mechanics verscheen een artikel over de vervelende gevolgen van publicatie van dit soort nonsens wetenschap: What Can We Do About Junk Science? Dat stuk besluit met:

It’s easy to blame the impact of junk science on sloppy experiments, irresponsible reporters, or a failure of peer review. But even after it’s debunked, junk science sticks because it preys on the public’s fear and distrust. Ultimately, junk science can be dispelled only if individuals think like scientists: Evaluate all the evidence and try to disprove your own preconceptions.

Dat laatste kan wel waar zijn, maar daarvoor is wel inspanning van wetenschappers voor nodig. Je moet wel weten waar je moet zoeken naar dat bewijs en enigszins weten hoe je het moet beoordelen. Een academische ‘debunk’ in de vorm van een reactie in het tijdschrift bereikt het reeds misleide publiek waarschijnlijk ook niet zo snel. Daarom waardeer ik het zeer dat sommige wetenschappers de moeite nemen om middels zo’n YouTube video duidelijk uiteen te zetten wat er allemaal mis is met deze artikelen.

Corrigeert de wetenschap zichzelf?

by 13 Comments

Dit is een vertaald artikel. Het oorspronkelijke artikel is te vinden op de website van de JREF.

Corrigeert de wetenschap zichzelf? 7
Dr. Steve Novella is klinisch neuroloog en voorzitter van de bekende podcast The Skeptics Guide to the Universe.
(foto: Zooterkin | Wikimedia Commons)

Door Dr. Steve Novella.

In theorie, ja. In praktijk, kan het beter.

Een artikel, gepubliceerd in De Economist, bespreekt een onderwerp waar skeptici al jaren over praten. Er is nogal wat onderzoek troep gepubliceerd dat onbetrouwbaar is. Dit betekent dat je standpunt nog niet juist hoeft te zijn, ook al kun onderzoeken vinden die jouw standpunt lijken te ondersteunen. Je kunt geen antwoord vinden op een vraag door alleen de onderzoeken die jou goed uitkomen te citeren. Je moet een kritische analyse doen van al het beschikbare onderzoek.

Het volledige artikel is het lezen waard en regelmatige lezers van skeptische blogs zullen waarschijnlijk veel van de punten en referenties herkennen, maar zullen vast ook wat nieuwe details leren. Hier volgt mijn eigen samenvatting van de belangrijkste aandachtsgebieden met betrekking tot de kwaliteit en betrouwbaarheid van gepubliceerd wetenschappelijk onderzoek.

De meeste studies zijn van een bedroevende kwaliteit – Om grondig wetenschappelijk onderzoek te doen heb je veel tijd en geld nodig. Onderzoekers voeren daarom vaak vooronderzoek of verkennende studies uit, die klein zijn en die slechts basale mogelijkheden tot controle kennen. Dit soort studies is onbetrouwbaar en alleen nuttig om te bepalen of verder onderzoek gerechtvaardigd is. Vooronderzoeken die positieve uitkomsten tonen, zijn vaak vals-positief (de redenen hiervoor geef ik later) en veel betrouwbaarder wanneer ze negatieve uitkomsten laten zien.

Publish or perish – Onderzoekers en instituten staan onder grote druk om te publiceren. Dit bevordert het publiceren van grote aantallen onderzoeken van lage kwaliteit of het publiceren van de “kleinst mogelijke eenheid van onderzoek” uit een lopend onderzoek om zo het aantal papers dat uit een onderzoek wordt gehaald, te maximaliseren.

Probleem bij de onderzoeker (researcher bias) – Onderzoekers zijn mensen die graag willen dat hun ideeën correct zijn en onderzoek wordt soms uitgevoerd door de industrie of anderen die belang hebben bij bepaalde uitkomsten. Zelfs binnen algemeen geaccepteerde methoden van onderzoek hebben onderzoekers nog een grote vrijheid, ofwel speelruimte. Deze vrijheid kan worden misbruikt (bewust of onbewust) om een positief resultaat te bereiken, zelfs op basis van louter negatieve data. Simmons et al. hebben laten zien dat in 60% van de gevallen een p-waarde van 0,05 kan worden gegenereerd uit negatieve data alleen maar door de speelruimte te gebruiken,  die een onderzoeker heeft. In enquêtes geeft een derde van de onderzoekers toe dat ze zich wel eens vrijheden permitteren om positieve resultaten te behalen.

Probleem bij het publiceren (publication bias) – Tijdschriften, hetzij in druk hetzij online, hebben zo hun eigen motieven voor succes. Tijdschriften die afhangen van hun abonnees willen hun impactfactor [link toegevoegd door redactie] maximaliseren en dat betekent dat ze opwindend onderzoek willen publiceren met nieuwe en verrassende uitkomsten. Zulke artikelen zijn nou net het soort dat gemakkelijk met vals-positieve resultaten komt. Open-Access tijdschriften, die auteurs een bijdrage vragen, willen juist veel publiceren, ongeacht de kwaliteit. Een recent artikel in Science wees op de bedroevende kwaliteitscontrole in deze tak van de industrie. Daarbij komt dat onderzoekers zelf eerder een artikel met positieve resultaten indienen dan een met negatieve resultaten.

Gebrek aan replicaties – Onafhankelijke replicaties zijn de sleutel tot de zelfcorrigerende aard van de wetenschap. Het probleem is echter dat wetenschappers niet voldoende replicerend onderzoek doen en dat tijdschriften ze niet genoeg publiceren. Er is het nu beroemde incident bij Psychology Today dat een vreselijk onderzoek van Daryl Bem publiceerde waarin werd geclaimd dat mensen “de toekomst konden aanvoelen”. Richard Wiseman et al. deden een exacte replicatie van een van Bem’s onderzoeken, dat negatieve uitkomsten opleverde en stuurden het naar Psychology Today voor publicatie. Hun antwoord? We publiceren geen exacte replicaties. Waarom niet? Omdat ze niet sexy genoeg zijn hun impact factor te verhogen.

Een overzicht uit 2012 laat zien dat slechts ongeveer 1% van de psychologische onderzoeken die de afgelopen eeuw zijn gepubliceerd, replicaties waren. Dit overzicht is, voor zover ik het weet, nooit gerepliceerd.

Vergissingen – Onderzoekers vergissen zich soms gewoon en reviewers pikken die fouten er niet altijd uit. Een studie uit 2011 vond dat 50% van de bekeken neurowetenschappelijke onderzoeken een bekende statistische fout bevatten – een fout die vaak negatieve resultaten veranderde in positieve resultaten.

Fraude – Hoewel vooral fraude de krantenkoppen haalt, levert het waarschijnlijk slechts een kleine bijdrage aan het probleem van vals-positieve uitkomsten in gepubliceerd onderzoek. Maar het komt voor en vervuilt daarmee de wetenschappelijke literatuur.

Het goede.

Het is niet allemaal kommer en kwel en ik wil niet een te zwart beeld schetsen. Het is mogelijk om naar alle problemen met wetenschappelijke publicaties te kijken en te concluderen dat het allemaal hopeloos gebrekkig is. Maar dat zou op zijn best nihilistisch zijn en op zijn slechts al het goede ontkennen.

Het opsommen van alle potentiële problemen bij het doen van onderzoek is niet om het als hopeloos neer te zetten, maar aan te geven dat het moeilijk is. We kunnen nog steeds betrouwbare conclusies verkrijgen in de wetenschap door zorgvuldig al het onderzoek te controleren, het slechte te verwijderen en zo vooral te steunen op het meest degelijke onderzoek dat op de juiste wijze is gerepliceerd.

Met andere woorden – al het bovenstaande informeert ons over waar we de drempel moeten leggen voor het accepteren van iets als “wetenschappelijk bewezen”. Skeptici hebben veelal een beter idee waar deze drempel gelegd moet worden dan gelovigen, die vaak een belachelijk lage drempel hanteren, tenminste voor wat betreft hun specifieke geloof.

Als alles volgens de regels gaat, functioneert wetenschap best goed. Onderzoekers zullen nauwkeurig een vondst repliceren, voordat ze tijd gaan besteden aan vervolgonderzoek. Niemand wil zijn schaarse middelen verspillen aan de vals-positieve uitkomsten van iemand anders. Uitkomsten van onderzoek die strijdig zijn, zullen diepgaand worden bediscussieerd totdat consensus is bereikt over een onderzoeksprotocol en alle partijen accepteren de uitkomsten daarvan. Met als gevolg dat we voor veel belangrijke vragen degelijke studies hebben die meerdere malen zijn gerepliceerd met een duidelijk resultaat.

Het is ook belangrijk om duidelijk te maken dat we weet hebben van alle bovengenoemde problemen bij wetenschappelijk onderzoek omdat wetenschappers de moeilijke meta-vragen stellen over het wetenschappelijke proces zelf. Dus niet alleen is wetenschap zelfcorrigerend, ook de mechanismen van zelfcorrectie zijn zelfcorrigerend.

Oplossingen

Alle genoemde problemen hebben oplossingen. Deze oplossingen zijn niet moeilijk toe te passen of duur, maar ze worden soms traag geaccepteerd omdat ze een cultuuromslag vereisen binnen de wetenschap. Hier zijn een paar suggesties.

Betere opleiding van wetenschappers – Veel vergissingen in de wetenschap komen voort uit onwetendheid en kunnen worden opgelost door een betere opleiding. Een meer formele en grondige opleiding in onderzoeksmethodologie en vergissingen die moeten worden vermeden, zou helpen. Kortom, alle wetenschappers zouden betere skeptici moeten worden en hier ligt een belangrijke rol voor de gemeenschap van skeptici.

Kwaliteitscontrole bij tijdschriften – Tijdschriften moeten hun werk beter doen door systematisch fouten en onderzoek van slechte kwaliteit tegen te houden. Er zijn, natuurlijk, wetenschappelijke tijdschriften van topkwaliteit die hierbij in het algemeen uitstekend werk verrichten, ook al slippen slechte studies soms door de mazen van het net. Het probleem is echter dat de meeste tijdschriften middelmatig en vele verschrikkelijk zijn. De tijdschriften zelf moeten beter worden gescreend en alleen degenen die een significant hoge graad van kwaliteit bereiken, moeten worden toegelaten tot de officiële peer-reviewed literatuur. We moeten de achterdeur sluiten voor slecht onderzoek dat via slechte tijdschriften binnenkomt.

Om peer-review en redactioneel-review te verbeteren, zou het een vereiste moeten zijn dat onderzoekers hun ruwe cijfermateriaal ook aanleveren wanneer ze een artikel aanbieden.

Publiceer replicaties en onderzoek met negatieve resultaten – Tijdschriften moeten ruimte maken voor publicatie van studies met negatieve resultaten en exacte replicaties. Op een bepaalde manier is het nogal egoïstisch van tijdschriften met een grote impact, om nieuw en opwindend onderzoek af te romen en niet hun eerlijke deel van het publiceren van replicaties en negatieve resultaten op zich te nemen. Dit leidt tot perverse prikkels, waardoor misschien het meest waardevolle onderzoek wordt verwaarloosd. Voor online tijdschriften is ruimte geen probleem en dus ook geen valide excuus. Voor gedrukte tijdschriften geldt dat ze secties zouden moeten reserveren voor de genoemde soort studies en zij kunnen ook online aanvullingen publiceren met alle replicaties en negatieve studies die ze maar willen. Als die maar van hoge kwaliteit zijn.

Registreer alle onderzoeken – Je kunt geen onderzoek met negatieve resultaten verstoppen als je het vooraf moet registreren. In sommige landen is registratie al verplicht als het gaat om onderzoek waar mensen bij betrokken zijn, maar andere onderzoeksgebieden kunnen ook profiteren van registratie van onderzoek.

Volledige openheid van zaken – Dit is al grotendeels het geval, maar ik vermeld het volledigheidshalve – onderzoekers moeten volledige openheid geven over mogelijke belangenverstrengeling als ze een artikel indienen of presenteren.

De media – Wetenschapsjournalisten en andere publieksvoorlichters zouden het publiek moeten inlichten over het rommelige karakter van wetenschap, en wat er allemaal nodig is om een betrouwbare conclusie te bereiken. Het publiceren van voorlopige onderzoeksresultaten met sensationele krantenkoppen, doet de publieke opinie over wetenschap geen goed.

Pleiten voor verbeteringen in de wetenschappelijke instituties en publieke voorlichting over de methoden die in de wetenschap worden gebruikt, is een van de kerntaken voor de skeptische gemeenschap. De gegevens zijn er; we kennen de problemen en de oplossingen. We hoeven alleen maar druk uit te oefenen om te verbeteringen wat misschien wel het meest belangrijke menselijke instituut is – wetenschap.

Steven Novella, arts, is Senior Fellow bij de JREF en directeur van JREF’s Science-Based Medicine project.

 

Dit is een vertaald artikel. Het oorspronkelijke artikel is te vinden op de website van de JREF.