NRC analyseert dit weekend wetenschapsfraude in Nederland
De Nederlandse universiteiten behandelden sinds 2005 102 gevallen van wetenschapsfraude. Ruim 27 zaken werden gegrond verklaard en zeker 16 wetenschappers zijn bestraft. Ze werden ontslagen, overgeplaatst of berispt. Dat meldt de krant NRC Weekend dit weekend op basis van een enquete die de krant heeft gehouden onder universiteiten en onderzoekscentra. Een korte samenvatting.
In de meeste gevallen ging het om plagiaat. Maar ook het verzinnen van gegevens kwam voor. Soms werden auteursnamen onterecht weggelaten bij publicaties. De krant vindt het aantal meldingen opvallend laag. Op basis van vergelijking met andere landen zou een hoger aantal fraudegevallen voor de hand liggen. Uit het artikel blijkt dat de verschillen tussen universiteiten groot zijn, meldt de NOS. De universiteit van Tilburg kende geen fraudezaken tot de affaire Stapel waarover we op Kloptdatwel al regelmatig hebben bericht. Stapel had veel onderzoeksgegevens verzonnen. Hij is inmiddels ontslagen en moet zich vermoedelijk ook bij de rechter verantwoorden.
Het manipuleren van onderzoeksmateriaal is een vorm van wetenschapsfraude (bron: Universiteit van Berkeley)
In de Wikipedia is een artikel over wetenschapsfraude opgenomen. Wetenschappers worden vaak gedreven door carrièredruk, luiheid en doordat de gelegenheid zich gemakkelijk voordoet. Het artikel zet een groot aantal vormen van fraude op de rij, maar in hoofdzaak gaat het om drie vormen: (a) het verzinnen van gegevens, (b) het manipuleren van onderzoeksapparatuur / onderzoeksmateriaal en (c) plagiaat ofwel het overnemen van gegevens van anderen zonder bronvermelding. Het artikel schetst verder dat degene die de fraude aan de kaak stelt (de ‘klokkenluider’) vaak kan rekenen op tegenwerking. Er staan voor het onderzoeksinstituut immers vaak grote belangen op het spel.
Bescherming van klokkenluiders is belangrijk. Het wetenschappelijke tijdschrift Nature stelde met deze striptekening wetenschapsfraude aan de orde.
Misschien is het wel daarom dat de voorzitter van de Vereniging van Universiteiten, Sijbolt Noorda, in NRC Weekend zegt dat de universiteiten zich beter moeten wapenen tegen fraude. Hij pleit voor een ombudsman of vertrouwenspersoon op elke universiteit. Ook pleit hij voor openbaarheid. NRC Weekend merkt fijntjes op dat alleen de Universiteit van Leiden en het Academisch Medisch Centrum in Amsterdam bereid waren hun frauderapportages aan NRC beschikbaar te stellen.
Ook wij denken dat openheid over fraude en bescherming van klokkenluiders erg goed zou zijn. Wetenschap moet zijn gebaseerd op verifieerbare en correcte bronnen en niet op verzinsels. Als dat fout gaat moet iedereen dat weten.
Foto voorzijde: looniechemist.blogspot.com
Wat betreft Tilburg is het in ieder geval niet positief dat er tot Stapel geen fraudezaken zijn geweest. Stapel heeft zich voort kunnen broeien in een vrij ongezonde werksituatie. Het begint al bij het feit dat er maar 1 promotor (begeleider) was voor een promovendus, waardoor Stapel kritiek makkelijk kon pareren. Daarnaast blijf ik het zeer raar vinden dat co-auteurs van Stapel (ook professoren dus) het niet raar vonden dat Stapel met de data kwam en deze niet toegankelijk stelde, noch een specifieke naam kon noemen van een studentassistent die het had verzameld. Zo zijn er nog meer dingen te verzinnen. Het feit dat dit allemaal mogelijk was, doet mij vermoeden dat Tilburg zich gewoon niet bewust is van fraude die er speelt, want in zo’n omgeving is het onvermijdelijk dat er meer Stapels zijn (mogelijk wel in mindere vorm).
Daarnaast was Stapel niet gedreven door werkdruk; hij was gedreven door zijn ego. Hij publiceerde vrij veel artikelen, veel meer dan een gemiddelde hoogleraar (tenminste, zo is mij verteld door een hoogleraar op onze afdeling). Als het echt werkdruk was, dan hoefde hij lang niet zoveel te publiceren.
Wat betreft die vertrouwenspersonen: dat is leuk en aardig, maar daar schiet je niet veel mee op. Veel universiteiten hebben al meerdere vertrouwenspersonen. Daarnaast is wetenschapsfraude helemaal niet zo’n groot probleem vergeleken met statistisch geknutsel. Een substantieel gedeelte van de wetenschappers maakt misbruik van statistiek. Zo blijven veel wetenschappers proefpersonen toevoegen totdat ze eindelijk een significant effect hebben. Daarnaast probeer je natuurlijk zoveel mogelijk statistische analyses uit, totdat je er eentje vindt die de beste resultaten geeft (multiple regression analysis levert niks op? dan maar een logistische regressie). Ook worden er veel fouten gemaakt in statistiek (zie een eerder bericht op Kloptdatwel). Het statistische probleem kan worden opgelost door duidelijke regels te stellen aan onderzoeksvoorstellen (geef van tevoren aan hoeveel proefpersonen je wilt gebruiken) en door data op te slaan (zodat men het kan heranalyseren; bijvoorbeeld bachelor/masterstudenten die oefenen met statistiek).
Het toevoegen van proefpersonen totdat een bepaald effect zichtbaar wordt is mi ook fraude. De vraag is of het uit onkunde voortkomt of kwade opzet. Bij Stapel lijkt mij de motivatie vooral voort te vloeien uit gelegenheid – het was makkelijk, niemand lette op, hij kon lekker scoren, dus waarom niet? Stapel zelf was niet helemaal duidelijk over z’n motieven als ik het me goed herinner.
Het toevoegen van proefpersonen is denk ik toch vooral onwetendheid/onkunde. Ik heb bijvoorbeeld nooit regels geleerd over het bepalen van hoeveel proefpersonen/samples ik nodig heb voor een echt experiment. Het probleem is dat deze onkunde wijdverspreid is, terwijl het geen goede wetenschap is. Daarom ben ik bang dat dat veel meer invloed heeft op de wetenschap dan die paar fraudeurs per universiteit per jaar.
Dat je van tevoren niet weet hoe je het aantal proefpersonen moet kiezen vind ik vreemd. Als het ‘verkennend’ onderzoek is, dan moet je dat erbij zetten, en dan verder ook geen p-waarden berekenen.
Het berekenen van een p-waarde houdt impliciet in dat je een nulhypothese hebt, en een alternatieve hypothese die bestaat uit een schatting van een of ander gemiddelde (de technische term is verwachtingswaarde).
Je zet dan twee grenzen:
1 grens die zegt hoeveel procent ‘vergissingen’ je accepteert, namelijk dat je op grond van de meetresultaten denkt dat er een effect is, terwijl toch alleen maar het toeval (de nulhypothese) regeert;
1 grens die uitdrukt hoeveel ‘vergissingen’ je accepteert, namelijk dat je alternatieve hypothese wel degelijk waar is, maar dat je door toevalllige factoren toch ‘niks’ vindt.
Gegeven die twee grenzen kun je uitrekenen hoeveel proefpersonen je nodig hebt.
(Ik vermijd hier de technische termen te noemen.)
Vervolgens richt je de rest van de proef in zodanig dat die het vermeende effect zo goed mogelijk zonder fouten toont. Na afloop van de proef kun je dan de p-waarde rapporteren.
Als een verslag van een proef dus meer dan 1 p-waarde rapporteert, dan geeft dat al aan dat de onderzoeker iets niet goed doet. Als een alternatieve hypothese ontbreekt is dat al verdacht.
Helaas is er met deze strenge normen op bijna al het onderzoek wat aan te merken.
Ik heb wel eens (met simulaties) geprobeerd na te gaan wat je kunt verwachten als je om de vijf (of iets dergelijks) proefpersonen gaat zitten kijken ‘of er al significantie bereikt is’. Ik gebruikte ook een soort stopcriterium als ik me goed herinner: als je in het begin al merkt dat je geen ‘positief’ effect krijgt, dan stop je voortijdig (in de praktijk komt dat er bijvoorbeeld op neer dat je het een pilot noemt of dat je je voorstelt dat je iets fout gedaan hebt, waarna je de opzet verandert). Op die manier kreeg je naar ik me meen te herinneren wel 7% ‘statistisch significante’ positieve resultaten met toevalsgetallen (en dus onder de nulhypothese).
Een tweede verfijning is dat je stiekem naar meerdere uitkomstmaten kijkt, en alleen de ‘significante’ rapporteert. Met deze en soortgelijke trucs schijnt men wel 60% ‘significante’ resultaten te kunnen vinden.
Ik vind het begrijpelijk om in bepaalde gevallen het aantal proefpersonen achteraf te verhogen.
Een verzonnen voorbeeld: Stel je hebt een nieuwe pil en geeft die aan 10 personen (groep A) en 10 andere personen (groep B) krijgen een placebo. Als nu 9 personen uit groep A genezen en uit groep B geen enkel, nou, dan is het duidelijk en je hebt je werk gedaan. Maar als het blijkt dat 5 uit groep A en 4 uit groep B genezen, dan moet het aantal duidelijk worden verhoogd om alsnog een klein effect aan te kunnen tonen. Het erste resultaat kan je niet van tevoren weten en dus weet je ook niet hoeveel personen nodig zijn.
Dit is een voorbeeld van slecht onderzoek. Als je van tevoren al weet dat je 40%-60% eigenlijk ook wel interessant vindt, dan moet je je proef daarop inrichten. Je hebt dan over de 100 proefpersonen nodig als je slechts 10% vergiskans accepteert.
Je kunt natuurlijk besluiten de proef zo in te richten: eerst 10+10 (verum + placebo) proefpersonen nemen. Worden er meer verums beter dan placebo’s, maar is de verhouding minder gunstig dan bijv. 8+2 dan neem je er nog eens 40. Is het daarna nog niet duidelijk genoeg (met precieze van tevoren gekozen grenzen), dan neem je nog eens 80.
Maar dan moet je bij precies deze opzet (en geen andere) uitrekenen wat de kansen op beide soorten fouten zijn en eventueel van tevoren genoemde aantallen en grenzen goed kiezen zodat je ook van tevoren kunt zeggen ‘gegeven het onderzoeksplan is onder aanname van de nulhypothese de kans op een van tevoren afgespoken minimumresultaat zus of zo’n resultaat of beter minder dan 5%’.
Voor het doen van die berekening hoef je helemaal niet te wachten tot de proef is afgelopen. Die hele berekening hoort in de planningsfase. Dat kan best, en is doorgaans een stuk minder werk dan het bij elkaar zamelen en behandelen van proefpersonen. Eigenlijk is het achteraf berekenen van een p-waarde ook niet in de haak. Dat is zoiets als een prijs in de loterij winnen en dan achteraf gaan berekenen wat je kans op een prijs geweest zou zijn en dan zeggen ‘Ha, die kans was maar 1 op een miljoen, er is dus een wonder gebeurd, de kosmos heeft zich ingespannen om mij een buitenkansje te bezorgen.’
Daarom is ook een proef met opvallend weinig proefpersonen verdacht: misschien is de desbetreffende voortijdig gestopt, toen halverwege de resultaten gunmstig leken. Een onderzoeker die het heeft over ‘significantie is bereikt’ is wegens het bezigen van die uitdrukking al verdacht.
Zo doen we ook ‘skeptisch onderzoek’: van tevoren rekenen we nauwkeurig uit wat gegeven de opzet van de proef en het afgesproken of af te spreken slaagcriterium de kans is dat de kandidaat ‘per ongeluk’ slaagt. Dan moet je ook goed opletten dat een ‘wanprestatie’ (nl. de kandidaat scoort niet veel boven de kansverwachting) ook heel onwaarschijnlijk is in de ogen van de kandidaat gezien zijn of haar claims.
Bij heel onwaarschijnlijke claims kun je ook met een heel kleine proef beginnen. Een waarzegger moet bijvoorbeeld drie objecten in de goede volgorde plaatsen. Als hem dat al niet lukt (de mogelijke uitslagen zijn 0, 1 of 3 goed, met kansen 1/3, 1/2, 1/6) dan ga je niet verder door en anders doe je een nieuwe proef, waarbij de eerste proef verder buiten beschouwing wordt gelaten.
De reguliere genees*kuch*kunde is ook een wereld van belangenverstrengeling en zakkenvullerij, men zou al die gemanipuleerde onderzoeken eens moeten onderzoeken. Wat je dan allemaal niet tegenkomt.
Echte schoenmakers houden zich bij hun leest.
“Wie de schoen past……” Moet jij zeggen. Je bemoeit je met homeopathie en zelfs met de geneeskunst en dat voor een apotheker. Het moet toch niet gekker worden.
Waarom zou een apotheker zich niet met homeopathie bemoeien? Sterker nog: die kwakzalverij heeft – ja, ik vind het idioot – zelfs een plaats gevonden in de geneesmiddelenwetgeving. Zo gek is het nu eenmaal meneer Smit.
Ik denk bovendien dat u zich geen voorstelling kunt maken tussen de verbanden tussen farmacie en geneeskunde.
Die Harry toch, van alle markten thuis en overal evenveel verstand van.
Harry Smit moet eerst maar eens zelf met een onderzoeksvoorstel komen om een homeopathische geneesmiddelproef met een bekend homeopathisch hoogverdund middel (een ‘reproving’ dus) uit te voeren.
Als hij zich daaraan onttrekt met het argument van zakkenvullerij (‘de praktijk zit vol’) kan hij zich maar beter niet opwerpen als onbezoldigd wetenschapsadviseur.
De argumenten “zakkenvullerij” en “belangenverstrengeling zijn buitengewoon komisch, zeker in relatie tot homeopathie met zijn gigantische verdunningen.
En verder is het natuurlijk de gebruikelijke jijbak. “Ik mag dan wel niet deugen, maar bij jou is ook behoorlijk wat mis”.
Harry,
Onder het mom het kuchje te kunnen genezen kan je een eendenhart vermengen met de waterinhoud van 45 olympische zwembaden en daarmee 20 miljoen omzet halen. Om dat ook nog eens zonder enig betrouwbaar onderzoek te doen is binnen de homeopathie helaas geen incident maar regel.
45 olympische zwembaden is nog niets vergeleken met de werkelijke verdunning van oscillococcinum. Het zou me niks verbazen als de firma Boiron een paar honderd jaar voort kan met één eendje, als het niet meer is.
En hoe weet je of het halfverrotte eendenhart daadwerkelijk is toegevoegd? Zonder eendenhart werkt Oscillococcinum natuurlijk even goed (of slecht…).
En Big Pharma maar uitgebreide identiteits-, gehalte- en zuiverheidsbepalingen doen op al hun grondstoffen, halffabrikaten en eindproducten, vanzelfsprekend exact volgens de farmacopee (dat is een wetboek!) en van tijd tot tijd fors gecontroleerd door de Inspectie. En dat moet allemaal precies volgens protocol worden vastgelegd en geparafeerd. Jessis, wat een zakkenvullerij en belangenverstrengeling!
Kwaak, kwaak!
Even nog wat reclame:
op
http://www.homeowatch.org/history/oscillo.html
staat in een geschrift van mijn hand (maar ontleend aan een stuk uit het Franse skeptische blad van 1993) hoe de exacte bereiding van ‘oksel-kokhals-zie-je-um’ is.
Frauderende onderzoekers hebben het verkeerde metier gekozen. Frauderen loont pas echt in de financiële wereld. Als je het goed aanpakt heet het ‘financiële innovatie’. U bent nu zo rijk dat u afdoende advocaten kunt inhuren om te bewijzen dat u niets misdaan heeft.
Vergelijk dat met die arme Stapel, die met pek en veren overladen er niets aan over heeft gehouden.
@a51831057cc1d26d849b35ee53973ec5:disqus
Nou, dat denk ik dus ook heel vaak, want er is helemaal niks van terug te vinden. We moeten het maar aannemen omdat Boiron het zegt, maar ik geloof er persoonlijk geen klap van.
@google-517c929316f9334703cc418aa3697e85:disqus
Zeer bedankt voor deze toelichting op de bereiding van ‘oksel-kokhals-zie-je-um’. 🙂
Ik kan zo moeilijk begrijpen dat mensen, als ze dit eenmaal weten, nog geloven dat het ook maar iets doet. Maar ja, dat is de kracht van het geloof zullen we maar zeggen.
Overigens zag ik dat de firma Boiron het goedje aan de man brengt als “geneesmiddel” tegen griep. Mag dat eigenlijk wel?
Ja, dat mag. Op de officieel (door CBG-MEB) goedgekeurde bijsluiter staat ook griep. Mogelijk omdat het CBG misleid is door de frauduleuze onderzoeken van het spul (zie:
http://www.kwakzalverij.nl/761/Oscillococcinum ), en misschien omdat vroeger indicaties bij hoogverdunde ‘traditionele specialiteiten’ nog wel mochten.
Nou, mooie boel is dat zeg. Dat is toch belachelijk, ik word er gewoon kwaad van.
Begrijp je nu waarom ik zo tekeer ga tegen het onzinnige feit dat die oneindig verdunde viezigheid gewoon in de handel kan worden gebracht, natuurlijk zonder enig deugdelijk bewijs voor de werking, terwijl er bij echte en werkzame geneesmiddelen (m.i. volkomen terecht!) een gigantische hoeveelheid papierwerk moet worden overlegd om ze (al zakkenvullend en belangenverstrengelend) geregistreerd te krijgen? En dat tekeergaan tegen flauwekul blijf ik doen ondanks beweringen van iemand dat ik me als apotheker niet met homeopathie zou mogen bemoeien.
@a51831057cc1d26d849b35ee53973ec5:disqus
Ja, dat begrijp ik heel goed!
Dank je wel! Dan ga ik door!
Ik zag zojuist Radar.
Van IGZ hebben we weinig te verwachten…