Naar aanleiding van de affaire-Stapel zijn er inmiddels een aantal boeken verschenen. Frank van Kolfschooten voorzag zijn Valse vooruitgang uit 1993 van een waardige opvolger met Ontspoorde wetenschap. Dat boek besprak ik eerder op Kloptdatwel. Diederik Stapel kwam zelf met zijn Ontsporing. Dat vond niet iedereen even kies. Zeer korte tijd na uitkomen ging er al een illegale kopie rond op het internet. Die fraudeur mocht er zeker geen geld aan overhouden. Het meest recente ‘Stapel’-boek is De publicatiefabriek van Ruud Abma. Er is op veel verschillende plekken interessant materiaal te lezen over de fraude van Stapel en de crisis waarin de sociale psychologie lijkt te verkeren en dit boek brengt het belangrijkste daarvan bij elkaar.
Wie de zaak-Stapel goed gevolgd heeft, zal niet zoveel nieuwe feiten ontdekken in De publicatiefabriek, maar Abma brengt het materiaal van andere reconstructies en het rapport-Levelt op een zeer prettige manier samen. Ook het meenemen van discussies die her en der op internetsites werden gevoerd, opinies in wetenschappelijke tijdschriften en aanvullend commentaar van mensen die met Stapel hebben samengewerkt, maken dit de meest complete beschrijving tot nu toe. Volgens mij is er echter nog meer bloot te leggen. Zo ben ik wel nieuwsgierig naar reacties van editors van tijschriften die Stapels artikelen plaatsten en reviewers die er niets vreemds in ontdekten. Het boek van Abma had van mij wel wat meer recherchearbeid mogen laten zien.
Waar Van Kolfschooten de nadruk legt op de procedures die het gevolg zijn van het ontdekken van de fraude, gaat Abma meer in op het wetenschappelijke klimaat waarin dit kon plaatsvinden. Over de precieze manier waarop gefraudeerd wordt, of er minder ernstig vergrijpen plaatsvinden en hoe deze te ontdekken zijn, gaat Abma niet al te diep in. Wie meer wil weten over dubieuze onderzoeksgewoontes als ‘p-hacking’ kan met de aangehaalde bronnen echter goed uit de voeten.
De commissie-Levelt sprak van ‘slodderwetenschap’ binnen de sociale psychologie en Abma belicht dat op een verhelderende manier. Voor hem is de zaak Stapel een symptoom van de toestand van een academische cultuur. Het was voor mij wel enigszins nieuw om te lezen dat de crisis in de sociale psychologie eigenlijk een al jarenlang tikkende tijdbom was. Discussies over de waarde van het soort experimenten dat Stapel uitvoerde, gaan al sinds eind jaren 1960. En dan gaat het niet alleen om de onderzoeken die effecten van ‘priming’ proberen aan te tonen, maar meer algemeen of de testjes in het ‘laboratorium’ van de sociaal psycholoog wel wat zeggen over gedrag in de echte wereld.
Die wezenlijke discussie lijkt door veel onderzoekers alleen met de mond te zijn beleden. Zij gingen intussen gewoon door met het publiceren van onderzoekjes die het vooral goed doen in de media, maar voor theorievorming weinig betekenen. Ieder voor zich. En zo lang je ermee scoort, er vooral mee doorgaan. Misschien dat er daarom weinig kritisch naar elkaars werk werd gekeken. Ideale omstandigheden om met dubieuze praktijken weg te komen. Intussen zijn er binnen de sociale psychologie initiatieven gestart die het tij moeten keren. Meer aandacht voor replicatie van onderzoeken, beter gegevensbeheer en vooral minder individualistisch opereren.
Volgens Abma is een van de belangrijkste problemen van dat falende academische klimaat echter de druk die al dan niet formeel ligt op wetenschappers om maar artikel na artikel te publiceren. Dat wordt mede in de hand gewerkt doordat onderzoeksgelden veelal verdeeld worden op basis van de kwantitatieve gegevens van publicaties: aantal citaties, h-index en impactfactor van tijdschriften. Een zelfstandig inhoudelijk oordeel wordt nauwelijks gegeven. Liever denkt men dat een publicatie in een goed scorend tijdschrift een garantie is voor kwaliteit. Dat is natuurlijk ook een stuk makkelijker ‘sturen’ voor universitaire bureaucratieën.
De publicatiefabriek gaat wel wat specifiek over sociale psychologie. Als je kijkt naar het lijstje met de grootste fraudezaken, zie je daar voornamelijk de exacte en medische wetenschappen vertegenwoordigd. Of je daarvoor dezelfde soort oorzaken (‘slodderwetenschap’) kunt aanwijzen, is maar de vraag. Ook miste ik een bredere onderbouwing van de stelling dat minder publiceren beter zou zijn voor die verschillende wetenschapsgebieden. Van Kolfschooten laat in zijn boek wel gerenommeerde wetenschappers aan het woord, die dat beamen, maar Abma komt eigenlijk niet verder dan die uitlatingen over te nemen.
Bij elkaar genomen vind ik het een aardig boek, dat ik met plezier heb gelezen. Zeker aan te raden voor iedereen die de ins en outs van de affaire-Stapel eens rustig wil nalezen. Stapel zelf heeft intussen plannen om het theater in te gaan; met een programma onder de titel De Fictiefabriek.
Jan Willem Nienhuys says
Daar zou niet zoveel mee mis zijn als de tijdschriften kritischer zouden zijn. Maar het idee van ‘peer review’ is dat collega-onderzoekers de beoordeling doen. Die horen echter bij dezelfde mallemolen.
Je zou je kunnen voorstellen dat een serieus tijdschrift bijvoorbeeld statistici in vaste dienst had die de stukken doorvlooiden en die ook de ruwe gegevens konden inspecteren. Dat is wel veel werk, maar die tijdschriften hebben een hoge abonnementsprijs, terwijl het refereewerk doorgaans onbetaald is (als dat niet klopt moet iemand me maar corrigeren).
Jan Willem Nienhuys says
Even over p-hacking. Dat is het gevolg van p-fetisjisme. Dat laatste is het verschijnsel dat men zeer grote waarde hecht aan een resultaat met p < 0,05. Zo'n resultaat is alleen opmerkelijk als de onderzoeker een proef heel goed in elkaar heeft gezet, en op maar een van tevoren afgesproken uitkomst mikt. Als de onderzoeker achteraf allerlei vrijheden gebruikt om de 'p-waarde' op te vijzelen, dan is dat p-hacking. Populaire vormen van p-hacking zijn: niet een van tevoren vastgelegd aantal gevallen bekijken, maar na de afhandeling van elk geval kijken of 'significance is reached'. Dat houdt natuurlijk in dat men stopt of opnieuw begint met een iets gewijzigde opzet als het mis dreigt te gaan. Een andere vorm is naar heel veel uitkomstmaten of combinaties van uitkomstmaten kijken, of veel verschillende statistische tests proberen.
Da's allemaal niet zo erg wanneer men aan het exploreren is, maar niet wanneer het gaat om iets dat moet fungeren als proef op de som, dus als 'bewijs'.
Pepijn van Erp says
Ik kwam nog een aantal andere recensies tegen:
van Marian Tjaden in UK-Nieuws (7 juni)
http://www.ukrant.nl/uncategorized/drang-om-te-publiceren-omlaag.html
Taede Smedes op zijn weblog (8 juni)
http://tasmedes.wordpress.com/2013/06/08/ruud-abma-de-publicatiefabriek-boekbespreking/
en Wolfgang Stroebe in DUB (19 juni)
http://www.dub.uu.nl/artikel/analyse/zaak-stapel-juiste-manier-wetenschapsbeoefening.html
daar worden trouwens nog twee exemplaren verloot onder degenen die vóór 3 juli een mailtje sturen.