Na de schandalen rond Diederik Stapel en Dirk Smeesters is nu weer een hoogleraar sociale psychologie ernstig in de problemen gekomen. Het Landelijk Orgaan Wetenschappelijke Integriteit oordeelt dat professor Jens Förster, verbonden aan de Universiteit van Amsterdam, in minstens één artikel data heeft gebruikt, die eigenlijk niet op een normale wijze verkregen kunnen zijn. De gegevens zijn te ‘perfect’ en bevatten veel minder ruis dan je normaal verwacht bij het soort experimenten dat Förster uitvoerde.
Begin 2012 publiceerde Förster een artikel in Social Psychological and Personality Science onder de titel Sense Creative! The Impact of Global and Local Vision, Hearing, Touching, Tasting and Smelling on Creative and Analytic Thought. In het artikel beschrijven Förster en zijn co-auteur Markus Denzler een aantal experimenten op basis van een theorie die door Förster is ontwikkeld: GLObal versus LOcal processing Model. Deze theorie, kortweg GLOMO, gaat over het verschil dat zou bestaan tussen het verwerken van waarnemingen van iets in het geheel (global) of meer met een focus op details (local).
Het nieuwe van Försters onderzoek is dat hij het niet alleen beperkt tot visuele waarneming, zoals anderen eerder deden, maar experimenteert met geluid, geur, smaak en aanraking als prikkels. De experimenten komen er meestal op neer dat proefpersonen worden geprimed met ofwel een globale ofwel een lokale prikkel, en dan worden getest met analytische en creatieve testjes (op Wetenschap24 meer uitleg hierover). Uit het abstract van de bewuste studie:
Throughout separate 12 studies, participants were asked to look at, listen to, touch, taste or smell details of objects, or to perceive them as wholes. Global processing increased category breadth and creative relative to analytic performance, whereas for local processing the opposite was true. Results suggest that the way we taste, smell, touch, listen to, or look at events affects complex cognition, reflecting procedural embodiment effects.
De resultaten leken echter veel te mooi om waar te zijn. Een UvA-collega van Förster, werkzaam op een andere afdeling, viel het op dat het ‘positieve’ effect van de priming met een globale prikkel precies het tegenovergestelde effect had als de priming met een lokale prikkel.
Dat is niet meteen duidelijk als je kijkt naar de grafiekjes van Förster, maar als je de volgorde van de weergave een beetje verandert, zie dat gemiddelden van ‘Global’ en ‘Local’ even ver af liggen van het gemiddelde van de controlegroep (zie afbeelding hiernaast). Dat kan natuurlijk een keer gebeuren, maar het patroon trad op in alle beschreven experimenten.
Een tweetal oudere artikelen werd erbij gehaald en daar bleken dezelfde uitgesproken lineaire verbanden op te duiken. In totaal werden in de drie artikelen 42 experimenten gevonden. En die vertonen allemaal hetzelfde beeld, zoals hieronder in een visuele samenvatting gezien kan worden:
Ter vergelijking onderzocht deze medewerker, alleen of met anderen, ook een tiental artikelen van vakgenoten van Förster, waarin een soortgelijke opzet werd gebruikt (dus telkens met drie groepen). Daarin was er geen sprake van een dergelijk sterke lineariteit. De opmerkelijke resultaten van Förster zouden misschien nog wel verklaard kunnen worden door Questionable Research Practices (QRP), zoals het weglaten van uitschieters, het aanvullen van de data met gegevens van extra steekproeven na een eerste evaluatie die net niet lekker uitkwam, of het verwijderen van deelnemers die hun onderzoek niet serieus genoeg hadden ingevuld. Dat laatste zou nog wel mogen, maar dan moet je vooraf precies vastleggen hoe je dat doet en niet achteraf, zoals in het geval Smeesters.
Ook kun je niet meteen uitsluiten dat deze experimenten op een nog onbegrepen lineair verband zijn gestuit. Maar ook als je er van uit gaat dat dat lineair verband er echt is, dan zouden de gegevens daar nog steeds veel te mooi bij passen. Er is veel te weinig spreiding in de gegevens. Bij nadere beschouwing blijkt het ook zeer onwaarschijnlijk dat QRP deze te ‘perfecte’ gegevens zouden kunnen opleveren op basis van een set gegevens die in eerste instantie wel netjes verkregen was. De analyse van de anonieme klager(s) die de basis vormde voor de klacht bij Commissie Wetenschappelijke Integriteit (CWI) van de Universiteit van Amsterdam (UvA) is gelekt naar Retraction Watch.
De klacht werd door de CWI onderzocht, maar die kwam in juli 2013 uiteindelijk niet verder dan de aanbeveling om een ‘letter of concern’ te publiceren omtrent de twijfels over de data (geanonimiseerd rapport, pdf). Förster ontkende dat hij slordig was geweest en zich schuldig had gemaakt aan QRP. De klager vond dat de CWI haar werk onvoldoende had gedaan en ging in beroep bij het LOWI met onder de volgende punten van kritiek: de CWI had archiefonderzoek moeten doen naar de dataverzameling, meer getuigen (onderzoeksassistenten) moeten horen, andere artikelen van Förster en de ruwe databestanden moeten onderzoeken, en ook veel sneller moeten werken.
In het LOWI-rapport(pdf), dat deze week uitkwam (de berichtgeving kwam eind april al op gang na een stuk van Frank van Kolfschooten in NRC), wordt de klager niet op alle punten in het gelijk gesteld. Vooral procedureel valt de CWI niet veel te verwijten. Het is niet zo raar dat die zich beperkt heeft tot de concreet aangedragen problemen. In de zaken van Stapel en Smeesters lag het anders: daar kwamen snel bekentenissen en kregen de CWI’s opdracht van de Colleges van Bestuur om verder onderzoek te doen.
Inhoudelijk geeft het LOWI de klager echter wel gelijk en deelt de mening er eigenlijk geen aanwijzingen zijn gevonden dat QRP tot de onwaarschijnlijke data geleid kunnen hebben en dat het daarom niet bij zo’n ‘letter of concern’ zou kunnen blijven. De statistische experts die vervolgens door het LOWI ingeschakeld werden, kwamen met nog een opmerkelijk gegeven in de data. Als je kijkt naar subgroepen, je splitst de data op naar man/vrouw bijvoorbeeld, dan is er helemaal geen spoor van die lineariteit terug te vinden. De afwijkingen ten opzichte van het lineaire verband bij mannen en vrouwen heffen elkaar precies op als je de data samenvoegt. Dit lijkt helemaal bizar, maar misschien voegt het niet zo veel toe aan het reeds ontstane beeld dat de data sowieso geconstrueerd moeten zijn. En dat door iemand zonder al te veel kennis van statistiek. Förster ontkent intussen dat hij iets verkeerd heeft gedaan en spreekt van een onterechte heksenjacht.
Is het statistisch bewijs voldoende om het oordeel fraude te kunnen vellen? In de analyse van de klager wordt een waarde berekend die zou inhouden dat er maar een kans is van één op 508 triljoen dat de gegevens van een normale steekproef afkomstig zouden kunnen zijn zonder manipulatie. De statisticus Richard Gill (Universiteit Leiden), die zich vaak roert in de commentaren op diverse blogs over deze zaak, geeft echter aan dat je je niet moet blindstaren op dit soort cijfers. Ze hangen af van allerlei aannames rondom de gebruikte modellen. Als handvat om er zinnig mee om te gaan, stelt hij dat je eerst maar eens het aantal nullen moet halveren en als er dan nog steeds een buitensporig aantal nullen staat, halveer je het nog maar eens. In dit geval blijft er dan echter nog steeds een absurd lage kans over. Gill noemt Förster ‘ofwel een oplichter of volkomen incompetent.’
Er zijn ook andere aanwijzingen dat er iets goed is misgegaan. Het LOWI heeft zich alleen gebogen over het artikel dat de aanleiding was tot de klacht. Van de oudere artikelen die ook door de klager zijn geanalyseerd, zijn de gegevens niet eens meer beschikbaar (gecrashte harddisk). Van het artikel in 2012 zijn de originele formulieren vernietigd, hoewel de aangeraden bewaartermijn nog niet was verlopen. En er is onduidelijkheid over wanneer en waar de gegevens precies verzameld zouden zijn. Misschien dat dit soort slordigheden vrij vaak voorkomen (of kwamen) in de sociale psychologie, maar het wordt in dit geval toch wel moeilijk om het niet te zien als een poging om een ernstiger probleem te verhullen.
Samenvattend volgens het LOWI: “is de conclusie […] onontkoombaar dat voor de uitkomsten van dit onderzoek in het artikel onderzoeksgegevens zijn gemanipuleerd of gegevens bewust zijn bijgesteld.” Het oordeelt dat er sprake is geweest van schending van de wetenschappelijke integriteit en adviseert de UvA om het tijdschrift te verzoeken het artikel in te trekken. Op het moment van schrijven van dit stuk was er nog geen officiële mededeling van de UvA, maar de woordvoerder liet al weten dat ze het advies overnemen. Er lijkt vooralsnog geen onderzoek naar andere artikelen van Förster geïnitieerd te worden. [Update 4/10/2014. NRC: ‘UvA gaat toch mogelijke fraude psycholoog onderzoeken‘]
Förster zou eigenlijk volgende maand aan de slag gaan als ‘Humboldt-professor’ in Bochum met een beurs van 5 miljoen euro, dat is voorlopig uitgesteld. In Duitsland is het overigens nog akelig stil rond deze zaak. Merkwaardig, want Förster heeft een grotere status dan Stapel of Smeesters in het vakgebied. Het is opvallend dat deze drie zaken allemaal aan Nederlandse universiteiten naar boven komen. Is het hier erger dan in het buitenland? Waarschijnlijk niet en heeft het er meer mee te maken dat sinds de affaire Stapel de wegen naar CWI’s en LOWI sneller gevonden worden door klokkenluiders en klagers van buitenaf.
Verder lezen:
- Retraction Watch heeft intussen meerdere blogs over de zaak en boeiende discussies daaronder;
- Neuroskeptic op Discover Magazine blogs On the “Suspicion of Scientific Misconduct by Jens Förster”;
- @NotPICNIC houdt een ‘Pearltree‘ bij met relevante websites over deze zaak.
Steun Kloptdatwel
Waardeer je dit artikel? Je kunt onze site steunen met een financiële bijdrage. Dat waarderen wij dan weer! Een donatie kun je doen via dit betaalverzoek (of klik op de afbeelding hiernaast).
NB de rekening staat op naam van Maarten Koller, formeel eigenaar van deze site.
Ongelooflijk dat men komt met smoesjes als een “Gecrashte harddisk”. Hallo? Zijn er geen backups? Heeft men geen centrale server met automatische backups? Het “onderzoek” is door meerdere mensen uitgevoerd… Had dan niemand behalve de professor de onderzoeksresultaten? En ook wel weer héél toevallig dat de orginele papieren van dat onderzoek “per ongeluk” voortijdig vernietigd zijn.
In mijn lab kom ik orginelen van 30 jaar geleden tegen! En van artikelen kom je continue nog honderden elektronische en papieren backups tegen. En hier heeft men niets?
Dan komen er wel héél erg veel toevalligheden tezamen! Toevallig gecrashte harddisk, toevallig orginelen te vroeg vernietigd, toevallig allemaal onwaarschijnlijke lineaire verbanden.
En wat doet de universiteit? een aanbeveling het artikel in te trekken… Ze moeten verdorie een gedegen onderzoek naar de integriteit van de professor doen, en ‘m aan de schandpaal nagelen als ze genoeg bewijs hebben! Dit soort dingen gebeuren niet ‘per ongeluk’. Dit is pure fraude, en mag je niet verzwijgen.
Ik snap er ook niets van. Zoals Regenworm al opmerkt, misschien had Föster geen verstand van statistiek (wat ik op zich al vrij raar zou vinden, maar goed, wellicht is dat normaal in die kringen), je mag toch aannemen (nou ja, hopen dan) dat er onderzoekers bij betrokken zijn die dat wél hebben. Nou heb ik helemaal geen verstand van statistiek, maar als ik het stuk zo lees krijg ik de indruk dat dit een tamelijk doorzichtige manier van manipuleren is. Wat ik daarom niet begrijp is dat men blijkbaar verwachtte dat het niemand zou opvallen. Hoe kun je zo stom zijn als professor zijnde? En dan al die rare smoezen. Heeft iedereen dan zitten te slapen daar?
Ik denk niet dat je dit allemaal op gebrek aan statistische achtergrond kunt terugbrengen. Een decennium geleden was er een fysicus, Hendrik Jan Schön (geen Nederlander dit keer, maar een oosterbuur), die ook op grote schaal data verzon en dat ook op een heel doorzichtige manier deed. Schön had een stuk of 10 publicaties in Nature en Science binnen een jaar.
Op een dag zat er een wetenschapster in een octrooikantoor te wachten en op het bureau voor haar lagen er verschillende publicaties van Schön. Het viel haar op dat twee verschillende nieuw ontdekte transistoren uit twee verschillende artikelen van Schön met precies dezelfde datapunten werden beschreven. Zelfs de ruis had zich in de twee gevallen precies hetzelfde gedragen … Dat was natuurlijk net iets te toevallig.
Als je zo doorzichtig sjoemelt, dan is het natuurlijk wachten op een klokkenluider. Schöns bedrog heeft twee jaar geduurd. Ik hoop dat er nog eens een goed interview komt met Förster. Ik ben er eigenlijk wel benieuwd naar of ie wel eens op de lange termijn heeft gedacht en of ie echt dacht dat ie nooit door de mand zou vallen terwijl het bedrog er toch zo ontzettend duimendik bovenop ligt.
Heeft meneer Schön ooit verteld wat hem bewogen heeft om dit te doen en of hij werkelijk dacht dat het niet aan licht zou komen? Ik vind het altijd zo moeilijk te begrijpen als intelligente mensen zulke domme dingen doen.
Nee. Er is een boek over Schöns bedrog geschreven (ik heb het zelf indertijd besproken: http://personal.ecu.edu/bierm/OtherStuff/BoekBespreking.pdf ). Maar de schrijfster van dat boek heeft helaas nooit uitgebreid met Schön zelf gepraat.
Dankjewel! Je recensie heb ik inmiddels gelezen. Dat boek lijkt ook een beetje een gemiste kans, jammer.
Vragen, ja, vragen, dit prikkelt de intelligentie.
Iets dergelijks als het behept zijn met meer of minder verstandelijke capaciteiten zal zeer zeker wel bestaan, maar waarschijnlijk in verschillende hoedanigheden, zoal je zelf al aangaf in je voorbeeld.
Dat is een interessante observatie, Martin. Maar wat betekent dat volgens jou, dat ‘ intelligentie’ niet bestaat? Waarom denken heel slimme mensen dat zij wel bestaat, en wat is jouw opinie over maatschappelijke clubs als “Mensa”?
Bij de “Mensa” ga je in geval van onzekerheid en gebrek aan zelfvertrouwen. Een lidmaatschapskaart van Mensa is een substituut voor een persoonlijkheid. Maar laten we niet off-topic gaan.
Ik ben heel erg fan van Nelson DeMille, de auteur. Die is ook lid van Mensa. Als ik zijn boeken lees, krijg ik niet de indruk dat hij leidt aan een persoonlijkheidsgemis…. en zeker niet aan gebrek aan zekerheid en zelfvertrouwen. Hoe kom je tot die conclusie?
Nou ja, het is nog enigszins ontopic, omdat je je afvraagt hoe intelligente mensen tot ‘domme’ daden komen.
Ik heb pas uw recentie gelezen. De twee plaatjes die erop verschijnen zijn ongetwijfeld identiek, althans de data. Maar als je zoiets tegenkomt denk je in erste instantie dat per abuis het verkeerde plaatje was meegestuurd, en niet in fraude.
“De verkeerde datafile ge-copy&paste” – dat zal ongetwijfeld in eerste instantie het excuus geweest zijn. Echter, die twee grafieken waren wat de zaak aan het rollen bracht. Er is geen toezichthoudende instantie in de wetenschap. Maar er was vrijwel zeker een stortvloed van emails over en weer tussen vakbroeders na de “ontdekking” van die twee identieke grafieken. Plotseling ging iedereen al die publicaties & resultaten naast elkaar leggen en er met een ander oog naar kijken. Zo is het ook met Förster gegaan. Die “UvA-collega” waarvan in het stukje sprake is, die heeft een “tipping point” teweeg gebracht. Het is jammer dat Stichting Skepsis niet langer jaarlijks een prijs uitreikt voor skeptische verdiensten (vroeger was er de “piramidependel”). Die “UvA-collega” zou zeker een serieuze kandidaat moeten zijn.
Beste Anthony,
ik denk dat je de UvA weinig kunt verwijten en dat je wellicht zelfs het standpunt kunt innemen dat de UvA deze zaak niet onder de tafel heeft geprobeerd te moffelen.
Universiteiten zijn verplicht om een geanonimiseerde versie van de uitspraak op de website van de VSNU te zetten. De ruimte zit in de snelheid waarin deze uitspraak online wordt gezet (al na enkele dagen of pas na een half jaar) en in de mate van gedetailleerdheid van de uitspraak (een erg korte samenvatting, of de complete uitspraak waarbij alleen namen en plaatsen (etc.) zijn weggelaten). UvA heeft gekozen voor een vlotte publicatie en voor het publiceren van de complete uitspraak. Er zijn genoeg journalisten en anderen die van de hoed en van de rand weten. De naam is dan binnen no time bekend. Vervolgens zal de discussie beginnen. Die discussie wordt tegenwoordig (ook) online gevoerd. Iedereen kan hieraan meedoen, dus ook Jens Förster. Op Retraction Watch staan genoeg voorbeelden waarbij de betrokken onderzoekers zelf meedoen / weerwoord geven, etc. Hetzelfde geldt voor alle opgeworpen statistische mitsen en maren. Jens Förster is er volkomen vrij in om een statisticus te vragen die op een site als Retraction Watch een inhoudelijk weerwoord geeft op alle statistische mitsen en maren die zijn opgeworpen cq die alle opgeworpen statistische bezwaren de grond in boort.
Van verzwijgen is geen sprake. Vraag het maar aan Google. Bovendien werkt Jens Förster vanaf 1 juni 2014 niet meer voor de UvA. Tegelijkertijd heeft zijn nieuwe werkgever, de universiteit van Bochum, aangekondigd om de zaak eerst goed te willen onderzoeken alvorens verder in zee te gaan met Jens Förster (o.i.d.).
Het LOWI-rapport maakt korte metten met onderzoekers die ruwe data weggooien alvorens ze te publiceren. Dat mag niet en dat punt noemt het LOWI ‘gegrond’. Een juridische kreet die veel betekenis heeft. Alleen al op dat punt krijgt Jens Förster dus al een flinke tik op zijn neus. Bovendien is het niet beschikbaar zijn van deze ruwe data (incl. -kennelijk- allerlei primaire bewerkingen) een buitengewoon belangrijk ondersteunend argument voor het LOWI om te concluderen dat het niet anders kan dat er met de data gemanipuleerd moet zijn. Zie https://www.knaw.nl/shared/resources/thematisch/bestanden/LOWIadvies2014nr5.pdf
Op http://www.dfg.de/download/pdf/dfg_im_profil/reden_stellungnahmen/download/empfehlung_wiss_praxis_1310.pdf staan voorwaarden waar (Duitse) onderzoekers zich aan moeten houden willen ze werken met geld van DFG. Jens Förster werkte voorheen bij de Jacobs Universiteit in Bremen (en werkte ook wel met geld van DFG). Iedere onderzoeker aan deze universiteit moet zich eveneens aan deze regels houden (staat op de website van de Jacobs Universiteit). Een citaat uit het DFG rapport (heeft een Duitse versie en onderaan een Engelse versie) spreekt boekdelen:
“The published reports on scientific misconduct are full of accounts of vanished original data and of the circumstances under which they had reputedly been lost. This, if nothing else, shows the importance of the following statement: The disappearance of primary data from a laboratory is an infraction of basic principles of careful scientific practice and justifies a prima facie assumption of dishonesty or gross negligence.”
Dit citaat staat dus in de versie 2013 van het rapport.
De meneer Förster heeft blijkbaar niet voldoende verstand van statistiek. Als je dol bent op wiskunde waar de statistiek ook bij hoort, en als je het leuk vindt ingewikkelde formules op te lossen, dan ga je gewoonlijk natuurkunde of zo iets studeren, maar niet sociale wetenschap.
Was die meneer maar iets slimmer en had hij zijn data wat meer gestrooid, dan was het nooit opgevallen, toch. Ik vraag me af hoe veel van dit soort gemanipuleerde onderzoeken er nog rondwaren.
Van het experiment zelf heb ik niet veel begrepen, wat is bv geprimed? Maar dat doet er niet toe.
Dat primen staat voor dit onderzoek wat verder uitgewerkt bij Wetenschap24: http://www.wetenschap24.nl/nieuws/artikelen/2014/April/Opvolger-van–Diederik-Stapel-is-bekend.html maar het komt er op neer dat je iemand een prikkel geeft en daarna gaat kijken of dat effect heeft bij het uitvoeren van testjes. In het (niet uitgevoerd) ‘vleeshufter’-onderzoek van Stapel keken ze bijvoorbeeld of het wat uitmaakte of je naar een plaatje van een boom of een biefstuk had gekeken als vervolgens een testje over samenwerking voorgeschoteld kreeg.
Quote link: Hij (Förster) veronderstelt onder meer, dat wellicht nog onbekende psychologische mechanismen voor de ‘perfecte’ resultaten gezorgd hebben.
http://www.wetenschap24.nl/nieuws/artikelen/2014/April/Opvolger-van–Diederik-Stapel-is-bekend.html
Dat is pas nog eens een staaltje van creatief denken.
Twee kleine foutjes :
– data … kunnen zijn ipv kan zijn ; data … geconstrueerd moeten zijn ipv moet zijn
– Questionable Research Practices ipv Pratices
“via een normale steekproef zonder manipulatie afkomstig zouden kunnen zijn”
Is hier iets misgegaan met de volgorde ?
Ik pas het even aan. Het enkelvoudig gebruik van ‘data’ is inderdaad nog niet ‘woordenboekcorrect’ maar ik kom het zoveel tegen dat ik verwacht dat het niet lang zal duren.
Inderdaad, helaas.
De man kan goed theater spelen: http://www.men-art.de/homepage_jens/pics.htm Misschien was het allemaal een groot kunstproject?
En ook dit. Vertelt ons iets over zijn zelfbeeld. “Förster baalt van succes, er is niets vervelender dan success. …”
Op de laatste regel na, heeft die blijkbaar net bijgesteld. (-;