Kloptdatwel?

Search Results for: diederik stapel

Toponderzoeker bekent fraude

by 23 Comments

Voor wie de krant de afgelopen dagen mocht hebben gemist – de Tilburgse toponderzoeker Diederik Stapel heeft aan de baas van de Universiteit van Tilburg bekend dat hij onderzoeksgegevens heeft verzonnen. Rector Magnificus Philip Eijlander heeft Stapel daarop direct op non-actief gesteld.

Toponderzoeker bekent fraude 1
Diederik Stapel presenteerde zich actief in de media en niet alleen als wetenschapper. Hier op de website van de Universiteit Tilburg.

De Universiteit van Tilburg maakte op 7 september bekend dat Stapel op non-actief is gesteld omdat hij ‘een ernstige inbreuk gemaakt [heeft] op de wetenschappelijke integriteit door in zijn publicaties gebruik te maken van gefingeerde data’. Prof. dr. Diederik Stapel is hoogleraar Cognitieve Sociale Psychologie en tevens decaan van Tilburg School of Social and Behavioral Sciences. Rector Eijlander heeft een vertrouwenscommissie ingesteld met de opdracht om volledig in kaart te brengen bij welke publicaties van prof. dr Stapel gefingeerde data zijn gebruikt. Volgens De Telegraaf heeft Stapel al langere tijd onderzoeksgegevens verzonnen.

Uit media-artikelen van gisteren (o.a. een voorpagina-artikel in NRC Handelsblad) wordt duidelijk wat er gebeurd is. Wikipedia citeert Omroep Brabant:

‘Eind augustus 2011 meldden enkele jonge medewerkers uit Stapels onderzoekgroep zich bij de rector van de Universiteit van Tilburg, Philip Eijlander met het vermoeden van frauduleuze handelingen bij het onderzoek. Ongeveer een week later gaf Stapel toe dat er in sommige publicaties sprake was van gefingeerde data. Vrijwel onmiddellijk hierop werd Stapel op non-actief gesteld. Een commissie onder leiding van de psycholoog Willem Levelt werd verzocht te onderzoeken welke publicaties er precies gebaseerd waren op gefingeerde data’.

Toponderzoeker bekent fraude 2
NRC Handelsblad neemt de fraude van Stapel zeer serieus en wijdt er vrijwel de gehele voorpagina aan

Diederik Stapel is volgens NRC-redacteur Bart Funnekotter een zeer succesvol wetenschapper. Funekotter op de webpagina van de NRC:

‘Hij promoveerde cum laude en kreeg diverse beurzen van NWO en de KNAW. Hij doet onderzoek naar hoe bij mensen hun zelfbeeld en het beeld van anderen ontstaat. Eerder dit jaar kwam hij overal in het nieuws, ook bij NRC, met zijn onderzoek waaruit bleek dat mensen die in een rommelige omgeving leven, eerder een hekel hebben aan buitenlanders. Dat onderzoek is gepubliceerd in Science, de absolute top van de wetenschappelijke tijdschriften’.

Een paar dagen geleden kwam Stapel nog uitgebreid in het nieuws met zijn onderzoek waaruit zou blijken dat ‘vleeseters egoïstischer en minder sociaal zijn dan mensen die geen vlees eten’. Ook dit onderzoek is vermoedelijk geheel gebaseerd op verzonnen gegevens, zo meldt medeonderzoeker prof. Roos Vonk.

Juist vanwege het grote zichtbaarheid van Stapel (hij was regelmatig te zien op tv) maakt prof. Roos Vonk zich grote zorgen over de reputatieschade voor de wetenschap. In NRC Handelsblad zegt ze: ‘het is denkbaar dat dat deze omvangrijke misstap van één enkele collega effecten heeft op de reputatie van ons gehele vakgebied’. Ook Robbert Dijkgraaf, president van de Koninklijke Nederlandse Akademie van Wetenschappen, maakt zich hierover grote zorgen, zegt hij in het weekblad Elsevier. Op haar website toont Vonk zich verbijsterd:

‘Op 25 augustus j.l. presenteerde ik, samen met collega’s Diederik Stapel en Marcel Zeelenberg, een onderzoek naar de psychologie van vlees. Dit onderzoek hadden we gezamenlijk bedacht en het was uitgevoerd door een assistent van Diederik. Dacht ik. … Vandaag (7 september) hoorde ik dat collega Stapel op grote schaal fraude heeft gepleegd. … Ik moet aannemen dat ook de ‘vlees-data’ berusten op fraude. Bij het bespreken van de resultaten vond ik het wel vreemd dat Diederik de naam van de assistent niet noemde, maar de gedachte aan fraude is geen moment in me opgekomen. Diederik Stapel was een van de beste sociaal-psychologen van Europa. Hij had een vlekkeloze reputatie, … Dat uitgerekend hij dit gedaan heeft maakt het extra schokkend en laat zien hoezeer ook wij als psychologen ons volstrekt kunnen vergissen in mensen’. 

Volgens de website Universonline van de Universiteit Tilburg begrijpt Stapel dat wat hij heeft gedaan niet door de beugel kan:

‘Of de universiteit nog actie onderneemt om de schade voor Stapel te beperken, is onduidelijk. Eijlander geeft aan dat hij het volstrekt verwerpelijk vindt wat Stapel heeft gedaan. “Diederik begrijpt dit ook.” Binnen de wetenschap zal Stapel moeilijk ergens anders aan de slag komen, maar hij zal weer de kracht vinden om verder te gaan, aldus de rector. De drie klokkenluiders zijn sterke mensen aldus Eijlander. “Ik vind het top dat ze dit gedaan hebben, het is het enige juiste geweest. De wetenschap heeft zichzelf gezuiverd”.

Hier vind je een overzicht van publicaties van Diederik Stapel (bron: wikipedia). Hier vind je zijn curriculum vitae (googledocs document, via Wikipedia).

Voorpagina: een deel van de voorpagina van NRC Handelsblad van 8 september 2011

Volgende sociale psycholoog struikelt – de zaak Förster

by 23 Comments

Na de schandalen rond Diederik Stapel en Dirk Smeesters is nu weer een hoogleraar sociale psychologie ernstig in de problemen gekomen. Het Landelijk Orgaan Wetenschappelijke Integriteit oordeelt dat professor Jens Förster, verbonden aan de Universiteit van Amsterdam, in minstens één artikel data heeft gebruikt, die eigenlijk niet op een normale wijze verkregen kunnen zijn. De gegevens zijn te ‘perfect’ en bevatten veel minder ruis dan je normaal verwacht bij het soort experimenten dat Förster uitvoerde.

Jens Förster
Jens Förster

Begin 2012 publiceerde Förster een artikel in Social Psychological and Personality Science onder de titel Sense Creative! The Impact of Global and Local Vision, Hearing, Touching, Tasting and Smelling on Creative and Analytic Thought. In het artikel beschrijven Förster en zijn co-auteur Markus Denzler een aantal experimenten op basis van een theorie die door Förster is ontwikkeld: GLObal versus LOcal processing Model. Deze theorie, kortweg GLOMO, gaat over het verschil dat zou bestaan tussen het verwerken van waarnemingen van iets in het geheel (global) of meer met een focus op details (local).
Het nieuwe van Försters onderzoek is dat hij het niet alleen beperkt tot visuele waarneming, zoals anderen eerder deden, maar experimenteert met geluid, geur, smaak en aanraking als prikkels. De experimenten komen er meestal op neer dat proefpersonen worden geprimed met ofwel een globale ofwel een lokale prikkel, en dan worden getest met analytische en creatieve testjes (op Wetenschap24 meer uitleg hierover). Uit het abstract van de bewuste studie:

Throughout separate 12 studies, participants were asked to look at, listen to, touch, taste or smell details of objects, or to perceive them as wholes. Global processing increased category breadth and creative relative to analytic performance, whereas for local processing the opposite was true. Results suggest that the way we taste, smell, touch, listen to, or look at events affects complex cognition, reflecting procedural embodiment effects.

Boven de weergave in de artikelen en onder in de volgorde local-control-global (low-med-high), waarbij het lineaire verband duidelijk wordt. (afbeelding van Wetenschap24)
Boven de weergave in de artikelen en onder in de volgorde local-control-global (low-med-high), waarbij het lineaire verband duidelijk wordt. (afb. Wetenschap24)

De resultaten leken echter veel te mooi om waar te zijn. Een UvA-collega van Förster, werkzaam op een andere afdeling, viel het op dat het ‘positieve’ effect van de priming met een globale prikkel precies het tegenovergestelde effect had als de priming met een lokale prikkel.
Dat is niet meteen duidelijk als je kijkt naar de grafiekjes van Förster, maar als je de volgorde van de weergave een beetje verandert, zie dat gemiddelden van ‘Global’ en ‘Local’ even ver af liggen van het gemiddelde van de controlegroep (zie afbeelding hiernaast). Dat kan natuurlijk een keer gebeuren, maar het patroon trad op in alle beschreven experimenten.

Een tweetal oudere artikelen werd erbij gehaald en daar bleken dezelfde uitgesproken lineaire verbanden op te duiken. In totaal werden in de drie artikelen 42 experimenten gevonden. En die vertonen allemaal hetzelfde beeld, zoals hieronder in een visuele samenvatting gezien kan worden:

 

Een grafische weergave van de 42 experimenten.(meta-montage door @neuroskeptic)
Een grafische weergave van de resultaten van de 42 experimenten,de lineariteit springt er uit (meta-montage door Neuroskeptic)

Ter vergelijking onderzocht deze medewerker, alleen of met anderen, ook een tiental artikelen van vakgenoten van Förster, waarin een soortgelijke opzet werd gebruikt (dus telkens met drie groepen). Daarin was er geen sprake van een dergelijk sterke lineariteit. De opmerkelijke resultaten van Förster zouden misschien nog wel verklaard kunnen worden door Questionable Research Practices (QRP), zoals het weglaten van uitschieters,  het aanvullen van de data met gegevens van extra steekproeven na een eerste evaluatie die net niet lekker uitkwam, of het verwijderen van deelnemers die hun onderzoek niet serieus genoeg hadden ingevuld. Dat laatste zou nog wel mogen, maar dan moet je vooraf precies vastleggen hoe je dat doet en niet achteraf, zoals in het geval Smeesters.
Ook kun je niet meteen uitsluiten dat deze experimenten op een nog onbegrepen lineair verband zijn gestuit. Maar ook als je er van uit gaat dat dat lineair verband er echt is, dan zouden de gegevens daar nog steeds veel te mooi bij passen. Er is veel te weinig spreiding in de gegevens. Bij nadere beschouwing blijkt het ook zeer onwaarschijnlijk dat QRP deze te ‘perfecte’ gegevens zouden kunnen opleveren op basis van een set gegevens die in eerste instantie wel netjes verkregen was. De analyse van de anonieme klager(s) die de basis vormde voor de klacht bij Commissie Wetenschappelijke Integriteit (CWI) van de Universiteit van Amsterdam (UvA)  is gelekt naar Retraction Watch.

De klacht werd door de CWI onderzocht, maar die kwam in juli 2013 uiteindelijk niet verder dan de aanbeveling om een ‘letter of concern’ te publiceren omtrent de twijfels over de data (geanonimiseerd rapport, pdf). Förster ontkende dat hij slordig was geweest en zich schuldig had gemaakt aan QRP. De klager vond dat de CWI haar werk onvoldoende had gedaan en ging in beroep bij het LOWI met onder de volgende punten van kritiek: de CWI had archiefonderzoek moeten doen naar de dataverzameling, meer getuigen (onderzoeksassistenten) moeten horen, andere artikelen van Förster en de ruwe databestanden moeten onderzoeken, en ook veel sneller moeten werken.
In het LOWI-rapport(pdf), dat deze week uitkwam (de berichtgeving kwam eind april al op gang na een stuk van Frank van Kolfschooten in NRC), wordt de klager niet op alle punten in het gelijk gesteld. Vooral procedureel valt de CWI niet veel te verwijten. Het is niet zo raar dat die zich beperkt heeft tot de concreet aangedragen problemen. In de zaken van Stapel en Smeesters lag het anders: daar kwamen snel bekentenissen en kregen de CWI’s opdracht van de Colleges van Bestuur om verder onderzoek te doen.
Inhoudelijk geeft het LOWI de klager echter wel gelijk en deelt de mening er eigenlijk geen aanwijzingen zijn gevonden dat QRP tot de onwaarschijnlijke data geleid kunnen hebben en dat het daarom niet bij zo’n ‘letter of concern’ zou kunnen blijven. De statistische experts die vervolgens door het LOWI ingeschakeld werden, kwamen met nog een opmerkelijk gegeven in de data. Als je kijkt naar subgroepen, je splitst de data op naar man/vrouw bijvoorbeeld, dan is er helemaal geen spoor van die lineariteit terug te vinden. De afwijkingen ten opzichte van het lineaire verband bij mannen en vrouwen heffen elkaar precies op als je de data samenvoegt. Dit lijkt helemaal bizar, maar misschien voegt het niet zo veel toe aan het reeds ontstane beeld dat de data sowieso geconstrueerd moeten zijn. En dat door iemand zonder al te veel kennis van statistiek. Förster ontkent intussen dat hij iets verkeerd heeft gedaan en spreekt van een onterechte heksenjacht.

Is het statistisch bewijs voldoende om het oordeel fraude te kunnen vellen? In de analyse van de klager wordt een waarde berekend die zou inhouden dat er maar een kans is van één op 508 triljoen dat de gegevens van een normale steekproef afkomstig zouden kunnen zijn zonder manipulatie. De statisticus Richard Gill (Universiteit Leiden), die zich vaak roert in de commentaren op diverse blogs over deze zaak, geeft echter aan dat je je niet moet blindstaren op dit soort cijfers. Ze hangen af van allerlei aannames rondom de gebruikte modellen. Als handvat om er zinnig mee om te gaan, stelt hij dat je eerst maar eens het aantal nullen moet halveren en als er dan nog steeds een buitensporig aantal nullen staat, halveer je het nog maar eens. In dit geval blijft er dan echter nog steeds een absurd lage kans over. Gill noemt Förster ‘ofwel een oplichter of volkomen incompetent.’
Er zijn ook andere aanwijzingen dat er iets goed is misgegaan. Het LOWI heeft zich alleen gebogen over het artikel dat de aanleiding was tot de klacht. Van de oudere artikelen die ook door de klager zijn geanalyseerd, zijn de gegevens niet eens meer beschikbaar (gecrashte harddisk). Van het artikel in 2012 zijn de originele formulieren vernietigd, hoewel de aangeraden bewaartermijn nog niet was verlopen. En er is onduidelijkheid over wanneer en waar de gegevens precies verzameld zouden zijn. Misschien dat dit soort slordigheden vrij vaak voorkomen (of kwamen) in de sociale psychologie, maar het wordt in dit geval toch wel moeilijk om het niet te zien als een poging om een ernstiger probleem te verhullen.
Samenvattend volgens het LOWI: “is de conclusie […] onontkoombaar dat voor de uitkomsten van dit onderzoek in het artikel onderzoeksgegevens zijn gemanipuleerd of gegevens bewust zijn bijgesteld.” Het oordeelt dat er sprake is geweest van schending van de wetenschappelijke integriteit en adviseert de UvA om het tijdschrift te verzoeken het artikel in te trekken. Op het moment van schrijven van dit stuk was er nog geen officiële mededeling van de UvA, maar de woordvoerder liet al weten dat ze het advies overnemen. Er lijkt vooralsnog geen onderzoek naar andere artikelen van Förster geïnitieerd te worden. [Update 4/10/2014. NRC: ‘UvA gaat toch mogelijke fraude psycholoog onderzoeken‘]

Förster zou eigenlijk volgende maand aan de slag gaan als ‘Humboldt-professor’ in Bochum met een beurs van 5 miljoen euro, dat is voorlopig uitgesteld. In Duitsland is het overigens nog akelig stil rond deze zaak. Merkwaardig, want Förster heeft een grotere status dan Stapel of Smeesters in het vakgebied. Het is opvallend dat deze drie zaken allemaal aan Nederlandse universiteiten naar boven komen. Is het hier erger dan in het buitenland? Waarschijnlijk niet en heeft het er meer mee te maken dat sinds de affaire Stapel de wegen naar CWI’s en LOWI sneller gevonden worden door klokkenluiders en klagers van buitenaf.

Verder lezen:

Gelezen: De publicatiefabriek

by 3 Comments

Naar aanleiding van de affaire-Stapel zijn er inmiddels een aantal boeken verschenen. Frank van Kolfschooten voorzag zijn Valse vooruitgang uit 1993 van een waardige opvolger met Ontspoorde wetenschap. Dat boek besprak ik eerder op Kloptdatwel. Diederik Stapel kwam zelf met zijn Ontsporing. Dat vond niet iedereen even kies. Zeer korte tijd na uitkomen ging er al een illegale kopie rond op het internet. Die fraudeur mocht er zeker geen geld aan overhouden. Het meest recente ‘Stapel’-boek is De publicatiefabriek van Ruud Abma. Er is op veel verschillende plekken interessant materiaal te lezen over de fraude van Stapel en de crisis waarin de sociale psychologie lijkt te verkeren en dit boek brengt het belangrijkste daarvan bij elkaar.

publicatiefabriekWie de zaak-Stapel goed gevolgd heeft, zal niet zoveel nieuwe feiten ontdekken in De publicatiefabriek, maar Abma brengt het materiaal van andere reconstructies en het rapport-Levelt op een zeer prettige manier samen. Ook het meenemen van discussies die her en der op internetsites werden gevoerd, opinies in wetenschappelijke tijdschriften en aanvullend commentaar van mensen die met Stapel hebben samengewerkt, maken dit de meest complete beschrijving tot nu toe. Volgens mij is er echter nog meer bloot te leggen. Zo ben ik wel nieuwsgierig naar reacties van editors van tijschriften die Stapels artikelen plaatsten en reviewers die er niets vreemds in ontdekten. Het boek van Abma had van mij wel wat meer recherchearbeid mogen laten zien.
Waar Van Kolfschooten de nadruk legt op de procedures die het gevolg zijn van het ontdekken van de fraude, gaat Abma meer in op het wetenschappelijke klimaat waarin dit kon plaatsvinden. Over de precieze manier waarop gefraudeerd wordt, of er minder ernstig vergrijpen plaatsvinden en hoe deze te ontdekken zijn, gaat Abma niet al te diep in. Wie meer wil weten over dubieuze onderzoeksgewoontes als ‘p-hacking’ kan met de aangehaalde bronnen echter goed uit de voeten.

De commissie-Levelt sprak van ‘slodderwetenschap’ binnen de sociale psychologie en Abma belicht dat op een verhelderende manier. Voor hem is de zaak Stapel een symptoom van de toestand van een academische cultuur. Het was voor mij wel enigszins nieuw om te lezen dat de crisis in de sociale psychologie eigenlijk een al jarenlang tikkende tijdbom was. Discussies over de waarde van het soort experimenten dat Stapel uitvoerde, gaan al sinds eind jaren 1960. En dan gaat het niet alleen om de onderzoeken die effecten van ‘priming’ proberen aan te tonen, maar meer algemeen of de testjes in het ‘laboratorium’ van de sociaal psycholoog wel wat zeggen over gedrag in de echte wereld.
Die wezenlijke discussie lijkt door veel onderzoekers alleen met de mond te zijn beleden. Zij gingen intussen gewoon door met het publiceren van onderzoekjes die het vooral goed doen in de media, maar voor theorievorming weinig betekenen. Ieder voor zich. En zo lang je ermee scoort, er vooral mee doorgaan. Misschien dat er daarom weinig kritisch naar elkaars werk werd gekeken. Ideale omstandigheden om met dubieuze praktijken weg te komen. Intussen zijn er binnen de sociale psychologie initiatieven gestart die het tij moeten keren. Meer aandacht voor replicatie van onderzoeken, beter gegevensbeheer en vooral minder individualistisch opereren.

Volgens Abma is een van de belangrijkste problemen van dat falende academische klimaat echter de druk die al dan niet formeel ligt op wetenschappers om maar artikel na artikel te publiceren. Dat wordt mede in de hand gewerkt doordat onderzoeksgelden veelal verdeeld worden op basis van de kwantitatieve gegevens van publicaties: aantal citaties, h-index en impactfactor van tijdschriften. Een zelfstandig inhoudelijk oordeel wordt nauwelijks gegeven. Liever denkt men dat een publicatie in een goed scorend tijdschrift een garantie is voor kwaliteit. Dat is natuurlijk ook een stuk makkelijker ‘sturen’ voor universitaire bureaucratieën.

De publicatiefabriek gaat wel wat specifiek over sociale psychologie. Als je kijkt naar het lijstje met de grootste fraudezaken, zie je daar voornamelijk de exacte en medische wetenschappen vertegenwoordigd. Of je daarvoor dezelfde soort oorzaken (‘slodderwetenschap’) kunt aanwijzen, is maar de vraag. Ook miste ik een bredere onderbouwing van de stelling dat minder publiceren beter zou zijn voor die verschillende wetenschapsgebieden. Van Kolfschooten laat in zijn boek wel gerenommeerde wetenschappers aan het woord, die dat beamen, maar Abma komt eigenlijk niet verder dan die uitlatingen over te nemen.

Bij elkaar genomen vind ik het een aardig boek, dat ik met plezier heb gelezen. Zeker aan te raden voor iedereen die de ins en outs van de affaire-Stapel eens rustig wil nalezen. Stapel zelf heeft intussen plannen om het theater in te gaan; met een programma onder de titel De Fictiefabriek.

Over de analyse van Armstrongs bekentenis

by 8 Comments

De afgelopen week kon je er haast niet om heen: de media waren in de ban van het interview van Oprah Winfrey met Lance Armstrong. Ook de NOS besteedde er ruimschoots aandacht aan: in het acht uur journaal van vrijdag 18 januari was bijna de helft van de uitzending er aan gewijd. Interessant werd het in het late journaal van die dag. Daarin werden de uitspraken van Armstrong geanalyseerd met een computerprogramma, dat uit zou kunnen maken of iemand de waarheid spreekt of liegt.
De meest opmerkelijke uitspraak die professor Eric Postma van de Universiteit van Tilburg daarin deed, was dat de analyse uitwees dat Armstrong met 80 procent kans had gelogen toen die stelde dat hij nooit betaald had om een positieve dopingtest in de doofpot te stoppen. Was deze ‘conclusie’ wel te rechtvaardigen op basis van een systeem dat nog in de ontwikkelfase zit?

Get Microsoft SilverlightBekijk de video in andere formaten.

Uit het korte fragment wordt niet zo snel duidelijk hoe het programma werkt. Ik mailde daarom afgelopen maandag met prof. Postma en kreeg tot mijn genoegen al heel snel een reactie met meer uitleg. Later kwam ik erachter dat hij op de radio bij omroep Brabant al ruimere gelegenheid had gekregen om uit te leggen wat de analyse inhoudt en hoe hard de uitspraken zijn.

De analyse
In het kort werkt het zo: van Armstrong werden naast het materiaal uit het interview ook oude beelden geselecteerd waarin hij uitspraken heeft gedaan, waarvan we nu weten dat ze gelogen zijn. Software die het gezicht in de videobeelden herkent en daarin een aantal punten kan volgen, levert vervolgens een heleboel data op die je kunt gaan analyseren. Is er een manier om op basis van die getallen de ware uitspraken en de leugens te scheiden? Die vraag is een mooi rekenklusje voor de computer. Als er in de data patronen zitten die zo’n scheiding mogelijk maken, zijn er meerdere manieren om die er uit te vissen. Om te checken of je niet een puur toevallige ‘fit’ hebt gevonden, doe je dan nog wat controles (bijvoorbeeld een ‘leaving-one-out cross-validatie’, een methode die ik elders ook heb beschreven).
Bij Armstrong werd een ‘idiosyncratische trek‘ gevonden die gebruikt kan worden om zijn uitspraken in ‘waar’ en ‘gelogen’ te kunnen indelen. Die ‘trek’ was in dit geval blijkbaar ook fysiek te duiden, want Postma heeft het een aantal keer over een ‘strak gelaat’, maar in zijn algemeenheid is het simpelweg een formule die gevoed wordt door de meetpunten.
Het werkt ook niet zomaar bij iedere spreker. Het kan goed zijn dat iemand te weinig variatie laat zien in zijn gezichtsuitdrukking of stemgeluid om een significante splitsing te kunnen maken tussen ‘ware’ en ‘gelogen’ uitspraken. Ook is er voldoende beeldmateriaal nodig met uitspraken waarin je zeker weet of de persoon daar zat te liegen of de waarheid sprak (op zich al een lastige  beoordeling). Bij Armstrong denken de onderzoekers blijkbaar dat er aan die voorwaarden is voldaan.

Weet je wat je meet?
Is het onderscheid dat het programma maakt tussen de verschillende fragmenten inderdaad het verschil tussen waarheid spreken en liegen? Een anekdote rond neurale netwerken kan ook hier als waarschuwing dienen. Het verhaal gaat dat zo’n netwerk werd getraind om te detecteren of er gecamoufleerde tanks te zien waren in een natuurlijke omgeving. Na training met 100 foto’s deed het netwerk het fantastisch en ook nog toen het getest werd met een vergelijkbare set foto’s die vooraf apart was gelegd.
Toch klopte er iets niet; met een onafhankelijk aangeleverde set foto’s bakte het programma er niets van! Het bleek dat de trainings- en testfoto’s op een veel makkelijkere manier onder te verdelen waren in ‘tank’ of  ‘geen tank’: alle foto’s met tanks waren op bewolkte dagen genomen en die zonder tanks op zonnige dagen. Het programma fungeerde dus waarschijnlijk als een belichtingsmeter. Of de anekdote nu waar gebeurd is of niet, doet er niet zoveel toe. Het illustreert wel het gevaar van het fitten van een model zonder dat je op een of andere manier kunt controleren dat je ook echt meet wat je wil meten.
Zou het niet zo kunnen zijn dat er met de uitspraken van Armstrong net zoiets aan de hand is? Ik kan wel wat suggesties daarvoor geven. In het radio-interview stelt Postma dat het programma vooral bij de uitspraken die over medewerkers gingen (dokters, ploegmaten)  aangeeft  dat er twijfel is over het waarheidsgehalte. Over die uitlatingen is waarschijnlijk heel goed van te voren nagedacht door Armstrong en zijn begeleiders, bijvoorbeeld vanwege de juridische consequenties. Dit geeft Postma ook wel aan, maar trekt niet de conclusie dat dat (die intensieve voorbereiding) misschien wel het onderscheid is dat je meet, in plaats van het liegen of waarheid spreken.

Stemanalyse van het interview met Armstrong
Stemanalyse van het interview met Armstrong

Stemanalyse
Overigens werd niet alleen die gezichtsanalyse gebruikt, ook de stem werd geanalyseerd. Armstrong zou in zijn dubieuze uitspraken met een hogere toon en andere snelheid hebben gesproken. Dit kan wijzen op een grotere spanning en dus(?) wijzen op leugenachtigheid. Maar conclusies trekken over het waarheidsgehalte van uitspraken op grond van dit soort stemanalyses, is wetenschappelijk gezien zeer omstreden.
De combinatie van metingen aan het gezicht met de stemanalyse kan misschien een meer betrouwbaar systeem opleveren.  De onderzoekers wijzen onder andere op een studie (van Elkins, Derrick en Gariup) die vorig jaar gepresenteerd is op een congres: “The Voice and Eye Gaze Behavior of an Imposter: Automated Interviewing and Detection for Rapid Screening at the Border“ (pdf). Daar werd een ogenschijnlijk indrukwekkend resultaat behaalt: 100% van de ‘imposters’ werd gedetecteerd en slechts twee onschuldigen werden verkeerd ingedeeld. Hier gaat het echter om een strikt protocol dat de proefpersonen moeten doorlopen en ook de data waarover gelogen kan worden (gegevens op een visa) zijn vooraf heel precies bekend. In zo’n kunstmatige situatie is het mijns inziens meer voor de hand liggend dat je kunt uitgaan van een vergelijking waarin het enige echte verschil zit in het al dan niet de waarheid spreken.

Rijp voor de media?

De uitspraak die volgens het computerprogramma met 80% kans een leugen is.
De uitspraak die volgens het computerprogramma met 80% kans een leugen is.

De uitspraak dat een computerprogramma, ontwikkeld door wetenschappers, zou laten zien dat een specifieke uitspraak met 80 procent kans gelogen is, krijgt zoals die gebracht is in het NOS journaal meer gewicht dan je zou wensen. In andere media werd het verhaal al  een stuk minder genuanceerd doorverteld (voorbeeld) en dat lijkt me geen goede zaak. Impliciet stel je namelijk ook dat anderen die bij de ‘deal’ betrokken zouden zijn, of er van hebben moeten geweten (o.a. Hein Verbruggen en Pat McQuaid van de UCI), op dit punt altijd hebben gelogen. En dat zonder die personen aan een vergelijkbare analyse te onderwerpen. Het lijkt inmiddels wel duidelijk dat zij al die jaren veel meer van dopinggebruik wisten dan ze verteld hebben, maar het is maar zeer de vraag of ze in deze specifieke kwestie hebben gelogen.
Het is wel grappig dat Armstrong enige tijd vóór zijn bekentenissen bij Oprah aangaf,  bereid te zijn om verklaringen af te leggen onder controle van een leugendetector. Maar alléén als de getuigen die hem beschuldigd hadden ook aan zo’n test zouden worden onderworpen. Misschien begreep hij al donders goed dat je met het testen van zoveel personen op één feit niet snel een heel duidelijk te interpreteren resultaat zult krijgen.

De onderzoekers zijn van plan de studie en bevindingen op papier te zetten en tegen die tijd zal ik er misschien wel eens op terugkomen. Vooralsnog ben ik niet overtuigd dat deze vorm van leugendetectie ooit betrouwbaar genoeg zal zijn om in serieuze zaken toe te passen. Het is mij teveel een ‘black box’ en het is erg lastig om uit te sluiten dat je model niet iets anders meet dan je denkt. De problematiek is enigszins vergelijkbaar met hoe er met fMRI-scans wordt omgegaan (zie mijn blog over het misplaatste optimisme over de Pedoscan). Ook het gegeven dat het een persoons specifieke analyse is en dat het niet bij iedereen werkt, doet mij twijfelen aan de robuustheid van de systeem. Sommige mensen zijn dus in staat om, al dan niet bewust, de tekenen die zouden moeten wijzen op leugenachtigheid te verbergen. Wat zegt dat over de betrouwbaarheid van de waardering van losse uitspraken van personen waarbij het systeem dat verschil wel lijkt te kunnen aanwijzen?
In ieder geval lijkt het me niet zo slim om het in handen te geven van overenthousiaste sportverslaggevers (‘Geweldig apparaat!‘). Maar aan de andere kant gaat het neersabelen van het onderzoek zonder de details te kennen (‘De nieuwe Diederik Stapel!‘) mij weer veel te ver. Minister Opstelten doet er echter vooralsnog verstandig aan om leugendetectie in het lijstje Onorthodoxe Opsporingsmethoden te laten staan, naast de paragnosten en hypnose.

Waarom zijn we er nog?

by 45 Comments

Waarom zijn we er nog? 5Na alle tumult de laatste jaren over het aflopen van de Maya-kalender en de daarmee samen-hangende desastreuze gevolgen van planetaire botsingen tot het open gaan staan van kruinchakra’s, vraagt u zich deze ochtend natuurlijk af: “hoe hebben we dit in vredesnaam gered?” of “waarom zijn we er nog?” De redactie van Kloptdatwel ging deze ochtend vroeg op zoek  naar antwoorden op het wereldwijde web. De onderstaande berichten die wij vonden, lichten misschien een tipje van de sluier op.

Wat zeggen de Maya’s zelf?

Waarom zijn we er nog? 6
Bericht uit de Guatemala Times

 

Andere berichten wijzen erop dat de ramp afgewend is door iets recentere acties:

Waarom zijn we er nog? 7
“Thank you again so much, Steve!”

 

En heel frappant, we troffen ook een bericht met een Nederlands tintje aan:

Waarom zijn we er nog? 8
Meer fantasietjes van Diederik Stapel

Heeft u meer interessante berichten aangetroffen, schroom niet ze in de commentaren te melden.

Foto titelpagina: Sun Rise over Black Beck Farm (C. Hampton)