• Skip to primary navigation
  • Skip to main content
  • Skip to primary sidebar

Kloptdatwel?

  • Home
  • Onderwerpen
    • (Bij)Geloof
    • Columns
    • Complottheorieën
    • Factchecking
    • Gezondheid
    • Hoax
    • Humor
    • K-d-Weetjes
    • New Age
    • Paranormaal
    • Pseudowetenschap
    • Reclame Code Commissie
    • Skepticisme
    • Skeptics in the Pub
    • Skeptische TV
    • UFO
    • Wetenschap
    • Overig
  • Skeptisch Chatten
  • Werkstuk?
  • Contact
  • Over Kloptdatwel.nl
    • Activiteiten agenda
    • Colofon – (copyright info)
    • Gedragsregels van Kloptdatwel
    • Kloptdatwel in de media
    • Interessante Links
    • Over het Bol.com Partnerprogramma en andere affiliate programma’s.
    • Social media & Twitter
    • Nieuwsbrief
    • Privacybeleid
    • Skeptisch Chatten
      • Skeptisch Chatten (archief 1)
      • Skeptisch Chatten (archief 2)
      • Skeptisch Chatten (archief 3)
      • Skeptisch Chatten (archief 4)

Eric Postma

Over de analyse van Armstrongs bekentenis

24 January 2013 by Pepijn van Erp 8 Comments

De afgelopen week kon je er haast niet om heen: de media waren in de ban van het interview van Oprah Winfrey met Lance Armstrong. Ook de NOS besteedde er ruimschoots aandacht aan: in het acht uur journaal van vrijdag 18 januari was bijna de helft van de uitzending er aan gewijd. Interessant werd het in het late journaal van die dag. Daarin werden de uitspraken van Armstrong geanalyseerd met een computerprogramma, dat uit zou kunnen maken of iemand de waarheid spreekt of liegt.
De meest opmerkelijke uitspraak die professor Eric Postma van de Universiteit van Tilburg daarin deed, was dat de analyse uitwees dat Armstrong met 80 procent kans had gelogen toen die stelde dat hij nooit betaald had om een positieve dopingtest in de doofpot te stoppen. Was deze ‘conclusie’ wel te rechtvaardigen op basis van een systeem dat nog in de ontwikkelfase zit?

Get Microsoft SilverlightBekijk de video in andere formaten.

Uit het korte fragment wordt niet zo snel duidelijk hoe het programma werkt. Ik mailde daarom afgelopen maandag met prof. Postma en kreeg tot mijn genoegen al heel snel een reactie met meer uitleg. Later kwam ik erachter dat hij op de radio bij omroep Brabant al ruimere gelegenheid had gekregen om uit te leggen wat de analyse inhoudt en hoe hard de uitspraken zijn.

De analyse
In het kort werkt het zo: van Armstrong werden naast het materiaal uit het interview ook oude beelden geselecteerd waarin hij uitspraken heeft gedaan, waarvan we nu weten dat ze gelogen zijn. Software die het gezicht in de videobeelden herkent en daarin een aantal punten kan volgen, levert vervolgens een heleboel data op die je kunt gaan analyseren. Is er een manier om op basis van die getallen de ware uitspraken en de leugens te scheiden? Die vraag is een mooi rekenklusje voor de computer. Als er in de data patronen zitten die zo’n scheiding mogelijk maken, zijn er meerdere manieren om die er uit te vissen. Om te checken of je niet een puur toevallige ‘fit’ hebt gevonden, doe je dan nog wat controles (bijvoorbeeld een ‘leaving-one-out cross-validatie’, een methode die ik elders ook heb beschreven).
Bij Armstrong werd een ‘idiosyncratische trek‘ gevonden die gebruikt kan worden om zijn uitspraken in ‘waar’ en ‘gelogen’ te kunnen indelen. Die ‘trek’ was in dit geval blijkbaar ook fysiek te duiden, want Postma heeft het een aantal keer over een ‘strak gelaat’, maar in zijn algemeenheid is het simpelweg een formule die gevoed wordt door de meetpunten.
Het werkt ook niet zomaar bij iedere spreker. Het kan goed zijn dat iemand te weinig variatie laat zien in zijn gezichtsuitdrukking of stemgeluid om een significante splitsing te kunnen maken tussen ‘ware’ en ‘gelogen’ uitspraken. Ook is er voldoende beeldmateriaal nodig met uitspraken waarin je zeker weet of de persoon daar zat te liegen of de waarheid sprak (op zich al een lastige  beoordeling). Bij Armstrong denken de onderzoekers blijkbaar dat er aan die voorwaarden is voldaan.

Weet je wat je meet?
Is het onderscheid dat het programma maakt tussen de verschillende fragmenten inderdaad het verschil tussen waarheid spreken en liegen? Een anekdote rond neurale netwerken kan ook hier als waarschuwing dienen. Het verhaal gaat dat zo’n netwerk werd getraind om te detecteren of er gecamoufleerde tanks te zien waren in een natuurlijke omgeving. Na training met 100 foto’s deed het netwerk het fantastisch en ook nog toen het getest werd met een vergelijkbare set foto’s die vooraf apart was gelegd.
Toch klopte er iets niet; met een onafhankelijk aangeleverde set foto’s bakte het programma er niets van! Het bleek dat de trainings- en testfoto’s op een veel makkelijkere manier onder te verdelen waren in ‘tank’ of  ‘geen tank’: alle foto’s met tanks waren op bewolkte dagen genomen en die zonder tanks op zonnige dagen. Het programma fungeerde dus waarschijnlijk als een belichtingsmeter. Of de anekdote nu waar gebeurd is of niet, doet er niet zoveel toe. Het illustreert wel het gevaar van het fitten van een model zonder dat je op een of andere manier kunt controleren dat je ook echt meet wat je wil meten.
Zou het niet zo kunnen zijn dat er met de uitspraken van Armstrong net zoiets aan de hand is? Ik kan wel wat suggesties daarvoor geven. In het radio-interview stelt Postma dat het programma vooral bij de uitspraken die over medewerkers gingen (dokters, ploegmaten)  aangeeft  dat er twijfel is over het waarheidsgehalte. Over die uitlatingen is waarschijnlijk heel goed van te voren nagedacht door Armstrong en zijn begeleiders, bijvoorbeeld vanwege de juridische consequenties. Dit geeft Postma ook wel aan, maar trekt niet de conclusie dat dat (die intensieve voorbereiding) misschien wel het onderscheid is dat je meet, in plaats van het liegen of waarheid spreken.

Stemanalyse van het interview met Armstrong
Stemanalyse van het interview met Armstrong

Stemanalyse
Overigens werd niet alleen die gezichtsanalyse gebruikt, ook de stem werd geanalyseerd. Armstrong zou in zijn dubieuze uitspraken met een hogere toon en andere snelheid hebben gesproken. Dit kan wijzen op een grotere spanning en dus(?) wijzen op leugenachtigheid. Maar conclusies trekken over het waarheidsgehalte van uitspraken op grond van dit soort stemanalyses, is wetenschappelijk gezien zeer omstreden.
De combinatie van metingen aan het gezicht met de stemanalyse kan misschien een meer betrouwbaar systeem opleveren.  De onderzoekers wijzen onder andere op een studie (van Elkins, Derrick en Gariup) die vorig jaar gepresenteerd is op een congres: “The Voice and Eye Gaze Behavior of an Imposter: Automated Interviewing and Detection for Rapid Screening at the Border“ (pdf). Daar werd een ogenschijnlijk indrukwekkend resultaat behaalt: 100% van de ‘imposters’ werd gedetecteerd en slechts twee onschuldigen werden verkeerd ingedeeld. Hier gaat het echter om een strikt protocol dat de proefpersonen moeten doorlopen en ook de data waarover gelogen kan worden (gegevens op een visa) zijn vooraf heel precies bekend. In zo’n kunstmatige situatie is het mijns inziens meer voor de hand liggend dat je kunt uitgaan van een vergelijking waarin het enige echte verschil zit in het al dan niet de waarheid spreken.

Rijp voor de media?

De uitspraak die volgens het computerprogramma met 80% kans een leugen is.
De uitspraak die volgens het computerprogramma met 80% kans een leugen is.

De uitspraak dat een computerprogramma, ontwikkeld door wetenschappers, zou laten zien dat een specifieke uitspraak met 80 procent kans gelogen is, krijgt zoals die gebracht is in het NOS journaal meer gewicht dan je zou wensen. In andere media werd het verhaal al  een stuk minder genuanceerd doorverteld (voorbeeld) en dat lijkt me geen goede zaak. Impliciet stel je namelijk ook dat anderen die bij de ‘deal’ betrokken zouden zijn, of er van hebben moeten geweten (o.a. Hein Verbruggen en Pat McQuaid van de UCI), op dit punt altijd hebben gelogen. En dat zonder die personen aan een vergelijkbare analyse te onderwerpen. Het lijkt inmiddels wel duidelijk dat zij al die jaren veel meer van dopinggebruik wisten dan ze verteld hebben, maar het is maar zeer de vraag of ze in deze specifieke kwestie hebben gelogen.
Het is wel grappig dat Armstrong enige tijd vóór zijn bekentenissen bij Oprah aangaf,  bereid te zijn om verklaringen af te leggen onder controle van een leugendetector. Maar alléén als de getuigen die hem beschuldigd hadden ook aan zo’n test zouden worden onderworpen. Misschien begreep hij al donders goed dat je met het testen van zoveel personen op één feit niet snel een heel duidelijk te interpreteren resultaat zult krijgen.

De onderzoekers zijn van plan de studie en bevindingen op papier te zetten en tegen die tijd zal ik er misschien wel eens op terugkomen. Vooralsnog ben ik niet overtuigd dat deze vorm van leugendetectie ooit betrouwbaar genoeg zal zijn om in serieuze zaken toe te passen. Het is mij teveel een ‘black box’ en het is erg lastig om uit te sluiten dat je model niet iets anders meet dan je denkt. De problematiek is enigszins vergelijkbaar met hoe er met fMRI-scans wordt omgegaan (zie mijn blog over het misplaatste optimisme over de Pedoscan). Ook het gegeven dat het een persoons specifieke analyse is en dat het niet bij iedereen werkt, doet mij twijfelen aan de robuustheid van de systeem. Sommige mensen zijn dus in staat om, al dan niet bewust, de tekenen die zouden moeten wijzen op leugenachtigheid te verbergen. Wat zegt dat over de betrouwbaarheid van de waardering van losse uitspraken van personen waarbij het systeem dat verschil wel lijkt te kunnen aanwijzen?
In ieder geval lijkt het me niet zo slim om het in handen te geven van overenthousiaste sportverslaggevers (‘Geweldig apparaat!‘). Maar aan de andere kant gaat het neersabelen van het onderzoek zonder de details te kennen (‘De nieuwe Diederik Stapel!‘) mij weer veel te ver. Minister Opstelten doet er echter vooralsnog verstandig aan om leugendetectie in het lijstje Onorthodoxe Opsporingsmethoden te laten staan, naast de paragnosten en hypnose.

Filed Under: Uit het nieuws, Wetenschap Tagged With: Eric Postma, lance armstrong, leugendetectie, leugens, NOS Journaal, Ophra Winfrey, waarheid

Primary Sidebar

Steun ons via:
Een aankoopbol.com Partner (meer info)
Of een donatie

Schrijf je in voor de nieuwsbrief!

Skeptic RSS feed

  • Skepsis
  • Error
  • SBM
Hebben we minder gemeenschapszin dan vroeger?
16 September 2025 - Ward van Beek
Hebben we minder gemeenschapszin dan vroeger?

.In het dagelijks leven loop je als skepticus tegen heel andere zaken aan dan klassieke skeptische thema’s als homeopathie of een platte aarde. Dubieuze kleurentests op werk, vasten zou gezond zijn, en de kracht van positieve mindsets. Skepsis-podcastpresentator Richard Engelfriet sluist u door alledaagse…Lees meer Hebben we minder gemeenschapszin dan vroeger? › [...]

KNAW symposium “Debating the Facts”
8 September 2025 - Ward van Beek
KNAW symposium “Debating the Facts”

. Maandagmiddag 15 september organiseert de KNAW het symposium “Debating the Facts”, met onder andere Nobelprijs-winnaar Guido Imbens en onze Skepsis-voorzitter, Eric-Jan Wagenmakers. Hoe te voorkomen dat feiten ‘ook maar een mening’ worden… Er zijn nog een paar plaatsen. Voor meer…Lees meer KNAW symposium “Debating the Facts” › [...]

Global Skeptics in The Pub-marathon
18 August 2025 - Ward van Beek
Global Skeptics in The Pub-marathon

 Verspreid over de wereld zijn er talloze organisaties die zich inzetten voor het bevorderen van kritisch denken. En op vrijdag 22 augustus 2025 kunnen zij elkaar online ontmoeten!Die dag duiken skeptici vanuit de gehele wereld gezamenlijk (voor de tweede keer)…Lees meer Global Skeptics in The Pub-marathon › [...]

RSS Error: A feed could not be found at `https://skepp.be/feed`; the status code is `404` and content-type is `text/html; charset=UTF-8`

Stem Cell Stroke Therapy
17 September 2025 - Steven Novella

We have written quite a bit about fraudulent stem cell clinics. They have followed a typical pattern of overhyping new potential therapies, with some clinics going as far as selling fake stem cell treatments. Stem cells were a likely target – they sound extremely advanced, their potential is easy to understand, and you can use them to justify extreme claims of healing. […] The post Stem Cell Stroke Therapy first appeared on Science-Based Medicine. [...]

Natural History
16 September 2025 - Mark Crislip

It usually takes me several weeks to write these essays, in part because I am slow, and in part I have more to do in retirement than I ever did when working. But as this goes live, I am recovering from a new knee replacement. As I age I am having everything that fails and either be replaced or removed. Orchiectomy next? […] The post Natural History first appeared on Science-Based Medicine. [...]

Robert F. Kennedy, Jr. is definitely coming for your vaccines, part 2: VAERS, the FDA, and ACIP
15 September 2025 - David Gorski

The Food and Drug Administration appears to be about to weaponize a classic antivax trope against COVID-19 vaccines, the abuse of reports to the Vaccine Adverse Events Reporting System to falsely portray them as deadly, even as news reports suggest that RFK Jr. will further restrict access to COVID-19 and three childhood vaccines. Here we go again. The post Robert F. Kennedy, Jr. is definitely coming for your vaccines, part 2: VAERS, the FDA, and ACIP first appeared on Science-Based Medicine. [...]

Recente reacties

  • Hans1263 on De linke weekendbijlage (37-2025)Inderdaad, iets te snel getikt. Van mij mogen vormen van plicht ook wel, b.v. vaccinatie om toegang voor kinderen te
  • Renate1 on De linke weekendbijlage (37-2025)Ik neem aan dat u RFK bedoelt. Over het geheel genomen ben ik hert wel met Sjamadriaan eens, hoewel ik
  • Hans1263 on De linke weekendbijlage (37-2025)Helemaal eens met Sjamadriaan. Ook ik erger me aan programma's waarin zonodig tegenover de deskundige een totale onbenul op het
  • Renate1 on Astrologie in het Teylers MuseumPlacebo vind ik ook onethisch. Maar de 'logica' van platte-aarde-gelovigen is niet zo ver verwijderd van de 'logica' van mensen
  • Hans1263 on Astrologie in het Teylers MuseumJe kunt toch ook zo'n goed gesprek beginnen zonder die malle verzinsels met sterrenbeelden en planeten? Maar OK, misschien geeft

Archief Kloptdatwel.nl

Copyright © 2025 · Metro Pro on Genesis Framework · WordPress · Log in