• Skip to primary navigation
  • Skip to main content
  • Skip to primary sidebar

Kloptdatwel?

  • Home
  • Onderwerpen
    • (Bij)Geloof
    • Columns
    • Complottheorieën
    • Factchecking
    • Gezondheid
    • Hoax
    • Humor
    • K-d-Weetjes
    • New Age
    • Paranormaal
    • Pseudowetenschap
    • Reclame Code Commissie
    • Skepticisme
    • Skeptics in the Pub
    • Skeptische TV
    • UFO
    • Wetenschap
    • Overig
  • Skeptisch Chatten
  • Werkstuk?
  • Contact
  • Over Kloptdatwel.nl
    • Activiteiten agenda
    • Colofon – (copyright info)
    • Gedragsregels van Kloptdatwel
    • Kloptdatwel in de media
    • Interessante Links
    • Over het Bol.com Partnerprogramma en andere affiliate programma’s.
    • Social media & Twitter
    • Nieuwsbrief
    • Privacybeleid
    • Skeptisch Chatten
      • Skeptisch Chatten (archief 1)
      • Skeptisch Chatten (archief 2)
      • Skeptisch Chatten (archief 3)
      • Skeptisch Chatten (archief 4)

waarheid

Over de analyse van Armstrongs bekentenis

24 January 2013 by Pepijn van Erp 8 Comments

De afgelopen week kon je er haast niet om heen: de media waren in de ban van het interview van Oprah Winfrey met Lance Armstrong. Ook de NOS besteedde er ruimschoots aandacht aan: in het acht uur journaal van vrijdag 18 januari was bijna de helft van de uitzending er aan gewijd. Interessant werd het in het late journaal van die dag. Daarin werden de uitspraken van Armstrong geanalyseerd met een computerprogramma, dat uit zou kunnen maken of iemand de waarheid spreekt of liegt.
De meest opmerkelijke uitspraak die professor Eric Postma van de Universiteit van Tilburg daarin deed, was dat de analyse uitwees dat Armstrong met 80 procent kans had gelogen toen die stelde dat hij nooit betaald had om een positieve dopingtest in de doofpot te stoppen. Was deze ‘conclusie’ wel te rechtvaardigen op basis van een systeem dat nog in de ontwikkelfase zit?

Get Microsoft SilverlightBekijk de video in andere formaten.

Uit het korte fragment wordt niet zo snel duidelijk hoe het programma werkt. Ik mailde daarom afgelopen maandag met prof. Postma en kreeg tot mijn genoegen al heel snel een reactie met meer uitleg. Later kwam ik erachter dat hij op de radio bij omroep Brabant al ruimere gelegenheid had gekregen om uit te leggen wat de analyse inhoudt en hoe hard de uitspraken zijn.

De analyse
In het kort werkt het zo: van Armstrong werden naast het materiaal uit het interview ook oude beelden geselecteerd waarin hij uitspraken heeft gedaan, waarvan we nu weten dat ze gelogen zijn. Software die het gezicht in de videobeelden herkent en daarin een aantal punten kan volgen, levert vervolgens een heleboel data op die je kunt gaan analyseren. Is er een manier om op basis van die getallen de ware uitspraken en de leugens te scheiden? Die vraag is een mooi rekenklusje voor de computer. Als er in de data patronen zitten die zo’n scheiding mogelijk maken, zijn er meerdere manieren om die er uit te vissen. Om te checken of je niet een puur toevallige ‘fit’ hebt gevonden, doe je dan nog wat controles (bijvoorbeeld een ‘leaving-one-out cross-validatie’, een methode die ik elders ook heb beschreven).
Bij Armstrong werd een ‘idiosyncratische trek‘ gevonden die gebruikt kan worden om zijn uitspraken in ‘waar’ en ‘gelogen’ te kunnen indelen. Die ‘trek’ was in dit geval blijkbaar ook fysiek te duiden, want Postma heeft het een aantal keer over een ‘strak gelaat’, maar in zijn algemeenheid is het simpelweg een formule die gevoed wordt door de meetpunten.
Het werkt ook niet zomaar bij iedere spreker. Het kan goed zijn dat iemand te weinig variatie laat zien in zijn gezichtsuitdrukking of stemgeluid om een significante splitsing te kunnen maken tussen ‘ware’ en ‘gelogen’ uitspraken. Ook is er voldoende beeldmateriaal nodig met uitspraken waarin je zeker weet of de persoon daar zat te liegen of de waarheid sprak (op zich al een lastige  beoordeling). Bij Armstrong denken de onderzoekers blijkbaar dat er aan die voorwaarden is voldaan.

Weet je wat je meet?
Is het onderscheid dat het programma maakt tussen de verschillende fragmenten inderdaad het verschil tussen waarheid spreken en liegen? Een anekdote rond neurale netwerken kan ook hier als waarschuwing dienen. Het verhaal gaat dat zo’n netwerk werd getraind om te detecteren of er gecamoufleerde tanks te zien waren in een natuurlijke omgeving. Na training met 100 foto’s deed het netwerk het fantastisch en ook nog toen het getest werd met een vergelijkbare set foto’s die vooraf apart was gelegd.
Toch klopte er iets niet; met een onafhankelijk aangeleverde set foto’s bakte het programma er niets van! Het bleek dat de trainings- en testfoto’s op een veel makkelijkere manier onder te verdelen waren in ‘tank’ of  ‘geen tank’: alle foto’s met tanks waren op bewolkte dagen genomen en die zonder tanks op zonnige dagen. Het programma fungeerde dus waarschijnlijk als een belichtingsmeter. Of de anekdote nu waar gebeurd is of niet, doet er niet zoveel toe. Het illustreert wel het gevaar van het fitten van een model zonder dat je op een of andere manier kunt controleren dat je ook echt meet wat je wil meten.
Zou het niet zo kunnen zijn dat er met de uitspraken van Armstrong net zoiets aan de hand is? Ik kan wel wat suggesties daarvoor geven. In het radio-interview stelt Postma dat het programma vooral bij de uitspraken die over medewerkers gingen (dokters, ploegmaten)  aangeeft  dat er twijfel is over het waarheidsgehalte. Over die uitlatingen is waarschijnlijk heel goed van te voren nagedacht door Armstrong en zijn begeleiders, bijvoorbeeld vanwege de juridische consequenties. Dit geeft Postma ook wel aan, maar trekt niet de conclusie dat dat (die intensieve voorbereiding) misschien wel het onderscheid is dat je meet, in plaats van het liegen of waarheid spreken.

Stemanalyse van het interview met Armstrong
Stemanalyse van het interview met Armstrong

Stemanalyse
Overigens werd niet alleen die gezichtsanalyse gebruikt, ook de stem werd geanalyseerd. Armstrong zou in zijn dubieuze uitspraken met een hogere toon en andere snelheid hebben gesproken. Dit kan wijzen op een grotere spanning en dus(?) wijzen op leugenachtigheid. Maar conclusies trekken over het waarheidsgehalte van uitspraken op grond van dit soort stemanalyses, is wetenschappelijk gezien zeer omstreden.
De combinatie van metingen aan het gezicht met de stemanalyse kan misschien een meer betrouwbaar systeem opleveren.  De onderzoekers wijzen onder andere op een studie (van Elkins, Derrick en Gariup) die vorig jaar gepresenteerd is op een congres: “The Voice and Eye Gaze Behavior of an Imposter: Automated Interviewing and Detection for Rapid Screening at the Border“ (pdf). Daar werd een ogenschijnlijk indrukwekkend resultaat behaalt: 100% van de ‘imposters’ werd gedetecteerd en slechts twee onschuldigen werden verkeerd ingedeeld. Hier gaat het echter om een strikt protocol dat de proefpersonen moeten doorlopen en ook de data waarover gelogen kan worden (gegevens op een visa) zijn vooraf heel precies bekend. In zo’n kunstmatige situatie is het mijns inziens meer voor de hand liggend dat je kunt uitgaan van een vergelijking waarin het enige echte verschil zit in het al dan niet de waarheid spreken.

Rijp voor de media?

De uitspraak die volgens het computerprogramma met 80% kans een leugen is.
De uitspraak die volgens het computerprogramma met 80% kans een leugen is.

De uitspraak dat een computerprogramma, ontwikkeld door wetenschappers, zou laten zien dat een specifieke uitspraak met 80 procent kans gelogen is, krijgt zoals die gebracht is in het NOS journaal meer gewicht dan je zou wensen. In andere media werd het verhaal al  een stuk minder genuanceerd doorverteld (voorbeeld) en dat lijkt me geen goede zaak. Impliciet stel je namelijk ook dat anderen die bij de ‘deal’ betrokken zouden zijn, of er van hebben moeten geweten (o.a. Hein Verbruggen en Pat McQuaid van de UCI), op dit punt altijd hebben gelogen. En dat zonder die personen aan een vergelijkbare analyse te onderwerpen. Het lijkt inmiddels wel duidelijk dat zij al die jaren veel meer van dopinggebruik wisten dan ze verteld hebben, maar het is maar zeer de vraag of ze in deze specifieke kwestie hebben gelogen.
Het is wel grappig dat Armstrong enige tijd vóór zijn bekentenissen bij Oprah aangaf,  bereid te zijn om verklaringen af te leggen onder controle van een leugendetector. Maar alléén als de getuigen die hem beschuldigd hadden ook aan zo’n test zouden worden onderworpen. Misschien begreep hij al donders goed dat je met het testen van zoveel personen op één feit niet snel een heel duidelijk te interpreteren resultaat zult krijgen.

De onderzoekers zijn van plan de studie en bevindingen op papier te zetten en tegen die tijd zal ik er misschien wel eens op terugkomen. Vooralsnog ben ik niet overtuigd dat deze vorm van leugendetectie ooit betrouwbaar genoeg zal zijn om in serieuze zaken toe te passen. Het is mij teveel een ‘black box’ en het is erg lastig om uit te sluiten dat je model niet iets anders meet dan je denkt. De problematiek is enigszins vergelijkbaar met hoe er met fMRI-scans wordt omgegaan (zie mijn blog over het misplaatste optimisme over de Pedoscan). Ook het gegeven dat het een persoons specifieke analyse is en dat het niet bij iedereen werkt, doet mij twijfelen aan de robuustheid van de systeem. Sommige mensen zijn dus in staat om, al dan niet bewust, de tekenen die zouden moeten wijzen op leugenachtigheid te verbergen. Wat zegt dat over de betrouwbaarheid van de waardering van losse uitspraken van personen waarbij het systeem dat verschil wel lijkt te kunnen aanwijzen?
In ieder geval lijkt het me niet zo slim om het in handen te geven van overenthousiaste sportverslaggevers (‘Geweldig apparaat!‘). Maar aan de andere kant gaat het neersabelen van het onderzoek zonder de details te kennen (‘De nieuwe Diederik Stapel!‘) mij weer veel te ver. Minister Opstelten doet er echter vooralsnog verstandig aan om leugendetectie in het lijstje Onorthodoxe Opsporingsmethoden te laten staan, naast de paragnosten en hypnose.

Filed Under: Uit het nieuws, Wetenschap Tagged With: Eric Postma, lance armstrong, leugendetectie, leugens, NOS Journaal, Ophra Winfrey, waarheid

Primary Sidebar

Steun ons via:
Een aankoopbol.com Partner (meer info)
Of een donatie

Schrijf je in voor de nieuwsbrief!

Skeptic RSS feed

  • Skepsis
  • SKEPP
  • SBM
Prestigieuze Lasker Award voor Piet Borst
22 September 2023 - Pepijn van Erp

Piet Borst ontvangt de Lasker Award, de belangrijkste Amerikaanse prijs voor biomedisch onderzoek! Het bericht Prestigieuze Lasker Award voor Piet Borst verscheen eerst op Skepsis Blog. [...]

Skepter 36.3 – herfstnummer 2023
31 August 2023 - SkepsisBlogBeheerder
Skepter 36.3 – herfstnummer 2023

Geloof in het paranormale daalt fors, SCP rapport over coronasceptici rammelt, weinig muziek in Mozart-effect, en nog veel meer. Het bericht Skepter 36.3 – herfstnummer 2023 verscheen eerst op Skepsis Blog. [...]

Skepter 36.2 – Zomernummer 2023
27 May 2023 - Pepijn van Erp
Skepter 36.2 – Zomernummer 2023

Met oa de grote Replicatiequiz en de zoektocht naar buitenaardse intelligenties (en of we ons daarmee kunnen voortplanten). Het bericht Skepter 36.2 – Zomernummer 2023 verscheen eerst op Skepsis Blog. [...]

“Wij pikken waarschijnlijk ook maar een topje van de ijsberg op.”
16 September 2023 - Ledenadmin Skepp

Dr. Bik is microbiologe en deed lange tijd onderzoek aan o.a. Stanford University. De woede toen ze ontdekte dat iemand haar werk geplagieerd had, bracht haar echter op een ander pad. Inmiddels is ze datadetective die in een poging om een bijdrage te leveren aan een zuiverder, eer­lijke en integere wetenschap op zoek gaat naar fouten en fraude in gepubliceerde wetenschappelijke artikels. Ze heeft in­middels 938 ingetrokken artikels en 957 correcties van wetenschappelijke artikels op haar conto. [...]

‘Homeopathische kankertherapie verkort het leven’
9 August 2023 - Ledenadmin Skepp

TikTok-influencer Ellen Baetens kon niet vermijden dat haar moeder, hervallen van borstkanker, koos voor een homeopathische behandeling en chemotherapie resoluut weigerde. Ze stierf veel te vroeg, op 52-jarige leeftijd. Het volledige artikel kan u lezen op de Knack-Website   De pakkende getuigenis van Ellen Baetens kan u bekijken op haar TikTok-account: [...]

Door een overdreven focus op preventie worden al bij al gezonde mensen geklasseerd als (potentieel) ziek
24 July 2023 - Paul De Belder

Suikerziekte versus suiker-ziekte [...]

Dr. William Makis and “turbo cancer”: Falsely blaming COVID-19 vaccines for cancer
2 October 2023 - David Gorski

A prominent oncologist and cancer biologist, Wafik El-Deiry, recently amplified claims that COVID-19 vaccines cause "turbo cancer," wanting a "civil discourse about science and actual answers that are missing." Unfortunately, calls for "civil discourse" by an eminent oncologist about unfounded claims only lends undeserved credibility to them. So, once more into the fray... The post Dr. William Makis and “turbo cancer”: Falsely blaming COVID-19 vaccines for cancer first appeared on Science-Based Medicine. [...]

Overhyping Vaccines Wasn’t Pro-Vaccine. It Was Pro-Stop-Worrying-About-COVID.
1 October 2023 - Jonathan Howard

Overselling the vaccine in 2021 was not being pro-vaccine.  It was pro-stop-worrying-about-the pandemic, from the doctors who assured us herd immunity was imminent.  The post Overhyping Vaccines Wasn’t Pro-Vaccine. It Was Pro-Stop-Worrying-About-COVID. first appeared on Science-Based Medicine. [...]

A Nice Chat with The Infant Feeding Alliance on Breastfeeding Promotion Pitfalls
29 September 2023 - Clay Jones

Last week I had the pleasure of sitting down with Ruth Harpur from the Infant Feeding Alliance for a nice chat about problems with aggressive breastfeeding promotion. The post A Nice Chat with The Infant Feeding Alliance on Breastfeeding Promotion Pitfalls first appeared on Science-Based Medicine. [...]

Recente reacties

  • Kwakzalverij op Horse Event - Kloptdatwel? on Onzin over spininversie en elektrosmog[…] vermeld geen enkel onderzoek op paarden. Wel verkopen ze producten tegen electro-smog, wat meestal dure onzin is. Ook hier
  • De linke weekendbijlage (38-2023) - Kloptdatwel? on Ethische bank in wording volhardt en neemt dan een bocht[…] Belgische skepticus Frank Verhoft (ook bekend op Kloptdatwel) maakte een podcast reeks over het boek en denken van Mattias
  • Renate1 on De linke weekendbijlage (37-2023)Kanker.nl weer op de shortlist voor de Meester Kackadorisprijs. Het zal weer niet en dan hoor ik op de radio
  • UFO symposium aan KU Leuven gecanceld. De vloek van de mummie? - Kloptdatwel? on De UFO van Mussolini[…] West en Steven Greenstreet op het getuigenverhoor voor het Amerikaanse Congres. Of lees over de Italiaanse ufo-casus/hoax,
  • UFO symposium aan KU Leuven gecanceld. De vloek van de mummie? - Kloptdatwel? on Teleurstellend getuigenverhoor over UAP voor Amerikaanse Congres[…] David Grusch. Zie de recente Skepter voor waar dat ook al weer om draait of kijk het commentaar van

Archief Kloptdatwel.nl

Copyright © 2023 · Metro Pro on Genesis Framework · WordPress · Log in