Boekbespreking: Superforecasting – Philip Tetlock

Hoe moet je denken als scepticus? Wat maakt hem anders in zijn manier van redeneren dan een paranormaal genezer? Hoe moeten we oordelen?
Philip Tetlock helpt je met zijn boek Superforecasting (2015). Hij haalde grote opiniemakers onderuit en geeft een korte geschiedenis van redeneerfouten. Dankzij wetenschapsjournalist Dan Gardner is het een uitstekend leesbaar boek geworden.  Een aanrader voor iedereen die zich wil verdiepen in sceptisch denken.

Tetlock is een Amerikaanse psycholoog met politiek als onderzoeksgebied. Hij is beroemd geworden met een 20-jarig onderzoek onder experts (‘pundits’) in politiek en economie. Volgens Tetlock verschijnen de bekende opinieleiders zelden op televisie wegens hun voorspellende gaven maar eerder door hun overtuigende presentatie. Experts geven nooit een tijdslimiet en hanteren altijd vage termen (‘serieuze mogelijkheid’), waardoor je achteraf taaie discussies krijgt over wie er gelijk had.

De grote namen weigerden allen hun medewerking aan zijn onderzoek zodat hij het met een paar honderd professionals uit de Intelligence Community (o.a. CIA en NSA), think tanks en internationale organisaties zoals de Wereldbank moest doen.
In de daarop volgende 20 jaar veranderde de wereld. Er waren 6 presidentsverkiezingen en 3 oorlogen, Rusland viel uiteen en Gorbatsjov ging reclame maken voor de Pizza Hut. In totaal onderzocht Tetlock ruim 28.000 voorspellingen.
De resultaten sloegen in als een bom: alle experts deden het niet beter dan de beroemde chimps die willekeurig pijltjes gooiden.

Het leuke van Tetlock is dat hij het er niet bij liet zitten. Hij zag dat er een subgroep van experts was die ietsje beter voorspelde dan de rest. Het zat ’m niet in de academische graad of de toegang tot geheime informatie. Het zat ’m in de manier waarop ze dachten: pragmatisch, met vaker gebruik van mentale verschuivingen. Hij noemde ze ‘foxes’. Naar de Griekse dichter Archilochus: “de vos weet veel dingen, maar de egel slechts één”.

Daartegenover stonden de ‘hedgehogs’ die in Grote Ideeën dachten (ideologieën als socialisme, vrije-markt fundamentalisten). Zij stapelden redeneringen op waarom zij gelijk hadden en de ander juist niet met termen als ‘bovendien’ en ‘daar komt bij’. Ze gebruikten woorden als ‘onmogelijk’ en ‘zeker’. Er bleek een omgekeerde correlatie tussen beroemdheid en accuraatheid. Kenmerkend zijn  de uitspraken van de beroemde econoom Kudlow die de Bush-economie tegen beter weten in bleef prijzen (‘Bush boom’, ‘biggest story never told’, ‘it’s a mental recession, not an actual recession’). Zijn carrière leed daar overigens absoluut niet onder. Mensen vinden nuance en onzekerheid namelijk vervelend en willen dat niet op TV zien.

Tetlock startte daarop in 2011 The Good Judgment Project en tartte daarmee de autoriteiten. Zijn selectie van onderzoekers, voornamelijk leken met een hang naar feiten en cijfers, kon veel beter voorspellen dan de CIA met hun budget van $50 miljard en hun toegang tot Classified Information. Hun grootste inschattingsfout was bijvoorbeeld de niet-bestaande massavernietigingswapens van Saddam Hoessein.

Het geheim zit hem in een andere manier van denken. Een paar tips:
– Stel voortdurend je opinie in kleine stapjes bij aan de hand van nieuwe feiten. Thomas Bayes had daar in de 18^e eeuw al zijn beroemde formule voor.
– Leun niet te veel op je eigen intuïtie, het is bijna onmogelijk om jezelf onvatbaar te maken voor bias en illusies. Zelfonderzoek is vermoeiend! En het gevoel van iets te weten is erg verleidelijk.
– Ga er vanuit dat de realiteit om je heen diep complex is. Churchill, Steve Jobs en Keynes hadden bepaald geen lage dunk van zichzelf, maar beschikten wel over de intellectuele nederigheid om dat te beseffen.
– Werk in een groep, maar vermijd groepsdenken.

Meteorologen en pokerspelers krijgen altijd prompt een terugkoppeling van hun voorspellingen en dat geeft ze de kans om beter te worden in hun vak. Politierechercheurs gaan volgens Tetlock echter te vaak uit van hun jarenlange ervaring, maar die is waardeloos als je je intuïties nooit bijstuurt.

Onzekerheidsonderzoek startte laat in de geschiedenis. De invloedrijke arts Galenus had een gezag dat 15 eeuwen duurde. Hij twijfelde nooit: als een therapie niet werkte kwam dat omdat de patiënt ongeneeslijk was en experimenteren was iets voor twijfelaars. Pas in de 18^e eeuw daagde het besef dat onzekerheid de realiteit is, dat juist totale zekerheid een illusie is. Het zoeken en vinden van betekenis in bijvoorbeeld een ramp komt niet alleen bij religieuzen voor maar ook bij atheïsten. Het is zeer goed als hulp in een verwerkingsproces, maar staat lijnrecht tegenover probabilistisch denken. Denk ook hoe je de liefde van je leven hebt ontmoet: het zat vol met toevalligheden en het had net zo goed iemand anders kunnen wezen.

De arts James Lind gaf in de 18^e eeuw zes groepen zeelui verschillende therapieën tegen scheurbuik, o.a. citrusvruchten, maar hij begreep zelf de overtuigende conclusie niet en scheurbuik bleef nog lang bestaan. En de medische stagnatie ook.

Pas in 1921 kwamen de eerste medische tests gebaseerd op statistieken. Dat was een revolutie omdat artsen daarvóór nooit wetenschap bedreven, alleen toegepaste wetenschap zoals het gebruik van röntgenfoto’s en bacteriekweken.

De scepticus Archie Cochrane startte na WO II de eerste randomized trials, zeer tegen de zin van het medisch establishment, dat de nadruk legde op intuïtie. Hij toonde aan dat patiënten op de cardiologie-afdeling (CCU) slechter af waren dan thuis. In 1993 werd een instituut naar hem vernoemd dat evidence based adviezen geeft.

Geinteresseerd in het boek? Bestel het via onderstaande link bij Bol.com en steun daarmee Kloptdatwel!