Kletsen over complottheorieën met een AI-chatbot

Kan een speciaal getrainde chatbot mensen van hun geloof in complottheorieën afhalen? Een interessante gedachte die uitgewerkt is onderzoek dat in Science is gepubliceerd: Durably reducing conspiracy beliefs through dialogues with AI. Als je proefpersonen vooraf hun geloof in een complottheorie op een schaal van 0 tot 100 laat bepalen en dan kijkt wat het gesprek met de chatbot doet met die overtuiging, zien de onderzoekers een afname van 20 procent die ook nog minstens twee maanden aanhoudt. Moeten we het gesprek met complotdenkers dan maar aan AI overlaten?

Klinkt als een aardig succes en dat laten de onderzoekers ook weten in hun conclusie:

It has become almost a truism that people “down the rabbit hole” of conspiracy belief are virtually impossible to reach. In contrast to this pessimistic view, we have shown that a relatively brief conversation with a generative AI model can produce a large and lasting decrease in conspiracy beliefs, even among people whose beliefs are deeply entrenched. It may be that it has proven so difficult to dissuade people from their conspiracy beliefs because they simply have not been given sufficiently good counterevidence. This paints a picture of human reasoning that is surprisingly optimistic: Even the deepest of rabbit holes may have an exit. Conspiracists are not necessarily blinded by psychological needs and motivations—it just takes a genuinely strong argument to reach them.

Je kunt zelf de chatbot testen en dat geeft denk ik ook het meeste inzicht in hoe je dit resultaat moet duiden. Het is wel grappig om te doen, maar ik vraag me toch af of het echt zin heeft in de praktijk.

In eerste instantie keek ik hoe het gesteld was met de inhoudelijke kennis van complottheorieën. Als ik me voordeed als iemand die ervan overtuigd is dat er meerdere schutters waren bij de moord op JFK, kreeg ik een behoorlijk compleet antwoord waarin niet alleen het rapport van de Warren Commission wordt meegenomen, maar ook het onderzoek van de United States House Select Committee on Assassinations. Het eindrapport van dat comité liet nog wel ruimte open voor meer dan één schutter, maar de chatbot ‘weet’ me ook gelijk te vertellen dat het akoestische bewijs waarop dat gebaseerd was, snel door onderzoek van de National Academy of Sciences onderuit werd gehaald.
Ook het antwoord op ‘mijn geloof’ in het bestaan van Manchurian candidates die ingezet worden voor het plegen van politieke moorden wordt inhoudelijk goed tegengesproken door de chatbot met verwijzing naar wat er volgens psychologisch onderzoek mogelijk is aan beïnvloeding van gedrag.

Het lijkt inhoudelijk wel erg op wat je aantreft in Wikipedia over deze onderwerpen, het duidelijke verschil is de verpakking. Retorisch doet de chatbot een betere poging om je de kennis tot je te laten nemen. Het is wel goed te bedenken dat de chatbot zelf helemaal niets debunkt, hij is geheel afhankelijk van materiaal dat door journalisten, historici, andere wetenschappers en factcheckers bij elkaar is gezocht en dat toegankelijk is via publieke bronnen.

Het leek me aardig om te testen hoe het zou gaan met een (complot)theorie over meer recente gebeurtenissen waarbij het nog niet helemaal duidelijk is wat de meeste plausibele scenario’s zijn. De aanslagen op de Nordstream-pijpleidingen leken me een geschikte kandidaat, maar toen ik de chatbot vertelde dat ik geloofde in de complottheorie dat de Russen erachter zouden zitten omdat die er technologisch in staat toe zijn en er de gelegenheid toe hadden (en ik verzon nog een vaag motief), kreeg ik tot mijn verrassing deze mededeling:

Geen complottheorie? Dan moet het dus wel waar zijn! 😉

Daarna probeerde ik het door me voor te doen als iemand die stevig in het scenario gelooft dat SARS-CoV-2 een gemanipuleerd virus is dat uit een lab in Wuhan is gelekt. Hier trad het euvel op dat we vaker zien bij AI-Chatbots, bij het geringste beetje tegengas gaat de bot je naar de mond praten en gaat mee met jouw argumenten. Lees ook ‘ChatGPT als bullshitbron’ van Enith Vlooswijk in de meest recent verschenen Skepter over dit fenomeen.

Hieronder de screenshots van mijn gesprek over de lablektheorie met de ‘DebunkBot’. Ze zijn net te lezen als je erop klikt.

Natasha Gerson kwam tot eenzelfde conclusie toen zij zich voordeed als een Holocaustontkenner. Dus nee, bij ervaren complotdenkers gaat deze bot niets uithalen, en kan zelfs averechts werken. Dat is ook een punt dat cultuursocioloog Stef Aupers opmerkt. “De weerstand tegen wetenschappelijke en feitelijke informatie zie je vooral bij zware complotdenkers. Zolang die niet beïnvloedbaar blijven, heb je het echte probleem niet opgelost” vertelde hij aan de NOS.

Er zit denk ik ook wel wat in in wat de hoodredacteur van Science in zijn editorial over de resultaten van het onderzoek schrijft:

It is perplexing why conspiracy theories seem to be multiplying while public trust in scientists remains high. Perhaps the robust trust in scientists—and thus in the information they generate—is what allows the counterevidence to conspiracies to be so effective when delivered efficiently and in high volume by the LLM. Purveyors of misinformation sometimes use a technique called the “Gish gallop”—named after a creationist who was particularly good at it—in which a conversation is flooded with an overwhelming number of mistruths. Humans are unable to respond to this effectively, no matter how skilled the manner of their responses may be. But the LLM cannot be overwhelmed; it can cite counterevidence indefinitely.

De chatbot raakt inderdaad niet snel gefrustreerd door een Gish gallop, maar zoals in mijn gesprekje over het lablek liet zien, pakt dat ook niet uit in standvastig het ‘eigen verhaal’ blijven onderbouwen.