Kloptdatwel?

Psycholoog Stephan Lewandowsky gooide in 2012 een bommetje in de voortgaande strijd van klimaatsceptici tegen de wetenschappelijk consensus rondom de menselijke invloed op de opwarming van de aarde. In een artikel getiteld NASA Faked the Moon Landing—Therefore, (Climate) Science Is a Hoax lijkt hij de klimaatsceptici als complotdenkers weg te zetten. Die reageerden natuurlijk verontwaardigd op hun eigen websites en in de commentaren bij blogs die erover berichten. En die online uitingen werden vervolgens weer onderzocht op complotdenken door Lewandowsky. Nieuw artikel, nieuwe verontwaardiging. En nu, een jaar later, ingetrokken.

LOG12 – Moon Landing
De volledige titel van het eerste artikel dat Lewandowsky schreef met Klaus Oberauer en Gilles Gignac is: “NASA Faked the Moon Landing—Therefore, (Climate) Science Is a Hoax – An Anatomy of the Motivated Rejection of Science” (afgekort LOG12, naar de beginletters van de auteurs) en is  gepubliceerd in Psychological Science  (hier een vrij toegankelijke versie). Het is pas in maart 2013 officieel verschenen, maar de commotie begon in juli 2012 toen het geaccepteerd was en online werd verspreid.
Het ‘resultaat’ werd gretig opgepakt door de media. Als (sociaal)psychologen ergens goed in zijn gebleken de laatste jaren, is het wel weinig overtuigende verbanden vertaald te krijgen in spraakmakende krantenkoppen. Niet verwonderlijk dat de klimaatsceptici op hun achterste benen stonden en uit alle macht probeerden de onzin van dit onderzoek aan te tonen.
Wat staat er nu eigenlijk voor schokkends in? Het onderzoek is gebaseerd op een vragenlijst die werd uitgezet via een aantal websites die over klimaatverandering gaan. De deelnemers werd gevraagd in hoeverre ze eens of oneens waren met zaken die in de klimaatdiscussie een rol spelen (‘verbranding van fossiele brandstoffen draagt bij aan de opwarming van de aarde’, ‘verbranden van fossiele brandstoffen heeft al negatieve gevolgen laten zien’). Maar ze kregen ook vragen over redelijk bekende complottheorieën (moord op Kennedy, die maanlandingshoax uit de titel), algemeen wetenschappelijk aanvaarde feiten (aids wordt veroorzaakt door hiv, roken veroorzaakt longkanker) en hoe ze dachten over de vrije markt.
De onderzoekers gooien al deze data in een vrij gecompliceerd statistisch model (Structural equation modeling) en daaruit komt dan met name een sterke samenhang tussen een voorkeur voor vrije markt en klimaatscepsis uit opborrelen. En eigenlijk ook dat maar weinig mensen waarde hechten aan complottheorieën; als ze dat al doen leidt dat eerder tot ongeloof in algemeen aanvaarde wetenschappelijk feiten dan in verwerpen van de theorie rond klimaatopwarming.

Belangrijkste kritiek op het onderzoek gaat over de manier waarop de deelnemers werden geselecteerd. Volgens de auteurs probeerden ze zowel volgers van de consensus rondom klimaatopwarming in hun onderzoek te krijgen als sceptici door de enquête aan te bieden via acht websites die pro-wetenschap zijn en vijf die je als klimaatsceptisch kunt aanduiden. Die laatsten deden echter niet mee. De sceptici in de enquête kwamen dus via de ‘reguliere’ sites binnen, maar er waren er wel genoeg voor de vergelijking (in totaal 1.145 bruikbare inzendingen). Bij uitkomen van het artikel gingen de websitebeheerders van sceptische blogs natuurlijk na of dat wel klopte van die afgeslagen uitnodiging. En daar lijkt toch een luchtje aan te zitten.
Ook het rekenwerk van Lewandowsky is niet direct helemaal transparant en lijkt voor een niet-ingewijde nodeloos ingewikkeld. De kans dat de uitkomst bewust vertekend is door een paar lieden die klimaatsceptici in een kwaad daglicht wilden stellen, is ook niet uit te sluiten bij zo’n Internet-poll en het lijkt erop dat daar maar weinig inspanning voor nodig was geweest. Er waren ook maar 10 respondenten die iets in de maanlandingshoax zagen, dus de titel lijkt sowieso wat overtrokken.

De verdediging van Lewandowsky rammelt ook wel wat. Zo heeft ie behoorlijk vaag gedaan over de vijf sceptische sites die geweigerd zouden hebben om zijn poll te plaatsen en zat zich te verkneukelen bij het idee dat al die boze klimaatscepsisbloggers ijverig hun mailboxen aan het doorpluizen zouden zijn om te zien of ze twee jaar eerder misschien een mailtje te snel hadden weg gegooid. Wat blijkt, is dat een assistent van hem die uitnodiging had gestuurd, zonder echter op  te merken dat het om een onderzoek van Lewandowsky ging en vervolgens is er ook niet veel moeite gedaan om bij ‘geen antwoord’ of een weigering even door te drukken en het belang duidelijk te maken. En of de poll nu wel op SkepticalScience (de belangrijkste reguliere site) stond, is inmiddels ook de vraag (misschien was het alleen een oproep via Twitter of stond het in een reactie op de site).
Voor een lezer die niet heel erg op de hoogte is van de rollen die Lewandowsky, zijn mede auteurs en zijn opponenten in de echte discussie spelen (die over klimaatverandering) komen de reacties van Lewandowsky op de kritiek een beetje gemakkelijk over en hij lijkt ze wat lichtzinnig belachelijk te maken. Ik weet niet of dat nu zijn bedoeling was, maar bij mij werkt het eerder wat sympathie op voor de sceptici (op dit punt dan).

Recursive fury
Maar laten we even wel wezen, het is niet meer dan een Internet-poll! Misschien was de te verwachten commotie ook wel iets waar Lewandowsky stiekem op hoopte en zat hij al klaar voor het vervolgonderzoek: het analyseren van de reacties op blogs over zijn onderzoek en het verband met complotdenken! Dit mondde uit in een artikel: Recursive fury: Conspiracist ideation in the blogosphere in response to research on conspiracist ideation gepubliceerd in Frontiers in Psychology: Personality Science and Individual Differences. Dit keer deed Lewandowsky het samen met Oberauer, John Cook en Michael Marriott. Meteen was daarover zoveel trammelant dat het er toe leidde dat Frontiers het artikel uit voorzorg offline haalde.
Vorige week berichtte weblog Retraction Watch dat het nu ook formeel is ingetrokken. Belangrijkste reden is dat Frontiers de juridische aansprakelijkheid niet aandurft. Een aantal personen die in het artikel of in de supplementen met naam genoemd zijn (of waarvan hun opmerkingen zo tot de persoon zijn terug te leiden), zijn van mening dat er sprake is van smaad. In die supplementen zijn bijvoorbeeld ook reacties van mensen opgenomen die geen uitgesproken klimaatsceptici zijn, maar die suggestie wordt wel gewekt door onhandige benaming van het stuk. Een ander punt is dat minstens één van de auteurs (Marriott) ook in de onderzoeksperiode blogs schreef waarin hij flink kritiek uitte op sommige klimaatsceptici die in het artikel worden genoemd. Dat lijkt mij inderdaad wat dubieus.
Het stuk staat nog wel online (pdf) op de site van de University of Western Australia, waar Lewandowsky tot januari dit jaar werkzaam was. Het is onderhoudend leesvoer, maar of het faire wetenschap is, waag ik te betwijfelen. Ik kan me goed voorstellen dat het op de klimaatsceptici overkomt als een lafhartige aanval vanuit de veilige ivoren toren van het afgeschermde academisch wereldje. De groep die bekeken wordt, is stiekem ook verschoven van de bezoekers van klimaatblogs naar de auteurs van de sceptische blogs (want daarvan komt het merendeel van de onderzochte commentaren). Zowel de sceptici die zich door LOG12 onheus bejegend voelen als Lewendowski maken dat onderscheid eigenlijk niet.

Plos One – absence of any role of free-market worldview or conservatism in the rejection of GM foods
Misschien is het maar beter om die twee onderzoekjes te vergeten en alleen te kijken naar een ander onderzoek van Lewandowsky dat vorig jaar verscheen in Open Access journal Plos One: “The Role of Conspiracist Ideation and Worldviews in Predicting Rejection of Science“. Dit is gebaseerd op een representatieve steekproef onder de Amerikaanse bevolking uitgevoerd door een onafhankelijk onderzoeksbureau, dus hoeven we ons minder druk te maken over bias in de selectie. Volgens Lewandowsky bevestigen de resultaten die van LOG12. Dat klopt wel aardig, maar ook hier haalt Lewandowsky het complotdenken naar voren door het in de titel op te nemen, terwijl het dus helemaal niet zo’n grote en duidelijke rol speelt. In een FAQ bij het artikel, waarin Lewandowsky zelf een aantal vragen bedenkt en beantwoordt, geeft hij zelf wat het belangrijkste resultaat van de studie was:

The involvement of conspiratorial thinking in the rejection of science is not very surprising, given the existing body of literature that we review in the paper. Similarly, the important role of free-market worldviews in the rejection of climate science is also not surprising in light of previous results […] What is surprising, and in our view quite remarkable, is the absence of any role of free-market worldview or conservatism in the rejection of GM foods, and their rather weak (and mutually opposing) role in the rejection of vaccinations.

In een stuk van Tania Lombrozo komt ook naar voren dat Lewandowsky meer maakt van dat complotdenkersaspect dan misschien gerechtvaardigd is op grond van zijn onderzoek:

I asked Lewandowsky about his experience as a researcher working on the psychology of science denial, and in particular his take on the blogospheric reception to his forthcoming paper. He suggested that the paper engendered such hostility because it not only “cast people who rejected climate science in a less than favorable light,” but also because “it was too close to the truth.” Of course, he points out, “the way the blogosphere responded was really by confirming my finding. What they basically did was spin one conspiracy theory after another, trying to invalidate the data.”

Uh? Zo maakt Lewandowsky zich er wel een beetje gemakkelijk vanaf. Je zou zelfs kunnen zeggen dat hij de kritiek op zijn studie vergelijkt met de aanvallen op de klimaatwetenschap zelf op basis van idiote complottheorieën. Alleen gaat die vlieger niet op omdat zijn Internet-poll zich moeilijk laat vergelijken met het inmiddels tamelijk robuuste bewijs voor de menselijke invloed op de klimaatopwarming dat berust op talloze onderzoeken van een groot aantal onderzoekers uit verschillende disciplines.
Lewandowsky stelt ook her en der dat er nog helemaal geen academische artikelen zijn verschenen die kritiek uiten op LOG12. Daarmee impliceert hij dat hij de kritiek van de sceptici niet al te serieus neemt. Beetje makkelijk is dat wel, want dat soort artikelen zou dan geschreven moeten worden door (zich aangevallen voelende) personen die misschien soms wel wetenschappelijk ervaring hebben, maar niet thuis zijn in hoe het binnen de psychologie werkt. Of van andere psychologen die het werk van Lewandowsky belangrijk genoeg vinden om eens kritisch door te pluizen. En dat laatste gebeurde de laatste jaren juist niet zoveel in die kringen …

Hier wat Lewandowsky er zelf over te zeggen heeft. Hij gaat dus toch wel in op kritiek en doet dus zelf lekker mee op het niet peer reviewed strijdtoneel. Maar lees ook de comments, daarin staan weer links naar de reacties op de sites van klimaatsceptici. In een net verschenen video legt Lewandowsky de hele gang van zaken uit vanuit zijn perspectief en vertelt ook iets over de zaken die zich niet zo in het openbaar afspelen (de ‘Subterranean War on Science‘ ):

Lewandowsky kwam eerder ter sprake op Kloptdatwel in de bespreking van ‘The Debunking Handbook‘ dat hij samen met Cook schreef, één van de co-auteurs van Recursive Fury en één van de mensen achter de website SkepticalScience.com.

Update 11 april 2014: over de retractie is ook al weer een heleboel afgeblogd en gediscussieerd in commentaren op die blogs. Frontiers heeft tot twee keer toe een toelichting geven, telkens iets duidelijker. In het laatste bericht stelt de Editor-in-Chief dat het artikel eigenlijk nooit gepubliceerd had mogen worden, omdat de individuen aan wie kenmerken van complotdenken werden toegeschreven, geïdentificeerd konden worden en daarvoor geen toestemming hadden gegeven:

For Frontiers, publishing the identities of human subjects without consent cannot be justified in a scientific paper. Some have argued that the subjects and their statements were in the public domain and hence it was acceptable to identify them in a scientific paper, but accepting this will set a dangerous precedent. With so much information of each of us in the public domain, think of a situation where scientists use, for example, machine learning to cluster your public statements and attribute to you personality characteristics, and then name you on the cluster and publish it as a scientific fact in a reputable journal. While the subjects and their statements were public, they did not give their consent to a public psychological diagnosis in a scientific study. Science cannot be abused to specifically label and point out individuals in the public domain.

Lijkt mij ook.