bias

Vijf Deense scholieren deden een experimentje met tuinkers. Ze plaatsten zes schoteltjes met watten waarop ze het zaad hadden uitgestrooid tussen Wi-Fi-routers en zes vergelijkbare schoteltjes als controle in een ander lokaal, maar dan zonder de stralingsbronnen. De hele tijd gaven ze de schoteltjes netjes water en na dertien dagen besloten ze de tuinkers af te knippen en te drogen. En ze telden hoeveel zaadjes ontkiemd waren op elk bordje. Een schokkend resultaat: van de bestraalde zaadjes waren er veel minder ontkiemd! Alles werd in een rapportje opgeschreven en daarmee wonnen ze een prijs. De Deense nationale omroep plaatste op haar site op 16 mei een bericht hierover waarin ook de belangstelling van buitenlandse wetenschappers werd vermeld voor dit opmerkelijke resultaat van zo’n simpel proefje. Het Engelstalige blog Geek.com nam het een dag later over en daarna volgden een hoop andere, tot  ABC News op 24 mei aan toe. 

Al deze berichtgeving was nauwelijks kritisch en het nieuws verspreidde zich als een lopend vuurtje via blogs en Facebook. Kijk maar eens wat een Google zoekopdracht oplevert met de woorden “wifi cress”. De eerste journalist die er eens goed naar keek, was vermoedelijk de Noorse wetenschapsjournalist Gunnar Tjomlid. Zijn uitgebreide blog hierover (van 19 mei, met latere aanvullingen) laat zien dat er heel wat op het experiment is aan te merken en dat de wetenschappers die er zo enthousiast over zijn, bekende verspreiders van stralingsangst zijn. Het is natuurlijk leuk voor de meiden dat ze een prijs wonnen met hun onderzoek, maar het is minder fraai dat het zo wordt misbruikt door deze pseudowetenschappers.

Waarom moeten we het resultaat niet al te serieus nemen? Tjomlid geeft een hele waslijst van zaken die er mee aan de hand zijn; ik geef de belangrijkste hier kort weer:

• De aanwezigheid van de stralingsbronnen was niet het enige verschil in de omstandigheden van de Wi-Fi en controlegroep. Als je het verslag van het experiment leest, komt je ook foto’s tegen van de proefopstelling. Daarop valt te zien dat in de Wi-Fi-groep ook een aantal laptops dicht op de bordjes stond. Het is niet onwaarschijnlijk dat dit een (lokaal) effect had op de luchtstroom en temperatuur rondom die bordjes en dat kan zeer goed van invloed zijn geweest op de ontkieming. Andere mogelijke oorzaken zijn dus niet goed uitgesloten.
• Het was natuurlijk ook volslagen duidelijk wat de Wi-Fi-groep was, en wat de controle. Niet geblindeerd.-
  
• Tjomlid mailde met de docent van de meiden en kreeg te horen dat er eigenlijk twee keer een dergelijk experiment was uitgevoerd. De eerste keer hadden de routers alleen hun SSID staan uitzenden (het herkenningsignaal van het netwerk). In het vervolgonderzoek hadden ze de laptops elkaar constant laten ‘pingen’, zodat er een veel drukker netwerkverkeer werd veroorzaakt. Dit tweede experiment liet echter een veel minder negatief effect zien. Het rapportje is alleen gebaseerd op die eerste proef. In feite is dit publicatiebias: weglaten van resultaten die niet bevielen.

• 

  In het rapportje wordt het gevonden verschil geïllustreerd met de grafiek hiernaast. Op de websites die hierover berichten, vind je echter telkens foto’s van een heel groen, onbestraald, ‘gezond’ schoteltje en een schoteltje dat er heel wat minder florissant uitziet, het zieke, bestraalde geval. Die foto’s zijn natuurlijk een stuk leuker om op te nemen in een stukje, maar ze geven een erg slecht beeld van de lang niet zo beroerde getallen: gemiddeld waren er in de controlegroep 332 zaadjes ontkiemd, tegen 252 in de bestraalde groep (telkens van de 400 zaden die op één schoteltje waren gestrooid). Misleidende weergave van het resultaat in de media.

• Iets wat Tjomlid niet vermeldt, maar waaraan ik zelf nog dacht: de schoteltjes zijn helemaal niet goed van elkaar gescheiden, dus is het maar de vraag of je ze als individuele waarnemingen mag beschouwen. Je kunt eigenlijk zeggen dat we met een N=2 experiment van doen hebben, wat nauwelijks zeggingskracht heeft. Foutieve statistische analyse.
• Het experiment werd op dag 13 gestopt. Niet omdat dit vooraf zo was vastgelegd, maar toen was de controlegroep zo’n beetje uitgegroeid. Probleem hiermee is dat een verschil in temperatuur van slechts een paar graden al een vertraging van de groei (en ontkieming) van tuinkers kan betekenen. Als er zo’n temperatuursverschil was door de plaatsing van de laptops, dan is het niet onwaarschijnlijk dat de Wi-Fi groep net zo ver had kunnen uitgroeien als ze maar een paar dagen langer hadden gewacht. Maar ze waren waarschijnlijk alleen op zoek naar bevestiging van het idee dat ze vooraf hadden van het effect van straling. Als je het rapportje leest, is er duidelijk sprake van bias, een vooringenomenheid in de richting van één specifieke uitkomst, nl. dat elektromagnetische straling (van Wi-Fi, DECT of GSM) een niet-thermisch effect heeft.
• Maar hoe kwamen deze jonge meiden aan die vooringenomen houding? Dat komt waarschijnlijk doordat hun docent ze alleen maar voorzag van studies die ook schadelijke effecten lieten zien. Deze studies zijn echter bijna allemaal aan de dubieuze kant en meestal van wetenschappers, die door hun collega’s niet meer serieus worden genomen. Voor een verklaring hoe elektromagnetische straling invloed zou kunnen hebben (op een licht opwarmingseffect na), geven ze maar één bronvermelding: een rapport van Thomas Grønborg, die op zijn beurt weer erg leunt op de ideeën van Olle Johansson (zie verderop). Dit eenzijdig selecteren van literatuur noemen we cherry picking.

Wie zijn eigenlijk die buitenlandse wetenschappers die zo enthousiast waren over dit experiment? Het Deense stuk noemt Olle Johansson. Dat is echter iemand die bij zowat alle ziektes van de moderne tijd een beschuldigende vinger richting stralingsbronnen heeft gewezen. De Zweedse skeptici beloonden zijn praatjes met hun ‘Misleider van het jaar‘-prijs in 2004. In het bronstuk wordt verteld dat hij van plan is het onderzoek te herhalen met Marie-Claire Cammaerts van de Université libre de Bruxelles. Ik verwacht daar weinig goeds van. Zij deed ook het uiterst dubieuze onderzoek naar het effect van GSM-straling op mieren, dat ik eerder op klopdatwel besprak: Mieren gestoord door GSM?
Tjomlid achterhaalde in zijn mailwisseling met de Deense docent ook nog de namen van Andrew Goldsworthy, ook een bekende verspreider van angst voor straling, en de Nederlander Niek van ‘t Wout. Die laatste is beleidsmedewerker groen in de gemeente Alphen aan den Rijn en aanstichter van een onderzoek van Universiteit Wageningen naar het vermeende schadelijke effect van mobiele telefonie op bomen. Dat stelde ook niet veel voor, maar ging eveneens het internet over in 2010. Ook TNO en TU Delft werden er ten onrechte mee in verband gebracht. Van het ingezette vervolgonderzoek in Wageningen heb ik niets meer vernomen.

Het is vrij helder dat je op grond van dit experiment geen conclusies kunt trekken over (niet-thermische) effecten van Wi-Fi-routers op ontkieming. Jammer dat de meiden zo’n overduidelijk vooringenomen docent hadden en dat hun ‘resultaat’ nu door allerlei pseudowetenschappers als bewijs wordt gebracht voor het gevaar van elektromagnetische golven. Als dat gevaar er al is, dan moeten de risico’s als erg laag worden ingeschat. In ieder geval zijn de te verwachten effecten zo klein dat je erg je best zult moeten doen om er iets van terug te vinden in de ‘ruis’ van andere invloeden. De fouten in dit experiment zijn de scholieren niet te verwijten. Laten we hopen dat het hun overduidelijke interesse in het doen van onderzoekjes niet zal wegnemen. Vanwege alle problemen die aan dit onderzoek kleven, kan het juist als een mooi voorbeeld dienen. Van je fouten leer je immers het meest.

Lees vooral ook het blog van Gunnar Tjomlid zelf, dat veel meer interessants bevat dan ik in mijn samenvatting heb opgenomen: http://tjomlid.com/2013/05/19/om-karse-wifi-straling-og-en-snurt-naturfagslaerer/. Met Google translate is het goed te volgen. Het rapportje van de scholieren staat op die Deense site (directe link naar pdf).

Dit stuk had ik eerder (25 mei) in een Engelse versie op mijn eigen website geplaatst, nadat ik het stuk van Tjomlid vond en tot mijn verrassing nergens anders een Engelstalig vergelijkbaar stuk aantrof. Met verwijzing naar mijn blog kon ik (bijvoorbeeld via Rbutr.com) makkelijker twiteraars die het stuk  op Geek.com aanhaalden op de kritiek wijzen. In Nederland leek het experiment nog niet zo wijd verspreid te worden. Alleen op Niburu trof ik een berichtje aan, maar wie neemt dat nu serieus? Het bericht op de site LexNaturalis werd echter in rap tempo verspreid via Facebook. Gisteren vond men ook mijn site en vervolgens werd dat bericht erg vaak gedeeld. Normaal gesproken mag ik me verheugen op iets van 20 bezoekers per dag, nu waren er dat op één dag meer dan 19.000! Daarbij meer dan 1.900 Facebook-likes. Klinkt leuk, maar dat bericht op LexNaturalis heeft er maar liefst 43.000! De skeptische gedachte heeft vooralsnog niet de overhand.

---

Update 26-12-2013: Thomas Guiot maakte een Franse vertaling van dit stuk op zijn website