De onderstaande XKCD comic geeft mooi wetenschappelijk onderzoek weer. Als je onzin* toetst op een significantieniveau van 0.05 (kans van 5% dat de uitkomst toeval is)* dan heb je gemiddeld eens in de 20 onderzoeken een valse positieve. De mouseover tekst is dan ook:
So, uh, we did the green study again and got no link. It was probably a–‘ ‘RESEARCH CONFLICTED ON GREEN JELLY BEAN/ACNE LINK; MORE STUDY RECOMMENDED!’
Het is een van de redenen waarom skeptici vaak geen genoegen nemen met ‘wetenschappelijke’ onderzoeken uit alternatieve bronnen. In discussies worden vaak enkele onderzoeken met een positieve uitkomst afgestoft en van stal gehaald om als onderbouwing te dienen voor hun claims. Maar die onderzoeken bieden vaak geen antwoord op de resultaten van vervolgonderzoek, dat geen positieve uitkomst vond, en zijn daarom zeer waarschijnlijk een vals-positieve.
Laten we homeopaten als voorbeeld te nemen, want zij ‘medicaliseren’ alles wat los en vast zit en hebben een bijna oneindig repertoire aan middeltjes. Stel je hebt homeopathisch middel 1, een C200 verdunning van het ingrediënt zonlicht, je test het op effect tegen maagklachten en er komt niets uit. Dan verder met middel nummer 2, een C200 verdunning van bijvoorbeeld hyenaslijm, weer niets. Maar wacht, na nog meer testen geeft nummer 17, een C200 verdunning van licht van Venus, wél een positief resultaat. Je stuurt een persbericht de wereld in en wetenschappers over de hele wereld breken zich er het hoofd over: hoe kan in hemelsnaam een extreme verdunning (ver voorbij de waarschijnlijkheid dat er nog 1 molecuul van het originele ingredient in je verdunning zit… als je ingredient uit moleculen bestaan tenminste) van een ingrediënt wat je niet kan verzamelen werkzaam zijn voor wat dan ook?
Maar wetenschappers hoeven de werking niet te snappen om de werkzaamheid te ontdekken, de ‘hoe’ komt dan later wel. Dus wetenschappers over de hele wereld testen het nogmaals en vinden geen enkel effect. De juiste conclusie is dan: het blijkt toch niet te werken en je eerste resultaat was waarschijnlijk een vals-positieve, je persbericht de wereld insturen was dus voorbarig, je onderzoek moet zonder logische verklaring van de negatieve resultaten niet gebruikt worden als reden voor meer onderzoek en het toch blijven gebruiken als onderbouwing is intellectueel oneerlijk.
* Op aanwijzingen van Jan Willem Nienhuys aangepast, zie comment
Dit is onjuist. Bovenstaande is alleen juist als de onderzoeker zich beperkt tot onderzoeken waarvan het zeker is dat er gewoon onzin onderzocht wordt, zoals in het voorbeeld uit de cartoon.
Dit is onjuist. Het gaat om de berekende kans op juist deze uitkomst of een meer extreme, aangenomen dat er gewoon onzin is onderzocht. ‘De kans dat iets toeval is’ is een onzinnig begrip. Je kunt nu eenmaal geen experiment bedenken dat je meerdere malen kunt uitvoeren (zoals het gooien van een munt of dobbelsteen) en dat elke keer als uitkomst heeft ‘ja het is toeval’ of ‘nee het is geen toeval’.