Het is lastig om wetenschappelijke publicaties te beoordelen. Vaak komt er ingewikkelde statistiek bij kijken. Maar er is een eenvoudig middel waarmee je althans soms kunt nagaan dat het om onzin gaat. Dat is namelijk als de auteur het heeft over de ‘kans op toeval’. Wie die woorden gebruikt heeft het niet begrepen.
Met even googelen vind je bijvoorbeeld een uitleg over het begrip significantie met de volgende zin “Vinden we geen significant verschil (dus een kans groter dan 5% dat het toeval is)…” . Dan hoef je niet meer verder te lezen. In het Engels is het niet moeilijk om zinnen tegen te komen als “We see some differences, but want to know if those differences are likely due to chance” en “it [het statistische pakket] will show you ‘.05,’ meaning that the finding has a five percent (.05) chance of not being true.”
Loterijen
Er is vrijwel geen enkele loterij waar de uitslag ‘het is toeval’ of ‘het is geen toeval’ luidt. Wat er wel gebeurt is dat onderzoekers een of ander resultaat vinden, en zich dan afvragen: ‘Stel dat het proces dat tot dit resultaat geleid heeft volledig door toeval bepaald wordt, en er dus helemaal geen speciaal effect is, wat voor kans zou er dan geweest om dit resultaat te krijgen?’ In dat geval heb je een duidelijk kansmodel (‘er is niks aan de hand’) en dan kun je aan de hand van het model de kans uitrekenen. Meestal gaat het dan niet om ‘dit resultaat’ maar om ‘dit of een extremer resultaat’. Als die kans slechts 1 op 20 of nog kleiner is, is het gebruik om te denken dat er misschien toch iets aan de hand is, en dat noemen we dan significant, wat dus jargon is voor: het heeft heel misschien iets te betekenen. Die 1 op 20 is dus niet de kans dat het effect puur een toevalseffect is. Het is de berekende kans om een dergelijke uitkomst te krijgen als het wel degelijk toeval is. (De echte kans op de gevonden uitkomst is natuurlijk gewoon 1, want het is gebeurd.)
Als je aan een loterij meedoet met tienduizend loten en één prijs, dan kan de winnaar – en iedereen anders trouwens ook – achteraf uitrekenen dat de kans dat die ene persoon de prijs zou winnen slechts één op tienduizend was. Er is niettemin geen enkele reden om dan te denken dat er iets anders dan toeval een rol heeft gespeeld, en al helemaal niet dat de kans dat de winnaar níét door een hogere macht begunstigd is slechts 0,0001 is. De winnaar kan dat gevoel natuurlijk wel hebben, speciaal als hij de prijs goed kan gebruiken, maar het blijft onzin.
Is er echt iets aan de hand bij een significant resultaat? Laten we uitgaan van een situatie die helaas helemaal niet denkbeeldig is. Er zijn 1000 onderzoekers die de meest krankjorume ideeën hebben en experimenten doen om te kijken of die ideeën ook kloppen. Slechts één onderzoeker heeft het geluk dat het idee ook ergens op slaat. Die zijn proef wijst dat dan ook uit. In de praktijk is dat helemaal niet zo zeker en ook als de proef goed is ingericht heeft deze geluksvogel geen 100% kans dat zijn proef slaagt, maar doorgaans slechts 80%. Maar dat negeren we even. Als alle onderzoekers akelig goed hun best doen om zo eerlijk mogelijk hun rare idee te testen, zullen er toch nog altijd circa 50 een significant resultaat vinden. In deze ideale situatie is nog steeds ongeveer 98% van de significante resultaten gewoon onzin.
Visexpedities
In de praktijk is het veel erger. De ideeën van de onderzoekers zijn niet zozeer krankjorum als wel heel erg wazig. Ze weten niet precies waarnaar ze op zoek zijn. Ze willen weten of sommige soorten voedsel een extra gunstig of extra nadelig effect op de gezondheid hebben. Dan vragen ze proefpersonen de oren van het hoofd over wat die zoal eten, en ze gaan voor tientallen gezondheids- of ziekte-effecten na hoe het verloopt met de betrokkenen. Of nog erger: ze gaan bepaalde zieken vragen wat die de afgelopen jaren gegeten en gedronken hebben. Of ze willen weten of mensen die in bepaalde maanden geboren zijn een bepaalde affiniteit met mensen die in dezelfde of andere maanden geboren zijn. In dat geval kun je dus een tabel maken van echtscheidingspercentage voor elk der 78 soorten echtparen (de ene partner in januari, de andere in januari, februari, maart etc.) en dan kijken of er soorten zijn die eruit springen. Bij sommige onderzoeken kun je op allerlei manieren subgroepen vormen, allemaal natuurlijk als je voorafgaand aan je onderzoek eigenlijk helemaal niet wist waar je naar op zoek bent. Een andere mogelijkheid is dat je verschillende manieren van statistiek bedrijven probeert.
Het effect van deze visexpedities in data is dat misschien wel de helft van de onderzoekers (ik ben voorzichtig) een ‘significant’ resultaat vindt dat wel ergens gepubliceerd kan worden. Dan hebben we dus 500 ‘significante’ resultaten, waarvan er maar één ook echt iets voorstelt, dus 99,8% van de significante resultaten is onzin. Voor dit voorbeeld maakt het helemaal niet uit of de onderzoekers allemaal de data zolang martelen totdat er een ‘resultaat’ komt of dat maar de helft daarmee succes boekt. Er staan zulke grote beloningen klaar voor significante resultaten en de straf voor het publiceren van iets dat later onzin blijkt, is zo gering dat we tegenwoordig de situatie hebben dat in allerlei wat zachtere wetenschappen vrijwel alle resultaten onzin zijn, zuiver omdat de onderzoekers allemaal hun lessen statistiek vergeten zijn en denken dat ‘significant’ inhoudt dat er slechts een klein kansje (1 op 20) is dat ze zich vergissen. Dit wordt verergerd doordat al het rekenwerk door de computer gedaan wordt en je als onderzoeker helemaal niet hoeft te snappen wat die computer doet.
Wat je op zijn best kunt zeggen, is dat je waarschijnlijk tamelijk kleine a priori kans met twintig is vermenigvuldigd, en alleen als je niet achteraf aan het knutselen bent geslagen met de gegevens.
Onderzoekers die medicijnen ontwikkelen hebben deels met hetzelfde te maken. Die proberen ook vele duizenden substanties uit. Bij opeenvolgende proeven in reageerbuizen, met proefdieren en met gezonde vrijwilligers, proberen ze zich een beeld te vormen van de activiteit van hun spul. In elk stadium valt er veel af. Pas op het laatst, dus als ze al in het bezit zijn van veel kennis, worden de kostbare proeven gedaan met echte zieken. Maar ook dan gaat de geschatte kans dat het spul werkzaam is op basis van wat al bekend is omhoog met een bescheiden factor, tenminste als de proef gunstig uitpakt. (Je moet eigenlijk met odds rekenen, maar bij deze uitleg met hele grove getallen is dat onbelangrijk.)
Onderzoekers die daarentegen homeopathie onderzoeken, verdoen hun tijd. De kans dat twee eeuwen natuurkundig, chemisch, farmacologisch en medisch onderzoek er helemaal naast zit, is praktisch nul. Een statistisch significante uitslag zal die kans met twintig vermenigvuldigen, en dat is nog steeds praktisch nul. Mocht de uitkomst heel erg significant zijn, dan moeten we de kans meewegen dat er ergens een of andere andere fout is gemaakt, gebrekkige blindering bijvoorbeeld. Een berucht Nederlands onderzoek naar homeopathie bij kalverdiarree kwam effectief op p=0,0000001, en ik trof ooit een obscuur Mexicaans artikel aan over homeopathie bij astma met p=0,00000000001.
De kans dat er een methodologische fout is gemaakt is, is dan aanzienlijk, althans oneindig veel malen groter dan de kans dat twee eeuwen wetenschap de prullenbak in moet. De homeopaten zien dat anders, die beweren dat hun rituele bereidingswijzen en onzinnige diagnostiek allerlei spirituele genezende krachten losmaken. Die krachten blijken zich echter niet aan de statistiek te willen houden want bij goed opgezette proeven komt er nooit wat van terecht.
Sir Edmund
De reden voor mij om dit allemaal nog eens te vertellen is dat de zaterdagbijlage van de Volkskrant, Sir Edmund, op 30 september 2017 een omvangrijk stuk van Martijn van Calmthout afdrukte over de ontevredenheid van wetenschappers met de zogeheten p-waarde. De drempel zou misschien van 0,05 naar 0,005 moeten. Ik betwijfel of dat de oplossing is. Wetenschappers moeten zich inhouden met p-hacking, ze moeten corrigeren voor meervoudig testen, en zouden eigenlijk alleen maar p-waarden moeten publiceren als ze van tevoren exact aangeven welke hypothese ze gaan testen en hoe ze dat gaan doen. Als het exploratief onderzoek is, dan moeten ze dat op zijn minst dat duidelijk zeggen.
Wat echter heel zorgelijk is, is dat Van Calmthout zelf het tot achtmaal toe heeft over ‘de kans op toeval’. Mijn beginsel ‘zo gauw je de frase “kans op toeval” of “due to chance” ziet staan, niet verder lezen’ is eigenlijk van toepassing.
Van Calmthout suggereert dat je een munt kunt testen door hem tienmaal op te gooien. Komt hij dan elke keer op kop, dan is de munt waarschijnlijk vals. Dat is onzin. De kans dat een willekeurige munt uit iemands portemonnee een grote voorkeur voor kop heeft is astronomisch klein. Hoe het zit met de kans dat je een corrupte goochelende scheidsrechter treft die op zo’n manier probeert te beïnvloeden wie er op welke helft speelt, dat weet ik niet. Als je moet beslissen: is dit stom toeval of is er wat met die munt, zal na een vluchtige controle of de munt niet krom is of aan beide kanten een kop heeft, de beslissing nog steeds zijn: stom toeval. Dan kun je net zo goed de vluchtige controle meteen doen, en het tienmaal opgooien overslaan.
Interessant genoeg zijn sommige munten waarvan de beeldenaar een beetje dik is niet helemaal ‘eerlijk’: als je ze op een heel gladde ondergrond, een glazen plaat bijvoorbeeld, snel om een verticale as laat tollen, vallen ze vaker met de kop naar beneden, en ‘munt’ boven. De gladde ondergrond is essentieel, want kleine oneffenheden werken als randomizer en misschien zijn er heel veel omwentelingen nodig voordat de lichte onbalans zijn werk kan doen. Op een ruwe ondergrond duurt het tollen wellicht niet lang genoeg. Rob Nanninga schreef in Parariteiten dat je onder gunstige omstandigheden negen van de tienmaal munt krijgt. Dat heb ik nooit gehaald. Het werkte vroeger met guldens met Juliana erop, en tegenwoordig met sommige euromunten (halve euro’s met koning Albert erop, naar ik meen).
Hoe slecht Van Calmthout in het vak zit, blijkt ook nog uit iets anders: de beroemde grondlegger van de wetenschappelijke statistiek, Sir Ronald Fisher, wordt betiteld met Robert Fischer (de schaakkampioen), en het feit dat hij drie jaar voor zijn dood naar Australië verhuisde is reden om hem tot ‘Brits-Australisch’ te bombarderen. Fisher begon zijn carrière op een landbouwkundig proefstation. Daar stop je zaden in de grond en je kijkt naar de opbrengst. In plaats van door te kweken met de 5 procent ‘beste’, kun je ook als criterium nemen dat de plant een ‘significant’ hogere opbrengst heeft. Maar doorkweken is toch wel wat anders dan meteen maar denken dat je een nieuwe bijzondere variëteit hebt, en daar een stuk over sturen naar een vakblad.
Steun Kloptdatwel
Waardeer je dit artikel? Je kunt onze site steunen met een financiële bijdrage. Dat waarderen wij dan weer! Een donatie kun je doen via dit betaalverzoek (of klik op de afbeelding hiernaast).
NB de rekening staat op naam van Maarten Koller, formeel eigenaar van deze site.
Kortom, de prosecutors fallacy. “Als het alleen maar toeval is, wat is dan de kans op dit resultaat?” (significantie) is iets anders dan “Als ik dit resultaat krijg, wat is dan de kans dat het alleen maar toeval is?”
“de kans dat het alleen maar toeval is” is onzinnig omdat er geen manier is om vast te stellen “dit is wel/geen toeval”. Zelfs als zo’n manier er soms zou zijn, dan kun je de kans niet vaststellen. Voor het vaststellen van een kans moet je een kansmechanisme hebben dat nu eens de ene (wel toeval), dan weer de andere (geen toeval) uitkomst produceert. Hoe moet je van een gebeurtenis nu vaststellen of die toeval is of niet?
Volgens mij is de prosecutor’s fallacy iets anders.
[ Hoe moet je van een gebeurtenis nu vaststellen of die toeval is of niet? ]
Als je van een populatie mensen een correcte a-selecte steekproef neemt en daaruit blijkt dat 25% rood haar heeft, dan kun je besluiten de totale populatie te gaan tellen. Als dan blijkt dat maar liefst 75% rood haar heeft, dan kun je stellen dat de steekproef een valse uitkomst gaf. De steekproef was toevallig niet goed. Toch?
De essentie van de prosecutors fallacy is de verwisseling van P(A|B) met P(B|A). Dezelfde denkfout maken degenen die de p-waarde aanzien voor de ‘kans op toeval’. Hoe je de kans zou moeten vaststellen dat iets toeval is, weet ik ook niet, maar daar ging mijn reactie niet over.
Als je maar 4 personen in je steekproef hebt, is dat niet eens zo onwaarschijnlijk.
De steekproef is niet representatief. Maar als het kiezen van de steekproef correct gebeurd is, dan is het toeval. Als het een grote steekproef is dan is de uitkomst misschien wel net zo onwaarschijnlijk als die homeopathieproeven die ik noemde.
Dan is het verstandig om uit te zoeken wat er mis is gegaan.
Als je van een kans op toeval wilt spreken moet je een soort kansmechanisme hebben. Laat ik maar die homeopathie bij kalverdiarree nemen. Dat heeft zich echt voorgedaan Je zou kunnen proberen te schatten wat de kans is dat een homeopaat zich vergist of de zaak belazert. En dan de kans dat dit in idiote onderzoeksresultaten resulteert.
Ik weet die kans niet, maar die ligt een stuk dichter bij de 50% dan bij de 1 honderd miljoenste.
[ Maar als het kiezen van de steekproef correct gebeurd is, dan is het toeval. ]
En dat toeval kun je dus vaststellen door 100% van de populatie te onderzoeken.
Hoe groot is dan de kans dat je correcte a-selecte steekproef toch geen correcte afspiegeling van de totale populatie vormt?
Bij lekker zwart/wit feiten als rood haar is dat alles natuurlijk veel makkelijker dan bij homeopatische middelen die verkoudheid gemiddeld 1/2 dag eerder zouden beëindigen o.i.d.
Hier wel een aardige uitleg over de p-waarde en waarom die niet hetzelfde is als de kans op een type I-fout of een vals positieve uitkomst: http://blog.minitab.com/blog/adventures-in-statistics-2/how-to-correctly-interpret-p-values.
Maar zelfs zoiets simpels als correct omgaan met p-waarden blijft lastig, helemaal als je er niet dagelijks mee bezig bent (overigens zoek ik dit ook altijd weer even na om de kans (inderdaad) op fouten zo klein mogelijk te maken). Om maar te zwijgen over hoe de media ermee omgaan — waarvan akte in het artikel…
Hier trouwens een humoristische lijst met manieren waarop onderzoekers kennelijk onder het resultaat ‘niet significant’ uit proberen te draaien. Een wel heel toepasselijke naar mijn idee is deze: “probably significant (p=0.06)” 🙂
(Het jammere is uiteraard dat dit dus kennelijk serieuze onderzoekers zijn die niet willen accepteren dat ze geen significant resultaat hebben gevonden…).
Er is ook nog een praktische omgang met testresultaten.
Bij een bedrijf testten wij een nieuw product door het aan een doorsnede van het klantenbestand aan te bieden. Als met 95% zekerheid bleek dat X% van de klanten het product aanschafte dan was de redenering dat bij uitrol naar het volledige klantenbestand het in 1 op de 20 gevallen toch mis zou gaan en minder* dan X% van de klanten het product aanschaften. Dus bij 90% zekerheid gaat het in 1 van de 10 gevallen mis en welk risico was dan acceptabel voor een ondernemer/onderneming?
* Of meer dan X% en dat is ook niet goed als je te weinig producten hebt geproduceerd en nee moet verkopen.
Ik ben dan benieuwd naar wat ze gemeten hebben bij die proef met een homeopathisch middel bij die kalveren. Dat zou iets met de antistoffen in het bloed moeten zijn en dat is best meetbaar. Het aantal kalveren dat je gaat vergelijken is ook geen probleem. Waarom dan idiote onderzoeksresultaten?
Kalverdiarree is echt een groot probleem. Daar is veel geld mee gemoeid en dat trekt inderdaad mensen die de boel belazeren.
Volgens mij is dat onderzoek naar homeopathische behandeling van kalverdiarree toevallig(!?) een voorbeeld van een negatieve uitkomst die wèl gepubliceerd is. De uitkomstmaat was simpel: ze hebben domweg hebben gekeken naar het aantal dagen dat de dieren diarree hadden.
Homeopaten echter hebben hier geen boodschap aan en beweren gewoon dat de onderzoekers het helemaal fout hebben gedaan, en dat ze veel beter hadden moeten kijken naar onder meer de eigenschappen van de mest. En ja hoor, wanneer je een maar voldoende verfijnde(*) classificatie hanteert, uitsluitend afgaat op de ervaringen van boeren en ook nog eens de negatieve uitkomsten negeert, krijg je dus een ‘positief effect’. Ze gaan zelfs zover dat ze beweren dat ze per type diarree een specifieke ‘remedie’ hebben gevonden!
Dat een nog enigszins legitiem onderzoek naar kalverdiarree hierdoor al lang is verworden tot volslagen bullshit, is uiteraard niet iets wat bij de heren en dames homeopaten is opgekomen… Het is en blijft onverbeterlijk dom volk…
*: Voor zover dit woord van toepassing kan zijn op koeienpoep…
Ik had eigenlijk een ander onderzoek op het oog:
http://www.centaurea.nl/wp-content/uploads/2010/04/Rapport-12-Kalverdiarree-Ellinger.pdf
daar vind je in de placebogroep (p. 22 van de pdf) 13 kalveren die allemaal diarree kregen, en in de verumgroep (Calc. phos 200K) 19 kalveren die geen van alle diarree kregen.
De randomisatie gebeurde met de zgn. Wageningse methode: de dieren werden om en om op de neus gesproeid met spuitbusje A of B.
Never mind dat je normaal in de oorspronkelijk homeopathie geen ziekten behandelt, maar zieken (elk met een hoogstpersoonlijk eigen middel) en dat de behandeling curatief is (dus voor personen die ziek zijn en elk hun hoogstpersoonlijke set symptomen hebben) en niet preventief.
Maar de homeopaten zijn altijd meesters geweest in het bedenken van allerlei varianten.
Laat dit nu precies zijn waar die homeopaten in het tweede stuk aan refereerden (ik had het wat beter moeten nazoeken).
Alleen al het feit dat de eerste helft van het onderzoeksverslag gewijd is aan anekdotisch bewijs is weinig vertrouwenwekkend.
Ja, de resultaten op pagina 22 lijken inderdaad bijzonder indrukwekkend (en eigenlijk al te mooi om waar te kunnen zijn), en het onderzoek is zo op de eerste blik redelijk opgezet. Toch zijn er al dingen die niet helemaal kloppen.
Zo is blindering naar alleen A of B fout, want daarmee weet de behandelaar (de boer) hoe de groepen zijn samengesteld — wat dus verschil in behandeling en dus resultaat kan geven. Verder is niet helemaal duidelijk hoe dat zit met die vijf na elkaar geboren dieren die middel A ofwel middel B kregen. Dus kalf 1 tot en met 5 kreeg middel A, 6 tot en met 10 middel B enzovoort? Als de dieren dan ook niet allemaal op dezelfde dag geboren worden, lijkt me dat andere factoren zoals omgevingstemperatuur en luchtvochtigheid een rol kunnen gaan spelen.
Verder ontbreekt een verwijzing naar ruwe data en heeft men niet eens een poging gedaan om te zoeken naar confounders; de onderzoekers hebben oogkleppen opgezet om zich uitsluitend op het gewenste einddoel te blijven richten: de werking van homeopathie aantonen. Kennelijk is dit onderzoek ook nooit herhaald door onafhankelijke wetenschappers.
Prullenbakvoer dus.
Dat onderzoek heeft op die manier inderdaad geen waarde. De verschillende ziekten worden bij het begin wel genoemd maar niet weer bij de behandeling. Er wordt behandeld zonder te vermelden tegen welke ziekte . Of ter voorkoming van welke ziekte.
Een oordeel of conclusie van een gebruiker die zelf niet weet wat hij eigenlijk bestrijdt.
Kalveren van zo’n middelengebruiker moeten juist besmet worden met die E-coli om iets te ontdekken.
Een van de problemen is dat “het is geen toeval” zo wazig is. Is er een kaboutertje dat op een niet toevallige wijze gegevens zit te beïnvloeden? Is het zogenaamde toeval de uitkomst van een pseudorandomgenerator?
Achter ‘het is geen toeval’ zit de gedachte dat een tweede hypothese misschien waar is.
Een vaas met knikkers bevat hetzij 50% witte knikkers (A) hetzij 90% witte knikkers (B) en de rest zwart.
Er is een kans van 1% dat je vaas A krijgt om uit te trekken, en 99% kans dat je vaas B krijgt om uit te trekken.
Je trekt uit de voorgeschotelde vaas 40 knikkers met terugleggen. 30 zijn er wit.
Als je “het is toeval” vertaalt met “het is vaas A” en “het is geen toeval” met “het is vaas B” kun je gaan rekenen.
In geval vaas A is de kans op precies 30 wit 0,08%
In geval vaas B is de kans op precies 30 wit 0,35%
je kunt ook zo rekenen:
de kans dat je vaas A krijgt en 30 van de 40 wit scoort is 0,99 x 0,08 %
de kans dat je vaas B krijgt en 30 van de 40 wit scoort is 0,01 x 0,35%
Als je zo rationeel mogelijk moet wedden of je vaas A of vaas B voor je hebt,
zou ik toch voor vaas A gaan.
Zo kun je voor elk mogelijk aantal wit (bij 40 maal trekken) een vergelijking
maken. Bij uitkomsten rond de 20 wit zal de voorkeur sterk naar A uit gaan
Bij uitkomsten rond de 36 zal de voorkeur sterk naar B uitgaan.
Maar ondertussen heb ik “het is wel/geen toeval” vervangen door een duidelijk kansmodel.
Wat al die onderzoekers stiekem doen is twee dingen: ze hebben één alternatief model (vaas B in het voorbeeld) waarvan ze pretenderen twee dingen te weten:
– ten eerste hoeveel witte knikkers daar in zitten
– ten tweede wat de kans was dat ze überhaupt vaas B voor zich krijgen.
Die kans weten ze niet maar veel mensen gaan er intuïtief vanuit dat als je het niet weet dan is het 50/50.
Ik hou het even eenvoudig.
De kans dat ik jou vandaag in de supermarkt ontmoet is, vijftig procent. Want ik ontmoet jou in de supermarkt of ik ontmoet jou daar niet. Maar deze kansberekening is uiterst abstract oftewel zeer theoretisch. Als we meer realistisch zijn en ons buigen over echte mogelijkheden, dan moeten we ons bijvoorbeeld afvragen hoe groot de kans is dat jij je huis verlaat om boodschappen te doen en dat ik mijn huis om dezelfde reden verlaat.
De kans dat er een kaboutertje onder mijn bed zit, is vijftig procent. Want onder mijn bed zit wel of geen kaboutertje. Maar ook deze kansberekening is veel te abstract. In de praktijk is de kans dat er een kaboutertje onder mijn bed zit, nagenoeg gelijk aan nul. Immers, op grond van gezonde overwegingen kunnen we vaststellen dat er zeer, zeer waarschijnlijk geen kaboutertjes bestaan. Dus de kans op een kaboutertje onder mijn bed is een fractie van de zeer, zeer kleine kans dat er kaboutertjes bestaan.
Ik snap hier niets van. Op die manier kun je de kans een zes te gooien bij het dobbelen ook wel betitelen als 50%. Dat is onzin. Over de supermarkt is weinig te zeggen als we niet in doorgaans in dezelfde supermarkt winkelen.
Je kunt niet spreken over de kans dat kaboutertjes bestaan, want dan moet je twee soorten universa hebben, een soort met kaboutertjes en een soort zonder kaboutertjes en een of ander mechanisme dat er voor zorgt dat we toevallig in het ene of het andere verzeild zijn geraakt. Voorts moeten we wat weten van de gemiddelde gewoonten van kaboutertjes.
Met een dergelijke redenering is veel onzin over de kans dat X bestaat, ingeval X het een of ander bovennatuurlijk wezen is, ook te elimineren – onder meer de zgn. weddenschap van Pascal.
Of tellen speelgoedkaboutertjes ook, van het soort die je soms cadeau krijgt bij de boodschappen in de supermarkt?