Vaak komen we zaken op internet tegen die niet groot genoeg zijn om een heel stuk over te schrijven of soms hebben we daar de tijd niet voor. In deze rubriek delen we een verzameling interessante of gewoon vermakelijke berichtjes van de afgelopen week met de lezers van Kloptdatwel. Leesvoer voor in het weekend!
Vorig jaar in oktober was ik op de spirituele beurs Paraview. Hier werd mij verteld door o.a. de handlezer en aurafotograaf dat ik paranormale aanleg heb en zo een kraampje op de beurs kon openen. Omdat ik buitengewone beweringen toch eerst wil onderzoeken ben ik een aantal experimenten gaan doen om te zien of ik deze paranormale gaven, die zij bij mij zien, kan ontdekken. Dit is het verslag van het eerste experiment met Zenerkaarten waarbij ik mijzelf test op telepathie. Want voor buitengewone beweringen als het hebben van paranormale gaven hebben we ook goed bewijs nodig. Bewijs dat wellicht geleverd wordt via experimenten.
Zenerkaarten zijn vernoemd naar de uitvinder en psycholoog Karl Edward Zener. Zener was een collega van Joseph Banks Rhine die op de Duke university paranormaal onderzoek verrichte. De kaarten bestaan uit vijf verschillende vormen, cirkel, plus, drie golven, vierkant en een ster (Hulspas & Nienhuys, 2021, p.382). Deze kaarten zouden beter uit elkaar te houden zijn voor paranormaal begaafden dan plaatjes in een gewoon pak kaarten, want hoe onderscheid je goed de boer van een koning?
Het gebruik van Zenerkaarten in experimenten voor het vinden van paranormaal begaafden of paranormale krachten als belangrijkste onderzoekmethode vond vooral plaats van 1937-1970 (Hyman, 1989, p.122). Daarna zijn er andere methoden die overheerste in het paranormale onderzoek. Zenerkaart experimenten behoorden in hun tijd tot één van de beste bewijzen van paranormale krachten volgens sommigen.
Zenerkaart experimenten zijn nooit verdwenen en je kan tegenwoordig ook online en op apps verschillende tests zelf doen. Er zijn ook nog verschillende protocollen in omgang die vermelden hoe je met Zener kaarten kan experimenteren. Zelf heb ik gebruik gemaakt van de informatie van de website van de James Randi Educational Foundation die een lespakket hebben waar het experiment wordt beschreven. Een ander werk waarvan ik gebruik gemaakt heb is het boek van Suzanne Blackmore en Adam Hart-Davis getiteld: “Test your psychic powers” uit 1995.
De eerste paranormale gave die ik wilde testen is telepathie. Telepathie wordt opgevat als het kunnen lezen van de gedachten van een ander zonder daarbij de bekende zintuigen te gebruiken (Hulspas & Nienhuys, 2021, p.432). Om te testen of ik dit kan heb ik de hulp ingeroepen van iemand om haar gedachten te lezen op Zenerkaarten. Zij zat tegenover me aan een tafel met een whiteboard tussen ons in waardoor ik haar niet zag. Door deze opstelling is het belangrijkste andere zintuig, zicht, uitgeschakeld. Tast was ook uitgeschakeld omdat we niet in contact met elkaar stonden. Gehoor, geur en smaak leken ons geen probleem te geven vanwege de afstand en het protocol dat hierna zal worden weergegeven.
Ze zei wanneer ze een Zenerkaart pakte “kaart”, keek naar de kaart en visualiseerde de vorm die op de kaart stond in haar gedachten en benoemde de vorm ook in haar gedachten. Hierop meldde ik wat ik dacht qua vorm en zij noteerde zowel de vorm die op haar kaart stond als de vorm die ik benoemde. Zo hebben we 100 Zenerkaarten doorlopen. Na 50 kaarten werd er geschud waardoor er even een pauze was. Ik mocht de kaarten niet schudden of me op een andere manier met de test bemoeien. Toen alle 100 Zenerkaarten geraden waren controleerde ik nog of de vormen die ik genoemd had en de getrokken Zener kaart overeenkwamen.
Als er puur gegokt zou worden, verwacht je dat er 1 op de 5 kaarten goed gegokt zouden worden. Als er telepathie in het spel is gaan we er vanuit dat er meer dan 1 op de 5 kaarten goed geraden zullen worden. Anders is telepathie niet onderscheidbaar van kans en dan lijkt het niet zo’n praktisch nut te hebben om telepathie te bezitten. Om het aantal correcte kaarten extreem genoeg van de verwachte 1 op 5 kans te laten afwijken, stellen wij een grens op het aantal correct geraden Zenerkaarten welke je maar in 5 procent van de gevallen zou verwachten als de kans werkelijk 1 op 5 zou zijn om een Zenerkaart correct te raden. Dit zou bij 100 pogingen, 27 of meer correct geraden Zenerkaarten zijn. Dit is berekend via de Z-test voor proporties toetsmodel zoals beschreven in hoofdstuk 19 van het boek The practice of statistics in the life sciences van Baldi en Moore.
Wat opvalt is dat de eerste 25 pogingen faalde maar bij de tweede 25 er 11 goed geraden waren. Dit geeft aan dat er veel spreiding kan zitten in de resultaten van de pogingen. Hierdoor is het belangrijk om een flink aantal pogingen uit te voeren zodat je een goede reeks hebt om te bepalen of er meer aan de hand is dan je op basis van kans zou verwachten. Hoe meer pogingen je doet hoe beter het gebruikte model, de Z-test van proporties, toegepast kan worden en hoe minder het aantal correcte pogingen van de verwachte aantal onder de kans van 1 op 5 hoeft uit te komen om statistisch significant te zijn.
Bij 100 pogingen verwacht je een uitkomst van 20 correct als er alleen gegokt zou zijn. De werkelijk aantal correct geraden Zener kaarten waren 23. Dit geeft een Z-waarde van 0,75. een Z-waarde geeft bij Z-toetsen aan hoeveel het gevonden aantal afwijkt van de verwachte aantal onder de hypothese van alleen kans. Een Z-waarde van 1,645 of hoger zou statistisch significant verschillend zijn bij de eenzijdige Z-toets. Deze grens hebben we zelf eerder gekozen als waarde die zo extreem is dat we de hypothese dat er slechts gegokt werd konden verwerpen. Dat zou overeenkomen met 27 of hoger correct geraden Zenerkaarten.
Gegeven de proefopzet bij de test, het aantal correct geraden kaarten en het statistische toetsmodel die wij gebruikten, hebben wij jammer genoeg geen goed bewijs gevonden dat ik telepathische krachten heb. Het aantal correct geraden Zenerkaarten van de 100 was niet 27 of hoger, maar 23. Hierdoor blijft het de vraag of de aurafotograaf en handlezer gelijk hadden in hun oordeel over mijn paranormale krachten.
Ik hoop hiermee een voorbeeld gegeven te hebben voor anderen hoe zij zelf hun paranormale krachten kunnen onderzoeken.
Baldi, B., Moore, S. The Practice of Statistics in the Life Sciences. W.H. Freeman and Company. 2009. Derde druk.
Blackmore, S. Hart-Davis, A. Test your Psychic Powers. Thorsons. 1995.
Hyman, R. The Elusive Quarry. Prometheus Books. 1989.
Hulspas, M. Nienhuys, J. W. Tussen Waarheid en Waanzin. Geus. pdf versie 2021.
Beste lezer,
Wij zijn Maarten Freriks en Richard Engelfriet. Twee bevlogen ondernemers met een skeptisch hart: wij geloven niet dat wetenschap een mening is. In 2019 schreven wij een kritisch stuk waarin we trainers en coaches verweten de term ‘evidence based’ te misbruiken als marketingtool. Onze kritiek richtte zich ook op het trainingsbureau van Karin de Galan.
Een paar dagen na het verschijnen van het artikel belde Karin ons op. Ze nam onze kritiek ter harte en paste zelfs haar website aan. Dat vinden wij uiteraard lovenswaardig en zeer sportief! En die sportiviteit herhaalde Karin onlangs, toen ze ons vroeg om haar nieuwste boek Evidence Based Trainen – 44 slimme interventies voor maximaal resultaat, dat ze samen met Peter Baggen schreef, te recenseren. En dat doen we natuurlijk graag. We gebruiken de klassieke western The Good, The Bad and the Ugly als kapstok.
Laten we beginnen met een groot compliment: wat is het een zegen dat De Galan en Baggen (respectievelijk trainer en onderzoeker) de moeite nemen om te kijken of hun instrumenten enige basis hebben in de wetenschap. En dan niet alleen maar roepen dat ‘onderzoek heeft uitgewezen dat…’, maar die ook concrete referenties leveren en de lezer in heldere taal uitleggen hoe het onderzoek is uitgevoerd. Hulde!
Wat ook mooi is, is hoe de auteurs ons meenemen in hun eigen toetsstenen voor evidence based werken: wie als trainer een bepaalde methode gebruikt, zou tenminste moeten kijken of het instrument is gebaseerd op een wetenschappelijke theorie, of het is getest in goed opgezette experimenten en of die experimenten ook wel eens herhaald zijn en vergelijkbare uitkomsten gaven.
Ook hier geldt: wat een enorme stap in de goede richting ten opzichte van de zweverige trainers die niet verder komen dan een theorie die ‘goed voelt’ en waarbij cursisten vooral zichzelf moeten blijven als ze uit hun comfort zone komen. Of die überhaupt weigeren hun eigen methodes eens kritisch te beschouwen, zoals Patrick Schriel met zijn dubieuze DISC kleurentest.
Maar toch. Hoe goedbedoeld het boek ook is, en hoezeer we het ook toejuichen dat twee auteurs eindelijk eens een fatsoenlijke poging doen hun eigen werk wetenschappelijk te toetsen: het boek staat vol met onderzoeken waarvan het de vraag is of je die zomaar als keiharde waarheid kunt bestempelen.
Zo start het boek bijvoorbeeld met een mooi onderzoek van de Amerikaanse hoogleraar Gist uit 1989. Maar wat de auteurs niet benoemen, is dat het gaat om een experimenteel veldonderzoek met 59 managers. Wat zeggen die uitkomsten over leren in het algemeen? Mag je die conclusies zomaar veralgemeniseren voor iedere trainer die voor een groep staat? En ook de eis – die De Galan en Baggen zelf op tafel leggen – dat een onderzoek moet zijn herhaald, zien we ineens nergens meer. Hoe vaak is het experiment van Gist sinds 1989 herhaald? En gaf dat steeds hetzelfde resultaat? De lezer tast in het duister.
Wie het prettig leesbare boek doorspit, stuit iedere keer op dit probleem. Er is een leuk experiment gedaan met 87 verlegen mensen. Maar kan een trainer leiderschapsvaardigheden die twee dagen de hei op gaat met een groep managers van Philips daar zomaar conclusies uit trekken? Hetzelfde geldt voor een experiment met 108 medewerkers van een universiteit die drie uur een training volgen. Voor de 80 mensen die instructies krijgen over een kaartjesautomaat. 78 studenten die leren hoe ze hechtingen moeten zetten. En 90 pubermeisjes mochten onder wetenschappelijk toezicht darten.
Voor al die experimenten geldt: leuk, interessant. Maar nergens lezen we of die onderzoeken ooit herhaald zijn, of ze dan steeds dezelfde uitkomst gaven en vooral: waarom zouden de conclusies van die pijltjesgooiende pubermeisjes ook gelden voor pak ‘m beet een 46-jarige presentator van de Skepsis Podcast of een kalende directeur van een trainingsbureau?
Gelukkig komen de auteurs met een oplossing: wat nou als je al die kleine experimenten op een hoop gooit, en dan kijkt of je uit al die data conclusies kunt trekken?
Welkom in de wereld van de meta-analyse. Een beproefd wetenschappelijk recept om robuuste conclusies te trekken. Zo voeren de auteurs een mooi voorbeeld op van de Amerikaanse wetenschapper Christina Lacerenza uit 2017. Daar zijn 335 experimenten met managementvaardigheidstrainingen bij elkaar gezet. En dan blijkt dat die trainingen wel degelijk effect hebben.
Of is dat toch te kort door de bocht? Want er bestaat een ‘publication bias’ in de wetenschap: we weten dat tijdschriften vooral experimenten publiceren waar een mooi effect is opgetreden. Onderzoeken die geen effect gaven, zijn minder interessant. En dus bestaat de kans dat die 335 experimenten vooral onderzoeken waren die leuke effecten gaven. Over de teruggetrokken studies weten we niks. En dan is er nog een ander risico: organisaties met mislukte methodes geven vaak geen toegang om wetenschappers hun methode te laten onderzoeken.
Voor wie denkt dat dit enkel wat skeptisch gezeur is van onze kant: deze beperkingen komen rechtstreeks uit het onderzoek van Lacerenza en haar collega’s! Zoals dat gebruikelijk is in wetenschappelijke artikelen, geven onderzoekers zelf aan wat de zwakke kanten van hun onderzoek zijn. Waarom stellen De Galan en Baggen op pagina 57 dat er geen reden is om ‘te twijfelen aan de juistheid’ van de uitkomsten, terwijl het onderzoek waar ze zich op baseren dat expliciet wel doet?
We herhalen het nog maar eens: De Galan en Baggen hebben een goedbedoeld en leesbaar boek geschreven. Maar ze willen gewoon iets te graag conclusies trekken. En zo werkt wetenschap helaas niet. Wetenschap zit vol nuances, en kent altijd beperkingen. Dat is helemaal niet erg, maar wees er wel eerlijk over. En dat laten de auteurs gewoon net iets te vaak na. Hun grote held, psycholoog Albert Bandura, is zo’n beetje de olifant in de kamer. Maar liefst 175 keer komt de naam voor in het boek.
Het woord ‘kritiek’ turfden we slechts 10 keer. En nergens had die kritiek betrekking op het werk van Bandura. En dat, terwijl die kritiek er wel degelijk is. Zijn beroemde bobo-poppen experimenten voldoen niet aan ethische standaarden (kinderen van drie jaar oud moesten kijken naar boze acteurs die poppen afranselden). De uitgangspunten van Bandura staan haaks op de wetenschappelijke consensus onder biologen dat ons DNA een hele belangrijke voorspeller is van gedrag. En tot slot – daar is ie weer – zijn er sterke twijfels of de opzet van Bandura’s experimenten wel voldoende toereikend zijn om de uitkomsten van zijn studies te generaliseren. Niet alleen vanwege de beperkte groepen in zijn experimenten (72 kinderen), maar ook vanwege de vraag of agressief gedrag van acteurs op poppen wel iets zegt over agressief gedrag tussen mensen.
Simpeler gesteld: het onderzoek van Bandura raakt achterhaald door nieuwe kennis. Zo gaat dat nu eenmaal in de wetenschap: kennis ontwikkelt zich, vooral door steeds kritisch te blijven.
Het is ook één van de vele adviezen die trainers vaak meegeven aan hun cursisten: blijf jezelf ontwikkelen, durf je eigen uitgangspunten kritisch onder de loep te nemen. Des te opmerkelijker is het als trainers precies die vaardigheid zelf amper lijken toe te passen. Dat gebeurt in dit boek ook als de auteurs in hun nawoord schrijven dat ze ‘altijd de laatste inzichten uit het wetenschappelijk onderzoek’ gebruiken. Hun kritiekloze benadering van Bandura staat daar haaks op. En dat vinden wij tamelijk ugly.
Conclusie: Wij juichen het boek Evidence Based Trainen – 44 slimme interventies voor maximaal resultaat natuurlijk van harte toe. Als dit het begin is van een beweging waarbij trainers moeite doen om hun verhalen te onderbouwen en om anderen daar kritisch naar te laten kijken, zijn wij twee tevreden skeptici.
Tegelijkertijd behoeft het goedbedoelde boek wel wat Evidence Based Nuance. Wie evidence based wil werken, is ook duidelijk over de tekortkomingen van het onderzoek. Wie dat vervelend vindt, mag van ons gerust even stevig inslaan op wat poppen, maar bij voorkeur niet in aanwezigheid van kleine kinderen.
Het Teylers museum in Haarlem heeft van 17 februari tot 1 september 2024 een tentoonstelling voor de kritische denker. De tentoonstelling heet De Grote Illusie-200 jaar Virtual Realities.
Hier leer je meer over technieken als ‘de geest van Manu’ en de geschiedenis van bewegende en 3D beelden. Ook kun je zelf bepaalde illusies uitproberen.
Naast deze tentoonstelling heeft Teylers museum ook in zijn vaste collectie verschillende stukken die interessant zijn voor de kritische denker. Zo is er de zondvloedmens bijvoorbeeld of ontdek de goocheltrucs uit de 19de eeuw.
Vaak komen we zaken op internet tegen die niet groot genoeg zijn om een heel stuk over te schrijven of soms hebben we daar de tijd niet voor. In deze rubriek delen we een verzameling interessante of gewoon vermakelijke berichtjes van de afgelopen week met de lezers van Kloptdatwel. Leesvoer voor in het weekend!
[Read more…] about De linke net-na-het-weekendbijlage (15-2024)
