Beste lezer,
Wij zijn Maarten Freriks en Richard Engelfriet. Twee bevlogen ondernemers met een skeptisch hart: wij geloven niet dat wetenschap een mening is. In 2019 schreven wij een kritisch stuk waarin we trainers en coaches verweten de term ‘evidence based’ te misbruiken als marketingtool. Onze kritiek richtte zich ook op het trainingsbureau van Karin de Galan.
Een paar dagen na het verschijnen van het artikel belde Karin ons op. Ze nam onze kritiek ter harte en paste zelfs haar website aan. Dat vinden wij uiteraard lovenswaardig en zeer sportief! En die sportiviteit herhaalde Karin onlangs, toen ze ons vroeg om haar nieuwste boek Evidence Based Trainen – 44 slimme interventies voor maximaal resultaat, dat ze samen met Peter Baggen schreef, te recenseren. En dat doen we natuurlijk graag. We gebruiken de klassieke western The Good, The Bad and the Ugly als kapstok.
The Good
Laten we beginnen met een groot compliment: wat is het een zegen dat De Galan en Baggen (respectievelijk trainer en onderzoeker) de moeite nemen om te kijken of hun instrumenten enige basis hebben in de wetenschap. En dan niet alleen maar roepen dat ‘onderzoek heeft uitgewezen dat…’, maar die ook concrete referenties leveren en de lezer in heldere taal uitleggen hoe het onderzoek is uitgevoerd. Hulde!
Wat ook mooi is, is hoe de auteurs ons meenemen in hun eigen toetsstenen voor evidence based werken: wie als trainer een bepaalde methode gebruikt, zou tenminste moeten kijken of het instrument is gebaseerd op een wetenschappelijke theorie, of het is getest in goed opgezette experimenten en of die experimenten ook wel eens herhaald zijn en vergelijkbare uitkomsten gaven.
Ook hier geldt: wat een enorme stap in de goede richting ten opzichte van de zweverige trainers die niet verder komen dan een theorie die ‘goed voelt’ en waarbij cursisten vooral zichzelf moeten blijven als ze uit hun comfort zone komen. Of die überhaupt weigeren hun eigen methodes eens kritisch te beschouwen, zoals Patrick Schriel met zijn dubieuze DISC kleurentest.
The bad
Maar toch. Hoe goedbedoeld het boek ook is, en hoezeer we het ook toejuichen dat twee auteurs eindelijk eens een fatsoenlijke poging doen hun eigen werk wetenschappelijk te toetsen: het boek staat vol met onderzoeken waarvan het de vraag is of je die zomaar als keiharde waarheid kunt bestempelen.
Zo start het boek bijvoorbeeld met een mooi onderzoek van de Amerikaanse hoogleraar Gist uit 1989. Maar wat de auteurs niet benoemen, is dat het gaat om een experimenteel veldonderzoek met 59 managers. Wat zeggen die uitkomsten over leren in het algemeen? Mag je die conclusies zomaar veralgemeniseren voor iedere trainer die voor een groep staat? En ook de eis – die De Galan en Baggen zelf op tafel leggen – dat een onderzoek moet zijn herhaald, zien we ineens nergens meer. Hoe vaak is het experiment van Gist sinds 1989 herhaald? En gaf dat steeds hetzelfde resultaat? De lezer tast in het duister.
Wie het prettig leesbare boek doorspit, stuit iedere keer op dit probleem. Er is een leuk experiment gedaan met 87 verlegen mensen. Maar kan een trainer leiderschapsvaardigheden die twee dagen de hei op gaat met een groep managers van Philips daar zomaar conclusies uit trekken? Hetzelfde geldt voor een experiment met 108 medewerkers van een universiteit die drie uur een training volgen. Voor de 80 mensen die instructies krijgen over een kaartjesautomaat. 78 studenten die leren hoe ze hechtingen moeten zetten. En 90 pubermeisjes mochten onder wetenschappelijk toezicht darten.
Voor al die experimenten geldt: leuk, interessant. Maar nergens lezen we of die onderzoeken ooit herhaald zijn, of ze dan steeds dezelfde uitkomst gaven en vooral: waarom zouden de conclusies van die pijltjesgooiende pubermeisjes ook gelden voor pak ‘m beet een 46-jarige presentator van de Skepsis Podcast of een kalende directeur van een trainingsbureau?
Meta-analyses
Gelukkig komen de auteurs met een oplossing: wat nou als je al die kleine experimenten op een hoop gooit, en dan kijkt of je uit al die data conclusies kunt trekken?
Welkom in de wereld van de meta-analyse. Een beproefd wetenschappelijk recept om robuuste conclusies te trekken. Zo voeren de auteurs een mooi voorbeeld op van de Amerikaanse wetenschapper Christina Lacerenza uit 2017. Daar zijn 335 experimenten met managementvaardigheidstrainingen bij elkaar gezet. En dan blijkt dat die trainingen wel degelijk effect hebben.
Of is dat toch te kort door de bocht? Want er bestaat een ‘publication bias’ in de wetenschap: we weten dat tijdschriften vooral experimenten publiceren waar een mooi effect is opgetreden. Onderzoeken die geen effect gaven, zijn minder interessant. En dus bestaat de kans dat die 335 experimenten vooral onderzoeken waren die leuke effecten gaven. Over de teruggetrokken studies weten we niks. En dan is er nog een ander risico: organisaties met mislukte methodes geven vaak geen toegang om wetenschappers hun methode te laten onderzoeken.
Voor wie denkt dat dit enkel wat skeptisch gezeur is van onze kant: deze beperkingen komen rechtstreeks uit het onderzoek van Lacerenza en haar collega’s! Zoals dat gebruikelijk is in wetenschappelijke artikelen, geven onderzoekers zelf aan wat de zwakke kanten van hun onderzoek zijn. Waarom stellen De Galan en Baggen op pagina 57 dat er geen reden is om ‘te twijfelen aan de juistheid’ van de uitkomsten, terwijl het onderzoek waar ze zich op baseren dat expliciet wel doet?
The ugly
We herhalen het nog maar eens: De Galan en Baggen hebben een goedbedoeld en leesbaar boek geschreven. Maar ze willen gewoon iets te graag conclusies trekken. En zo werkt wetenschap helaas niet. Wetenschap zit vol nuances, en kent altijd beperkingen. Dat is helemaal niet erg, maar wees er wel eerlijk over. En dat laten de auteurs gewoon net iets te vaak na. Hun grote held, psycholoog Albert Bandura, is zo’n beetje de olifant in de kamer. Maar liefst 175 keer komt de naam voor in het boek.
Het woord ‘kritiek’ turfden we slechts 10 keer. En nergens had die kritiek betrekking op het werk van Bandura. En dat, terwijl die kritiek er wel degelijk is. Zijn beroemde bobo-poppen experimenten voldoen niet aan ethische standaarden (kinderen van drie jaar oud moesten kijken naar boze acteurs die poppen afranselden). De uitgangspunten van Bandura staan haaks op de wetenschappelijke consensus onder biologen dat ons DNA een hele belangrijke voorspeller is van gedrag. En tot slot – daar is ie weer – zijn er sterke twijfels of de opzet van Bandura’s experimenten wel voldoende toereikend zijn om de uitkomsten van zijn studies te generaliseren. Niet alleen vanwege de beperkte groepen in zijn experimenten (72 kinderen), maar ook vanwege de vraag of agressief gedrag van acteurs op poppen wel iets zegt over agressief gedrag tussen mensen.
Simpeler gesteld: het onderzoek van Bandura raakt achterhaald door nieuwe kennis. Zo gaat dat nu eenmaal in de wetenschap: kennis ontwikkelt zich, vooral door steeds kritisch te blijven.
Het is ook één van de vele adviezen die trainers vaak meegeven aan hun cursisten: blijf jezelf ontwikkelen, durf je eigen uitgangspunten kritisch onder de loep te nemen. Des te opmerkelijker is het als trainers precies die vaardigheid zelf amper lijken toe te passen. Dat gebeurt in dit boek ook als de auteurs in hun nawoord schrijven dat ze ‘altijd de laatste inzichten uit het wetenschappelijk onderzoek’ gebruiken. Hun kritiekloze benadering van Bandura staat daar haaks op. En dat vinden wij tamelijk ugly.
Conclusie: Wij juichen het boek Evidence Based Trainen – 44 slimme interventies voor maximaal resultaat natuurlijk van harte toe. Als dit het begin is van een beweging waarbij trainers moeite doen om hun verhalen te onderbouwen en om anderen daar kritisch naar te laten kijken, zijn wij twee tevreden skeptici.
Tegelijkertijd behoeft het goedbedoelde boek wel wat Evidence Based Nuance. Wie evidence based wil werken, is ook duidelijk over de tekortkomingen van het onderzoek. Wie dat vervelend vindt, mag van ons gerust even stevig inslaan op wat poppen, maar bij voorkeur niet in aanwezigheid van kleine kinderen.