• Skip to primary navigation
  • Skip to main content
  • Skip to primary sidebar

Kloptdatwel?

  • Home
  • Onderwerpen
    • (Bij)Geloof
    • Columns
    • Complottheorieën
    • Factchecking
    • Gezondheid
    • Hoax
    • Humor
    • K-d-Weetjes
    • New Age
    • Paranormaal
    • Pseudowetenschap
    • Reclame Code Commissie
    • Skepticisme
    • Skeptics in the Pub
    • Skeptische TV
    • UFO
    • Wetenschap
    • Overig
  • Skeptisch Chatten
  • Werkstuk?
  • Contact
  • Over Kloptdatwel.nl
    • Activiteiten agenda
    • Colofon – (copyright info)
    • Gedragsregels van Kloptdatwel
    • Kloptdatwel in de media
    • Interessante Links
    • Over het Bol.com Partnerprogramma en andere affiliate programma’s.
    • Social media & Twitter
    • Nieuwsbrief
    • Privacybeleid
    • Skeptisch Chatten
      • Skeptisch Chatten (archief 1)
      • Skeptisch Chatten (archief 2)
      • Skeptisch Chatten (archief 3)
      • Skeptisch Chatten (archief 4)

promotie

Promoveren op het Enneagram Model aan de Radboud Universiteit

19 September 2017 by Pepijn van Erp 46 Comments

Het is weer raak op de Radboud Universiteit in Nijmegen. Was er vorig jaar ophef over een bedroevend slecht proefschrift over acupunctuur, dit jaar trakteert de universiteit ons op een promotie op andere pseudowetenschappelijk gebied, het Enneagram. Het Enneagram Model onderscheidt negen persoonlijkheidstypen en is  volgens sommige beoefenaars gebaseerd op eeuwenoude soefiwijsheid. In de Verenigde Staten, maar ook in Nederland heeft het Enneagram inmiddels een plekje veroverd in het brede spectrum aan methodes voor persoonsontwikkeling, coaching en management. En dat terwijl er nauwelijks wetenschappelijk bewijs is voor de beweringen die eraan worden opgehangen.

Promoveren op het Enneagram Model aan de Radboud Universiteit 1

Volgende week, op dinsdag 26 september, zal Claudia Hoekx aan de Radboud Universiteit (RU) promoveren op een proefschrift over de gebruikswaarde van het Enneagram. Wie verwacht dat haar onderzoek duidelijkheid verschaft over de (pseudo)wetenschappelijke status van het Enneagram, komt bedrogen uit,  zal ik maar vast verklappen. Voor een korte uitleg over wat het Enneagram Model (EM) inhoudt en wat de ontstaansgeschiedenis is, verwijs ik de lezer naar het artikel dat Rob Nanninga in 2000 in Skepter schreef: Occulte karaktertypen – De doodzonden van het enneagram  (Skepter 13.2, 2000)

Buitenpromovenda

Hoekx is aan haar onderzoek begonnen na een master Religiestudies aan de RU. Haar belangrijkste motivatie om iets met het EM  te doen, lijkt te schuilen in mogelijkheid er ook spirituele zaken aan op te hangen.

Promoveren op het Enneagram Model aan de Radboud Universiteit 2Haar promotietraject verliep niet bepaald vlekkeloos. In een artikel in het universiteitsmagazine VOX van april 2016 over buitenpromovendi, wordt ‘haar geval’ naar voren gebracht. In eerste instantie was hoogleraar Peter Nissen haar promotor, maar daar raakte ze mee in conflict over de te bewandelen weg in haar onderzoek. Paul van der Velde, net als Nissen hoogleraar aan de Faculteit der Filosofie, Theologie en Religiewetenschappen aan de RU, werd haar nieuwe promotor, en aan Nyenrode Business University werd prof. dr. Rob Blomme gevonden als tweede promotor. Van der Velde gooide echter in september 2015 de handdoek in de ring, omdat hij niet zag hoe de insteek van Hoekx ooit tot een verdedigbaar proefschrift zou leiden. In ieder geval niet onder zijn begeleiding: “vastgelopen op de alom aanwezige normativiteit van de onderzoekster” en “nog steeds geen heldere kritisch-afstandelijke vraagstelling”.

Uiteindelijk is er, nu aan de Faculteit Managementwetenschappen, dan toch iemand gevonden die Hoekx naar de eindstreep heeft weten te begeleiden: prof. dr. Willem de Nijs, hoogleraar emeritus Strategisch Personeelsmanagement. Het traject resulteerde in een lijvig proefschrift van meer dan 400 pagina’s met als titel “The usefulness of the Enneagram model in The Netherlands”.

Wetenschappelijk basis voor het Enneagram model?

In haar proefschrift inventariseert Hoekx eerst wat er al zoal aan onderzoek is verschenen op dit gebied en vindt onder andere de doctoraalscriptie van Martijn Cremers (Tilburg University, 2005). Cremers onderzocht of je het EM terug kunt vinden in een ander persoonlijkheidsmodel:

Het FFM – Five Factor Model – is een algemeen geaccepteerde indeling voor de persoonlijkheid. In essentie draait persoonlijkheid om stabiele eigenschappen aangeduid als de ‘Big Five’: Dominantie, Altruïsme, Consciëntieusheid, Neuroticisme en Openheid.

Cremers’ conclusie luidt:

De basis – negen types en drie emotiecentra – van het Enneagrammodel is niet als zodanig terug te vinden. Er zijn aanwijzingen dat er samenhang is tussen de Enneagramtypes en de bijbehorende emotiecentra. Tevens zijn er samenhangen tussen de Enneagramtypes en de FFM variabelen.

De afsluitende paragraaf van Cremers’ scriptie bevat een aangename verrassing:

In mijn voorwoord heb ik geschreven dat ik aan de ene kant de critici van het model meer helderheid en duidelijkheid over het Enneagram wil bieden en aan de andere kant het met ze eens ben dat er een wetenschappelijke basis nodig is. Ik wil me daarom tot besluit aansluiten bij de scepticus Nanninga (juni 2000, www.skepsis.nl)
“Bestudering van het Enneagram hoeft niet bij voorbaat nutteloos te zijn. Het kan ons bewust maken van bepaalde verschillen tussen mensen, het kan begrip kweken voor het gedrag van anderen, het kan een manier zijn om orde te scheppen in de chaos, of het kan ertoe bijdragen dat we beter naar onszelf gaan kijken en misschien pogingen ondernemen negatieve aspecten te veranderen. Het lijkt mij echter verstandig om zulke doelen met wat minder occulte en meer wetenschappelijke middelen na te streven.”

Hoekx negeert dit onderzoek net niet helemaal, maar wijst liever op oudere (Amerikaanse) studies die zouden laten zien dat het EM wel terug te vinden is in andere persoonlijkheidsmodellen. Ze vergeet op te merken dat de persoonlijkheidsmodellen die daarbij als referentie gebruikt werden (o.a. Myer-Briggs Type Indicator) op zichzelf ook geen beste wetenschappelijke status hebben, in tegenstelling tot het FFM wat Cremers gebruikte.

Erg grondig blijkt Hoekx overigens niet te werk gegaan bij het opsporen van die andere proefschriften. Van de oudste studie (Wagner, 1981), die naar dit aspect van het EM kijkt merkt ze op: ”The preview could not make clear to the researcher whether this study was done qualitatively or quantitatively in 1981,[..]”. Bij haar literatuurverwijzing geeft ze een ellenlange link naar waar ze dit stuk vandaan heeft en daar staat inderdaad alleen een ‘preview’ van de eerste 24 pagina’s. Ik vond echter in drie muisklikken een pdf van de hele dissertatie. Snel doorscrollen laat zien dat Wagner het kwantitatief aanpakt, maar daarbij ook nauwelijks oog heeft voor het gevaar van meervoudig toetsen bij het aanwijzen van significante verbanden.

Al deze onderzoeken mogen dan, als we statistische onvolkomenheden even door de vingers zien, aantonen dat het EM intern consistent is, en betrouwbaar in de zin dat het EM type van personen nauwelijks verandert. Maar dat betekent nog niet dat het model ook een bruikbaar model is voor wat je er mee wilt doen. Volgens Nanninga in Skepter:

De waarde van zulke persoonlijkheidsprofielen is nogal beperkt omdat ze slechts in geringe mate correleren met het feitelijke gedrag. Dit gedrag is niet consistent en hangt in hoge mate af van de situatie. Als we weten dat iemand een ander heeft geholpen, kunnen we daaruit gewoonlijk niet afleiden dat hij onder andere omstandigheden eveneens hulp zal bieden.

Sociaal-constructivisme

Voor Hoekx lijkt de afwezigheid van zo’n wetenschappelijk fundament sowieso niet een heel belangrijke kwestie. Ze laat immers zien dat de onderzoeken die positief uitpakken voor het EM gebaseerd zijn op telkens andere invullingen van het EM, zodat het maar de vraag is of je kunt spreken van een groeiende verzameling aan bewijs dat steeds sterker wijst op de correctheid van het model. En de enige studie die in Nederlandse context is uitgevoerd, waarbij een wetenschappelijk geaccepteerd referentiemodel werd gebruikt, pakt negatief uit. En dan schrijft ze:

A topic that is raised by this, is: wat [sic] is the ground on which one decides that a model is a model in scientific research? In the discussed EM studies, this has been done mainly in a quantitative way. This method could be outdated. For example, the fact that people consider a model as a model is in socio-constructivist research sufficient to speak of a model as a model. From a social-constructivist point of view , the validity of a model is not something that is absolute, but something that users grant. However, the EM has not been investigated according to this paradigm.

Hoekx legitimeert haar onderzoek door te wijzen op het feit dat het EM in Nederland al veel wordt gebruikt, maar de vraag of dat gebruik zelf legitiem is op grond van het beschikbare wetenschappelijk bewijs voor het EM verwaarloost ze.
Over haar onderzoeksopzet:

The research design was based on social constructivism on methodological grounds because a realistic EM research design was not seen as the most realistic option. This implied that logically seen the attitude of the researcher was subjective, the epistemology relativistic, the methodology qualitative, and the research question was an open question.

Dit onderzoek bestaat naast het literatuuronderzoek wat ik kort besprak, uit het analyseren van interviews met coaches die jarenlange ervaring hebben in het gebruik van het EM, en managers die het EM toepassen in hun omgang met personeel.
Ondanks het beroerde Engels is het literatuuronderzoek nog best leesbaar. Deze status quaestionis is een cadeautje van Hoekx, en eigenlijk overbodig voor haar onderzoek. Ten eerste omdat er geen eerder EM onderzoek gedaan is in de Nederlandse context (hier negeert ze Cremers dus bewust, omdat dat geen dissertatie betreft, maar ‘slechts’ een doctoraalscriptie). En ten tweede omdat zoiets overbodig is in die sociaalconstructivistische opvatting van wetenschap bedrijven, waarin de onderzoeker vooral lekker blanco moet beginnen met zich onderdompelen in het onderzoek.

Wanneer Hoekx het heeft over de twee paradigma’s waarmee je volgens haar wetenschap kunt bedrijven, haak ik bijna voorgoed af. De ene, waar skeptici mee uit de voeten kunnen, gaat uit van een objectivistisch wereldbeeld, een realiteit die er ook is als we zelf niet kijken. In het sociaalconstructivistische paradigma komt kennis alleen tot stand middels interactie en is alles subjectief. [*] Het levert proza als dit op:

The objective in social constructivist research is not to identify the absolute truth, but to identify a phenomenon in such a way that the layering of the meaning of a construct, like the EM usefulness, is mapped although it is on forehand space-time limited. ‘Facts’ in social-constructivist research only have meaning in a network of research values. Knowledge claims are by definition context dependent and cannot be generalized. An important criterion for this kind of research is not causality as in realistic research, but the viability of knowledge. Viability implies the value the research has for science and society, for example: in enlivening a public debate or for policy making.
In  other words, if the EM usefulness is examined in a social-constructivist paradigm, then research results can be seen as interpretation of interpretations that map the layering of the construct EM usefulness. The results have sense in a network of research values that are societally more or less viable.

Na het lezen van dergelijke teksten, vroeg ik me af waarom Hoekx eigenlijk zo graag wilde promoveren. Maar na even nadenken, begreep ik het wel: zo’n promotiebul kun je natuurlijk zien als een interpretatie van interpretaties die de gelaagdheid van het construct promotie aan Nederlandse universiteiten blootlegt en zo betekenis krijgt in een netwerk van onderzoekswaarden die min of meer levensvatbaar zijn gebleken in onze samenleving …

Kritiek op critici

Wat verderop in het proefschrift komen we nog een hoofdstukje ‘Criticism on the EM’ tegen waar Hoekx naast wat opmerkingen uit slechts één proefschrift (Alber, 2010) tot mijn verrassing ook nog Nanninga aanhaalt! Ik had dat eigenlijk niet meer verwacht, want een van de eerste dingen die ik deed toen ik het boekwerk in handen kreeg, was in de literatuurlijst opzoeken of zijn Skepter-artikel daar bij stond, wat niet het geval is.
Van de kritiek van Nanninga pikt ze alleen op dat de enneagramtypes “niet duidelijk [zijn] vastgelegd, zodat de auteurs niet allemaal dezelfde eigenschappen aan een type toeschrijven. Op grond van hun persoonlijke ervaringen leggen ze soms andere accenten of verbanden.” Volgens Hoekx is dat begrijpelijke kritiek, maar niet problematisch voor het EM of de toepassing ervan:

The critics formulated by Nanninga are understandable if one considers that the EM typology often is described in terms that refer to external visible behaviour while it is all about the inner drive, strategy, or worldview which underlie the outward behaviour. This inner strategy is difficult to catch directly in words, so, it has been described metaphorically. However, the metaphorical description can in various ways and that might explain the huge amount of different EM type descriptions. […]
In other words, these critics stem from the fact that the EM is entrusted to paper. Who takes orally knowledge of the EM has the possibility to feel or experience directly what kind of inner strategy is most appropriate by directly recognizing the spoken energy.

Om met de grote filosoof JC (Johan Cruijf) te spreken: “Je gaat het pas zien als je het doorhebt.” Of deze opvattingen van Hoekx nog iets met zinnige wetenschapsbeoefening te maken hebben, waag ik te betwijfelen. In plaats van te verhelderen, maakt ze steeds meer een black box van het EM, waarvan de waarde alleen maar door de beoefenaars zelf ondervonden kan worden. De critici hebben zich volgens Hoekx ook alleen maar gericht op het EM als persoonlijkheidsmodel, maar niet op EM als spiritueel model. Dat laatste is dan misschien wat Hoekx er zelf zo interessant aan vindt, maar staat nogal ver af van hoe het EM in de praktijk wordt gebruikt.

En wat is het EM dan eigenlijk als spiritueel model? Hoekx beschrijft dat je aan de negen punten waarden kunt hangen, maar met de verbindingslijnen in het schema kun je volgens haar vervolgens niets, want dat zou een hiërarchie veronderstellen tussen die waarden. De meeste lezers zullen in zo’n spiritueel EM dan ook niet meer zien dan een lijstje woorden waarbij misschien gemediteerd kan worden, het plaatje van het Enneagram is compleet uit beeld verdwenen. Maar ja, zoals Hoekx eerder aangaf, het is voldoende als de gebruikers het zelf als model opvatten om het model als model te bestuderen …

Promoveren op het Enneagram Model aan de Radboud Universiteit 3

Hoekx besteedt ook nog wat pagina’s aan wiskundig gefröbel met de getallen en vormen in het Enneagram. Het paadje dat gevormd wordt door de getallen 1-4-2-8-5-7 spreekt tot de verbeelding, je kunt het terugzien in de decimale ontwikkeling van de breuk 1/7 = 0,142857142857… Als je dit vermenigvuldigt met 1, 2, 3, 4, 5 of 6 blijf je dezelfde getallenreeks tegenkomen. En dan komt een zinnetje waarbij ik zowat van de bank viel toen ik het las: “Furthermore these numbers are listed in the constant pi (π=3.142857).” Au.
Een pagina eerder poneert ze “The property of the recurring fracture occurs only in the decimal number system” wat onbegrijpelijk is (recurring fracture is geen wiskundige maar een medische term). Als er bedoeld is dat repeterende breuken alleen in het decimale systeem voorkomen is het onwaar. Voorts dateert ze de ontdekking van het decimale systeem in de 15de eeuw, waarmee ze er ongeveer een millenium naast zit. En de directe voorloper van de schrijfwijze met decimalen achter de komma zoals wij die nu gebruiken, is eind zestiende eeuw bedacht door Simon Stevin. Au, Au. Een pagina verderop blijkt ze ook al niet te weten dat het idee van een magisch vierkant is dat je het moet vullen met allemaal verschillende getallen. Driewerf au.

Nog even kort over die interviews die Hoekx afnam en analyseerde. Ze gebruikte daarvoor de Grounded Theory Approach, die als ik het goed begrijp neerkomt op het gaandeweg identificeren van begrippen en categorieën in de beschikbare kwalitatieve gegevens (zoals deze interviews) net zo lang tot je niets nieuws meer tegenkomt: er treedt saturatie op. Vervolgens kun je dan de onderlinge relaties van die gevonden begrippen verder analyseren. [*]
Wat Hoekx opviel was dat die saturatie niet op leek te treden bij de interviews met de coaches met minstens 15 jaar ervaring. Zij besloot dat het na 12 gesprekken wel welletjes was, een tamelijk willekeurig punt om haar onderzoek af te kappen. Je zou je natuurlijk ook af kunnen vragen of het uitblijven van die saturatie niet een heel sterk signaal is dat je werkelijk alles wat je maar wil aan het EM kunt ophangen (en dat dat in de praktijk ook gebeurt), en dat daarmee het model zo ‘open’ is dat het volstrekt nietszeggend is.

Promotieplechtigheid

De promotiecommissie bestaat zoals gebruikelijk aan de RU uit de (co)promotoren en nog minstens vijf personen, waaronder de leden van de manuscriptcommissie. In dit geval zit er ook niemand anders in. Alle leden van de promotiecommisie hebben dus als promotor of als lid van de manuscriptcommissie eigenlijk al hun fiat aan dit proefschrift gegeven. Er zijn blijkbaar ook geen andere experts op dit vakgebied aangezocht voor de oppositie en niemand heeft zich daar zelf voor aangemeld. De promotieplechtigheid belooft dus een gezellig onderonsje te worden. We zullen zien of er nog wat spannends gebeurt en daarover later berichten.

Twee personen uit de manuscriptcommissie komen overigens ook voor in een ander artikel dat Rob Nanninga in Skepter schreef: Spiritualiteit voor managers – Go with the flow naar Nyenrode (Skepter 20.2, 2007), het gaat om de inmiddels 93 jarige ‘honorair’ hoogleraar Paul de Chavigny de Blot en Sharda Nandram, associate professor Entrepeneurship and Spirituality, beiden aan Nyenrode Business University.
Verder hebben we dan nog prof. dr. Hans Doorewaard (hoogleraar emeritus Organisatieontwikkeling aan de RU), prof. dr. Herman van den Bosch (hoogleraar Management Education aan de Open Universiteit) en  prof. dr. Teun Hardjono (hoogleraar emeritus Quality Management aan de Erasmus Universiteit). De betrokkenheid van Hardjono is enigszins opmerkelijk te noemen. Hij kwam een paar jaar terug in opspraak toen een promovendus van hem op plagiaat werd betrapt. Een van de maatregelen die de Erasmus Universiteit Hardjono oplegde, was dat hij aan die instelling geen promovendi meer mocht begeleiden en  ook geen lid meer mocht zijn van een promotiecommissie. Aan de Radboud Universiteit mag hij zo’n rol blijkbaar nog wel vervullen.

Zie het verslag van de promotie:

Enneagrampromotie

 


* Voor bepaalde onderzoeken kan ik me nog wel indenken dat je het sociaal-constructivisme een zinnige aanpak is (al dan niet met die Grounded Theory Approach), maar om daarmee zaken te onderzoeken waarover in de wetenschap toch aardige consensus bestaat dat het om pseudowetenschap gaat, lijkt me erg onverstandig. Maarten Boudry en Filip Buekens lieten al eens zien dat als je sociaal-constructivisme gewoon toepast, je daarmee uitstekend bewijs kunt leveren voor de Freudiaanse psychoanalyse, wat wel aantoont dat er dan iets goed misgaat 😉

Filed Under: Pseudowetenschap, Wetenschap Tagged With: Claudia Hoekx, enneagram, promotie, Radboud Universiteit

Acupunctuurpromotie RU: niet meer dan placebo-effect volgens promotor Coenen

29 November 2015 by Pepijn van Erp 22 Comments

Het protest van de Vereniging tegen de Kwakzalverij tegen een ondermaats proefschrift over acupunctuur als behandelwijze tegen slaapproblemen bij patiënten met depressie of schizofrenie haalde weinig uit. Op donderdag 26 november vond de promotie van Peggy Bosch gewoon plaats aan de Radboud Universiteit Nijmegen en zij verliet de zaal met de doctorsbul op zak. Jan Willem Nienhuys en ik waren aanwezig bij de verdediging. Een kort verslag.

Peggy Bosch
Peggy Bosch

Aan de Radboud Universiteit had de brief van de VtdK – en de aandacht in de pers daarvoor – waarschijnlijk toch wel wat effect gesorteerd. Zo werd de aankondiging van de promotie stevig aangepast (zie voor en na). En promotor Ton Coenen liet her en der weten dat het proefschrift misschien wel wat foutjes bevatte en dat de promovenda een wat optimistischer weergave van de resultaten had gegeven dan wellicht objectief gezien verantwoord was. In haar lekenpraatje voorafgaand aan de daadwerkelijke verdediging van haar proefschrift liet Bosch op haar powerpointslides de meer verantwoorde, veel zwakkere conclusies, ook nog even snel voorbij schieten.

De oppositie maakte het Bosch niet erg lastig. Toch moest ze zowat bij elke vraag over haar klinische onderzoekjes toegeven dat er allerlei problemen mee waren en dat ze het achteraf gezien heel anders had moeten opzetten. Ja, misschien was het beter geweest om de controlegroep ook een relaxuurtje aan te bieden op luie stoelen met een rustgevend muziekje, gaf ze toe. Maar ja, daar hadden ze niet op tijd aan gedacht, de trein liep al en er kon niet meer worden bijgestuurd. Ook de vragenlijsten die gebruikt waren om patiënten zichzelf te laten evalueren, waren haar nogal tegengevallen. De schizofrene patiënten kwamen daar bijvoorbeeld als veel normaler naar voren dan je op grond van de klinische beoordeling zou mogen verwachten. De waarde van die meetmethode is dus twijfelachtig, Bosch zou voor vervolgonderzoek graag gebruik maken van objectievere meetmethoden (ze noemde metingen van melatonine en gebruik van de Actiwatch).

Bosch bleef uitdragen dat ze hoge verwachtingen heeft van acupunctuur. Dat er geen duidelijkere effecten uit haar onderzoekjes naar boven waren gekomen, wijt ze onder meer aan de verschillen tussen de westerse definities van bijvoorbeeld schizofrenie en hoe ze daar vanuit de oosterse behandelwijzen tegenaan kijken. Eigenlijk zou ze onderzoeken willen doen met patiënten die allemaal netjes binnen één zo’n oosterse definitie zouden vallen. Maar in die traditie zijn er zoveel verschillende onderverdelingen dat je daar niet makkelijk genoeg proefpersonen voor kunt vinden om een experiment- en controlegroep mee te vullen. En om te bepalen in welk oosters diagnosehokje je een patiënt moet plaatsen, vertrouwt Bosch op de tong- en polsdiagnoses die daar gebruikelijk zijn.

Skepter 28.2
De bespreking van het proefschrift is het coverartikel van de nieuwste Skepter

De enige echt pittige vraag kwam van Winni Hofman van de UvA. Zij vroeg Bosch of zij de mogelijke effecten van de acupunctuur kon scheiden van die van de rustgevende muziek? Eigenlijk dezelfde vraag die ik in mijn vorige stuk over dit proefschrift ook stel. Bosch moest in haar antwoord toegeven dat ze dat niet kon. Daarmee blijft er dus van de twee klinische pionierstudies in haar proefschrift (zoals Bosch ze noemde) helemaal niets overeind. Voor een grondige analyse van het proefschrift moet je de nieuwste Skepter lezen, Jan Willem Nienhuys schreef er het coverartikel over.

Het was voor de promotiecommissie natuurlijk geen belemmering om na een kort beraad toch de doctorsbul aan Bosch te overhandigen. Zo gaan die dingen. Opmerkelijk genoeg liet Coenen in zijn lofrede eigenlijk alle steun voor acupunctuur vallen. Dat de gevonden effecten (klein, maar significant) verklaard zouden kunnen worden als placebo-effect leek hem en de andere promotor Van Luijtelaar toch eigenlijk wel stukken waarschijnlijker dan dat er sprake zou kunnen zijn van een specifiek effect van acupunctuur. Maar waarom hebben deze heren deze bedenkingen niet veel duidelijker opgenomen in de artikelen in het proefschrift waarvan zijn mede-auteurs zijn? Het lijkt er toch sterk op dat Coenen op het laatste moment pas wakker is geworden en de laatste promotie die hij begeleidde niet een al te grote smet wilde laten worden op zijn staat van verdienste.

Promotores Ton Coenen (l) en Van Luijtelaar
Promotores Ton Coenen (l) en Van Luijtelaar (r)

Dat het onderzoek van Bosch welbeschouwd geen aanwijzingen heeft gevonden dat acupunctuur een zinnige behandelwijze zou kunnen zijn om slaapproblemen aan te pakken en dat de Radboud Universiteit z’n best had gedaan om de te stellige conclusies van Bosch af te zwakken tot enigszins normale proporties, was niet bij iedereen doorgedrongen. De ochtend van de promotie verscheen een persbericht met als kop ‘Radboud Universiteit: Proefschrift over Acupunctuur’ waardoor een aantal medische websites vermoedelijk dacht met een persbericht van de universiteit zelf te maken te hebben en ze namen dit sterk gekleurde verhaaltje klakkeloos over. De universiteit trad er wel snel tegenop en het misleidende persbericht is verwijderd (dat kwam uit de koker van WAVAN, de voor mij nog onbekende Wetenschappelijk artsenvereniging voor acupunctuur in Nederland).

Zie ook:

  • Skepter 28.2:  Acupunctuur-promotie – Omstreden proefschrift over acupunctuur in de psychiatrie
  • Voxweb: Acupunctuurpromotie overleeft ‘storm’
  • VtdK: Vereniging protesteert tegen acupunctuurpromotie
  • Kloptdatwel: Acupunctuurpromotie aan de Radboud Universiteit

02-01-2015: Een Italiaans artikel gebaseerd op dit KdW-artikel is gepubliceerd.

Filed Under: Alternatieve schade, Pseudowetenschap, Wetenschap Tagged With: acupunctuur, depressie, Gilles van Luijtelaar, Peggy Bosch, promotie, schizofrenie, slaapproblemen, Ton Coenen, Winni Hofman

Acupunctuurpromotie aan de Radboud Universiteit

2 November 2015 by Pepijn van Erp 41 Comments

Op donderdag 26 november krijgt Peggy Bosch, Heilpraktikerin in Duitsland, de doctorstitel uitgereikt aan de Radboud Universiteit Nijmegen voor haar proefschrift Needles on the couch: Acupuncture in the treatment of depression, schizophrenia and sleep disorders. Een niet geheel risicovrije placebobehandeling als acupunctuur bij patiënten met psychiatrische problemen? Je zou verwachten dat daar wel eerst heel serieus over nagedacht is door mensen met kennis van zaken.

Acupunctuurpromotie aan de Radboud Universiteit 4
Cmdr. Yevsey Goldberg conducts an acupuncture procedure. (foto: US gov | Flickr)

Deze promotie vindt niet plaats aan de medische faculteit, maar aan de faculteit Sociale Wetenschappen, waar ze blijkbaar ook iets denken te weten over acupunctuur. Promotores zijn de hoogleraren Ton Coenen, de ‘slaapprofessor’, die zeven jaar geleden afscheid nam als hoogleraar Biologische psychologie bij de Radboud Universiteit, en Gilles van Luijtelaar, nu hoogleraar Biologische psychologie bij het Donders Instituut van de Radboud Universiteit.

Wat vond Bosch in haar onderzoek?

sterkere aanwijzingen voor de effectiviteit van acupunctuur in de behandeling van patiënten met depressie dan voor patiënten met schizofrenie. Bij schizofrenie-patiënten werden slechts voorzichtige effecten op slaap gevonden. In patiënten met depressie lijkt acupunctuur de stemming te verbeteren. Dit zou kunnen werken omdat acupunctuur een positief effect op de slaap heeft.

Toevoeging 11 november: dit komt uit een oudere versie van de aankondiging op de website van de Radboud Universiteit, die blijkbaar een paar keer gewijzigd is (een gearchiveerde versie van 28 oktober geeft bijna de tekst die hier geciteerd is, ‘indicaties’ ipv ‘aanwijzingen’)

Als je zoekt naar artikelen van Bosch die vrij toegankelijk zijn, kom je bijvoorbeeld Sleep Ameliorating Effects of Acupuncture in a Psychiatric Population tegen en ook Schizophrenia, Depression, and Sleep Disorders: Their Traditional Oriental Medicine Equivalents. Het proefschrift zelf staat nog onder embargo in de repository van de Universiteit, maar het viel van een digitale vrachtwagen op mijn deurmat en zodoende kan ik bevestigen dat deze artikelen inderdaad (iets aangepast) deel uitmaken van dit proefschrift (hoofdstuk 4 en hoofdstuk 8).

Acupunctuurkaart, (Wellcome Library, London CC BY 4.0 )
Acupunctuurkaart, (Wellcome Library, London CC BY 4.0 )

Het tweede artikel werkte nogal op mijn lachspieren. Het gaat erover dat Westerse diagnoses niet zo een-twee-drie om te zetten zijn in een diagnose volgens de Oosterse tradities (Traditional Oriental Medicine, kortweg TOM). Het is amper te begrijpen dat de auteurs de volgende zinnen als volstrekt serieus te nemen opschrijven, maar nog gekker is het natuurlijk dat de manuscriptcommissie het blijkbaar ook wel best vindt:

In TOM, insomnia and other sleep disorders are caused by a dysfunction of the heart. Worrying, thinking, or feeling distressed can weaken the heart and spleen, leading to Qi and blood deficiency, and failing to nourish the heart and to house the shen, thus causing insomnia. Too much sexual activity weakens the kidneys, and kidney Yin deficiency causes fire, which results in an imbalance of the heart and kidneys, leading to sleep disorders.

Iets serieuzer lijkt het andere artikel, een pilotstudie. Psychiatrische patiënten kregen gedurende twaalf weken wekelijks een acupunctuursessie om te zien of hun slaap daardoor zou verbeteren. De slaapproblemen werden gemeten met vragenlijsten (Pittsburgh Sleep Quality Index) en dat creëert meteen al een probleem. De uitkomstmaten zijn subjectief en je zou van een serieuze onderzoekers mogen verwachten dat ze uiterste voorzichtigheid betrachten met betrekking tot randomisering en blindering. En dat de te verwachten problemen daarbij met acupunctuur in de discussie over de interpretatie van de resultaten een grote rol zouden spelen. Maar niets van dat alles.

In feite zijn het twee losse onderzoeken, een met patiënten die lijden aan schizofrenie, en een met patiënten met een depressie. De acupunctuurgroep kreeg de prikbehandeling telkens in groepjes. Dat moest van de ethische commissie, die was bang dat de deelnemers angstig zouden kunnen worden als ze in hun uppie behandeld werden. De behandeling vond plaats in een relaxte atmosfeer waarin muziek van Enya draaide (dat de ethische commissie dat wel goed vond, zal menig muziekliefhebber verbazen …) Met de controlegroep gebeurde helemaal niets, die stond ‘op de wachtlijst’. In elke groep het schrikbarende hoge aantal van …  acht deelnemers. En die continueerden ook allemaal de normale afspraken bij hun psychiater en de medicatie waarop ze zaten. Er is dus sprake van het door Edzard Ernst gewraakte ‘A+B vs B design’, dat haast vanzelfsprekend louter positieve resultaten geeft (zie No negatives please, we are alternative!).

Resultaten: in beide onderzoekjes vulden de geprikte deelnemers hun PSQI zo in dat er gemiddeld een significant lagere score uitkwam dan ze hadden voor de start van de behandeling. Bij de wachtlijstgroepen gebeurde er niet veel. Alleen al door de bijzonder lage aantallen in het onderzoek en de afwezige opvolging na langere tijd, lijkt de conclusie nogal uit de hand gelopen:

Acupuncture seems able to improve sleep in this convenient sample of patients with long lasting psychiatric problems and may be a suitable and cost-effective add-on treatment for this group, particularly if conducted group-wise.

Ook nog kosteneffectief? Dat zullen Bosch en kompanen er wel bij verzonnen hebben, omdat een aantal deelnemers gedurende deze twaalf weken ook minderde met medicatie.

Waarom de auteurs niet de conclusie trekken dat het allemaal komt door de rustgevende muziek van Enya, of patients’ reporting bias (een bewuste of onbewuste neiging bij de deelnemers om de onderzoekers te plezieren met wenselijke uitkomsten), of überhaupt de extra aandacht die ze kregen, is merkwaardig. Die opties zijn mijns inziens namelijk stuk voor stuk plausibeler gezien de kennis die we opgebouwd hebben na kritische beschouwing van de duizenden onderzoeken naar acupunctuur.  Maar dat soort bedenkingen bij het resultaat worden in een enkel zinnetje afgedaan als zaken die in toekomstig onderzoek aandacht kunnen krijgen,

Bosch schenkt in de inleiding van haar proefschrift wel enige aandacht aan het probleem om een controlegroep bij acupunctuuronderzoek een geloofwaardige nepbehandeling aan te bieden. Maar de opzet van dit onderzoek laat dus zien dat ze er in de praktijk eigenlijk geen enkele moeite voor lijkt te doen om er iets van te maken. Een wachtlijst is hier niet serieus te nemen als controle. Dat bleek ook wel in een vervolgonderzoek met geheel vergelijkbare opzet (hoofdstuk 5, artikel nog onder review voor Explore: The Journal of Science and Healing een dubieus tijdschrift uit de Elsevier-stal). Daarin moesten alle deelnemers (ook die op de wachtlijsten) een logboek bijhouden van hun slaapervaring. 29 van de 40 deelnemers die in de wachtlijstgroepen waren ingedeeld vonden dat al snel te veel moeite en haakten af.

Ik vroeg ook aan professor Edzard Ernst wat hij dacht van dit artikel. Zijn reactie was kort en bondig: ‘very poor design, even worse conclusions’ en daar kan ik het moeilijk mee oneens zijn. Een uitvoerige bespreking van het proefschrift is meer iets voor Skepter, ik zal het hier verder bij laten. Er viel nog wel iets anders op. Aan het einde van haar proefschrift heeft Bosch een lijst met eigen publicaties opgenomen. In deze selectie van 81 artikelen, hoofdstukken uit boeken en conference papers, is er slechts één publicatie waar haar partner Maurits van den Noort niet als (co-)auteur genoemd wordt.

Voor de universiteit levert deze promotie naast de perverse promotiepremie van ruim 90.000 euro, vermoedelijk ook wel een nominatie voor de Meester Kackadorisprijs van de Vereniging tegen de Kwakzalverij op. Cees Renckens kan zijn lijstje in ‘Gun mij toch de eer: ik kwakzalf en ik promoveer‘ vast gaan aanvullen.

Update 5-11-2015: de Vereniging tegen de Kwakzalverij heeft een brief op hoge poten gestuurd aan de rector magnificus van de Radboud Universiteit over deze aanstaande promotie.

29-11-2015: verslag van de promotieplechtigheid

02-01-2015: Een Italiaans artikel gebaseerd op dit KdW-artikel is gepubliceerd.

Filed Under: Gezondheid Tagged With: acupunctuur, depressie, Donders Instituut, Gilles van Luijtelaar, Maurits van den Noort, Peggy Bosch, promotie, schizofrenie, slaapproblemen, Ton Coenen

Gun mij toch de eer: ik kwakzalf en ik promoveer

14 January 2014 by Cees Renckens 42 Comments

Gun mij toch de eer: ik kwakzalf en ik promoveer 5
Cees Renckens schrijft columns voor Kloptdatwel. Van 1988 tot 2011 was hij voorzitter van de Vereniging tegen de Kwakzalverij. Foto: Vivian Oei.

In Groningen promoveerde op 13 januari 2014 de psychiater Rogier Hoenders op een proefschrift over ‘integratieve psychiatrie’.  Dat alternatieve genezers promoveren is niet uniek maar wel vrij zeldzaam. Eerst een korte terugblik op hen, die hem voorgingen.

In juni 2008 promoveerde de Amerikaanse chiropractor Sidney Rubinstein, thans verbonden aan het EMGO van de Vrije Universiteit (VU), op een onderzoek naar de complicaties van de chiropractische behandeling van nekpijn. Deze waren volgens hem erg beperkt en daarom behoefde deze behandelwijze, die volgens hem werkzaam was, niet te worden ontraden. Voor die beweerde werkzaamheid kon hij echter geen goede argumenten verzinnen. Promotor was prof.dr. M. van Tulder, bewegingswetenschapper en epidemioloog.

In december 2010 promoveerde de fysiotherapeut/acupuncturist Ineke Van den Berg – de Lange op The contribution of acupuncture and moxibustion to healthcare; an evidence-based approach. Zij achtte op grond van een ten tijde van het verschijnen van het proefschrift reeds gedateerde en achterhaalde meta-analyse bewezen dat moxabranden op de kleine teen tot correctie van stuitligging naar hoofdligging leidt. Over het werkingsmechanisme produceerde zij wat gebrabbel, dat door de hoogleraar gynaecologie aan dezelfde Erasmus Universiteit als ‘lariekoek’ werd betiteld. Promotores waren prof.dr. M.G.M. Hunink, epidemioloog en dr. J.J. Duvekot, gynaecoloog.

Erik Baars, antroposofisch basisarts, promoveerde  in november 2011 aan de Universiteit Wageningen op A systems biology-orientated treatment of seasonal allergic rhinitis with Citrus/Cydonia comp. Het onderzochte middel is een antroposofisch kruidenmengsel dat wordt ingespoten bij hooikoorts, bestaande uit kweepeer en citroenzuur. Het middel is niet geregistreerd en verboden in ons land. Baars heeft dat verbod genegeerd en maakt ook nergens melding van goedkeuring van zijn onderzoek door een medisch-ethische commissie. Dr. Gerard te Meerman, klinisch epidemioloog, besprak het proefschrift in het Nederlands Tijdschrift tegen de Kwakzalverij (NTtdK) van maart 2012. Hij constateerde dat de artikelen uit het proefschrift niet in peer reviewed tijdschriften zijn gepubliceerd. Het begrip ‘systems biology’ zoals in de biologie gehanteerd, heeft helemaal niets te maken met de curieuze betekenis die er in dit proefschrift aan gegeven wordt. Het is Te Meerman bovendien een raadsel waarom de herhaalde dubieuze niveauwisselingen (tussen erkende, plausibele geneesmiddelen en antroposofische middelen) niet onderkend zijn door de promotores en de leescommissie. Zo lijkt het proefschrift op ‘een documentaire afgewisseld door reclame’. Promotores waren prof.dr.ir. H.F.J. Savelkoul, biochemicus (Universiteit Wageningen) en co-promotor was prof.dr. E.M. Kingma, filosoof (TU Eindhoven).

René Castien, manueel therapeut, promoveerde op 26 september 2013 aan de VU op ‘Manual therapy and chronic tension-type headache: A study into the effectiveness of manual therapy of chronic tension-type headache’. Hij vergeleek de resultaten van manuele therapie (MT) bij spanningshoofdpijn met die van de gemiddelde huisarts en de MT deed het veel beter. Hij bood echter geen MT in engere zin, maar tuigde dit op met twee andere interventies. Het blijft goed mogelijk dat alleen alle aandacht en de ambiance van de MT als ‘theatraal placebo’ (Colquhoun) heeft gewerkt, waartegenover die weinig spectaculaire huisartsenzorg natuurlijk te kampen heeft gehad met een nocebo-effect, dat het natuurlijk beloop nadelig zal hebben beïnvloed. Als er al een conclusie mogelijk is uit dit onderzoek met al zijn beperkingen, dan zou dat moeten zijn dat spierversterkende oefeningen wellicht een gunstig effect kunnen hebben bij spanningshoofdpijn, maar dat houdingsadviezen en zeker manuele handgrepen achterwege kunnen blijven. Een plausibel werkingsmechanisme heeft Castien niet kunnen vinden, maar de ‘mobilisatie’ van de nek was het zeker niet. Promotores waren prof.dr. J. Dekker, gezondheidspsycholoog (VU) en prof.dr. D.A.W.M. van der Windt , eerste lijns epidemioloog (Keele University).

Eric Manheimer, Amerikaans acupuncturist en epidemioloog aan de EMGO, promoveerde in november 2013 op  Systematic reviews in the field of complementary and alternative medicine: importance, methods and examples concerning acupuncture. Vermeulen besprak deze dissertatie in het NTtdK van december 2013 en concludeerde: ‘Samenvattend, heeft de promovendus een zoekstrategie beschreven, een register van methodologisch zwakke trials gemaakt, een aantal Cochrane reviews samengevat waarbij hij geen blijk geeft van inzicht in de betekenis van statistische significantie, de zoveelste inleiding voor het opzetten van systematische reviews geschreven, een naïeve vragenlijst rondgestuurd en drie met andere reviews overlappende systematische reviews aan de literatuur toegevoegd. Hiermee verkreeg hij aan de Vrije Universiteit zijn doctoraat’. Promotores waren prof.dr. L.M. Bouter, bioloog en epidemioloog EMGO (VU), en prof.dr. D.A.W.M. van der Windt, eerstelijnsepidemioloog (Keele University).

Als voorlopig hoogtepunt in deze reeks proeven van bekwaamheid, veelal al te welwillend beoordeeld door promotoren en leescommissies, promoveerde op 13 januari een heuse medisch specialist uit Groningen op de ‘integrative’ psychiatry’, een uit Amerika overgewaaid eufemisme waarmee alternatieve geneeswijzen de reguliere geneeskunde worden binnengesmokkeld. Bij Rogier Hoenders betreft dat vooral boeddhistische technieken, acupunctuur, Chinese en ayurvedische kruiden, ontspanning, spiritualiteit en desgewenst verwijzing naar genezers buiten zijn GGZ-centrum. De kern van de dissertatie wordt gevormd door drie artikelen die zijn gepubliceerd in het Journal of Alternative and Complementary Medicine, een blad waarvan hoofdredacteur dr. K. Jobst zowel homeopaat als acupuncturist is. Het is volgens zijn promotores en rector magnificus prof.dr. E. Sterken echter een regulier peer reviewed tijdschrift en die publicaties kunnen dus gewoon meetellen. Enkele weken voor de 13de januari ontving de Vereniging tegen de Kwakzalverij (VtdK) de uitnodiging om een van de hoogleraren uit haar bestuur te laten opponeren tijdens de promotie. Om vervolgens niet medeplichtig te worden aan de te kwader ure uit te reiken bul, zag het VtdK-bestuur daar van af. Het attendeerde de rector op de bedenkelijke kwaliteit van het proefschrift en verzocht om een herbeoordeling door een minder pro-alternatieve leescommissie.  Binnen twee dagen besliste Sterken dat het proefschrift aan alle eisen voldeed.

Promotores waren prof.dr. P. de Jonge, psycholoog met leeropdracht psychiatrische epidemiologie (Rijksuniversiteit Groningen) en prof.dr. J.T.V.M. de Jong, emeritus transculturele psychiatrie (VU). Zij zijn medeverantwoordelijk voor de forse knauw, die de reputatie van het doctoraat aan de Groningse universiteit met deze ernstige beoordelingsfout heeft  opgelopen. Als het Peerd van Ome Loeks nog had geleefd, dan zou het zich daarvoor alsnog dood geschaamd hebben.

Filed Under: Alternatieve schade, Columns, Gezondheid, Wetenschap Tagged With: Eric Manheimer, Erik Baars, Ineke Van den Berg - de Lange, promotie, René Castien, Rogier Hoenders, Sydney Rubinstein

Primary Sidebar

Steun ons via:
Een aankoopbol.com Partner (meer info)
Of een donatie

Schrijf je in voor de nieuwsbrief!

Skeptic RSS feed

  • Skepsis
  • SKEPP
  • SBM
Skepter 36.1 – Lentenummer 2023
25 February 2023 - SkepsisBlogBeheerder
Skepter 36.1 – Lentenummer 2023

De eerste Skepter van 2023 is eergisteren van de drukker gekomen en zit in de verzending. Hij zal ergens komende week wel bij abonnees en donateurs bezorgd worden. Weer veel moois in dit nummer. Herkent u zich in het portret hier rechts? Dit is volgens de kunstmatig intelligente plaatjesgenerator DALL·E hoe een skepticus eruitziet. Gert Jan van ’t ... Meer lezen Het bericht Skepter 36.1 – Lentenummer 2023 verscheen eerst op Skepsis Blog. [...]

Skepter 35.4 – Winternummer 2022
1 December 2022 - Pepijn van Erp
Skepter 35.4 – Winternummer 2022

Brengen genetici de mammoet, de dodo en de buidelwolf weer terug? Komt kernfusie er sneller dan velen denken? Het nut van sciencefiction als lesmateriaal. Een interview met pendelwinnaar Marieke Kuypers, en nog veel meer in dit nummer. Het bericht Skepter 35.4 – Winternummer 2022 verscheen eerst op Skepsis Blog. [...]

Piramidependelprijs voor Marieke Kuypers en Diederik Jekel feliciteert Skepsis met 35-jarig bestaan
20 November 2022 - Pepijn van Erp

Marieke Kuypers onderscheiden door Skepsis voor haar video's op TikTok en Diederik Jekel feliciteert Skepsis met een feestrede met het 35-jarig bestaan Het bericht Piramidependelprijs voor Marieke Kuypers en Diederik Jekel feliciteert Skepsis met 35-jarig bestaan verscheen eerst op Skepsis Blog. [...]

Komeet van Halley in “Het verhaal van Vlaanderen”?
13 February 2023 - Paul De Belder

De aflevering van ‘Het verhaal van Vlaanderen’ over de Guldensporenslag heeft ongetwijfeld de meeste commentaar opgewekt. Ook vanuit de astronomie valt er kritiek op te leveren. Inderdaad begon de bewuste aflevering met een voorstelling van de komeet van Halley.  Bij het kijken dacht ik heel even dat ik in een documentaire over sterrenkunde en niet over geschiedenis zat. Maar meteen werd de band duidelijk. [...]

Desmet dwaalt, draait en duikt
9 January 2023 - Paul De Belder

Hoewel de uitspraken van Desmet over de coronamaatregelen al langer op veel kritiek van factcheckers stuiten, kwam hij pas recentelijk echt flink in opspraak. Op een tournee langs verschillende Amerikaanse talkshows en podcasts om de Engelse vertaling van zijn boek te promoten, was hij ook te gast bij Infowars, de show van Alex Jones. Het optreden bij deze veroordeelde complotdenker en het doen van nogal stellige uitspraken over openhartoperaties onder hypnose waren de aanleiding voor een hausse aan kritische artikelen in de Vlaamse media. [...]

QAnon
26 October 2022 - Ledenadmin Skepp

In de herfst van 2016 verspreidde zich het gerucht dat de Amerikaanse Democratische Partij vanuit de kelder van een pizzeria in Washington D.C. een pedofielennetwerk organiseert. De pizzeria met de grappige naam Comet Ping Pong was allesbehalve willekeurig gekozen. Met zijn eigenzinnige atmosfeer is het een hotspot voor excentriekelingen: punkers, holebi’s, kunstenaars, outsiders en linksen1. Het was een voor de hand liggend doelwit voor mensen uit de alt-rightbeweging2,die vatbaar zijn voor complotdenken. [...]

Ivermectin is now fast becoming the new MMS
20 March 2023 - David Gorski

A recent VICE story described a Telegram channel devoted to promoting veterinary ivermectin to treat autism. It has echoes of autism quackery going back at least to the use of MMS (a kind of bleach) to "cure" autism by eliminating "parasites." The post Ivermectin is now fast becoming the new MMS first appeared on Science-Based Medicine. [...]

Science-Based Satire: Florida Authorities Report First Case of Mosquito-Borne Fentanyl Overdose
17 March 2023 - Clay Jones

Can a mosquito bite result in a fentanyl overdose? Will police soon be fitted with wearable naloxone pumps? Can fentanyl be detected by a handheld electronic device? The answer...is no. This is merely more nonsense cooked up in the mind of someone who probably should stick to his day job. The post Science-Based Satire: Florida Authorities Report First Case of Mosquito-Borne Fentanyl Overdose first appeared on Science-Based Medicine. [...]

Sleep and Vaccination Response
15 March 2023 - Steven Novella

A meta-analysis finds a non-significant trend in decreased antibody response with poor sleep. What is the significance? The post Sleep and Vaccination Response first appeared on Science-Based Medicine. [...]

Recente reacties

  • Hans1263 on De linke weekendbijlage (11-2023)Bij mijzelf is er overduidelijk sprake van een complex systeem van bloeddoorstroming in mijn ongelovige frontaalkwab, maar ja, N=1... Ik
  • Klaas van Dijk on De linke weekendbijlage (10-2023)Ondertussen heeft Bart Klink een uitgebreide nabeschouwing gepubliceerd over zijn debat met de jonge-aarde creationist Pieter Borger. Zie ht
  • Richard Rasker on De linke weekendbijlage (11-2023)Zie ook https://www.vice.com/en/article/z3mb89/ivermectin-danny-lemoi-death en https://sciencebasedmedicine.org/ivermectin-is-now-fast-becom
  • Satria on De linke weekendbijlage (11-2023)bij ongelovigen zijn die kwabjes al maximaal....
  • Hans1263 on De linke weekendbijlage (11-2023)Zelf knutselen met geneesmiddelen is in het algemeen niet ongevaarlijk. Als je leest wat mensen met ivermectine uithalen, is het

Archief Kloptdatwel.nl

Copyright © 2023 · Metro Pro on Genesis Framework · WordPress · Log in