Kloptdatwel?

Gezondheid

Speelt de Q-koortsbacterie verstoppertje?

by 2 Comments

Tussen 2007 en 2011 werden tienduizenden personen in ons land getroffen door Q-koorts. Zo’n duizend van hen hebben nog steeds klachten die inmiddels met de term ‘Q-koortsvermoeidheids-syndroom’ (QVS) worden aangeduid. Vooralsnog kunnen medici voor deze groep helaas niet veel meer bieden dan cognitieve gedragstherapie, wat meteen verklaart waarom alternatieve behandelaars op dit gebied mogelijkheden zien voor hun soms fantasievolle behandelingen. Een van hen is Leendert Kunst, een 83-jarige alternatieve arts, met zijn autovaccinatietherapie. Hierbij wordt bloed afgenomen van een patiënt dat een tijdje op lichaamstemperatuur wordt bewaard – zodat het helemaal uit elkaar valt – en daarna om de twee weken weer ingespoten bij de patiënt zelf. Beetje vreemd, of niet?

Het Radboud UMC waarschuwde begin 2018 tegen deze behandeling, vooral omdat het bewaren van bloed uiterst zorgvuldig moet gebeuren en dat de risico’s die daaraan verbonden zijn als dat niet onder streng gecontroleerde omstandigheden gebeurt, niet opwegen tegen de vermeende voordelen. Want dat die autovaccinatietherapie zou werken, is uiterst twijfelachtig. Er is in ieder geval nog geen enkel wetenschappelijk bewijs voor. Kunst was verbolgen over de berichtgeving en spande een proces aan tegen het ziekenhuis en internist Chantal Bleeker, die hierover in de media uitspraken had gedaan.

Vorige week besloot de rechter in een tussenvonnis dat het ziekenhuis niet hoeft te rectificeren:

Het ziekenhuis heeft op dit moment voldoende uitgelegd waarom de behandeling gevaarlijk kan zijn. De effectiviteit en veiligheid van de behandeling is nog niet op wetenschappelijk verantwoorde wijze onderzocht. Het ziekenhuis is niet verantwoordelijk voor de wijze waarop haar waarschuwing door de media is gepresenteerd.

Het Nederlands Tijdschrift voor Geneeskunde besteedde vorige week ook aandacht aan deze zaak en gaat in meer detail in op die autovaccinatietherapie van Kunst. Het idee berust op de hypothese dat de Q-koortsbacterie, Coxiella burnetii, zich weet te verstoppen als ‘L-vorm’. In die vorm zou de bacterie het immuunsysteem (en antibiotica) van zich af weten te houden, maar toch voor klachten kunnen zorgen. Met de autovaccinatie zou je het imuunsysteem kunnen leren om de bacterie in die L-vorm wel te herkennen, omdat de delen waarin die bacterie door de behandeling uiteen valt wel herkend worden. Of zoiets. Maar met de plausibiliteit lijkt het meteen in het begin al mis te gaan:

Het is echter lang niet zeker dat C. burnetii doorleeft als L-vorm. Kunst publiceerde over de mogelijkheid om bacterieel RNA van levende L-vormen in witte bloedcellen aan te tonen met ‘fluorescent in situ hybridisation’ (FISH). Van der Meer betwist die vondst: ‘De publicatie van Kunst toont niet overtuigend aan dat er specifiek RNA in monocyten bij QVS-patiënten zit – om van levende micro-organismen maar niet te spreken.’ Overigens gebruikte Kunst vóór de FISH-test donkerveldmicroscopie van het perifere bloed om patiënten te selecteren. Van der Meer: ‘Het behoeft geen betoog dat het onmogelijk is C. burnetii hiermee te identificeren.’

Jos van der Meer, emeritus hoogleraar interne geneeskunde, is dus niet bepaald overtuigd door die publicatie van Kunst. Dat artikel is overigens van zeer recente datum, mei 2019, dus van na de aanleiding voor de rechtszaak. Het gaat om: The Presence of Intracellular Coxiellae burnetii as Polymorphic Cell Wall Deficient Bacteria in the Blood of Patients with Q-Fever Fatigue Syndrome Determined Using FISH Technology dat Kunst samen schreef met Gijs Jansen en Bertil de Klyn.
Er vielen mij wat zaken op toen ik het artikel bekeek:

Het is gepubliceerd in Journal of Medical Microbiology & Diagnosis, een tijdschrift uit de stal van OMICS Publishing Group dat bekend staat als een uitgever van rooftijdschriften, predatory open access. De Amerikaans overheid heeft zelfs een rechtszaak aangespannen tegen OMICS vanwege misleiding, onder andere omdat de peer review van de tijdschriften niets zou voorstellen.

Dat laatste verklaart misschien ook meteen waarom het artikel zo snel gepubliceerd werd na inzending: “Received May 07, 2019; Accepted May 23, 2019; Published May 30, 2019”. Lekker vlot.

Derde auteur, Bertil de Klyn, is een 73-jarige arts die werkt via zijn Centrum voor Holistische Geneeskunst waar hij een hele reeks van onzinnige behandelingen in zijn arsenaal blijkt te hebben. Op de site van de Vereniging tegen de Kwakzalverij kwam hij ook al eens langs.

Het onderzoek is uitgevoerd met een apparaat, de Biotrack-MED, waar maar bar weinig over te vinden is. “The analyses were based on patented and proprietary methods and technologies of Biotrack as incorporated in an autonomous analyzer with the brand name Biotrack-MED Mark-2 using standard settings.”  In een presentatie van het bedrijf Biotrack van oktober 2017 [pdf] wordt het analyseren van bloedmonsters op de Q-koortsbacterie nog helemaal niet genoemd. Wel kun je er lezen dat ze bezig zijn met het ontwikkelen “van diagnostiek van pathogenen die een ‘slapende status’ kennen.” wat op de test zou kunnen duiden die ze hier hebben ingezet.
Alleen voor het detecteren van E-coli lijkt er sprake van een onafhankelijke validatie (ISO), maar het lijkt me sterk dat zoiets ook voorafgaande aan het onderzoek gedaan is voor de gebruikte test voor de Q-koortsbacterie, die zou dan in minder dan een jaar ontwikkeld en getest moeten zijn. Of die Biotrack-MED Mark-2 door onafhankelijke wetenschappers is gevalideerd, lijkt me een belangrijke vraag, ook omdat ik vond dat Biotrack nog maar pas een Europese subsidie voor de verdere ontwikkeling heeft binnengesleept.

De tweede auteur van de studie, Gijs Jansen, blijkt werkzaam bij Biotrack en is patenthouder van een aantal apparaten voor analyses van biologische stoffen. Meer dan hetzelfde adres als Biotrack geeft hij echter niet op in het artikel. Dat adres is Agora 4, Leeuwarden, wat misschien verklaart waarom Kunst op zijn eigen website schrijft dat het artikel samen met “Gijs Jansen van laboratorium Agora” tot stand is gekomen. Wie wat achterdochtig ingesteld is, zou evenwel denken dat hier een conflict of interest wordt verzwegen.

Speelt de Q-koortsbacterie verstoppertje? 1
fig 2 uit artikel Kunst et al.

Het apparaat maakt plaatjes zoals je er hier rechts een ziet. Je zou de indruk krijgen dat ze daadwerkelijk die L-vormen hebben ‘gezien’ in macrofagen, maar hoe zeker is dat? Mijns inziens is het ook een beetje suf dat ze er geen plaatje van een ‘gezonde’ macrofaag van de controlegroep bij hebben gezet. Het herkennen van deze ‘geïnfecteerde macrofagen’ gaat overigens geheel automatisch in het systeem van Biotrack, daar zit heel wat beeldherkenningsalgoritmen met neurale netwerken achter.

Er staat ook niets over de blindering van de monsters in het artikel (alleen dat ze geanonimiseerd zijn). En we moeten er ook maar helemaal op vertrouwen dat Kunst de selectie precies zo heeft gedaan als ze opschrijven en niet per ongeluk bloed heeft afgenomen bij personen met acute of chronische Q-koorts waarbij het niet zo vreemd zou zijn dat je met deze methode een sterk signaal ziet.

Het artikel meldt aan het einde dat het fiancieel mede mogelijk is gemaakt door de Hubregtse Research Foundation. Dat blijkt een stichting die onderzoek naar allerlei alternatieve behandelingen steunt. Denk dan aan homeopathie, acupunctuur, antroposofische geneeskunde, en ook natuurgeneeskunde, waar dit specifieke onderzoek onder geschaard wordt, wat de enige tot nu toe vermelde publicatie is op de website. Uit de financiële verantwoording valt op te maken dat er over 2017 en 2018 ongeveert 16.500 euro overgemaakt is aan Biotrack.
O ja, die Bertil de Klyn zit in het bestuur van deze stichting.

De Inspectie voor de Gezondheidszorg heeft zich op het standpunt gesteld dat de methode van Kunst niet onder de wet medisch-wetenschappelijk onderzoek valt en gezien moet worden als een experimentele behandeling, waarbij ze niet hoeft in te grijpen, omdat het – kort door de bocht – niet al te risicovol zou zijn en het al zo lang goed gaat. Die mijns inziens vreemde redenering gaat dan misschien juridisch gezien op voor de behandeling van individele QVS-patiënten door Kunst, maar hier gaat het toch om een onderzoek met wetenschappelijke pretentie. Hoewel het maar om bloedafnames gaat, kan dat volgens mij niet zonder goedkeuring van een medisch ethische toetsingscommissie en van een dergelijke goedkeuring staat niets in het artikel en vond ik ook geen spoor in het register.

Uit de uitspraak van de rechtbank valt op te maken dat Kunst in 2017 eigenlijk had bedacht om samen met het Radboud UMC een onderzoek op te zetten naar zijn autovaccinatiebehandeling. “Jansen  heeft inmiddels een plan opgesteld om vooruitlopend op het eventuele universitaire onderzoek een pilot bij 10 chronische Q-koorts patiënten. Dat definitieve plan komt er één dezer dagen aan en daarvoor bestaat financiële dekking van een onderzoeksfonds. We hebben dan – liefst tegelijkertijd – 10 mensen uit de Q-supportgroep nodig die daaraan willen meewerken.”, schrijft hij aan Alfons Olde loohuis die als huisarts als een van de eerste aan de bel trok ten tijde van de Q-koortsepidemie en nu medisch adviseur van Q-support is. Die moest Kunst echter wat later teleurstellen, want prof Mihai Netea wees de behandeling van de hand: te gevaarlijk, met name vanwege het risico op auto-immuun problemen.

Wel gaf Bleeker begin 2018 in de media aan te willen kijken naar de bruikbaarheid van die FISH-test (die in eigen onderzoek ook wel is toegepast), maar gezien de publicatie van het artikel hebben Kunst cs. daarop niet gewacht en zijn op eigen houtje aan de gang gegaan in de loop van dat jaar.
Uit het artikel wordt niet echt duidelijk of de tien patiënten ook de autovaccinatiebehandeling hebben ondergaan (het onderzoek zelf gaat alleen maar om de mogelijke diagnostische waarde van de test). Er staat: “the administration of antimicrobial agents, and other therapeutic management was controlled by the patient’s physician and not the researchers.”, maar om wat voor antimicrobial agents zou het dan kunnen gaan als het om patiënten gaat met de diagnose QVS, waarvoor immers geen reguliere behandeling in dergelijke vorm bestaat? Toen het opzetten van een gezamelijk onderzoek met het Radboud UMC in 2017 van tafel was geveegd, zocht Kunst begin 2018 wel tien QVS-patienten, die hij aanbood om voor de helft van de kostprijs te behandelen. Zou het misschien toch om dezelfde personen kunnen gaan?

Ik heb zowel Kunst als Biotrack vorige week herhaaldelijk om toelichting gevraagd per mail, maar die mailtjes bleven tot dusver onbeantwoord. (*)

* Aanvulling 29 september 2019

Kunst stuurde alsnog antwoorden op de vragen die ik hem had gesteld. Wat betreft mijns inziens de belangrijkste kwestie – of er medische ethische toetsing vereist is voor zo’n onderzoek – stelt hij: “Ik ging ervan uit, dat een pilot studie als deze, waarbij het alleen gaat om een diagnostische methode, niet WMO plichtig is.” Ik zal die vraag ook nog neerleggen bij de Centrale Commissie Mensgebonden Onderzoek.
Het bloed is volgens Kunst afkomstig van patiënten waarbij het Radboud UMC heeft geconstateerd dat (op basis van de meer gangbare serologische tests) er geen aanwezigheid van de Q-koortsbacterie meer kan worden vastgesteld.

Over de publicatie in het tijdschrift schrijft Kunst dat er geen peer review rapporten zijn afgegeven. Onder de indruk van mijn opmerkingen dat er duidelijke redenen zijn om het tijdschrift dubieus te noemen, lijkt hij niet: “de impact ratio is gunstig en rechtszaken zijn er zo veel.” Wat betreft het mogelijke conflict of interest van Jansen laat Kunst het in het midden: “Er is geen conflict of interest vermeld bij het artikel. Dus ook niet dat het er niet is.”

Naschrift 25 november 2019

Het duurde even, maar uiteindelijk kreeg ik vandaag antwoord van CCMO op mijn vragen of het onderzoek van Kunst eigenlijk niet WMO-plichtig was. Omdat het bloed van de patiënten door Kunst afgenomen was “in het kader van klinische diagnostiek”, zou dat deel niet WMO-plichtig zijn. Voor het afnemen van het bloed van de controle groep kon CCMO dat niet bepalen, omdat de herkomst niet duidelijk is geworden. Conclusie: “Als gevolg hiervan hebben we niet kunnen vaststellen of het onderzoek (in zijn geheel) al dan niet WMO-plichtig is.”
Het bevreemdt me wel, blijkbaar is er nu naast de categorieën ‘WMO-plichtig’ en ‘niet WMO-plichtig’ ook onderzoek mogelijk waarvan de status niet vast te stellen is.

Eerste Australische rapport over homeopathie vrijgegeven

by 1 Comment

In 2015 kwam de Australische National Health and Medical Research Council  (NHMRC) met zijn vernietigende rapport over homeopathie. De conclusie daarvan luidt dat er voor geen enkele aandoening serieus bewijs is dat de schudverdunde remedies effectief zijn. Het werd o.a. door prof Edzard Ernst geprezen: The final verdict on homeopathy: it’s a placebo. Het is niet zo vreemd dat homeopaten wereldwijd, met name die in Australië natuurlijk, proberen het rapport onderuit te halen, op welke grond dan ook. Ze hebben nu een kleine overwinning behaald: het zogenaamde ‘first report’ is vrijgegeven.

Belangrijkste argument dat de homeopaten naar voren wisten te brengen, was niet een inhoudelijke kritiek op de oordelen in het rapport, maar een klaagzang dat het niet eerlijk tot stand zou zijn gekomen. Er zou namelijk een eerder rapport zijn geschreven (in 2012) in opdracht van NHMRC dat veel positiever had geoordeeld over homeopathie. Dat rapport zou echter achterover gedrukt zijn, juist omdat het positief was over homeopathie. De opdracht was snel aan een andere onderzoeksgroep toegewezen met de opdracht kritischer te zijn.

NHMRC gaf toe dat de opdracht eerder was uitgezet, maar vertelde dat het contract met de desbetreffende onderzoeksgroep was opgezegd en dat er dus nog geen definitief rapport uit was voortgekomen. De organisatie zag geen reden om die conceptversie alsnog te publiceren.
De homeopaten starten vervolgens een campagne om dat ‘first report’ gepubliceerd te krijgen. O.a. begonnen ze een procedure om het vrij te laten geven via de Commonwealth Ombudsman en kregen met wob-verzoeken het een en ander aan communicatie over het werk aan dat ‘first report’ boven tafel. Nucheckt heeft het tot zover ook al eens uiteengezet in: Onwaarschijnlijk dat onderzoek werking homeopathie aantoont.

De procedure bij de Ombudsman is niet afgelopen, hoewel een oordeel eigenlijk dit voorjaar verwacht werd. Inmiddels waren ze bij NHMRC blijkbaar van gedachten veranderd en hebben ze het rapport met aantekeningen op 20 augustus jl. alsnog gepubliceerd; het is van hun site te downloaden. We kunnen nu dus zien of dat rapport inderdaad zo positief was over homeopathie, wat de begeleidingscommissie er voor commentaar op had, en voor ons zelf bepalen of dat terecht was.

In het voorwoord legt prof Anne Kelso nog even uit hoe het precies zit met dit conceptrapport:

Eerste Australische rapport over homeopathie vrijgegeven 2

Wat voor ons het meest interessant is, is voor welke aandoeningen dit conceptrapport wel iets zag in homeopathie. Op pagina viii van de managementsamenvatting staat het volgende en let op het commentaar in de blauwe tekst en de rode pijlen:

Eerste Australische rapport over homeopathie vrijgegeven 3
In het ‘first report’ wordt ‘bemoedigend bewijs’ gevonden voor homeopathie voor vijf aandoeningen. Maar dat de term ‘bemoedigend bewijs’ helemaal niet is gedefinieerd, is een belangrijk kritiekpunt.

Voor vijf aandoeningen vond die eerste onderzoeksgroep dus ‘bemoedigend bewijs’, wat dat ook mag inhouden. Voor die vijf aandoeningen kijken we wat de verschillen zijn in het nooit afgemaakte ‘first report’ en het officiële NHMRC rapport uit 2015 (download daarvoor dit document).

Fibromyalgie

(in het conceptrapport moeten we op pagina 70 zijn, in het NHMRC-rapport op pagina 92)

First report: “There is encouraging evidence to suggest that homeopathy may have benefits in the treatment of fibromyalgia. However further research is required to clarify the benefits, and it should attempt to address the biases identified in the primary studies included in the reviews (Grade C).”

NHMRC: “Based on the body of evidence evaluated in this review there is no reliable evidence that homeopathy is more effective than placebo for the treatment of people with fibromyalgia.”

Uit het commentaar op ‘first report’ valt op te maken dat de auteurs daarvan niet doorhadden dat de gevonden systematische reviews eigenlijk op dezelfde set van onderliggende studies neerkwamen en dat er niet veel meer bewijs was dan één review, die ze ook nog eens te positief beoordeeld hadden. De beoordeling zou waarschijnlijk eerder ‘D’ dan ‘C’ moeten zijn.
In het NHMRC rapport maken de auteurs die fouten niet en nemen ook niet zomaar aan dat auteurs van de reviews (vaak homeopaten) hun werk wel goed gedaan hebben en kijken dus zelf naar de onderliggende studies en de kritieken daarop.

Otitis media (middenoorontsteking)

(in het conceptrapport moeten we op pagina 118 zijn, in het NHMRC-rapport op pagina 29)

First report: “One good qualtity, recent, comprehensive key systematic review reporting on six primary experimental studies (seven papers) of varying design and quality, reporting on at least 562 children with otitis media, indicates that there is consistent positive evidence that individualised homeopathy is effective for the treatment of otitis media in children (Grade C).”

NHMRC: “Two systematic reviews of poor and medium quality identified one small randomised controlled trial (good quality; 75 participants) that compared homeopathy with placebo for the treatment of children with acute otitis media. LOC: Low.
Based on only one small study there is no reliable evidence on which to draw a conclusion about the effectiveness of homeopathy compared to placebo for the treatment of children with acute otitis media.”

Het Homeopathy Working Committee merkt in het commentaar op de ‘first report’ op dat ze het aantal studies verkeerd hebben (zes ipv vier) en verschillende vormen van bias negeren. De beoordeling zou dan ook geen Grade C mogen zijn, maar lager.

Post-operatieve ileus

(in het conceptrapport moeten we op pagina 125  zijn, in het NHMRC-rapport op pagina 45)

First report: “One good quality, non-recent meta-analysis of six primary RCTs of 1082 subjects provides encouraging evidence of the effectiveness of homeopathy in reducing time to first flatus in postoperative patients when administered immediately after surgery. There is no indication of which homeopathic medicines are most appropriate (Grade C).” [het gaat dus om de eerste windjes na een operatie die een darmobstructie verhelpt]

NHMRC: “Two of the systematic reviews conducted meta-analyses that found a significant difference in favour of homeopathy, but both meta-analyses included a number of poor quality studies with a high risk of bias. The one large, good-quality trial (600 participants) did not detect a difference between homeopathy and placebo in the treatment of postoperative ileus. LOC: Moderate.
Based on the body of evidence evaluated in this review homeopathy is not more effective than placebo for the treatment of people with postoperative ileus.”

Blijkbaar misten de auteurs van het ‘first report’ twee systematic reviews. In het commentaar staat dat ze geen aandacht gaven aan het feit dat drie van de onderliggende studies niet peer reviewed waren en ook hier wordt het oordeel ‘C’ te hoog bevonden, omdat ze de beperkingen van de meta-analyse die de auteurs ervan zelf aangaven niet meenemen.

Bovenste luchtweginfecties bij volwassenen

(in het conceptrapport moeten we op pagina 139 zijn, in het NHMRC-rapport op pagina 207)

First report: “Adults: Of 15 studies of total 2020 adults, homeopathy has variable effectiveness dependent on the diagnosis, as outlined below (Grade C).” [gevolgd door een uitsplitsing naar meer specifieke aandoeningen als hoesten, griep, sinusitis enz]

NHMRC: “Based on the body of evidence evaluated in this review there is no reliable evidence that homeopathy is as effective as the other therapies for the treatment of people with upper respiratory tract infection.”

Het andere oordeel van het NHMRC rapport komt vooral door een serieuzere inschatting van de kwaliteit van het bewijs. In de kantlijnen van het ‘first report’ vinden we onder meer de opmerking dat de auteurs consistency met clinical impact verwarren. En ook hier is het oordeel dat de krappe ‘C’ eerder een ‘D’ moet zijn.

Maar eigenlijk is ook het NHMRC rapport nog veel te mild, want wie in detail naar de onderliggende studies kijkt, ziet dat het echt een zooitje is. Lees daarvoor het artikel van Jan Willem Nienhuys op het Skepsis-blog van een paar jaar geleden: Homeopaten juichen over ‘Zwitserse’ rommel, waarin o.a. de verdachte onderzoeken naar Oscilloccocinum worden doorgelicht.

Bijwerkingen van behandelingen van kanker

(in het conceptrapport moeten we op pagina 40 zijn, in het NHMRC-rapport op pagina 255)

First report: “One good quality, recent review of 644 individuals in eight variable-quality primary experimental studies indicated encouraging evidence for topical calendula for prophylaxis of acute dermatitis during radiotherapy, and for Traumeel S mouthwash in the treatment of chemotherapy-induced stomatitis. There is no convincing evidence for the efficacy of homeopathic medicines for any other adverse effects of cancer treatment (Grade C).”

NHMRC: “Based on only one very small poor quality study there is no reliable evidence on which to draw a conclusion about the effectiveness of homeopathy compared to placebo for the treatment of the adverse effects of venous cannulation in people undergoing chemotherapy.” – “Based on only one small study of unknown quality there is no reliable evidence on which to draw a conclusion about the effectiveness of homeopathy compared to placebo for the treatment of people with chemotherapy-associated nausea/vomiting.” – “Based on the body of evidence evaluated in this review there is no reliable evidence that homeopathy is more effective than placebo for the treatment of people with chemotherapy-induced stomatitis.” – “Based on the body of evidence evaluated in this review there is no reliable evidence that homeopathy is more effective than placebo for the treatment of hot flushes in women with a history of breast cancer.”- Based on only one small study there is no reliable evidence on which to draw a conclusion about the effectiveness of homeopathy compared to placebo for the treatment of radiodermatitis in women with breast cancer undergoing radiotherapy.”

In het commentaar op het “first report” staat o.a. dat het met dat (nog altijd niet gedefinieerde) ‘bemoedigende’ bewijs voor calendula wel iets anders zat dan de auteurs suggereren, positief resultaat voor calendula werd alleen gevonden in één van die acht studies (N=254), net als voor Traumeel S (N=32). Kortom ook hier vond het Homeopathy Working Committee dat de beoordeling op zijn minst naar ‘D’ moest worden verlaagd.

Conclusie

Dat er in het ‘first report’ wat positievere uitspraken staan voor homeopathie bij een aantal aandoeningen klopt op zich wel, maar de kritiek van het Homeopathy Working Committee lijkt me zeer concreet en terecht. Vaak gaat het niet eens om een verschil van inzicht, maar blijkt dat de opstellers van dat conceptrapport gewoon niet goed gezocht en geteld hebben. Wat ze met die kritiek gedaan zouden hebben als ze die hadden kunnen verwerken tot een eindrapport zullen we nooit weten.
Duidelijk is ook dat het echte NHMRC rapport uit 2015 veel gedetailleerder is en dieper gaat dan het napraten van de meta-analyses en systematic reviews die vaak opgesteld zijn door personen waarvan een zekere liefde voor homeopathie wel bekend is.

Het is volgens mij verstandig geweest van de NHMRC om dit ‘first report’ in deze vorm vrij te geven, het geeft ook inzicht hoe zo’n rapport tot stand komt. Pas als zo’n rapport in definitieve vorm is geaccepteerd door de opdrachtgever kun je er eigenlijk conclusies aan verbinden. Hier zien we work in progress, waarbij de kwaliteit van de ingehuurde onderzoeksorganisatie duidelijk regelmatig te wensen over laat.

De homeopaten zullen de komende weken waarschijnlijk hun eigen spin aan dit matige conceptrapport geven. Ze zullen misschien wel opmerken dat de commentaren van het Homeopathy Working Committee niet onbevooroordeeld waren, of zoiets.
Het Homeopathy Research Institute merkt vast op heel blij te zijn met de opheldering van Kelso in de brief voorafgaand aan het ‘first report’. Zij schrijft volgens hen dat het NHMRC rapport uit 2015 “did not conclude that homeopathy was ineffective”, wat zij laten volgen door: “despite claims to that effect in media reports and by anti-homeopathy campaigners”. Het zal niet verbazen dat Kelso zelf het niet over anti-homeopathy campaigners had, het volledige citaat is:

NHMRC strongly encourages interested members of the community to refer to the 2015 NHMRC Information Paper: Evidence of the effectiveness of homeopathy for treating health conditions. Contrary to some claims, the review did not conclude that homeopathy was ineffective. Rather, it stated that “based on the assessment of the evidence of effectiveness of homeopathy, NHMRC concludes that there are no health conditions for which there is reliable evidence that homeopathy is effective.”

Wat alleen maar een wetenschappelijk correcte nuancering is van de kort-door-de-bocht vertaling van de conclusie dat het rapport bewijst dat homeopathie niet werkt.

Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd

by 43 Comments

Onderzoekers van het Erasmus Medisch Centrum bekeken wat er zoal aan wetenschappelijk onderzoek is gepubliceerd over het inzetten van muziek om pijnbestrijding te verbeteren bij operaties. De conclusie van hun meta-analyse is dat patiënten als ze naar muziek luisteren tijdens de operatie minder pijnstillers nodig hebben. In de berichtgeving komt telkens een opvallend detail naar voren: met heavy metal zou het niet werken!

Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd 4‘Met muziek tijdens operatie minder pijnstillers nodig, maar heavy metal werkt niet’ schrijft de NOS. En in de NRC: “De kans op bijwerkingen en langdurig gebruik van pijnstilling neemt hierdoor ook af, concluderen de onderzoekers. Heavy Metal en hardrock blijken niet te werken.” [update 20/8/2019: NRC heeft het bericht inmiddels ook aangepast na mijn opmerkingen].
Bij RTL Nieuws hebben ze een paar mensen gevonden die daar vraagtekens bij hebben, die kwamen er naar eigen zeggen juist sneller bovenop door de stevige muziek.

De berichtgeving is telkens grotendeels gebaseerd op een eigen nieuwsbericht van het Erasmus MC: Met Chopin onder het mes. Daarin wordt het onderzoek dat gepubliceerd is in het tijdschrift Annals of Surgery toegelicht, maar staat ook de volgende paragraaf:

Heavy metal

De onderzoekers ontdekten dat bij sommige muziek het gunstige effect niet optreedt. Heavy metal blijkt niet te werken. Een bepaald type hardrock evenmin. Jeekel: “Er zijn aanwijzingen dat de muziek aan bepaalde voorwaarden moet voldoen. Er moet een zeker ritme in zitten dat aansluit bij het hartritme, er moeten harmonieën zijn en pauzes. In sommige muziek zit dat niet. Dan werkt het niet goed.
Jeekel wil graag verder onderzoek doen om te bepalen welke muziek het beste resultaat geeft. “Misschien ontdekken we een algemene structuur en kunnen we die muziek dan componeren.”

Hans Jeekel, emeritus hoogleraar chirurgie, kwamen we op Kloptdatwel al eerder tegen. Hij schreef mee aan een nogal mager ZonMW-rapportje over ‘evidence-based complementaire zorg’, waarbij hij in de pers merkwaardige uitspraken deed over homeopathie. En onze columnist Cees Renckens schreef nog niet zo lang gelden weinig vertrouwen te hebben in eerder onderzoek van Jeekel naar de effecten van muziek onder volledige narcose.

Meta-analyse

Ik was wel nieuwsgierig waarom in het stuk van Erasmus MC zo stellig stond dat heavy metal (en een ander bepaald type hardrock) niet zou werken. Het is geen citaat, maar het leek me waarschijnlijk dat de auteur dit ook wel uit de mond van Jeekel had opgetekend. Vol goede moed besloot ik het artikel in Annals of Surgery door te nemen. Al snel kwam ik erachter dat daar de termen ‘heavy metal’ of ‘hardrock’ helemaal niet in voorkomen. Maar goed, dacht ik, het is een meta-analyse, misschien is het een conclusie uit een van de onderliggende studies die opgevallen was, maar niet apart vermeld in het artikel.
De onderliggende studies zijn nogal verschillend van opzet. Omdat ik me niet zo goed kon voorstellen dat onderzoekers patiënten aan heavy metal zouden blootstellen zonder dat die daar zelf om hadden gevraagd, besloot ik alle studies te bekijken waarbij er sprake was van een keuze voor specifieke muziek door de proefpersonen zelf. Dan bleven er nog iets van vijftien over, waarvan ik de meeste vrij gemakkelijk kon vinden (van één onderzoek ontbreekt de referentie, maar kon ik wel achterhalen; van twee andere kon ik geen pdf vinden). In slechts twee van die studies staat dat er ook rockmuziek is gebruikt (in één geval wordt specifiek Metallica genoemd), maar uit die studies blijkt geen verschil.

Hans-Joachim Trappe

Ik mailde Jeekel daarom maar eens om te vragen waar het negatieve oordeel over heavy metal op gebaseerd is. Hij zou er op terugkomen en deed dat ook, zie verderop in dit stuk. Intussen was ik op Twitter via Leo Blokhuis op een ander spoor gezet. De bekende hoogleraar neuropsychologie Erik Scherder had in een interview iets gezegd over heavy metal, maar dat was al heel wat genuanceerder en had niet direct betrekking op het gebruik tijdens operaties.
Sowieso valt op dat als je met trefwoordcombinaties als ‘heavy metal music health effects’ zoekt, je best veel onderzoek vindt. Meestal gaat het echter om psychologisch onderzoek zonder dat er fysiologische effecten zijn gemeten (of waarbij er op dat vlak geen verschillen waren te zien), gaat het om heel kleine groepen en zijn de resultaten voor heavy metal voor het welbevinden eerder positief dan negatief te noemen (hoewel het natuurlijk wel uitmaakt of iemand de muziek überhaupt te pruimen vindt).

Uiteindelijk belandde ik bij een stuk van de Duitse hoogleraar cardiologie Hans-Joachim Trappe, die onderzoek naar het effect van muziek heeft gedaan en zelf een zeer verdienstelijk organist is. Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd 5In een brochure uitgegeven door de Duitse hartstichting (Herztöne – Musik und Gesundheit, 2010) schrijft hij het volgende:

Heavy Metal hat keine therapeutische Heilkraft, ebenso wenig wie Technomusik. Während bei Heavy Metal zum Teil noch echte Instrumente zum Einsatz kommen, ist Technomusik synthetisch. Diese Musik kann im Einzelfall helfen, Aggressionen abzubauen, Wut, Enttäuschung und Frustrationen besser zu verarbeiten, physiologisch werden aber Herzfrequenz und Blutdruck erhöht, Stress baut sich auf, so dass diese Musik eher zerstörerisch wirkt. Auch über plötzliche Todesfälle durch Herzrhythmusstörungen bei Techno-Partys ist berichtet worden. Es ist bezeichnend, dass bei Heavy Metal und Technomusik selbst Pflanzen weniger gut gedeihen oder gar eingehen, wenn sie damit dauernd beschallt werden.

Een nogal stellig geformuleerd stukje met discutabele uitspraken. Dat er doden zijn gevallen bij techno-parties zal natuurlijk meer met het drugsgebruik dat daar nogal gebruikelijk is te maken hebben, dan met de muziek an sich. Waar Trappe dit precies op baseert (het is van vóór zijn eigen onderzoek dat later aan de orde komt) is niet direct duidelijk, in de folder staan geen bronnen. Maar in een artikel in Heart uit 2010 (waar nogal wat andere auteurs weer aan refereren voor de vemeende negatieve gezondheidseffecten van heavy metal) schrijft hij het even stellig op:

The greatest benefit on health is visible with classical music and meditation music, whereas heavy metal music or techno are not only ineffective but possibly dangerous and can lead to stress and/or life-threatening arrhythmias.
[…]
In contrast, heavy metal or techno music can lead to stress and restlessness, sleep disturbances, fatigue, exhaustion, impairment of the immune system, hardness of hearing and/or loss of hearing.
[…]
Heavy metal and techno are ineffective or even dangerous. This music encourages rage, disappointment and aggressive behaviour while causing both heart rate and blood pressure to increase. Breastfeeding mothers should avoid this music because there is a negative influence on milk flow.

Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd 6Hierbij verwijst Trappe steeds naar een hoofdstuk uit het boek Heilen mit Tönen van ene Felicitas Storm, waarover ik verder niets kon vinden, maar zeker niet de indruk maakt van een wetenschappelijk verantwoord werk. “Die Reiki-Meisterin Felicitas Storm arbeitet in ihren Performances mit Klangschalen, Mantras, Atemübungen und Meditationen.” staat er bij een aanbieder van het boek. Ai. In de recentere artikelen van Trappe wordt er ook niet meer aan gerefereerd.

Terzijde: muziek voor planten

De laatste zin uit het citaat van Trappe uit de brochure doet me ook vermoeden dat het deels gebaseerd is op onderzoeken bij planten. In ‘Muzikale mest – Kunnen planten ons horen?’ uit  Skepter 26.2 (2014) schreef Dirk Koppenaal over verschillende experimenten die gedaan zijn om het effect van muziek op de groei van planten te onderzoeken. Zo vergeleek Dorothy Retallack, een bachelorstudent musicologie, eind jaren 1960 de invloed van klassieke en rockmuziek:

Geïnspireerd door de gebedsproeven van dominee Franklin Loehr vroeg zij zich af of planten klassieke muziek boven de door haar verfoeide rockmuziek verkozen. De resultaten waren verbluffend. De planten in de kas met de klassieke zender groeiden en bloeiden en bogen zich naar de radio alsof zij geen noot wilden missen. De planten die de rockzender moesten verduren, werden daarentegen lang en dun en bogen zich zo ver mogelijk van de herrie vandaan. Ze dronken ook aanmerkelijk meer dan de controles en de ‘klassieke’ planten.

De wetenschap was wat minder onder de indruk. De omstandigheden waren niet bijster goed gecontroleerd, de statistiek was niet best en de resultaten werden nooit in een betrouwbaar laboratorium herhaald.  Retallack wist haar onderzoek niet in een wetenschappelijk tijdschrift gepubliceerd te krijgen en schreef het uiteindelijk in een boek uitgegeven door een New Age-uitgeverij: The Sound of Music and Plants (1973). Mythbusters deed in 2004 nog wel een poging om het idee te testen en vond eerder een positief effect van de ruige muziek,

Heavy metal is OK, ABBA is de klos

Maar ik vond dat Trappe later zelf ook bij mensen het effect van verschillende muzieksoorten heeft onderzocht. In het artikel ‘Musik und Herz – Was ist gesichert, was nicht, was ist neu?‘ gepubliceerd in Der Kardiologe in 2017 beschrijft hij twee experimenten waaraan in totaal 120 proefpersonen deelnamen. Het eerste experiment waarin naast werk van Bach ook heavy metal, gewoon lawaai en stilte werden gebruikt, publiceerde hij echter al eerder in Musik-, Tanz- und Kunsttherapie (2014). Later werd een tweede experiment met dezelfde methode uitgevoerd, nu met muziek van Mozart, Johann Strauss jr. en ABBA. Uit de samenvatting:

In own studies we could demonstrate that classical music, heavy metal music and relaxation led to decreased HR, systolic and diastolic pressures in comparison to pop music of the Swedish group ABBA. Music is important and music therapy will increase and will help in many diseases.

Wat deed Trappe? Hij onderzocht wat de bloeddruk en hartslag voor, tijdens en na blootstelling aan de muzieksoorten waren. Daar komen dan dit soort grafieken uit:

Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd 7

Trappe schrijft over deze resultaten dat de bloeddruk bij het luisteren van Bach daalde van 128,3 mmHg vooraf, naar 120,8 mmHg tijdens het luisteren, heel significant met indrukwekkende p-waarden. Bij heavy metal is het 123,5 mmHg vooraf en 119,9 mmHg tijdens. Ook een significante daling, maar minder sterk dan bij Bach, aldus Trappe. En bij ABBA is er ‘vreemd genoeg’ geen significante daling te zien (van 123,6 mmHg naar 121,9 mmHg).
Wie echter gewoon naar de grafiekjes kijkt, zal zo zien dat alle waarden – voor tijdens en na – niet wezenlijk van elkaar verschillen. Dat er bij Bach gemiddeld een grotere daling te zien is, kan ook verklaard worden door de iets hogere beginwaarden. Uiteindelijk is ABBA de dupe van het statistische prutswerk van Trappe. In het artikel schrijft hij nog een hele paragraaf onder de subtitel ‘Was ist bei ABBA anders? Warum „wirkt“ ABBA nicht wie Bach oder Mozart?’ …

Heavy metal helpt niet bij pijnstilling volgens Erasmus MC, maar dat blijkt nergens op gebaseerd 8Voor de liefhebbers: de heavy metal gebruikt in dit onderzoek gaat om vijf nummers van de CD Indestructible van de band Disturbed die in 2008 uitkwam.

Het onderzoek van Trappe staat nog wel heel ver af van het meten van effecten op pijnstilling, maar laat zeker niet zien dat ‘het bij heavy metal niet werkt’. Ik vroeg hem per mail of hij op grond van dit eigen onderzoek zijn uitspraak uit 2010 had herzien, maar daar kreeg ik nog geen antwoord op.

Jeekel legt uit

Jeekel had inmiddels (gisteravond) tijd gevonden om een aardig uitgebreid antwoord op mijn mail te sturen. Hij had inderdaad geen ‘level-1 bewijs’  dat heavy metal minder effect heeft of helemaal niets doet in vergelijking met andere muzieksoorten. Dat het in het stukje van Erasmus MC zo terecht is gekomen, komt omdat hij verteld had dat in een aantal studies geen effect van heavy metal was gevonden. Maar dat waren te weinig onderzoeken om harde uitspraken over te doen, volgens Jeekel. De uitspraak over heavy metal had een te pregnante plaats gekregen in het stuk.

Ik bedacht me dat er misschien een probeem schuilt in de onduidelijke status van die ‘amazingerasmusmc’-website. De berichten zijn duidelijk geen persberichten, maar in dit geval lijkt het bericht min of meer wel zo opgevat te zijn door andere media. Aan de andere kant is er ook geen duidelijke redactie: er wordt wel gerept van ‘redactie contacten’, maar niet van een hoofdredacteur en/of redactiestatuut. Van de disclaimer wordt ook je ook niet veel wijzer. Wie kun je eigenlijk aanspreken op fouten op die site? Het lijkt mij dat dat toch gewoon de afdeling communicatie is.

Maar in zijn mail vertelde Jeekel ook dat ze bij een systematische review van dierproeven wel duidelijk bewijs hadden gevonden. Harde wetenschappelijke studies, die echter niet in een interview te vertellen zouden zijn. Ik neem aan dat Jeekel doelt op deze recente, mede door hem geschreven, overzichtsstudie: Music Affects Rodents: A Systematic Review of Experimental Research‘.
Een van de aandachtspunten daarin is inderdaad een vergelijking van de effecten van verschillende soorten muziek op ratten en muizen. Die vergelijking werd gedaan in zeven studies (van de in totaal 42 in de review opgenomen artikelen), waarvan er eentje (Erken, 2008) naast Mozart, herrie en stilte ook rockmuziek gebruikte. Geen heavy metal, geen hardrock. En op de keper beschouwd, kwam er niets relevants uit. Was ook niet te verwachten met de gekozen uitkomstmaten (iets met veranderingen in rode bloedcellen) en maar zeven ratten per groep.
Eigenlijk vind ik het nogal verbazingwekkend dat er ethische commissies zijn die goedkeuring gaven aan het opofferen van proefdieren voor het onderzoeken of het wat uitmaakt of je ratten twee weken lang een uur per dag naar Mozart of slappe rockmuziek laat luisteren. Zeker als de onderzoekers er geen blijk van geven eenvoudige statistische analyses netjes te kunnen uitvoeren…
Er was nog een andere studie (McCarthy, 1992) waar iets van rock gebruikt was, maar daar gaat het weer op zo’n fors volume (80 dB) dat schadelijke effecten eerder daar aan geweten kunnen worden dan aan de muzieksoort; hier was ook geen sprake van een controlegroep met andere muziek.

Het idee dat heavy metal niets zou doen, of zelfs negatieve effecten heeft, kunnen we volgens mij wel toeschrijven aan onderzoekers met een stevige bias tegen die muzieksoort. En helaas worden hun ongegronde oordelen blijkbaar makkelijk overgenomen door andere onderzoekers die er niet kritisch naar hebben gekeken.

Nee, de ziekte van Lyme is geen biologisch wapen losgelaten door het Pentagon

by 26 Comments

Het verzinsel dat de ziekte van Lyme in een laboratorium is ontwikkeld als biologisch wapen en al dan niet per ongeluk is losgelaten, gaat al vrij lang rond. Onlangs heeft deze gedachte een zetje gekregen door het uitkomen van een boek waarin de ontdekker van de veroorzaker van de ziekte, Willy Burgdorfer, geïnterviewd is en uitspraken heeft gedaan die door sommigen worden geïnterpreteerd als bevestiging van het verhaal. Het Huis van Afgevaardigden heeft nu zelfs via een amendement op de defensiebegroting het Pentagon om uitleg gevraagd. Op de website The Conversation legt Sam Telford, hoogleraar infectieziekten aan Tufts University, uit dat er niets klopt van deze complottheorie.

Nee, de ziekte van Lyme is geen biologisch wapen losgelaten door het Pentagon 9
Burgdorfer in het laboratorium werkend met teken (foto: Rocky Mountain Laboratories Historical Collection | Wikimedia Commons)

De Republikeinse afgevaardigde Chris Smith kwam tot zijn amendement door het lezen van Bitten: The Secret History of Lyme Disease and Biological Weapons van Kris Newby.  Daarin wordt Burgdorfer neergezet als een onderzoeker van biologische wapens, waar eigenlijk geen bewijs voor is volgens een artikel in de The Washington Post. Maar nu het amendement is aangenomen moet de Inspector General uitzoeken of het ministerie van defensie met teken (en andere insecten) heeft geëxperimenteerd als biologische wapens tussen 1950 and 1975.
Hierover werd vervolgens door nogal wat media bericht, maar helaas niet altijd met de nodige kritische kanttekeningen. Het AD doet het bijvoorbeeld niet best, hoewel het bericht feitelijk klopt. KIJK benoemt nog wel dat het om een complottheorie gaat, maar laat vreemd genoeg weg uit een bron waarop hun bericht is gebaseerd (BuzzFeed via Popular Mechanics) dat experts zo’n onderzoek volkomen onzinnig vinden, omdat er geen enkel (wetenschappelijk) bewijs voor is. Metro doet het eigenlijk best aardig. Wat ze er in het sprookjesbos van maken hoeft ons natuurlijk niet te verbazen …

Telford legt in zijn stuk helder uit waarom wetenschappers zo stellig kunnen zijn in het verwerpen van de complottheorie en vertelt hoe de ziekte van Lyme en zijn veroorzaker, de Borrelia spirocheet, bekend zijn geworden. Die geschiedenis maakt het volstrekt duidelijk dat er geen sprake kan zijn van een uit een laboratorium losgelaten gemanipuleerde infectie.

Nee, de ziekte van Lyme is geen biologisch wapen losgelaten door het Pentagon 10
Kaartje met de locaties die een rol spelen in dit verhaal (Google Maps)

Burgdorfer ontdekte de spirocheet (die naar hem vernoemd werd: Borrelia burgdorferi) in 1981 in hertenteken afkomstig van Shelter Island, dat ligt bij Long Island, dichtbij New York. De enige onderbouwing van de complottheorie is dat Shelter Island niet ver (zo’n 15 km) ligt van Plum Island, waar een militair laboratorium was gevestigd. En dat ligt dan ook weer niet zover (zo’n 20 km) van het plaatsje Old Lyme, waar in 1975 de eerste gevallen van de zieke van Lyme (vandaar de naam) werden gezien.
Het laboratorium op Plum Island had echter sinds 1954 geen militaire bestemming meer en dat de spirocheet in de teken van Shelter Island werden ontdekt, is geheel toevallig. Toen die eenmaal ontdekt was, werd die vrijwel meteen in teken op heel andere locaties in Amerika ook aangetroffen. Ook zijn er achteraf patiënten met de ziekte van Lyme gevonden, die de ziekte al voor 1975 hebben opgelopen, tot in Californië toe. De connectie met het laboratorium op Plum Island berust dus op toeval, maar zie daar complotdenkers nog maar eens van te overtuigen…

Later is de veroorzaker nog teruggevonden in weefsels afkomstig van dieren die eind 19e eeuw leefden. En inmiddels is er ook zoveel bekend over de genetica van de bacterie en de verschillen daarin tussen populaties die geografisch van elkaar geïsoleerd zijn, dat met zekerheid gezegd kan worden dat ze nooit afkomstig kunnen zijn van een stam die ergens in de afgelopen vijftig jaar ontworpen zou kunnen zijn in een laboratorium en daarna losgelaten.

Lyme als biologisch wapen is ook volstrekt niet plausibel, volgens Telford, omdat het veel te lang duurt om er iemand mee uit te schakelen. Dat defensie interesse heeft in onderzoek naar Lyme is overigens niet vreemd, militairen hebben natuurlijk wel regelmatig last van teken en de mogelijke ziekten die die bij zich dragen en je wil je personeel daar zo goed mogelijk tegen beschermen. Het is daarom goed mogelijk dat ze wel eens onderzoek van Burgdorfer gefinancierd hebben of hem als adviseur hebben geraadpleegd. Telford wijt de opmerkingen van Burgdorfer die in het boek zijn opgenomen ook aan diens aparte gevoel voor humor, hij zou dergelijke contacten met defensie wel eens op een geheimzinnige manier ingekleed kunnen hebben om de schrijver op het verkeerde been te zetten.

No, Lyme disease is not an escaped military bioweapon, despite what conspiracy theorists say

We kunnen het Burgdorfer zelf helaas niet meer vragen hoe hij er nu precies over denkt, want hij overleed in 2014. Newby houdt vol dat Burgdorfer op het eind van zijn leven de waarheid over zijn rol in dat biologische-wapensprogramma wilde vertellen. Ze reageerde op Facebook op het artikel in The Washington Post en claimt dat ze veel archiefmateriaal heeft dat haar versie bevestigt en een video-opname van een interview met Burgdorfer. Ook op het artikel van Telford reageert ze op Facebook middels een open brief en stelt daarin dat de publicatie van Telford uit 1982 (over de ontdekking van de spirocheet) een poging tot misleiding zou zijn geweest om het echte verhaal te verdoezelen.

Newby linkt ook naar een website waarop ze dat bewijsmateriaal beschikbaar heeft gesteld (link), maar daarop staan zoveel documenten, dat ik niet zo snel zou weten waar te beginnen; met extra zoekwoorden als ‘burgdorfer’ en/of ‘newby’ kun je het aantal documenten drastisch inperken, maar iets interessants vond ik zo niet. Als ze echt een smoking gun zou hebben, zou ze die volgens mij al wel hebben laten zien. In een interview met haar op YouTube vond ik haar ook bijzonder speculatief, en vaag over haar interview met Burgdorfer. Van een eerder interview met hem dat ze beschrijft (dat iemand anders  afnam) vertelt ze ook dat Burgdorfer al zo door de ziekte van Parkinson werd belemmerd dat er nauwelijks bruikbare soundbites uit hem kwamen en dat je de hele drie uur moest bekijken om erachter te komen dat Burgdorfer überhaupt ergens mee zat. Tsja. Er zal in haar eigen interviews misschien ook wel het nodige aan interpretatie aan te pas zijn gekomen, denk ik dan, en een bespreking van haar boek lijkt dat te bevestigen.

Zie ook Snopes: Did Lawmakers Demand the Pentagon Disclose If It Developed Weaponized Ticks?