Kloptdatwel?

De Banerji protocollen – homeopathie uit India

by 209 Comments

Fanatieke verdedigers van de homeopathische waanideeën halen in discussies vaak de verbluffende resultaten aan die in India met homeopathie behaald worden tegen kanker. Twee homeopaten, vader en zoon Banerji, zouden duizenden mensen met kanker, geholpen hebben. Hier in het Westen zitten we dus maar wat te zeuren over de onwaarschijnlijkheid van de werking van extreem verdunde oplossingen, in India zijn ze gewoon volop aan de slag met de door de familie Banerji ontwikkelde ‘protocollen’. En ze zijn nog door het Amerikaanse National Cancer Institute erkend ook!
Vandaag en morgen zijn Prasanta en Pratip Banerji in Almelo om hun verhaal te vertellen: ‘Verschillende homeopathische middelen zijn even effectief als chemotherapie’. En daarbij blijft het niet, ook chronische ziektes als Alzheimer, diabetes en allerlei hormonale afwijkingen zouden de Indiërs met hun homeopathische protocollen effectief weten aan te pakken. Allemaal gebakken lucht.

Vader en zoon Banerji
Vader en zoon Banerji

De familie Banerji is aanbeland bij de vierde generatie homeopaten. Vader Prasanta volgde allerlei opleidingen in de homeopathie en vestigde zich in 1958 in Kolkata, in de staat West-Bengalen. Hij heeft nooit een reguliere medische opleiding voltooid, maar dat let hem niet om zich ‘Doctor’ te noemen (er zijn wel meer Indiase homeopaten, die dat doen). Zoonlief Pratip lijkt na opleidingen in de homeopathie wel een echt doktersdiploma bemachtigd te hebben (MD), behaald aan een Deemed to be university. Intussen hebben ze twee klinieken in Kolkata en de zaken lopen zo te zien fantastisch. Naar eigen zeggen behandelde Prasanta Banarji wel 400 gevallen per dag en de klinieken zouden nu door meer dan 1.000 patiënten per dag bezocht worden. Gigantische aantallen. In hun database (sinds 2002) staan inmiddels 27.000 casussen met meer dan een half miljoen consulten.
Nogal wat arme Indiërs zoeken hun heil bij de Banerji’s, maar die ontbreekt het vaak aan de middelen om onderzoeken met dure apparaten als een CT-scanner, MRI of zelfs een simpele bloedtest te betalen. Om hen daarin te steunen werd de  Prasanta Banerji Homoeopathic Research Foundation (PBHRF) opgericht. Vanuit die stichting wordt ook het onderzoek naar de protocollen gedaan ( “to establish ‘The Banerji Protocol’ as a scientific and effective mode of medicine”).

2006-india

Het gaat te ver om hier in detail te bespreken wat de Banerji’s allemaal beweren te kunnen genezen met hun protocollen, dat is namelijk nogal wat. Ik licht er daarom een aantal controleerbare zaken uit: die zogenaamde erkenning vanuit de Verenigde Staten en het beperkte aantal gepubliceerde onderzoeken in respectabele tijdschriften.

Amerikaanse erkenning?

Met dergelijke aantallen en de geweldige resultaten zou je verwachten dat ze heel wat concreets kunnen laten zien. En jawel, hoor. De Banerji’s tonen vol trots het volgende artikel: Cancer patients treated with the Banerji protocols utilising homoeopathic medicine: a Best Case Series Program of the National Cancer Institute USA (Oncol. Reports, 2008). De Amerkaanse erkenning! Het is natuurlijk wel verstandig om eens te kijken wat dat nu eigenlijk voorstelt. De ‘erkenning’ is afkomstig van het Office of Cancer Complementary and Alternative Medicine (OCCAM). Dit is een onderdeel van het National Cancer Institute (NCI). OCCAM moet de activiteiten van NCI op het gebied van complementaire en alternatieve geneeswijzen coördineren en verbeteren. Daarvoor hebben ze jaarlijks een budget van ruim 120 miljoen dollar, maar er is nog niets zinnigs uitgekomen sinds de oprichting in 1998. Meer informatie hierover in een stuk van Jan Willem Nienhuys: Miljarden verknoeid aan zinloos onderzoek. Een van de activiteiten om mogelijk interessante CAM-therapieën op te sporen is het NCI Best Case Series Program, een uitnodiging aan alle CAM-beoefenaars om hun beste resultaten in te sturen en te laten beoordelen. Misschien zit er wat tussen, je weet maar nooit.

De Banerji’s leverden veertien patiëntcasussen aan en je zou eigenlijk wel aannemen dat dit om hun meest overtuigende resultaten zal gaan. Prasanta Banerji spreekt dat zelf tegen, het blijkt in hun praktijk erg lastig om goed gedocumenteerde gevallen aan te leveren, omdat veel patiënten te arm zijn om aanvullende diagnostiek te bekostigen (röntgenfoto’s en pathologisch onderzoek). Op zijn eigen website staat evenwel: “The long family experience with millions of clinical trials and the use of modern diagnostic tools such as detailed blood examinations, X-rays, CAT Scans, MRI techniques further helped the treatments of Prasanta Banerji.”
Van die veertien gevallen vonden de Amerikanen er maar vier net goed genoeg beschreven om op te nemen in hun Best Case Series. De erkenning gaat niet verder dan dat dit gevallen zijn, waarvoor de Banerji’s voldoende informatie hadden aangeleverd die door onafhankelijke partijen bevestigd is. In deze vier gevallen vond OCCAM het aannemelijk dat er vooraf sprake was van tumoren en dat na behandeling een reductie van de tumoren heeft plaatsgevonden. Heel overtuigend vind ik de gevalsbeschrijvingen (twee keer slokdarm- en twee keer longkanker) overigens niet en de follow-up is uiterst summier te noemen. De beschreven gevallen betreffen op één na allemaal hoogbejaarden, die inmiddels wel overleden zullen zijn. Van obductieverslagen waaruit meer informatie over de tumoren te halen zou kunnen zijn wordt niet gerept, maar misschien is dat ook wel niet zo’n gebruikelijke praktijk in India.

OCCAM vond het bij elkaar genomen wel voldoende om eens nader te bekijken:

The results of the review were deemed to be sufficient to warrant NCI-initiated prospective research follow-up in the form of an observational study.

In de beschrijving (pdf) van het Best Case Series Program staat expliciet dat de werkzaamheid niet werd beoordeeld:

Does the NCI Best Case Series Program evaluate CAM therapies for their effectiveness as a cancer treatment?
No. An evaluation of a treatment’s effectiveness is generally done by analyzing the results of well-designed and well-conducted clinical trials. Rather, the goal of the NCI Best Case Series Program is to provide an assessment of the quality of available clinical data and its utility as support for the justification of NCI-initiated research.

Wat is er verder mee gedaan? Nog niet veel lijkt het. Het is ook niet zo dat er vanuit de VS geld toegezegd werd voor dat aangeraden vervolgonderzoek. Het is alleen met positief advies doorgestuurd naar de Indiërs. Lekker vrijblijvend:

an application for approval of this project has been submitted to the Indian Council for Medical Research.

Dat schijnt nu inderdaad toch gebeurd te zijn. Ghulam Nabi Azad, minister van Volksgezondheid in India, zei dat in ieder geval toen hij in juni het nieuwe boek van de Banerji’s in ontvangst nam. Op de website van de Indian Council for Medical Research vond ik er echter nog niets over.

Borstkankercellen in petrischaaltjes

Een veel genoemd onderzoek van de Banerji’s is een in vitro experiment waarbij gekeken werd naar de effecten van hun middelen op borstkankercellen: Cytotoxic effects of ultra-diluted remedies on breast cancer cells (Int. Journ. Oncology, 2009). Homeopaten vinden dit weer overtuigend bewijs dat er wel degelijk werking uitgaat van ultra verdunde oplossingen, maar als je er goed naar kijkt, blijkt dat grootspraak.

In vitro onderzoek heeft sowieso beperkte zeggingskracht.
In vitro onderzoek heeft sowieso beperkte zeggingskracht.

De middelen werden toegediend in een oplossing van 87 procent alcohol, wat sowieso al een vrij agressief goedje is voor kankercellen. De onderzoekers claimen dat hun experiment laat zien dat de homeopathische oplossingen meer kankercellen doden dan de controles (de alcohol oplossing zonder homeopathische toevoegingen). Maar je moet het artikel behoorlijk goed lezen om er achter te komen dat die controle-oplossing ook een vrij dodelijke effect had, ongeveer 30 procent van de kankercellen legde het loodje. Om te laten zien dat het verschil in werkzaamheid waarschijnlijk geen toevalstreffer is en significant, moet je op zijn minst een statistische analyse doen. De auteurs volstaan echter met een reeks histogrammen zonder betrouwbaarheidsintervallen. Uiterst merkwaardig dat dit zo langs de reviewers kwam, vindt dr. Rachael Dunlop, die het onderzoek uitvoerig (en vernietigend) besprak:

There is a distinct lack of statistics in this paper, by which I mean there are none at all. As my friend Jo said; “Nary a p-value nor a confidence interval to be seen”. Which begs the question, how can you get a paper accepted in a peer reviewed journal without doing an statistical analysis?

Really? No, I mean REALLY? This is why I suspect the reviewers were dozing or drunk.

Interessant is dat in de discussie onder dat stuk, één van de auteurs van de studie (Alison Pawlus), vertelt dat zij helemaal niet als mede-auteur genoemd had willen worden. Ze geeft aan dat de tests om uit te sluiten dat het gevonden effect veroorzaakt werd door verschillende alcoholpercentages van de gebruikte oplossingen niet goed werden gedaan. De controle oplossingen werden niet op hetzelfde moment gemaakt en ook niet zo geschud als de homeopathische middelen. Die laatste werden vermoedelijk weken eerder geprepareerd in India (door Boiron) in plastic reageerbuisjes die stoffen bevatten die oplosbaar zijn in alcohol en opgestuurd naar de Verenigde Staten waar het experiment werd uitgevoerd. Is het heel raar om te veronderstellen dat wat van de alcohol in de homeopathische oplossingen is verdampt?
David Gorski (‘Orac’) besprak de studie ook en sluit af met de opmerking: “You know what’s more irritating than homeopaths? Peer reviewers and editors who let dreck like this see print, giving homeopaths something to irritate me with.”

Wijnruit

Een iets ouder gepubliceerd artikel is Ruta 6 selectively induces cell death in brain cancer cells but proliferation in normal peripheral blood lymphocytes: A novel treatment for human brain cancer (Int. Journ. Oncology, 2003, volledige pdf). Hierin beschrijven ze de behandeling van vijftien patiënten met verschillende hersentumoren met het middel Ruta 6, dat een homeopathische verdunning is van Wijnruit (Ruta graveolens). Eigenlijk niet alleen wijnruit, ze deden er ook nog calciumfosfaat bij en dat niet bepaald in ultraverdunde toestand (1:1.000). Ook staan er in vitro experimenten in beschreven. Het is van nog lager niveau dan de artikelen over borstkanker en de Best Case Series. De patiëntcasussen stellen weinig meer voor dan ‘we gaven ze dit middel en ze deden het beter’. De in vitro experimenten zijn allemaal weer zonder statistische analyse en het homeopathische middel werd gecombineerd met het agressieve waterstofperoxide.
In de enige kritische bespreking, die ik vond, trekt Bart B. Van Bockstaele (een Canadese skepticus) de volgende terechte conclusie:

In other words, this study is meaningless. Even if we accept that the patients gradually improved, which is uncertain at best, there is absolutely no way that we can conclude that the treatment was the cause of this improvement.

‘Medisch Dossier’

De gebakken lucht van de familie Banerji wordt driftig verspreid via allerlei alternatieve websites en bladen. In het blad ‘Medisch Dossier’ verscheen in mei 2012 een artikel over de Banerji protocollen (pdf). Als je dat leest, krijg je een heel ander beeld. Maar het is hopelijk duidelijk, na het lezen wat ik hierboven heb geschreven, dat het vol onzin staat en de zaken volkomen verkeerd voorstelt. Dat is niet zo vreemd. ‘Medisch Dossier’ is de Nederlandse vertaling van het Engelse ‘What Doctors Don’t Tell You’, een blad dat uitgegeven wordt door Lynne McTaggart die bekend staat om het verkopen van allerlei soorten onzin.

Duidelijke taal van Andy Lewis (van www.quackometer.net)
Duidelijke taal van Andy Lewis (van www.quackometer.net)

In het Verenigd Koninkrijk voerden skeptici (o.a. Simon Singh) de laatste weken een kleine campagne om de grote supermarktketen Tesco te bewegen het blad niet langer via hun schappen aan te bieden. Dat is een kleine rel geworden, McTaggart beschuldigd haar critici van censuur en een poging tot inperking van de vrijheid van meningsuiting. En ze claimt dat ze nooit beweerd heeft dat kanker te genezen is met homeopathie (of AIDS met vitamine C). De covers van het blad spreken echter boekdelen. In het november nummer wordt wederom aandacht besteed aan de Banerji protocollen: “Homeopathy is a nonsense, at least according to scientists and skeptics. Yet Indian doctors are using it every day to treat cancer – and now the US government is interested.” U bent gewaarschuwd. De Nederlandse versie wordt overigens uitgegeven door Ode – The Optimist.

De Vereniging tegen de Kwakzalverij schreef  vorig jaar een stukje over de Banerji’s, toen ze ook al in Almelo optraden.

Update 4-11-2013. Op de website What ‘What Doctors Don’t Tell You’ Don’t Tell You (WWDDTYDY), waar sinds vorige week in hoog tempo  stukken verschijnen (soms nieuw geschreven en soms ge-herblogd van andere skeptische blogs) die ingaan op de misleidende artikelen van het blad van Lynne McTaggart, is nu ook een uitgebreid stuk verschenen over het artikel over de Banerji’s wat in Medisch Dossier in vertaling verscheen: Like water for chemo

 

Schrijf de minister: registreer alle klinische onderzoeken!

by 4 Comments

De website AllTrials.net heeft als doel om alle klinische onderzoeken (op zijn minst) geregistreerd te krijgen en kan daar wel wat hulp bij gebruiken. Daarom riepen ze onlangs iedere EU-burger op een brief te schrijven naar hun respectievelijke minister van Volksgezondheid:

If you live in an EU member state we need your help this week. Will you write to your country’s health minister to ask your Government to support the good progress towards clinical trial transparency in the draft Clinical Trial Regulation in debates in Europe next month.

Thanks to the letters you sent to MEPs last May some very good additions were made to the draft Regulation. These new parts of the law would mean that all clinical trials taking place in Europe would have to be registered and summary results published within a year of its ending. We need to make sure that these additions make it into the final law, and we don’t have much time as the next stage of the process starts in the first week of November.

The next stage is a series of ‘trilogue’ discussions between the European Parliament, Commission and Council. We understand that the European Council hasn’t decided its position yet. The Council is made up of representatives of all of the individual Governments of European countries so your Government’s position is very important. There’s no time to lose – please write to your health minister this week and urge them to support the good additions to the Clinical Trials Regulation.

(Dikgedrukt door auteur)

Hieronder vind je een voorbeeld van een brief die je kan sturen inclusief welke specifieke amendementen je wil dat de overheid steunt. Op de website van het Europees Parlement kan je de amendementen nalezen.

Aan Hare Excellentie, de Minister van Volksgezondheid, Welzijn en Sport,

Mevrouw Drs. E.J. Schippers

Postbus 20350
2500 EJ Den Haag

Onderwerp: Voorstel tot een EU-verordening voor klinisch geneesmiddelenonderzoek (2012/0192, COD)

Geachte mevrouw Schippers,

Met deze brief verzoek ik u en de Nederlandse regering met klem de hieronder genoemde voorgestelde wijzigingen in de Europese wetgeving met betrekking op klinische studies te steunen. De wijzigingsvoorstellen beogen dat de resultaten uit klinische studies beschikbaar gemaakt worden voor onderzoekers en artsen. Slechts 50% van de klinische studies wordt momenteel gepubliceerd – met als gevolg dat artsen en onderzoekers niet weten op wat voor bevindingen ze hun behandelingswijze nu eigenlijk baseren. Een dergelijk gebrek aan kennis kan leiden tot slechte behandelbeslissingen, gemiste kansen op goede medicatie en het onnodig herhalen van onderzoek. Alle klinische testen dienen daarom te worden geregistreerd, en de resultaten moeten bekend gemaakt worden.

De specifieke amendementen die ik u wil verzoeken te steunen betreffen:

Amendement 191, dat inhoudt dat klinische studies moeten worden geregistreerd voor aanvang van de studie;

Amendementen 30 en 250 welke inhouden dat de data in klinische studies niet geacht wordt commercieel vertrouwelijk te zijn. Deze amendementen zorgen ervoor dat commerciële overwegingen nimmer zwaarder wegen dan het belang van publiek gezondheidsonderzoek;

Amendement 193 en 253 welke inhouden dat de resultaten van een klinische proef openbaar worden gemaakt, indien een rapport van deze klinische studie is opgetekend.

Bij voorbaat dank,

[NAAM]
[ADRES]

Klik op deze link voor de brief als Word-document: AllTrials-voorbeeldbrief

 

Natuurgeneeskundigen: ‘Medische wetenschap blijkt kwakzalverij’

by 402 Comments

Zondagmiddag bij het RTL-programma ‘Life is Beautiful’ kwam vaste gast Erik-Alexander Richter met vrij schokkend nieuws. Het wetenschappelijk hoog aangeschreven British Medical Journal (BMJ) liet zien dat er maar voor twaalf procent van de medicijnen bewijs is dat ze werken. Sterker nog, eigenlijk zou je moeten concluderen dat de rest kwakzalverij is, 88 procent dus! Een opmerkelijk gegeven, dat de laatste weken opeens op diverse Nederlandse websites opdook. Zou het echt zo erg zijn?

Richter geeft hoog op van orthomoleculaire geneeskunde en doet aan anti-aging. Hij heeft een opleiding in de Clinical Psycho Neuro Immunology  gedaan (of volgt die nog steeds). Waarschijnlijk kun je hem als natuurgeneeskundige aanduiden. Hij zei het volgende over de kwestie:

https://www.youtube.com/watch?v=8UyhiW9w29o

Waar komt dit ogenschijnlijk dramatische rapportcijfer voor de reguliere geneeskunde vandaan? De laatste paar weken vond ik al diverse verwijzingen naar een artikel op infonu.nl met als titel Medische wetenschap blijkt kwakzalverij. Dat is zo te zien al in mei geplaatst, maar werd half oktober opeens overgenomen op heel wat sites die alternatieve zorg een warm hart toedragen (misschien na een verwijzing op nu.nl). Het stuk op infonu.nl is geschreven door infoteur ‘Irbis’. Daarachter schuilt Erik Wieffering, een natuurgeneeskundige, die zich in het profiel ‘klinisch psycho neuro endocrinologisch immunoloog’ noemt, wat weer verdacht veel lijkt op de hobby van Richter. Op LinkedIn kun je ook zien dat hij iets met homeopathie en ayurveda doet.

‘Irbis’ geeft de resultaten van BMJ als volgt weer:

Clinical Evidance [sic] Handbook van de British Medical journal Publisher meldt dat van de 2500 meest voorgeschreven medicamenten en behandelingen:

  • 3 procent een groter ongunstig dan gunstig effect scoort.
  • 5 procent waarschijnlijk geen gunstig effect heeft.
  • 8 procent evenveel gunstige als ongunstige effecten heeft (uitruil middelen).
  • 12 procent enig bewijs van gunstig effect scoort.
  • 23 procent een zeer zwak bewijs voor enig gunstig effect laat zien.
  • En, dat van 49 procent totaal niet bekend is wat voor effect het heeft.

Op die weergave valt heel wat af te dingen, maar dat is niet zo makkelijk te controleren voor de achteloze lezer, omdat het infoteurtje de link naar de bron er niet heeft bijgezet. Info.nu ziet er dan wel Wikipedia-achtig uit, maar het is een site waar iedereen artikelen op kan kwakken. Als je er een beetje op rond kijkt, kom je naast artikelen die er heel redelijk uitzien, nogal wat kwakzalverpropaganda tegen.
‘Irbis’ beweert trouwens dat het nog veel erger is en dat die twaalf procent nog eens flink naar beneden bijgesteld moet worden. Hij haalt daarvoor een onderzoek aan van Deense onderzoekers die aannemelijk maken dat veel medische artikelen voor een groot deel geschreven zijn door  ghostwriters in dienst van de farmaceutische industrie (hier de link die ‘Irbis’ ook niet geeft). Die praktijk is ook door Ben Goldacre beschreven in Bad Pharma en is inderdaad niet fraai. Maar om nu maar gelijk te concluderen dat het in al die gevallen om frauduleus onderzoek zou gaan, gaat nogal ver.

Welke tabel ‘Irbis’ precies gebruikt heeft, kan ik niet zo makkelijk nagaan, maar het zal wel een iets minder recente versie zijn van de gegevens uit het volgende taartdiagram:

Stand van bewijs voor 3.000 behandelingen waarvoor gegevens uit RCT's beschikbaar zijn volgens BMJ (27-10-2013)
Stand van bewijs voor 3.000 behandelingen waarvoor gegevens uit RCT’s beschikbaar zijn volgens BMJ (27-10-2013)

Deze staat op de website van Clinical Evidence. Voor een deel klopt het verhaal. BMJ beoordeelt al jarenlang behandelingen op grond van het bewijs dat er voor is. En al jaren ziet dat taartdiagram er ook ongeveer zo uit. BMJ update deze cijfers halfjaarlijks en gebruikt voor de beoordeling evidence from systematic reviews, RCTs, and observational studies where appropriate. Het gaat dus om de hoogste treden in de Evidence Based Medicine piramide. Dat 50 procent in de categrorie Unkown effectiveness valt, lijkt heel erg, maar geeft in feite alleen maar weer dat dergelijk hoog gewaardeerd bewijs niet te vinden is. In veel gevallen is het ook duidelijk waarom dat er niet is en waarom er ook niet naar gezocht zal worden in de vorm van een dubbelblind klinisch onderzoek (RCT). Een chirurgische ingreep als verwijdering van een ontstoken blindedarm bijvoorbeeld is niet onderzocht in een RCT ten opzichte van een nepbehandeling en toch zullen er maar weinig twijfelgevallen zijn of die ingreep ingezet moet worden of niet.
De vertaling van ‘Irbis’ blijkt echter bijzonder krakkemikkig. ‘Likely to be beneficial’ vertalen als ‘een zeer zwak bewijs voor enig gunstig effect laat zien’ is gewoon niet juist. En ‘evenveel gunstige als ongunstige effecten heeft (uitruil middelen)’ is ook niet to the point als vertaling van ‘Trade-off between benefits and harms’. In dat laatste geval kan een arts per individueel geval vaak goed beoordelen of de voordelen groter ingeschat kunnen worden dan de nadelen. Dat is wat anders dan dat de nadelen even groot zijn als de voordelen, maar misschien klopt dat wel voor de hele populatie.

Dit maak al duidelijk dat ‘Irbis’ een heel gekleurde uitleg geeft van de bevindingen van BMJ. Hij besteedt ook geen enkele aandacht aan alle beperkingen van de cijfers in het rapport die wel op de website van Clinical Evidence genoemd worden, zoals:

it has both benefits and limitations: for example, an intervention may have multiple indications, and may be categorised as ‘Unknown effectiveness’ for one condition but ‘Beneficial’ for another.

Bepaalde middelen komen meerdere keren in het handboek voor, omdat er gekeken wordt per indicatie. Ook de categorie met onbekende effectiviteit wordt nader uitgelegd, ‘de helft’ waarover Richter op tv opmerkt dat er geen enkel bewijs achter zit:

‘Unknown effectiveness’ is perhaps a hard categorisation to explain. Included within it are many treatments that come under the description of complementary medicine (e.g., acupuncture for low back pain and echinacea for the common cold), but also many psychological, surgical, and medical interventions, such as CBT for depression in children, thermal balloon ablation for fibroids, and corticosteroids for wheezing in infants.

Toch aardig dat we iemand uit de alternatieve hoek nu zien toegeven dat acupunctuur voor lage rugpijn en Echinacea voor verkoudheid inderdaad tot kwakzalverij gerekend moeten worden 😉

Belangrijker voor de impact van de studie is de volgende opmerking:

AND WHAT DO OUR CATEGORISATIONS MEAN IN RELATION TO CLINICAL PRACTICE?
We would like to emphasise that our categorisation of the effectiveness of treatments does not identify how often evidence-based and non-evidence-based treatments are used in practise. We only highlight how evidence based treatments are for certain indications, based on randomised controlled trials. As such, these data reflect how different treatments stand up evidence-based medicine and are not an audit of the extent to which treatments are used in practice or for other indications not assessed in Clinical Evidence.

Om beter inzicht te krijgen wat het belang van deze beoordeling is voor de klinische praktijk, wil je weten hoe het zit per behandeling en welke het eigenlijk zijn. Die informatie zit echter achter een ‘betaalmuur’ bij Clinical Evidence. Eerlijk gezegd vind ik dat niet zo fraai. Op zijn minst hadden ze bijvoorbeeld van de meest voorgeschreven medicijnen de beoordelingen gratis toegankelijk kunnen maken.
Uit een oudere versie (2004) die online te vinden is (pdf), kun je inderdaad opmaken dat de beoordeelde treatments niet allemaal bestaan uit pillen, drankjes en zalfjes. Bij het onderwerp malariapreventie staat bijvoorbeeld dat er voor het dragen van lange kleding door volwassen om besmetting te voorkomen geen RCTs te vinden waren en dus valt die ‘behandeling’ in de categorie unknown effectiveness. Er zitten ook allerlei alternatieve behandelingen bij. Soms zelfs voor ziektes waar ik nog nooit claims voor was tegengekomen; ik noem als voorbeeld maar het gebruik van acupunctuur bij sikkelcelanemie. Als je even zoekt, zie je dat er inderdaad wel ‘onderzoeken’ naar zijn gedaan, meestal niet veel meer dan een case report en volgens de zelf opgestelde criteria zet Clinical Evidence het daarom bij unknown effectiveness. Ook iets als hypnotische suggestie voor de behandeling van wratten staat erin (geen bewijs van werkzaamheid). Waarom neem je zoiets eigenlijk op in een lijst die bedoeld is om artsen te informeren over de huidige stand van wetenschappelijk bewijs voor behandelingen? Zouden er potentiële lezers zijn die voor het lezen denken dat hypnose wél helpt bij wratten?

De conclusie dat het grootste deel van alle reguliere medische behandelingen eigenlijk kwakzalverij is (en dat medische wetenschap zelfs een pseudowetenschap zou zijn) kun je dus absoluut niet trekken. Wat je wel kunt concluderen is dat veel alternatieve behandelaars er geen been in zien om het publiek te verwarren met een verkeerde weergave van dit soort cijfers en erg snel tevreden zijn met informatie die in hun straatje past. Ze vergeten er gemakshalve bij te zeggen dat er voor hun hobby’s nul komma nul bewijs is van vergelijkbaar niveau. Een andere conclusie mogen ze bij RTL trekken: het is onverantwoord om iemand als Richter een platform op televisie bieden als (nep)expert.

Update 14-11-2013: Eerlijk is eerlijk, Richter heeft mijn commentaar op zijn uitspraken wel opgepikt en zijn uitspraken in een latere aflevering rechtgezet.

Naschrift. De bron van het verhaal is waarschijnlijk ‘Medisch Dossier’ van mei 2013:
“Is geneeskunde een wetenschap?”. Dat is weer een vertaling van het artikel “Junk Medicine” uit het Engelse blad ‘What Doctors Don’t Tell You’ van Lynne McTaggart. Dat artikel zal in Engelse versie wel in 2012 zijn uitgekomen en dat verklaart de weinig actuele weergave van de cijfers van Clinical Evidence.
Ik wijs nog maar even op de website ‘What “What Doctors Don’t Tell You” Don’t Tell You’ van Engelse skeptici voor besprekingen van dat blad.

Susan Blackmore – Fighting the Fakers and Failing – TAM 2013

by 13 Comments

Op het jaarlijkse skeptische congres van de James Randi Educational Foundation (JREF) onder de naam The Amaz!ng Meeting geven talloze skeptici presentaties. Die van TAM 2013 (‘Fighting the Fakers’) verschijnen intussen mondjesmaat op het YouTube kanaal van JREF. De presentatie van Dr. Susan Blackmore is de eerste die we hier op Kloptdatwel laten zien.

Blackmore promoveerde in de parapsychologie en deed veel onderzoek naar paranormale verschijnselen. Na een carrière aan de universiteit werkt ze nu als freelance schrijver, programmamaker en geeft ze lezingen. In haar onderzoek houdt ze zich voornamelijk bezig met bewustzijn, evolutietheorie en memen. Ze onderzoekt niet langer paranormale zaken en uit de presentatie  wordt wel enigszins duidelijk waarom. Het verhaal gaat over haar onderzoek naar de hanger met de naam Bioelectric Shield, die aangeboden wordt om je te beschermen tegen elektromagnetische straling, maar ook negatieve energieën van personen in je omgeving. Tamelijk hilarisch om te horen hoe de bedenkers van de hanger alle negatieve uitkomsten toch weer recht proberen te praten. Aan het einde van de presentatie komt Blackmore nog even terug op haar achtergrond in de parapsychologie.

Blackmore schreef de bevindingen van haar onderzoek naar de hanger op in het artikel Testing the Bioelectric Shield (pdf)

Gelezen: Philosophy of Pseudoscience

by 21 Comments

Karl Popper (1902-1994)
Karl Popper (1902-1994)

Het demarcatieprobleem is iets waar skeptici al dan niet bewust voortdurend mee bezig zijn: het scheiden van wetenschappelijke kennis en alles wat niet wetenschappelijk onderbouwd is of als pseudowetenschap gezien moet worden. De naam van Karl Popper is er nauw mee verbonden sinds hij falsifieerbaarheid als demarcatiecriterium voorstelde: een wetenschappelijk theorie moet toetsbaar zijn en op grond van het falen van een toets worden verworpen. Dit idee leeft nog steeds, maar kreeg al snel kritiek.Thomas Kuhn liet zien dat er ook allerlei sociale en psychologische aspecten een grote rol spelen in het wetenschapsbedrijf.  Veel van wat we als wetenschap beschouwen is niet toetsbaar en wetenschappers blijken in praktijk niet te werken volgens het ideaal van Popper, met het eerst opstellen van hypothesen en die onderuit proberen te halen met zo scherp mogelijke tests.
Larry Laudan verklaarde in 1983 het demarcatieprobleem min of meer dood. Het falsificatieprincipe van Popper was niet afdoende gebleken en andere criteria waren ook niet te bedenken om het onderscheid verantwoord te maken. Veel filosofen delen dit inzicht en het demarcatieprobleem verdween onder in de la. Ten onrechte volgens Massimo Pigliucci en Maarten Boudry. Zij stelden daarom een stevige essaybundel samen onder de titel Philosophy of Pseudoscience – Reconsidering the Demarcation Problem met stukken van 26 verschillende auteurs, die wel wat te zeggen hebben over pseudowetenschap.

Eigenlijk valt het met die doodverklaring van het demarcatieprobleem door Laudan wel mee. Hij stelt dat de term pseudowetenschap niet zinnig te gebruiken is om hele takken van sport weg te zetten, maar dat critici (of skeptici) zich zouden moeten beperken tot het weerleggen van concrete uitspraken of artikelen. Dus niet ‘frenologie is een pseudowetenschap en het is daarom idioot er nog tijd en energie aan te verspillen’ maar eerder ‘in artikel X beweert auteur Y dat deze typische vorm van de schedel wijst op gedrag  Z, maar dat klopt niet vanwege A-B-C’. Dit laat ook meteen zien wat het nadeel is van die aanpak: ook al hak je één kop van de pseudowetenschappelijke Hydra af, het belet niet dat er meteen een soortgelijke uitspraak zijn kop opsteekt. Er is duidelijk behoeft aan een grondigere aanpak van pseudowetenschappen, want sommige vormen een gevaar voor individuen of kunnen andere vervelende effecten in onze samenlevingen hebben.
Een probleem met een strikte opvatting van falsifieerbaarheid is dat sommige pseudowetenschappen er gewoon door heen fietsen. Astrologie doet bijvoorbeeld niet veel anders dan toetsbare uitspraken, alleen scoren die niet beter dan wanneer je naar willekeurig gekozen uitspraken zou kijken. Toetsbaar ja, maar doorstaan van serieuze tests ho maar. Anderzijds kun je afvragen of je iets als snaartheorie ooit wel tot toetsbare uitspraken zal leiden. Zou je het daarom vooralsnog niet als pseudowetenschap moeten kwalificeren? Of wat minder denigrerend, als ‘protowetenschap’? Er komt dus wat meer bij kijken dan alleen die falsifieerbaarheid en wetenschappers zullen als je ze er naar vraagt vaak elementen noemen van een lijstje als: interne consistentie, overeenstemming met aangrenzende vakgebieden, reproduceerbaarheid van data,  betrouwbaarheid van methoden, hoe gaat men om met kritiek, enzovoort.

Een afbeelding die Pigliucci gebruikt om
Een afbeelding die Pigliucci gebruikt om

Zo’n multidimensionale aanpak zien de schrijvers van het eerste deel (waaronder Pigliucci en Boudry zelf) als uitweg. Als voorbeeld geeft Pigliucci een indeling van een aantal (pseudo)wetenschappen op twee assen, waarmee je min of meer een onderscheid kunt maken, die niet mogelijk was met het criterium van Popper (zie hiernaast). Anderzijds stelt hij wel vast dat het trekken van een scherpe grens nog steeds niet zo makkelijk is. Het indelen van de onderwerpen op meer assen geeft echter weer andere inzichten. En door een aantal van die verschillende manieren om er naar te kijken te combineren zul je onder wetenschappers toch redelijk snel consensus bereiken of iets serieus te nemen wetenschap is of niet.

Wat ook naar voren komt is dat pseudowetenschap vaak een temporeel aspect heeft. Iets wat als wetenschap start, kan in de loop van de tijd in pseudowetenschap ontaarden (bijvoorbeeld koude kernfusie). Pseudowetenschappers houden hardnekkig vast aan hun idee ondanks al het tegenbewijs. Het is logisch dat de lat voor het ogenschijnlijk wel serieuze ‘bewijs’ dat deze onderzoekers nog wel eens aanleveren, steeds hoger wordt gelegd. Na voortdurend falen bij tests, wordt zo’n idee moeilijker te aanvaarden en hoe buitengewoner de beweringen hoe buitengewoner het bewijs ervoor moet zijn.
Andersom kan het echter ook. Iets dat door wetenschappers eerst als pseudowetenschap weggezet wordt, kan na steeds beter ondersteunend bewijs geaccepteerd worden als serieuze wetenschap, zoals de geschiedenis van de evolutietheorie laat zien. In het boek beschrijft Michael Ruse die ontwikkeling in From Pseudoscience to Popular Science, from Popular Science to Professional Science.
De strijd tussen de evolutietheorie en creationisme wordt overigens vaak aangehaald door verschillende auteurs. Dat is niet zo verwonderlijk, gezien de verhitte strijd die daarover in de Verenigde Staten tot aan het Hooggerechtshof is gevoerd. Een meer Europese tegenhanger ontbreekt, maar misschien is er ook niet zo eenvoudig een kwestie te noemen waarover aan onze kant van de Atlantische oceaan recent nog vergelijkbaar fel gedebatteerd is. Een paar stukken vond ik minder sterk of sprongen er qua onderwerp wat vreemd uit. Toevallig of niet, allemaal in het deel dat True believers and their tactics heet. Een stuk van Jean Paul van Bendegem over hoe discussies met pseudowetenschappers kunnen verlopen en wat voor soort argumentatie je in de strijd zou kunnen werpen, is aardig, maar niet erg specifiek voor pseudowetenschap.
Een ander artikel dat wat te formeel aandoet, gaat over klinische trials en waarom die al dan niet ingezet kunnen worden voor de evaluatie van alternatieve behandelwijzen. Het is een formele inkadering van een (dubbelblind) onderzoek, die op zich klopt, maar aan de belangrijkste praktische problemen mijns inziens te makkelijk voorbij gaat.  De schrijver van het stuk, Jesper Jerkert, probeert aan te tonen dat de bezwaren vanuit sommige alternatieve behandelwijzen tegen die trials niet opgaan, maar vergeet dat een RCT bij normaal medicijnonderzoek maar het laatste stukje van bewijs van een groter geheel is, dat begint met het aannemelijk maken dat een behandeling überhaupt zou kunnen werken. De belangrijkste alternatieve behandelwijzen komen juist graag met bewijs in de vorm van RCTs aanzetten, omdat je daar met een beetje geluk  (en eventueel wat gemanipuleer) aan significant positieve resultaten kunt komen. Een beetje moeilijk door te komen (vooral het begin) vond ik The case of Freud’s Sexual Etiology of the Neurose een stuk waarin Frank Cioffi (overleden in 2012) stevig afrekent met de wetenschappelijk  pretenties van de ideeën van Freud. Misschien moet je er ook gewoon wat meer in thuis zijn dan ik.

Philosophy of PseudoScienceNaast de filosofische stukken die het demarcatieprobleem theoretisch aanpakken, heb ik vooral de historische en sociologische stukken met veel plezier gelezen. Thomas Nickels geeft in The Problem of Demarcation een mooi overzicht van de geschiedenis van de problematiek en zet de ideeën van Popper, Imre Lakatos, Kuhn en Laudan op een rijtje (uiteraard komen Aristoteles en Wittgenstein ook even langs). Ook de bijdrage van Michael Shermer is lezenswaardig en biedt meer dan de andere stukken praktische handvatten om pseudowetenschap te herkennen.
Intussen zou je misschien denken dat Boudry en Pigliucci alleen mannelijke auteurs wisten te strikken, maar er staan ook paar zeer interessante stukken van vrouwen in. Noretta Koertge schrijft over het (meestal) ontbreken van een kritische gemeenschap bij de pseudowetenschappers in tegenstelling tot de echte wetenschappen waar kritiek georganiseerd is. Weer zo’n as waarop je de (pseudo)wetenschappen zou kunnen indelen in een multidimensionale aanpak. En Barbara Forrest tast aan de hand van Hume de grenzen tussen wetenschap en religieuze pseudowetenschap af.

Ik vergeet dan nog wat auteurs ( m/v) te noemen, maar het is lastig om in een korte bespreking dit boek volledig recht te doen. Daarvoor is het te rijk aan ideeën. Er is ook nog aandacht voor niet experimentele wetenschap en de cognitieve wortels voor pseudowetenschap (hoe komt het eigenlijk dat dat soort ideeën bij mensen opkomen en beklijven?). Het onderscheid tussen pseudowetenschap en echte wetenschap blijft een lastige kwestie. Dit boek probeert, in mijn ogen terecht, een gedegen analyse van het probleem hoger op de agenda te plaatsen. Het idee dat wetenschappers zo ook wel ‘zien’ wat echte wetenschap is en wat niet, is geen bevredigende oplossing. Het is niet zo dat dat oordeel nergens op gebaseerd is en dat er vaak vergissingen gemaakt worden, maar de impliciete uitgangspunten en redenaties die leiden tot dat oordeel mogen wel wat helderder verwoord worden. Er komen dan vast inzichten naar boven die in andere gevallen ook goed van pas komen. De gereedschapskist met instrumenten om pseudowetenschap te bestrijden kan best aangevuld worden met wat nieuwe ‘heavy duty tools’.

Het is geen makkelijk boek, maar voor iedereen die wat serieuzer wil nadenken over waar hij als skepticus mee bezig is, durf ik het toch aan te raden. Waar haal je immers de arrogantie vandaan het beter te weten dan al die zwevers om ons heen? 😉 De inleiding van het Engelstalige boek is overigens hier te lezen, dan kun je zelf nog een beter idee krijgen of het wat voor je is. Ten slotte nog een tip: in een podcast van Rationally Speaking spreekt Boudry over het boek, geïnterviewd door Julia Galef en … Pigliucci. Dat wordt gelukkig toch niet saai, omdat Pigliucci en Boudry het ook niet op alle punten met elkaar eens zijn.