In februari van dit jaar hadden we het hier in de commentaren op kloptdatwel.nl al over de biggenstudie van onderzoeker Irene Camerlink (WUR) e.a. Toevallig kwam deze onlangs weer onder mijn aandacht. In een dialoog via Twitter met de woordvoerder van de WUR, Simon Vink, voerde ik die studie op als voorbeeld van onderzoek, dat niet ‘waar’ kon zijn. Dit na aanleiding van opmerkingen van Vink in de Gelderlander, “Wetenschap draait om zorgvuldigheid. Wat je zegt moet waar zijn. Nooit publiceren zonder dat je hebt gecheckt en gedoublecheckt. Zo doen wij dat hier in Wageningen althans.” In dit artikel leg ik uit waarom één of enkele losse onderzoeken (‘random controlled trials’ , of RCT’s) naar homeopathie nooit voldoende kunnen zijn om de werkzaamheid van een individueel homeopathisch middel aan te tonen. Zelfs als uit zo’n RCT komt dat het homeopathische middel (het verum) het beter zou doen dan een placebo. Die conclusie berust op een denkfout.
Kort na die discussie met Vink nam een journalist contact met me op. Hij had nl. net een stukje in de Molenaar gelezen over dezelfde studie en na wat geGoogle, vond hij dat ik de biggenstudie had genoemd op Twitter.
Ik was er intussen ook achter gekomen waarom het weer ‘nieuws’ was: Irene Camerlink en Liesbeth Ellinger, de homeopathische dierenarts, waarmee Maarten Koller op de radio in discussie was, hebben de studie onlangs op een symposium gepresenteerd (17 sept. 2011). Als je een beetje zoekt op Internet vind je nu op allerlei sites aanhangers van homeopathie juichend berichten, dat het nu wetenschappelijk bewezen is dat homeopathie kan werken.
In die discussie met Vink had ik beargumenteerd dat zo’n Randomized Controlled Trial (RCT) als onderzoek naar homeopathie wetenschappelijk gezien bij voorbaat niets kon opleveren en daarom eigenlijk niet zou moeten worden uitgevoerd aan een zichzelf respecterende universiteit. Dat argument heb ik hieronder uitgewerkt. Het komt neer op eens heel precies kijken wat zo’n RCT nu eigenlijk inhoudt.
Randomized Controlled Trial
Zo’n onderzoek begint grofweg met de nulhypothese, vervolgens komt de proefopzet, de proef zelf, de resultaatopname, de data-analyse en ten slotte het trekken van conclusies. De nul-hypothese veronderstelt gewoonlijk dat er geen verschil is in werking van verum (het middel dat we willen onderzoeken) en placebo (een nepmiddel). Verwacht mag dan worden dat er bij een groep proefpersonen die het verum krijgt en een andere groep die het placebo krijgt, niet al te grote verschillen in resultaat zullen optreden.
Alleen als er uit het experiment een significant verschil blijkt tussen verumgroep en placebogroep, verwerpen we de nulhypothese. Als de verumgroep beter scoorde, kun je dan claimen dat het verum een werking heeft die beter is dan die van het placebo. Dit alles is wel onder voorbehoud dat het experiment netjes is opgezet, zodanig dat er geen andere factoren de groepen verschillend kunnen beïnvloeden. Dit wordt o.a. getracht te bereiken met (dubbele) blindering. En dan is er altijd nog het fenomeen van de ‘vals-positieve’ uitslagen…
Nu zijn er diverse RCT’s uitgevoerd met klassiek homeopathische middelen die een positief significant verschil laten zien voor de verum groep. Is de conclusie dat het homeopathische middel werkt gerechtvaardigd? Nee, zullen de sceptici beweren en meestal zal het ze niet veel moeite kosten om ergens een onvolkomenheid in de opzet of data-analyse aan te tonen, die het onderzoek ‘onderuit’ haalt (zie de commentaren op het eerder bericht op kloptdatwel.nl om een idee te krijgen van wat er mis gegaan kan zijn bij het onderzoek van Camerlink).
Mocht het niet lukken fouten te ontdekken is het altijd nog mogelijk om te wijzen op de mogelijkheid van een vals positief resultaat, een toevalligheid. Dat laatste voelt natuurlijk wat zwakker aan als argument, maar is op zich wel valide. De reden dat die meta-analyses van homeopathische trials worden uitgevoerd, hangt sterk samen met dat verschijnsel van vals positieven. Als je een berg onderzoeken bij elkaar veegt, blijken die paar toevallige positieve uitslagen meestal de te verwachte uitschieters.
Wat zit er fundamenteel mis bij die RCT’s en homeopathie?
Het echte probleem ligt in mijn ogen echter op een fundamenteler niveau: de nulhypothese die ik eerder formuleerde is niet compleet en zou eigenlijk moeten luiden “er is geen verschil in werking tussen verum en placebo én er is een wezenlijk verschil tussen verum en placebo”. Die toevoeging is in gewone trials zo triviaal dat er eigenlijk nooit bij stil wordt gestaan. Meestal is er gewoon sprake van twee chemisch verschillende stoffen, maar essentieel is dat het bestaan van het verschil in overeenstemming is met de kennis waar je van uit gaat. Het wetenschappelijk probleem met de klassieke homeopathie is nu echter juist dat dat veronderstelde verschil niet aangetoond kan worden en er eigenlijk ook niet kán zijn op grond van bestaande kennis.
Als het experiment wordt uitgevoerd en er is een positief significant resultaat moet de conclusie dus eigenlijk luiden “onder aanname dat er een wezenlijk verschil is tussen verum en placebo, werkt het verum beter dan het placebo” (nog steeds met inachtneming van eerder genoemde randvoorwaarden van goede proefopzet en mogelijk een vals positieve uitslag). Zolang je echter niet dat wezenlijke verschil tussen verum en placebo kunt aantonen, heeft die conclusie geen enkele betekenis!
Aanhangers van homeopathie zullen nu aanvoeren dat de wetenschap nog niet zo ver is om dat verschil te meten of zelfs dat de werking überhaupt buiten het bereik van de huidige wetenschappelijke kennis ligt. Dit is ook wat Camerlink naar voren brengt en bevestigde in een mailwisseling, die ik met haar had. Zij verwacht binnen niet al te lange tijd dat die onontdekte eigenschappen van hoogverdunde oplossingen bewezen zullen worden: “Dat het verschil in samenstelling tussen het verum en de placebo nog niet wetenschappelijk is aangetoond is naar mijn inziens slechts een kwestie van tijd. Via de natuurwetenschappen wordt steeds duidelijker dat structuur van water door behandeling kan veranderen zonder dat de fysieke samenstelling van water verandert.”
Totdat die ‘verwachting’ bewaarheid is geworden, mag je de oorzaak van het positieve resultaat niet aan het verschil verum/placebo toeschrijven. Het is eigenlijk nog safer om het aan verschil in letters op de spuitbusjes (‘A’ of ‘B’) toe te schrijven. Zo gauw je namelijk een niet meetbare invloed accepteert als verklaring, kun je net zo goed elke andere niet meetbare invloed aannemen als verklaring: ‘ik heb toevallig heel hard gebeden voor de verum-groep’ óf ‘er zijn marsmannetjes die een straal biofotonen hebben afgevuurd op de verum groep’ …
Sommigen zullen in het positieve resultaat van het experiment zélf ‘bewijs’ zien voor het verschillen van verum en placebo; een ontoelaatbare cirkelredenering, volgens mij. Ik heb gemerkt dat dat echter niet bij iedereen die ik dat voorlegde vanzelfsprekend is, maar een voorbeeld kan het denk ik, verduidelijken.
Stel, we doen een proef, waarbij we zeker weten dat verum en placebo identiek zijn. We nemen bijvoorbeeld kraanwater of nog makkelijker, ‘niets’. Nu kan het experiment toch een significant positief resultaat opleveren voor het ‘verum’, door problemen met de opzet of door toeval (vals positief). In dat geval zal geen wetenschapper de conclusie trekken dat de twee identieke middelen blijkbaar tóch verschillend waren, of dat het verum-’niets’ anders was dan het placebo-’niets’.
Kortom, zolang er vooraf geen wetenschappelijk aanvaardbaar verschil is aan te tonen tussen verum en placebo, kan de conclusie bij een positief significant resultaat van een RCT alleen maar zijn dat, ofwel er onvolkomenheden in de opzet zaten, ofwel dat we met een vals positief resultaat van doen hebben. Het is eigenlijk niet nodig om verder te kijken. De conclusie dat het verschil veroorzaakt wordt door een betere werking van het verum is echter bij voorbaat onjuist, of leunt op zijn minst op de veel zwaardere claim van het bestaan van onbekende krachten, of iets dergelijks.
En je moet je afvragen of het wetenschappelijk verantwoord is, om zo’n positief resultaat zonder al die voorbehouden die op zijn plaats zijn, te publiceren. Ik vind eigenlijk dat je dat niet moet doen en in mijn ogen zou het Wageningen sieren om duidelijk afstand te nemen van die studie (en eens uit te leggen waarom ze er ooit aan begonnen zijn). De WUR heeft jammer genoeg ook nooit gereageerd op de nominatie voor de Meester Kackadorisprijs 2010 naar aanleiding van de biggenstudie.
Wat blijft er dan wel aan bewijsmogelijkheden over voor homeopathie?
Fundamenteel onderzoek naar homeopathie wijs ik niet bij voorbaat af, hoewel er zo weinig aanwijzingen voor de werking ervan zijn, dat ik het eigenlijk niet acceptabel vind dat er gemeenschapsgeld aan wordt besteed. Zo’n aanwijzing zou kunnen bestaan, het klinkt misschien een beetje paradoxaal na het voorafgaande, uit een goed opgezette RCT, die bij herhaling en ook bij herhalingen door andere onderzoekers, keer op keer een positief significant resultaat laat zien. Buitengewone claims vergen immers buitengewoon sterk bewijs. Op het Skepsis-blog zijn andere suggesties te vinden .
De huidige ophef over die neutrino’s laat zien hoe verstandige wetenschappers omgaan met onverklaarde resultaten, die de huidige wetenschappelijke kennis lijken te tarten: eerst zelf alles tot in den treure controleren en herhalen, en als het resultaat nog steeds overeind blijft, aan je collega’s vragen om de proef te herhalen en jouw resultaten kritisch te bekijken. Sommige critici vinden het eigenlijk al te ver gaan dat CERN er een persconferentie over belegde…Voorzichtigheid over de eigen resultaten en speculaties over mogelijke gevolgen voor de wetenschap bij bevestiging van het resultaat nuanceren, lijkt mij de wetenschappelijk juiste houding. Zo’n merkwaardig resultaat is alleen maar het beginpunt van een zoektocht naar een verklaring.
Conclusie: losse RCT’s zijn bij voorbaat zinloos om op een wetenschappelijk verantwoorde manier de werking van homeopathische middelen aan te tonen … En, denk ik vervolgens, zijn al die meta-analyses van die trials door sceptici die nu als belangrijkste reden worden aangevoerd om maar op te houden met het onderzoek naar homeopathie, dan eigenlijk ook niet overbodig geweest?
Steun Kloptdatwel
Waardeer je dit artikel? Je kunt onze site steunen met een financiële bijdrage. Dat waarderen wij dan weer! Een donatie kun je doen via dit betaalverzoek (of klik op de afbeelding hiernaast).
NB de rekening staat op naam van Maarten Koller, formeel eigenaar van deze site.
In reactie op Hans over de presentatie van Iris Bell:
Ik heb daar ook een video van gezien, deze presentatie (sheets) hoort daar bij.
Misschien kan ik die video nog wel eens vinden.
Maar het onderzoek over fibromyalgie waar ze naar verwijst, heb ik gevonden bij de referenties in een artikel van haar dat ik hier al eens geplaatst heb.
referentie 61
Ik zal het hier kopieren, zal wel weer fout gaan.
Dan zal ik het overtypen in een volgende reactie.
Op hoop van zegen:
61. Bell IR, Lewis DA, 2nd, Schwartz GE, Lewis SE, Caspi O, Scott A, Brooks AJ,Baldwin CM. Electroencephalographic cordance patterns distinguish exceptional clinicalresponders with fibromyalgia to individualized homeopathic medicines. Journal ofAlternative & Complementary Medicine 2004;10:285-99.Bell IR, Lewis DA, 2nd, Schwartz GE, Lewis SE, Caspi O, Scott A, Brooks AJ,Baldwin CM. Electroencephalographic cordance patterns distinguish exceptional clinical
responders with fibromyalgia to individualized homeopathic medicines. Journal ofAlternative & Complementary Medicine 2004;10:285-99.Journal ofAlternative & Complementary Medicine 2004;10:285-99.2004;10:285-99.
Ging goed, alleen weer wat extra tekst gekopieerd.
Zoals deze site nu eenmaal steeds doet, helaas.
Nieuw onderzoek homeopathie bij fibromyalgie,
in dit artikel wordt ook het onderzoek van Iris Bell besproken:
http://www.naturalnews.com/031353_fibromyalgia_homeopathy.html
Tsja, is weer zo’n RCT dus zegt niets zoals ik in mijn artikel beargumenteer. Ga niet eens kijken wat er misschien mis is met de opzet/uitvoering/statistische analyse als er geen theorie/model van mogelijke werking is gegeven.
Pepijn:
Heel zwak, mijn buurman zei dan: zo lust ik er nog wel een.
Je hebt geen argumenten, en dan kom je met dit.Ik zit er niet mee hoor.
Ik heb trouwens dit onderzoek alleen maar geplaatst als “service” voor Hans.
Verder geen bedoeling er mee.
Dacht eerst dat het onderzoek niet in Pubmed stond, dat vond ik vreemd, maar het stond er toch:
http://www.ncbi.nlm.nih.gov/pubmed/15165409
Leg eens uit?
Het is nooit goed of het deugt niet.
Sterker nog:
Het is niet goed EN het deugt niet.
U moet gewoon niet klakkeloos alles geloven wat er gedrukt staat en zeker sprookjes moeten bijzonder argwanend en superkritisch worden beschouwd.
Als sprookjes beschouw ik die zaken die logisch beredeneerd en in context met bekende en bewezen zaken niet waar kunnen zijn.
Ik heb al eerder beweerd dat ik het bijzonder waardevol zou vinden ALS homeopathie werkzaam zou kunnen zijn. Maar in de 2 afgelopen eeuwen is alle onderzoek nutteloos en vruchteloos gebleken. En dat lag natuurlijk voor de hand. Er bestaat maar 1 natuurkunde.
Ik kan me niet voorstellen dat gerespecteerde onderzoekers steeds maar vasthouden aan onderzoek dat gedoemd is tot niets te leiden. En ook kan ik me niet goed voorstellen dat mensen zoals u zich blijven vastklampen aan onzin waarvan iedere weldenkende wetenschapper zich distantieert.
Uitsmijter:
All Evidence is Equal, but Some Evidence Is More Equal than Others:
Can Logic Prevail over Emotion in the Homeopathy Debate?
http://www.homeopathy.org/research/editorials/acm_2005_11_4.pdf
Lees je die artikelen die je hier dropt eigenlijk zelf wel? Ik weet niet of het je opgevallen is, maar de belangrijkste aantijging van Iris Bell tegen die meta-analyse van Shang is dat de uitgekozen onderzoeken niet over ‘echte homeopathie’ zouden gaan, omdat het niet gaat om behandelingen waarbij een patiënt-specifiek middel gekozen is.
Als je dat een geldig argument vindt, kun je niet tegelijkertijd beweren dat de verkoop van homeopathische zelfhulpmiddelen (voor oorpijn bijvoorbeeld) een goede zaak is. Nou ja, het kán wel, maar het is volstrekt inconsistent en verder discussiëren is dan niet zo zinvol, lijkt me.
Een uitsmijter?
Ik zou dit artikel liever betitelen als geraaskal.
Maar of ik dat aan u kan uitleggen, betwijfel ik, juist omdat u het nogal triomfantelijk naar voren schuift.
Bell beweert dat de ‘top acht homeopathische studies’ onbekend zijn, maar dat is niet waar (mogelijk wel pal na publiocatie van Shang et al.)
Maar ze hanteert een bekende tactiek van homeopaten in het algemeen. Die techniek komt erop neer dat ‘homeopathie’ wordt ingeperkt tot wat de auteur als ‘homeopathie’ beschouwt. Er is natuurlijk drogisterijhomeopathie, er is homeopathie bedreven door artsen die ook reguliere diagnostische categorieën beschouwen, er is ‘klassieke’ homeopathie enzovoorts. Als de proeven niet het gewenste resultaat opleveren, dan wordt de competentie van de individuele homeopaat ter discussie gesteld, of er wordt een extra variabele ‘zekerheid omtrent de gestelde diagnose’ ingevoerd, waarvoor niet gecontroleerd zou zijn.
Daarentegen, als men nagaat wat de pleitbezorgers van de homeopathie aandragen als bewijs, dan zijn het bijvoorbeeld allerlei uiterst curieuze proeven met hoge (schud)verdunningen en curieuze theorieën met woorden als quantum, chaos, dynamica, complexiteit, zelforganisatie erin, die helemaal niets te maken hebben met de vraag: worden zieke mensen sneller beter met dan zonder klassieke homeopathie? Proeven met ‘verwerpelijke’ vormen van homeopathie worden omarmd als de uitkomst positief is; komen ze negatief uit, dan worden er allerlei vraagtekens bij gezet.
Maar iedereen die wetenschap bestudeert, begint met het eenvoudige handwerk. In de wiskunde moet je stellinkjes bewijzen die al hoog en breed bekend zijn. In de natuurkunde moet je voor de zoveelste keer de valversnelling meten, en ga zo maar door.
De ‘basisfeiten’ van de homeopathie zijn de geneesmiddelbeelden. (Ik weet dat ik klink als een defecte grammofoonplaat.) Het zijn die geneesmiddelbeelden die de oude homeopaten tot de overtuiging brachten dat hoogverdunde middelen effect hebben, en het zijn die geneesmiddelbeelden (neemt u maar eens xyz C30 in, dan piept u wel anders) die ook een belangrijke rol in discussies spelen. En inderdaad, ALS hoogverdunde middelen consistent bepaalde effecten zouden oproepen, DAN zouden we geen proeven meer nodig hebben met effecten van hoogverdund IgE op basofiele granulocyten of met thermoluminescentie van zwaarwaterijs bij 180 graden onder nul of superverdund groeihormoon op kikkervisjes. Dan zou in elk geval aannemelijk zijn dat hoogverdunde middelen een gezondheidseffect hadden, en dan zouden we niet hoeven te twijfelen aan de correctheid van de circa 1 miljoen middel-symptoom combinaties die in de homeopathische handboeken staan (waaronder circa 800 effecten van hoogverdund noord- en zuidpoolmagnetisme).
Maar nu doet zich iets merkwaardigs voor: de oproep om eens een voorstel te doen voor een geneesmiddelproef (van het type ‘neemt u maar eens xyz C30 in’) wordt beantwoord met een doodse stilte. Acties zoals 10:23 worden beantwoord met een meewarig ‘ach zie je wel, homeopathische middelen zijn veilig’ enzovoorts, terwijl dat toch eigenlijk ook geneesmiddelproeven zijn.
Die stilte is natuurlijk wel te verklaren. Al in de 19de eeuw zijn zulke proeven uitgevoerd, met nul resultaat. In de 20ste eeuw zijn in de jaren 1936-1939 in Duitsland zulke proeven gedaan met voorbeeldige wetenschappelijk accuratesse, toen het homeopathie-vriendelijke regime bevel had uitgevaardigd dat er een wetenschappelijk bewijs van de homeopathie moest komen. De onderzoekers konden zich niet permitteren dat er ook maar dát zou zijn aan te merken op hun methoden als er onverhoopt mocht blijken dat de homeopathie niet werkte. Maar er kwam niets uit, alleen maar weerleggingen van de homeopathie. Bij die gelegenheid bleek dat de homeopaten zich in alle bochten wrongen om maar niet aan de proeven te hoeven meedoen. Maar juist omdat de onderzoekers zo volkomen correct en vriendelijk bleven, konden ze niet jammerend naar Hess en dergelijke lopen om zich te beklagen over het vooroordeel van de onderzoekers.
In Griekenland zijn plannen om een klinische proef in een homeopathische kliniek uit te voeren met uiterst grondige loting en blindering. Dit plan is blijven steken, omdat de homeopaat in kwestie bezwaar maakt. In verband met adequate blindering moesten volgens plan de kennelijk vloeibare middelen halverwege de procedure worden overgeschonken in neutrale flessen. ‘Nee’ protesteerde de homeopaat toen puntje bij paaltje kwam, ‘want dan gaat de werking verloren’.
Dus de werking gaat niet verloren (integendeel) bij het eindeloos schudden en verdunnen en voortdurend overbrengen van het ene flesje naar het andere, en eventueel zelfs bij het besproeien en en laten opdrogen van melksuikerkorrels, maar gewoon van de ene in de andere fles schenken is al voldoende om de werking te vernietigen… Is het niet overduidelijk dat homeopaten bij proeven afhaken wanneer ze te weinig controle over de uitkomsten hebben?
Daarom blijf ik van mening dat wat homeopaten zeggen niet serieus genomen kan worden zolang zij zichzelf niet serieus nemen, namelijk door een serieuze proef voor te stellen.
“Daarom blijf ik van mening dat wat homeopaten zeggen niet serieus genomen kan worden zolang zij zichzelf niet serieus nemen, namelijk door een serieuze proef voor te stellen. ”
Helemaal mee eens!
Zichzelf nemen zij kennelijk toch wel serieus, gezien het feit dat inferieur “onderzoek” door obscure “grootheden” (dat gezien bovenstaande discussie echter meestal neerkomt op merkwaardige en ongeloofwaardige aannames en rommelig gelegde verbanden) naar voren wordt geschoven, ten onrechte als zijnde het bewijs dat homeopathie werkzaam zou zijn en steeds wetenschappelijker zou worden.
Homeopathie is m.i. te vergelijken met alle andere geloof, dat op dezelfde wijze door dik en dun wordt verdedigd, ook hier met nepargumenten, ook hier als er geen enkele grond voor is.
Homeopathie kan gewoon niet werken, gewoon omdat het niet kán. Zo simpel is het. Het is volstrekt in tegenspraak met de bekende natuurwetten, die inderdaad al eindeloos zijn herhaald d.m.v. het ons bekende handwerk (wat homeopathie-aanhangers kennelijk niet nodig achten), proeven die nog nooit iets anders hebben opgeleverd dan wat daarover al bekend was. Als er dan begrippen als “complexiteit” en “quantummechanica” etc. bij gehaald worden, beseffen homeopathie-aanhangers niet dat zij absoluut niet kunnen overzien wat dergelijke begrippen inhouden t.a.v. hun systeem. Verbanden die er niet zijn. Zij schermen alleen maar volstrekt onnodig met deze begrippen om rookwolken te verspreiden, om maar niet met echt basaal onderzoek op de proppen te hoeven komen, uit verborgen vrees voor totale ontluistering van hun nep-systeem. Zij blijven dus een illusie nastreven.
“DAN zouden we geen proeven meer nodig hebben met effecten van hoogverdund IgE op basofiele granulocyten of met thermoluminescentie van zwaarwaterijs bij 180 graden onder nul of superverdund groeihormoon op kikkervisjes. ”
Schitterend! Rookwolken, zoals ik hierboven opmerkte.
Maar helaas is geloof niet uit te roeien. Discussies als deze blijven echter nodig om een rem te blijven zetten op flauwekul, anders worden we overspoeld door onzin. Die is er helaas al veel teveel.
Ik heb de samenvatting van ‘Electroencephalographic cordance patterns distinguish exceptional
clinical responders with fibromyalgia to individualized homeopathic
medicines’ door Bell et al. (2004)
bekeken.
Ten eerste staat het in een tijdschrift dat wel meer onzin afdrukt. Maar als we naar de samenvatting kijken, dan zie je sporen van heel energieke dataselectie. Het hoofdresultaat gaat over ‘Exceptional responders versus other patients’ waarom niet gewoon verum vs placebo? Waarom niet de aantallen genoemd? Er worden verder drie uitkomstmaten genoemd (van de hoeveel? honderd misschien?) die iets ‘significants’ opleverden. En waarom keek men alleen naar ‘initial prefrontal electroencephalographic alpha frequency’ Is dat nou echt het enige wat je aan een EEG kunt zien?
Er zal wel geen enkele indicatie zijn wat ze allemaal hebben zitten proberen, hoeveel combinaties van dingen die je aan het EEC kunt zien en joost mag weten hoeveel uitkomstvariabelen.
Pepijn, ook ondergraving van je stuk door de EU:
2 miljoen voor onderzoek homeopathie in veeteelt, vanwege reductie antibiotica-gebruik.
Zie reactie nr. 96 bij artikel Alternatieve Diergeneeskunde InHolland
Volgens mij gaat het om een amendement dat wel in de commissie landbouw is aangenomen om ingediend te worden voor de begroting 2012. Dat gebeurde al in augustus 2011. Als ik het goed begrijp is het amendement afgewezen: http://www.google.nl/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3&ved=0CDYQFjAC&url=http%3A%2F%2Fwww.europarl.europa.eu%2Fdocument%2Factivities%2Fcont%2F201110%2F20111017ATT29463%2F20111017ATT29463NL.doc&ei=t_hxT-SOEIOXOvT99d8O&usg=AFQjCNH3Pw9kug-RGa0Xxl_xkMDngKmbsA&sig2=33WGuixS830o5ePnkjUq9A zoeken op ‘5277’ De precieze verslaglegging kan ik niet zo snel vinden, omdat de EU-site er gedeeltelijk uitligt.
Oh, zal het ook even nakijken.