Kloptdatwel?

Pepijn van Erp

Biggenstudie krijgt prijs: homeopaten blij met dode mus?

by 28 Comments

Biggenstudie krijgt prijs: homeopaten blij met dode mus? 1De International Academy of Classical Homeopathy (IACH) heeft de biggenstudie van Irene Camerlink en Liesbeth Ellinger gekozen tot beste studie gepubliceerd in een peer-reviewed tijdschrift. Dit heugelijke nieuws las ik op de site van de Koninklijke Vereniging Homeopathie Nederland. De studie is al eerder terloops ter sprake gekomen op Kloptdatwel.nl, maar nog niet uitgebreid besproken. De uitverkiezing  tot het beste artikel op het gebied van homeopathie door het instituut van Vithoulkas zelf, is aanleiding om er toch even nader naar te kijken. Eventjes dan. 

Biggenstudie krijgt prijs: homeopaten blij met dode mus? 2
foto van jref.org

George Vithoulkas is namelijk een heel grote meneer in homeopathische kringen en onder andere winnaar van een Right Livelihood Award, de ‘alternatieve Nobelprijs’. En het is dus niet zo vreemd dat het winnen van de IACH Research Award door de aanhangers van homeopathie als een belangrijke erkenning wordt gezien. Vithoulkas durfde het ook aan om in te gaan op de ‘1 million $ Challenge’ van James Randi.  Maar uiteindelijk kwam het niet tot een echte test en de heren geven elkaar natuurlijk de schuld van het niet doorgaan (JREF, Vithoulkas).

In 1995 stichtte Vithoulkas de International Academy of Classical Homeopathy op Alinissos  in Griekenland. Het is vooral een zomerschool waar homeopaten van over de hele wereld bijgeschoold worden. Volgens de website gaat het al om 9.000 homeopaten uit 32 landen.

De biggenstudie
Wat behelst die studie ook al weer? Irene Camerlink deed het onderzoek in het kader van een minor scriptie bij de Leerstoelgroep Biologische Landbouwsystemen aan de Universiteit Wageningen. Het artikel verscheen in het blad Homeopathy onder de titel Homeopathy as replacement to antibiotics in the case of Escherichia coli diarrhoea in neonatal piglets (hier vrij toegankelijk) en er is ook een Nederlandse versie.

Biggenstudie krijgt prijs: homeopaten blij met dode mus? 3
foto Flickr (woodleywonderworks)

De proef werd gedaan met 52 zeugen, die in twee gelijke groepen verdeeld werden, waarbij de ene groep een placebo kreeg en de andere groep een Coli 30K oplossing. Dat is weer zo’n bizar hoog  aantal keer verdund mengseltje dat er eigenlijk geen moleculen van de opgeloste stoffen in aanwezig kunnen zijn. Daar deed Camerlink overigens ook niet geheimzinnig over in een e-mail aan mij. Zij geeft ruiterlijk toe dat een wetenschappelijke verklaring voor de veronderstelde werking nog niet voorhanden is. Zij verwacht die echter wel snel.

De vloeistoffen werden twee keer per week in de vulva’s van de zeugen gesprayd gedurende de laatste vier weken van de dracht. Hoogstwaarschijnlijk is de blindering weer met de ‘Wageningse methode‘ gebeurd: de zeugen kregen labeltje ‘A’ of ‘B’ en werden dan met spuitje ‘A’ of ‘B’ besproeid.
Maar dat is helemaal geen goede blinderingsmethode. In feite test je in het onderzoek dan maar twee ‘deelnemers’ (N=2). Uit het artikel komt sterk naar voren dat gedurende het onderzoek bekend was of een zeug in groep ‘A’ of ‘B’ hoorde. Om het goed te doen moet je 52 verschillende spuitbusjes maken, die ofwel placebo ofwel verum bevatten. Het is wat meer gedoe, maar wel essentieel.

Uiteindelijk werd er gekeken hoeveel van de biggetjes, die de zeugen kregen, diarree kregen door E.coli-besmetting. Tenminste, dat zou je denken. Maar als je goed leest, zie je dat het vaststellen van de E.coli geschiedde door visuele inspectie van de uitwerpselen. Er werd slechts één sample ingestuurd naar een laboratorium om op E.coli te testen, het betrof een mengsel van de uitwerpselen uit drie verschillende worpen. En daar kwam niets uit. We weten dus niet eens of er sprake is geweest van diarree door E.coli! En eigenlijk kunnen we nu wel ophouden met verder zoeken naar methodologische fouten in het onderzoek, hoewel je er zo een flinke lijst van kunt opstellen.

Het onderzoek als zodanig vond ik daarom ook helemaal niet zo interessant, maar de aandacht van homeopathie aanhangers ervoor wel. Die voeren deze studie namelijk op als echt wetenschappelijk bewijs voor de werkzaamheid van homeopathie, want het zou immers gaan om een keurig uitgevoerde Randomized Controlled Trial (RCT) met een niet te ontkennen significant positief resultaat. Voor mij aanleiding om die algemene claim (een enkel positief significant resultaat uit RCT is ‘bewijs’) onderuit te halen in mijn artikel “RCT, homeopathie en biggetjes: ‘The Good, the Bad & the Ugly’?“

Het is overigens wel grappig te lezen wat er als resultaat van de studie vermeld wordt in het nieuwsbericht op de site van de KVHN:

Resultaat was dat van de groep aan wie het echte homeopathische geneesmiddel werd toegediend slechts 10 van de 265 biggetjes diarree kregen in vergelijking tot 63 van de biggen uit de even grote placebogroep. Dit houdt een significantie in van P<0,0001 op biggenniveau, en van P<0,05 op zeugenniveau. Heel duidelijk positief voor het homeopathisch geneesmiddel.

Die vetgemaakte zinssnede is de correcte statistische conclusie als je toch wil gaan rekenen met de resultaten die niet voorstellen wat de onderzoekers suggereren. Maar deze uitkomstwaarde is nergens in het oorspronkelijke artikel te vinden! Daar wordt alleen gewezen op de indrukwekkende score op biggenniveau. En dat cijfer is volkomen verkeerd berekend, want houdt geen rekening met het feit dat de kans op besmetting binnen een worp biggen heel groot is. Je kunt het al dan niet waarnemen van diarree bij de individuele biggen niet als onafhankelijke uitkomsten beschouwen. Dit merkte ik op in een commentaar op een artikel hier op Kloptdatwel, waarop Jan Willem Nienhuys voorrekende hoe de p-waarde op zeugenniveau is. Inderdaad significant, maar het is wel een grensgeval: was er één zeug in de verumgroep meer geweest met diarree in haar worp, was dat al niet meer het geval geweest.

Tsja, dit is dus volgens de International Academy of Classical Homeopathy het beste onderzoek dat er de laatste tijd verschenen is op het gebied van homeopathie. Of in ieder geval het beste van die artikelen die ingestuurd waren voor de IACH Research Award. Hoeveel dat er waren (en welke) weet ik niet. Ook niet wie er in de jury zaten en of er een juryrapport is. Die vragen stelde ik aan het instituut per e-mail en een week later kreeg ik als antwoord dat ze die informatie in dezer dagen op de website plaatsen, maar ik heb nog niets  gezien daarvan.

foto titelpagina  Flickr:woodleywonderworks

De pedoscan: valse zekerheid

by 18 Comments

Sinds enige tijd schrijft Victor Lamme, hoogleraar Cognitieve Neurowetenschap aan de Universiteit van Amsterdam, columns in de krant nrc.next. Op 16 maart publiceerde hij er een met de titel ‘De pedoscan‘. Die is gewijd aan het onderzoek van Jorge Ponseti waarin die bekijkt of je met hersenscans onderscheid kunt maken tussen pedofielen en ‘normale’ mensen. Opmerkelijke conclusie van dat onderzoek is dat dat vrij precies mogelijk lijkt te zijn. Ponseti ontwikkelde een test waarin proefpersonen werden blootgesteld aan plaatjes van naakte volwassenen en kinderen. En door te kijken hoe verschillend de scans eruit zien, kan met een hoop rekenwerk ‘bepaald’ worden of iemand pedofiel dan wel ‘normaal’ is. Maar dit soort rekenpartijen op basis van meetgegevens hebben toch altijd te maken met marges, fout-positieven en dat soort statistische kanttekeningen? Hoe zit het daar mee? Victor Lamme trekt in ieder geval niet de goede conclusies uit het gecijfer. Een 100 procent betrouwbare pedoscan ligt nog niet om de hoek.

De pedoscan: valse zekerheid 4
De fMRI scans die als basis dienen voor de test van Ponseti

Bij zo’n beetje elke test die twee uitslagen geeft, positief of negatief, heb je naast de correcte (positieve en negatieve) uitslagen ook fout-negatieve en fout-positieve uitslagen. Een fout-negatieve uitslag wil zeggen dat je test de eigenschap niet aanwijst, terwijl die er in werkelijkheid wel is. Een fout-positieve uitslag is net andersom: de eigenschap wordt ten onrechte aangetoond door de test.
Nu wil je graag dat een test zo weinig mogelijk fout-negatieve resultaten geeft, dat heb je een hoge sensitiviteit, maar ook zo weinig mogelijk fout-positieve, een hoge specificiteit. Meestal is het lastig om zowel de sensitiviteit als de specificiteit heel hoog te krijgen. Vooral in juridische aangelegenheden is een hoge specificiteit van belang, je wil immers niet mensen ten onrechte beschuldigen.

Hoe betrouwbaar is de ‘pedoscan’?
De resultaten van Ponseti zijn zo mooi, omdat zijn test de hersenscans van de 32 ‘normale’ proefpersonen allemaal als ‘normaal’ herkende, een specificiteit van 100 procent! Op de sensitiveit moet dan wel wat ingeleverd worden, want van de 24 pedofielen, werden er 3 niet juist geïdentificeerd. De sensitiviteit is dus 21/24 = 88 procent, afgerond. Lamme legt uit waarom het zo belangrijk is, dat het niet net andersom is:

Pedofilie is gelukkig zeldzaam. Precieze getallen zijn er niet, schattingen lopen uiteen van 0,1 procent tot 4 procent. Laten we uitgaan van 1 procent. Als je dan 1.000 mannen scant zijn er 10 pedofiel. Stel nu eens dat de specificiteit 88 procent was, en de sensitiviteit 100 procent (dus dat er nooit een pedofiel wordt gemist). Dan zou je alle 10 pedofielen eruit vissen, maar tegelijk ook 120 mannen ten onrechte beschuldigen (12 procent van die 1.000). Met de door Ponseti behaalde specificiteit van 100 procent beschuldig je nooit een man ten onrechte, maar haal je wel 9 van de 10 pedofielen eruit. Tot zover de wiskunde.

De pedoscan: valse zekerheid 5
Zo presenteert een zelfverzekerd kijkende Victor Lamme zich op zijn website (victorlamme.nl) met foto en deze tekst: ‘Ik ben Victor Lamme, hersenonderzoeker bij de afdeling Psychologie van de Universiteit van Amsterdam. Ik onderzoek het bewustzijn’. Wiskunde en statistiek lijken wat minder zijn sterke kant te zijn.

Tsja, tot zover gaat misschien de wiskunde van Victor Lamme. En dat is wel een beetje gênant, want het geeft een volstrekt verkeerd beeld. De specificiteit van de test van Ponseti is de uitkomst van een steekproef en is hooguit de beste schatting van de ‘echte’ specificiteit. Je kunt niet uit het feit dat geen van de 32 gezonde proefpersonen als pedofiel word aangewezen, afleiden dat de specificiteit precies 100 procent is.
Het is eenvoudig in te zien dat je net zo goed kunt stellen dat die specificiteit bijvoorbeeld maar 95 procent is (één op twintig is dan fout-positief). Ook dan is de kans behoorlijk groot dat je de 32 mannen in het goede vakje plaatst. Die kans is gelijk aan het niet gooien van ’20’ in 32 beurten met een dobbelsteen met 20 vlakken: ongeveer 19 procent (0,95 tot de macht 32). Een kleine kanttekening moet ik hierbij wel maken, je gaat er dan van uit dat er wel een zekere spreiding in de gemeten waarden is. Maar dat blijkt wel uit het vervolg.

Wil je preciezer berekenen wat die specificiteit voor waarden kan hebben, kun je een van de vele tools op Internet gebruiken. Als je de steekproefresultaten invoert, kom je uit op een 95 procent betrouwbaarheidsinterval van 87 tot 100 procent. Dat is even wat anders dan te stellen dat Ponseti’s test geen fout-positieven kan opleveren! Er is zelfs nog een kans van één op twintig dat de specificiteit in werkelijkheid lager is dan 87 procent. [update: deze tools blijken niet zo precies in dit geval. De echte ondergrens is 91 procent. Zie de commentaren.]

Het rekenwerk van Ponseti
De valse zekerheid van het abstracte gegoochel met getallen wordt ook wat duidelijker als je bekijkt hoe die test van Ponsetti nou eigenlijk in elkaar steekt. Het artikel Assessment of Pedophilia Using Hemodynamic Brain Response to Sexual Stimuli is niet voor iedereen toegankelijk, maar ik kan er wel het een en ander over vertellen. In het onderzoek werden aan proefpersonen vier soorten blote plaatjes getoond van vrouwen, meisjes, mannen en jongens. Bij elke vertoning van een afbeelding werden fMRI-scans gemaakt. Dat levert plaatjes als hierboven op. Deze plaatjes, in feite een hele berg getallen, worden omgezet in een waarde die aan moet geven hoe opgewonden de proefpersoon is. Dit kan al op heel veel verschillende manieren, die je met een ander soort meting (die ook onnauwkeurigheden heeft) moet toetsen. Vervolgens worden er per proefpersoon twee uitkomstwaarden berekend, namelijk het verschil in opwinding bij het zien van vrouwen ten opzichte van meisjes en het verschil tussen het zien van mannen en jongens. Met die waarden kun je alle proefpersonen in een grafiekje zetten.

De test die Ponseti nu eigenlijk heeft bedacht, bestaat voor het belangrijkste deel in het bepalen van een verdeling van het vlak van de grafiek  in twee delen. De verdeling moet zodanig zijn dat in het ‘goede’ stuk alle ‘normale’ personen vallen en in het ‘foute’ gebied zoveel mogelijk pedofielen.

De pedoscan: valse zekerheid 6
Lamme suggereert: als je in het witte gebied valt, ben je zeker geen pedofiel

In het plaatje hiernaast is dat duidelijk gemaakt. De rondjes zijn de ‘normale’ mannen die meededen. Zij vallen allemaal in het goede, witte, gebied. Er zijn een paar pedofielen, de driehoekjes, die er echter ook in vallen. Dat zijn de fout-negatieven.

Je kunt (en moet) je afvragen of deze verdeling niet heel erg afgestemd is op deze 56 deelnemers aan het onderzoek, of andere verdelingen niet net zo goed zouden zijn. Dat doen de onderzoekers gelukkig ook wel een beetje en ze deden een zogenaamde ‘leave-one-out crossvalidation‘. Je laat dan telkens één persoon uit de dataset, doet opnieuw de verschillende splitsingen in zwart en wit in de grafiek en kijkt of de weggelaten persoon in het goede vlak zou vallen. De beste methode bleek deze simpele lineaire verdeling te zijn.

Het is dus ook helemaal niet zo dat er van tevoren een test bedacht is, die in het onderzoek zo bleek uit te pakken dat die een specificiteit van 100 procent geeft. Nee, de test is achteraf zo afgesteld dat die in ieder geval die specificiteit geeft. Het bijzondere is alleen dat je dan nog zo’n hoge sensitiviteit overhoudt.

Mooie oplossing, of niet?
Allemaal leuk en aardig, maar waar zijn we nu eigenlijk helemaal mee bezig? Is het resultaat wel generaliseerbaar naar de gehele populatie? Die 24 pedofielen zijn misschien wel helemaal niet representatief voor alle pedofielen, die we zouden willen testen. Deze waren namelijk allemaal al ‘uit de kast gekomen’ en zaten in programma’s om om te leren gaan met hun pedofilie.

Dat is één probleem, maar er zijn ook fundamentele twijfels aan de waarde van dit rekenwerk op basis van fMRI-scans. Bert Keizer stelt in een stuk in Trouw zeer terecht de vraag of we wel kúnnen weten wat we meten met zo’n hersenscan en wat voor conclusies we mogen trekken op basis daarvan:

Stel dat een pedofiel van wie we het niet vermoeden, maar die voor deze test gescreend wordt, bij het zien van pedoplaatjes helemaal geen plezier beleeft, maar zich schaamt? Precies dezelfde schaamte die, plaatsvervangend, wordt gevoeld door de hetero die ernaar kijkt. Wat zeggen we als Robert M. brandschoon blijkt op zo’n scan? Dat hij eigenlijk niks gedaan heeft? De drogreden blijft dat je op basis van een scan precies weet wat er door iemand heen gaat én dat je op grond daarvan gedrag kunt voorspellen.

Victor Lamme geeft in zijn column niet alleen een verkeerde weergave van de betrouwbaarheid van de ‘pedoscan’ maar verwacht er ook veel te veel van:

Was het Amsterdamse drama dat Robert M. heeft aangericht hiermee voorkomen? Het lijkt me dat een pedofiel niet eens gaat solliciteren als hij weet dat er van zijn brein een dergelijke scan wordt gemaakt. Een crèche kan zich mooi onderscheiden in de nu zo moeilijke markt voor kinderopvang: ‘onze medewerkers zijn pedoscanproof!’

Het kan best zo zijn dat pedofielen minder zullen solliciteren naar functies in de kinderopvang als dit soort detectie ingang vindt. Maar dat maakt de kans alleen maar groter dat iemand die wel solliciteert en positief uit de test komt, geen pedofiel is. En de term  ‘pedoscanproof’ wekt, bij mij in ieder geval, eerder de suggestie dat er geen fout-negatieven zouden voorkomen. En die zijn er dus juist wel met de test van Ponseti. Ook is er onderzoek dat aantoont dat soortgelijke tests die gebruikt worden voor leugendetectie, te foppen zijn.

De valse zekerheid van dit soort testen zal hopelijk niet zo gaan uitpakken, dat we begeleiders in de kinderopvang die ‘slagen’ voor de test blindelings gaan vertrouwen. En dat we zeer verstandige maatregelen, zoals minstens twee begeleiders tegelijkertijd op een groep, overboord gaan gooien, omdat je dan kunt bezuinigen in deze ‘nu zo moeilijke markt voor kinderopvang‘.

Een paar andere artikelen over het onderzoek van Ponseti:

 

UFO-video uit Chili bewijst ’t: ze hebben zes pootjes

by 128 Comments

Op 13 maart gaven Chileense UFO-onderzoekers een video uit 2010 vrij waarin niet-geïdentificeerde vliegende objecten te zien zouden zijn tijdens een vliegdemonstratie in Chili. In een artikel uit internetkrant The Huffington Post werd hier ruim aandacht aan gegeven. Wat is er aan de hand? Op 5 november 2010 was er een luchtshow op de luchtmachtbasis El Bosque in Santiago ter gelegenheid van de wisseling van wat hoge piefen in de luchtmachtorganisatie. Een massa mensen was getuige van de show, maar niemand viel iets buitengewoons op. Achteraf vond een toeschouwer wat rare dingen op het door hem opgenomen beeldmateriaal. Een UFO of is er een meer aardse verklaring? Laten we eerst even kijken naar het beeldmateriaal:

Wat denkt de lezer van Kloptdatwel ervan?

Leslie Kean, schrijfster van het artikel in de Huffington Post, is er duidelijk over:

The stunning conclusion: The Chilean jets were being stalked by a UFO.

UFO-video uit Chili bewijst ’t: ze hebben zes pootjes 7Kean is auteur van het boek “UFOs: Generals, Pilots, and Government Officials Go on the Record“ waarin ze een pleidooi voert voor het opzetten van een instituut (in de VS) dat serieus wetenschappelijk onderzoek zou moeten doen naar het UFO-fenomeen. Dat zo’n fenomeen er is, is volgens haar overduidelijk vooral door enorme hoeveelheid ooggetuigenverslagen van mannen in uniformen (piloten, politieagenten en militairen). In haar boek noemt ze een aantal van de sterkste casus uit de aflopen 40 jaar. Overigens zonder al te veel aandacht te geven aan skeptische geluiden over die gevallen. Het boek kwam ter sprake in de commentaren bij recente artikelen naar aanleiding van de affaire rond Coen Vermeeren (hier op Kloptdatwel en uitgebreid op het weblog van Taede Smedes).

De journaliste maakt zich ook sterk voor het openbaar krijgen van alle beschikbare informatie van de Amerikaanse overheid over UFO’s middels de Freedom of Information Act. Als voorbeeld voor het op te richten instituut, wijst Kean naar afdelingen in Frankrijk, Brazilë, Groot-Brittannië en Chili, die zich bezig houden met onverklaarde waarnemingen door o.a. piloten. De bovenstaande video is vrijgegeven door CEFAA, dat onderdeel is van het departement voor civiele luchtvaart in Chili.

Leider van CEFAA, Generaal Ricardo Bermúdez, verklaarde dat ze nog zes andere video’s vanuit verschillende hoeken hebben weten te verkrijgen van het ‘incident’. Waarom alleen deze vrijgegeven is, is niet bekend gemaakt. Maar de onderzoekers die gevraagd waren ernaar te kijken kwamen allemaal tot dezelfde conclusies. Wat die conclusies zijn, is ook niet zo duidelijk. Waarschijnlijk zijn ze het er over eens wat het allemaal niét kan zijn. En dat betekent nog niet dat ze het er over eens zijn wat het dan wél is. Zo wordt astronoom Luis Barrera aangehaald die uit kon sluiten dat het zou gaan om een meteoroïde, brokstukken van meteoroïden of kometen, ruimteafval, een vogel of een vliegtuig, maar ook het volgende opmerkte:

The object performed a risky flight maneuver in front of the Halcones from W-E-W, at low altitude and high speed. It had intentional movements. It moved east with 25 degrees inclination, which is the same angle of spacecraft when entering the atmosphere.

UFO-video uit Chili bewijst ’t: ze hebben zes pootjes 8
Een close up van de UFO

Conclusie van CEFAA is dat het object met meer dan 6.500 km per uur vloog. Het grote probleem met de video is natuurlijk dat met geen mogelijkheid een goede inschatting gemaakt kan worden van de afstand van het object of de objecten tot de camera. Als je alleen op deze video af zou gaan, zie ik geen reden waarom het niet zou gaan om insecten op korte afstand voor de camera.

Eigenlijk kun je niet meer zeggen dan dat je een paar zwarte pixels ziet ‘bewegen’. Dat denken meer skeptici: Steven Novella (senior fellow van JREF) schreef een uitgebreid verhaal en ook het artikel van Alan Boyle is lezenswaardig. Kean gaf aan Boyle toe dat uiteindelijk misschien zal blijken dat het gaat om insecten, maar ze twijfelt er vooralsnog sterk aan. Zij gaat volledig af op Bermudez en zijn collega-onderzoekers. Die zouden hebben uitgesloten dat het hier om ‘bugs’ gaat.

Kean maakt er echter in het artikel veel meer van dan onderbouwd kan worden. Een voorbeeldje:

Images show it as a dome-shaped, flat-bottomed object with no visible means of propulsion. The rounded top reflects the sun and appears metallic; the bottom is darker and flat, emitting some form of energy which is visible in photo analysis. Infrared studies show the entire object is radiating heat, just like the jets.

Oh, er waren dus ook infraroodcamera’s aanwezig? Of is niet meer bedoeld dan dat alle voorwerpen met een temperatuur boven het absolute nulpunt warmte uitstralen? En wat die andere dingen betreft die ze meent te kunnen opmaken uit de beeldjes van de video, daar heb je wel veel fantasie voor nodig. Of je wil het te graag zien, natuurlijk.

Zonder het vrijgeven van de andere zes video’s kun je erg weinig met deze beelden. En dan nog: als de zwarte vlekjes op de verschillende video’s niet één-op-één geïdentificeerd kunnen worden, kun je nog niet uitsluiten dat het in alle gevallen gaat om verschillende insecten. En hoeveel video’s zijn er überhaupt gemaakt waarop niets te zien was? En waarom namen die dan niets op en deze zeven wel? En waarom zijn die eigenlijk niet meteen ook publiekelijk gemaakt?

Het CEFAA heeft intussen meer dan een jaar de beelden kunnen analyseren en dan zou je toch wel een iets serieuzere presentatie verwachten. Als dit het soort instituut is, waarvoor Leslie Kean zich sterk maakt om op te richten in de VS, dan verwacht ik er weinig van.

[update 22-3-2012  16.10 uur]
Ik heb de video van ‘Hoaxkiller‘ al in de commentaren genoemd, maar die is het alleen al vanwege het vele werk dat erin is gaan zitten, meer dan waard om in het artikel zelf te worden opgenomen. Op basis van de oorspronkelijk beelden, lijkt het er erg sterk op dat het inderdaad gaat om een insect.

Nog wat duidelijker wordt het in een uitvergroting:
UFO-video uit Chili bewijst ’t: ze hebben zes pootjes 9

 

[update 27-3-2012] Op UFO-blog.com staat een chronologisch overzicht over de berichtgeving en alle reacties daarop.

 

Bestaat er echt een QWERTY-effect?

by 29 Comments

Een recent onderzoek kwam met een opmerkelijke conclusie: er zou een verband zijn tussen de emotionele waardering van woorden en de positie van de letters van die woorden op het QWERTY-toetsenbord. Kort samengevat: hoe meer letters van een woord aan de rechterkant van het toetsenbord zijn te vinden des te positiever wordt het woord gezien. En niet alleen in het Engels, maar ook in het Spaans en Nederlands! Als het in drie talen optreedt, kan het haast geen toeval meer zijn, toch? Of missen de onderzoekers wat alternatieve verklaringen?

Bestaat er echt een QWERTY-effect? 10De onderzoekers Kyle Jasmin en Daniel Casasanto  publiceerden in Psychonomic Bulletin & Review een artikel getiteld The QWERTY Effect: How typing shapes the meanings of words (vrij toegankelijk). Het resultaat is opvallend en het verwondert me niet dat het op allerlei websites met (populair) wetenschappelijk nieuws werd vermeld (Nederlandse sites: scientias, KIJK).
Wired sprak ook met een van de auteurs, Jasmin, en dat artikel lijkt voor veel andere publicaties weer de belangrijkste bron. Veel van de commentaren bij het Wired-artikel zijn sceptisch: gaat het hier niet om een toevallig resultaat, datafitting of iets dergelijks? Jasmin brengt daar in een commentaar tegen in dat dat bijna uitgesloten is, omdat het in alle drie de onderzochte talen optreedt:

The trend is there, demonstrated in 5 large corpora of words, which included 3 different languages. The balance of right-side and left-side letters in a word was a strong predictor of the word’s emotional valence. For every letter you add that tips the scale to the right, you get, on average, about a 4% boost in positive valence. With respect to ‘proven’ or ‘not proven’, we predicted an effect and replicated it several times — it is statistically very unlikely to be a fluke.

Wat is het verband nu precies?
De onderzoekers gebruikten een standaard Engels woordenlijst die is verrijkt met emotionele waarderingen op een 9-puntsschaal (9 heel positief, 1 heel negatief). Deze ANEW lijst heeft een Spaans (SPANEW) en Nederlands equivalent (DANEW), die gebaseerd zijn op vertalingen van de Engelse lijst en opnieuw gewaardeerd door Spaans- en Nederlandstaligen. Vervolgens definiëren de onderzoekers een score per woord die aangeeft hoe de verhouding is tussen de ‘linkse’ en ‘rechtse’ letters op het QWERTY-toetsenbord. Ze noemen die RSA (right-side advantage) en je berekent die door het totaal aantal rechtse letters  (y, u, i, o, p, h, j, k, l, n, m) te verminderen met het totaal aantal linkse letters  (q, w, e, r, t, a, s, d, f, g, z, x, c, y, b). Voor een woord als ‘aangenaam’ wordt de RSA dan  -1-1+1-1-1+1-1-1+1 = -3.
Nu kun je kijken naar het verband tussen de RSA en de emotionele score, waarvoor ik verder de Engelse term ‘valence’ zal gebruiken zoals dat ook in het artikel gebeurt. Het volgende plaatje (uit het supplement bij het artikel, Appendix C ) laat zien wat het verband is:

 

Bestaat er echt een QWERTY-effect? 11
De grafiek die het QWERTY-effect zou moeten aantonen

De helling van de lijn geeft het verband aan dat Jasmin in zijn quote geeft: gemiddeld geeft een stijging van een punt op de RSA-schaal een verhoging van 4% in valence. Deze grafiek is wel een beetje raar: de bollen geven het gewogen gemiddelde van de valence aan bij elke RSA. Waarom ze nu eerst dat gewogen gemiddelde bepalen en dan een regressie uitvoeren, ontgaat me een beetje. In een eerdere publicatie deden ze dat niet en zagen de plaatjes er wat chaotischer uit, maar in feite bevatten ze dezelfde informatie. Voor velen zal nu het verband er veel minder overtuigend uit zien.

Bestaat er echt een QWERTY-effect? 12
De grafiek uit een eerder artikel, waarin de valence waarden niet per RSA zijn gemiddeld.

De verklaring van Jasmin en Casasanto
De auteurs beweren dat het typen van ‘linkse’ letters lastiger is. Aan de linkerzijde heb je immers meer letters om uit te kiezen, wat meer moeite kost. En woorden die veel ‘linkse’ letters bevatten en aldus lastiger te typen zijn, zouden daarom ook minder positief gewaardeerd worden. In de woorden van Jasmin:

As we filter language, hundreds or thousands of words, through our fingers, we seem to be connecting the meanings of the words with the physical way they’re typed on the keyboard. If it’s easy, it tends to lend a positive meaning. If it’s harder, it can go the other way.

Natuurlijk stellen de onderzoekers dat het effect beperkt is, de betekenis van de woorden is nog altijd de belangrijkste factor die de valence bepaalt. Het klinkt nogal vergezocht, maar Jasmin stelt dat ook bekend is dat de manier waarop woorden worden uitgesproken een dergelijk invloed heeft op de betekenis van die woorden.

Is het niet gewoon toeval?
Het verband is sowieso niet al te sterk (de lijn in de grafiek loopt niet zo steil) en het zou aan de toevallige selectie van woorden in ANEW kunnen liggen (het gaat om 1043 woorden). Mark Liberman onderzocht het ook in een blog op language log. Hij deed de analyse zelf voor de ANEW en DANEW lijsten apart en dat leverde vergelijkbare grafieken op,  maar het effect is dan niet significant. Dat wordt het blijkbaar pas als je de drie lijsten bij elkaar gooit op één hoop. Liberman gooide ook drie keer de koppeling tussen RSA en valence willekeurig door elkaar (met de ANEW lijst) om te kijken of het toevallig kan optreden. Hij vond één keer ongeveer hetzelfde positieve verband, één keer eerder een negatief effect en één keer geen relatie. Het zou op die gronden alleen al toeval kunnen zijn.

[update 19-3-2012] Er is intussen een discussie tussen Liberman en de auteurs gaande over onder andere de significantie. Casasanto en Jasmin hebben een officiële reactie op de kritiek op Language Log geschreven, die ook een aantal zaken in het artikel verduidelijkt: The Robustness of the QWERTY Effect.

Wat zou je verder kunnen analyseren?
Er zijn nog wel andere zaken die je zou moeten onderzoeken in mijn ogen. Als je naar de grafiek kijkt, lijkt het dat de helling van de grafiek voor een belangrijk deel bepaald wordt door de uitschieters. Beperk je de RSA-scores even tot het interval [-6,4] dan lijkt het me dat er nauwelijks een helling over zou blijven, dus geen positief verband. Het kan goed zijn dat een handjevol woorden relatief veel invloed heeft. Dit zijn dan woorden die redelijk lang zijn, anders kan er geen groot overschot aan linkse of rechtse letters zijn. Die langere woorden veranderen vaak in vertaling van Engels naar Nederlands of Spaans ook lang niet zo veel als kortere woorden, bijvoorbeeld “aggressive – agressief – agresivo” met RSA scores resp. -8,-7 en -4. De woordenlijsten zijn in mijn ogen dan ook niet zomaar als onafhankelijk te beschouwen.

De onderzoekers laten de koppeling tussen de vertaalde woorden helemaal los en hiermee gooien ze informatie weg (zonde!). Je zou die koppeling ook goed kunnen gebruiken om de hypothese te falsifiëren. Je verwacht namelijk dat de woorden in vertaling wel ongeveer vergelijkbaar blijven in valence, maar de RSA kan nogal verschillen. Als de hypothese klopt dat de RSA verband houdt met valence, zou je dat eigenlijk moeten terugzien bij die vertalingen. Als de vertaling een lagere RSA heeft, zou je ook verwachten dat het een lagere valence heeft. Dat zie je natuurlijk niet door naar enkele voorbeelden te kijken, maar het zou een zichtbaar verband moeten zijn als je dat voor alle woorden uit de ANEW lijst doet.
Een voorbeeldje dat aan de verwachting voldoet is “vomit”, dat heeft een RSA van +1 en een valence van 2,06. De Nederlandse vertaling “braaksel” heeft RSA -4 en valence 1,86. Maar “achievement”, met RSA -3 en valence 7,89, wordt “prestatie”, met RSA -5 en valence 8,17 en gaat dus net de andere kant op.

Het is een fluitje van cent om dit te doen voor alle woorden in de ANEW, DANEW en SPANEW lijsten. Maar toen ik de onderzoekers dit per e-mail voorstelde, kreeg ik een erg lauwe reactie. Ook op mijn vraag naar hun mening over de analyses van het language log reageerde Daniel Casasanto onverwacht. De analyses van Liberman zouden ‘nonsensical’ zijn, zonder overigens aan te geven waarom. Op dat moment wist ik niet eens dat Liberman een vooraanstaand hoogleraar is, maar was gewoon erg overtuigd van zijn argumenten in zijn blog en de commentaren erop.
Ik zou de analyse naar de invloed van de mogelijke afhankelijkheid tussen de lijsten graag zelf even doen, maar ik vond ze alleen gealfabetiseerd en de koppeling tussen origineel en vertaling zou je zelf moeten reconstrueren. Het is wel te doen, maar het kost behoorlijk wat tijd. Ik verwacht eerlijk gezegd ook niet dat het verband er uit zal komen, dus die klus ga ik vooralsnog niet op me nemen.

[update 19-3-2012] Uit de nadere toelichting van Casanato en Jasmin maak ik op dat ze de mogelijke afhankelijkheid tussen de verschillende vertalingen hebben proberen te ondervangen door in de regressie de valence van de vertalingen als ‘herhaalde waarnemingen’ in te voeren. Ik vraag me af of dit juist is, want dan ga er a-priori van uit dat de werkelijke valence in elke taal hetzelfde zou moeten zijn en dat is duidelijk niet het geval. Je zou het bij een correcte vertaling wel verwachten, maar zo simpel is het niet: als je een woord als ‘execution’ in het Nederlands vertaald als ‘uitvoering’ mis je de negatieve connotatie van ‘terechtstelling’.

Bestaat er echt een QWERTY-effect? 13
Gedeelte van de lijst met 63 ‘moderne’ woorden.

Het nevenbewijs van de onderzoekers
Naast het hoofdexperiment keken de onderzoekers naar twee andere lijstjes (dat maakt samen met de drie eerder genoemde lijsten het totaal van vijf uit de quote van Jasmin). Ten eerste analyseerden ze een woordenlijst met woorden die na de ontwikkeling van het QWERTY-toetsenbord zijn ontstaan (dus na 1873). Het idee daarachter is dat je dan zou kunnen zien of met de vastlegging van de toetsenindeling ook de ontwikkeling van nieuwe woorden beïnvloed zou worden. En weer bleek hetzelfde verband.
Nu is het gebruikte lijstje van 63 woorden niet op een heel erg duidelijke manier samengesteld (zie het supplement voor de hele lijst) en overtuigt mij daarom niet echt. Veel woorden zijn populair internetjargon, niet echt ‘common knowledge’ en veel zijn ook min of meer dubbel.

Ten slotte werd er onderzocht hoe het met de valence van fantasiewoorden zit. Met een algoritme werd een lijstje woorden samengesteld en via Mechanical Turk op Internet aan proefpersonen voorgelegd. Weer eenzelfde verband. Ook dit experiment stelt in mijn ogen niet veel voor. Door de vorm van de gebruikte woorden is de lijst niet echt vergelijkbaar met een lijst ‘echte’ woorden (de variatie in woordlengte is bijvoorbeeld heel beperkt). En het zijn dan wel niet bestaande Engelse woorden, sommige komen bijvoorbeeld weer wel in het Nederlands voor. Belangrijker is echter de vraag of het gevoel bij een niet-bestaand woord wel vergeleken kan worden met het gevoel van een woord waarvan de betekenis bekend verondersteld mag worden.

Kortom: als er al sprake is van een QWERTY-effect, dan overtuigt deze studie mij daar niet van. Misschien dat de onderzoekers in een vervolg meteen ook even de invloed van de kleur van de tekst mee kunnen nemen, of het lettertype?

Kunnen dieren zelfmoord plegen?

by 8 Comments

In de traditionele Chinese geneeskunst worden nogal wat ingrediënten gebruikt die het leven kosten van zeldzame dieren. Redelijk bekend is wel dat tijgers en neushoorns in het voortbestaan bedreigd worden, omdat die verwerkt worden in allerhande onzinnige poeders. Onlangs werd ook het lot van ‘galberen’ weer onder de aandacht gebracht door actievoerders. Niet omdat die met uitsterven bedreigd worden, maar om de verschrikkelijke omstandigheden waarin gevangen exemplaren moeten leven. Duizenden beren worden in China, Laos en Vietnam namelijk in ‘farms’ gehouden alleen om hun gal af tappen. Die gal wordt gebruikt in talloze producten uit de traditionele Chinese geneeskunst  (meestal aangeduid met de Engelse afkorting TCM). Het melken van de galblaas gebeurt op zo’n pijnlijke manier dat de beren zelfs tot zelfmoord gedreven zouden worden. Een bijzonder aangrijpend verhaal is dat van een moederbeer, die eerst haar jong wurgt om het verdere ellende te besparen en vervolgens zelfmoord pleegt. Maar is dat niet een wat al te sterk verhaal?

Over het gebruik van berengal in medicijnen, raad ik aan het artikel op Sciencebasedmedicine.org te lezen: Asian Bear Bile Remedies: Traditional Medicine or Barbarism? Pas wel op: op deze website zijn echt akelige beelden en foto’s te zien. In het verleden werden de galblazen van beren gewonnen door ze in het wild te bejagen. In de jaren ‘80 van de vorige eeuw werd de spoeling blijkbaar zo dun dat die berenfarms steeds meer begonnen op te duiken. De vraag naar TCM groeit wereldwijd dankzij de globalisering en dus neemt helaas ook de vraag naar berengal toe.

Een van de belangrijkste producenten van producten met berengal, Guizhentang Pharmaceutical, kondigde onlangs zelfs aan aandelen uit te schrijven om met het opgehaalde geld meer te kunnen investeren in productie (link). Hoewel er in China ook steeds meer protest tegen komt en er zelfs kunstmatig geproduceerde alternatieven voor de gal worden ontwikkeld, zal er wel niet snel een einde komen aan deze misstanden. De firma in kwestie is intussen bezig met een doorzichtige PR-campagne  om het publiek ervan te overtuigen dat het (bij hun) allemaal niet zo gruwelijk is als dierenactivisten doen voorkomen.

Maar nu wil ik terugkomen op dat verhaal van die zelfmoord, dat spreekt nogal tot de verbeelding. Het artikel in AD gaat er bijvoorbeeld bijna uitsluitend over. De vroegste bron die ik er voor kon achterhalen (5-8-2011)  komt van een nieuwssite uit Singapore (bij mij doet de link het vaak niet de eerste keer, maar na herladen wel). [Zie update onderaan het artikel]  Het blijkt een anekdote van iemand die tijdelijk op zo’n berenfarm zou hebben gewerkt, niet een heel sterk onderbouwd verhaal dus. In dat artikel staat ook nog dat de beren vaak een ijzeren harnas krijgen aangemeten om te voorkomen dat ze zichzelf zouden doden door op hun buik te slaan. Maar dat lijkt een fabeltje. Op de website  van Stichting ‘Save the Moonbears’ is te lezen wat de reden van het gebruik van die harnassen was(?). Die beren werden uitgerust met een vaste katheter en de harnassen voorkomen dat de beren die er uithalen. Op zich al gruwelijk genoeg, maar met voorkoming van zelfmoord heeft het dus niets te maken.

De vraag of dieren überhaupt in staat zijn tot zelfmoord is in de geschiedenis al vaker gesteld. Een interessant stuk over dit vraagstuk is ‘The Nature of Suicide’ . Beschreven wordt onder andere de mythe dat schorpioenen in het nauw gedreven door vuur, zichzelf met hun gifstaart in de kop zouden prikken om een snellere dood te sterven. Dit is vooral bekend geworden doordat Lord Byron het in één van zijn gedichten (‘The Giaour’, 1813 ) verwerkte.

Kunnen dieren zelfmoord plegen? 14
Lord Byron gebruikte de mythe van de schorpioen in zijn gedicht ‘The Giaour’

De discussie over dit geval was genoeg reden voor dierpsycholoog Conwy Lloyd Morgan om dit eens onder laboratoriumomstandigheden te testen. Je moet wel redelijk sadistisch zijn om schorpioenen aan alle gruwelijkheden te onderwerpen die beschreven worden: omringen met vuur, beschijnen met  door vergrootglas geconcentreerd zonlicht, branden met fosforzuur en het toedienen van elektrische schokken! In ieder geval constateerde hij geen zelfmoordpogingen. Het af en toe ‘steken’ op de eigen rug van de schorpioen moest uitgelegd worden als een instinctieve reactie om irritatie weg te nemen. Schorpioenen zouden zoals later bleek ook min of meer immuun te zijn voor het eigen gif en dat van andere schorpioenen (link).

Het is erg gemakkelijk om diergedrag verkeerd uit te leggen. Het verhaal van lemmingen die massaal zelfmoord plegen door zich van kliffen te storten, staat inmiddels wel voldoende bekend als ‘hoax’, die mede door natuurfilms van Walt Disney in het leven is geroepen. Ja, het komt voor dat lemmingen na het springen van rotsen verzuipen, maar met een zelfmoordpoging heeft het niets te maken. Ook het feit dat bijen het leven laten als ze je met hun gifangel prikken, zullen toch weinigen uitleggen als zelfmoord. Bij bijen gaat het overigens niet altijd mis: als ze hun angel gebruiken tegen andere insecten (waarvoor die evolutionair waarschijnlijk ontwikkeld is), blijft die niet steken en kan die teruggetrokken worden zonder verdere schade voor de bij (link).

Om van ‘bewuste’ zelfmoord te spreken, zullen we het toch moeten beperken tot dieren waarvan aangetoond is dat ze beschikken over zelfbewustzijn. Nu zijn daar ook wel mogelijke gevallen van beschreven. Dolfijnentrainer Ric O’Barry denkt dat ‘Kathy’, een van de dolfijnen die Flipper speelde, voor zijn neus besloot op te houden met ademhalen en zichzelf verdronk. Maar ook dit verhaal kan niet bevestigd worden door andere waarnemers.

Kunnen dieren zelfmoord plegen? 15
Kwam Nikkie aan z’n eind door zelfmoord of was het een ongeluk?

Een ander beroemde casus is die van Nikkie, de chimpansee die in Burgers’ dierenpark in maart 1984 omkwam door verdrinking. Het is beschreven door Frans de Waal in zijn boek ‘Chimpanseepolitiek’  en ook door Otto Adang in ‘De machtigste chimpansee van Nederland’. Nikkie voelde zich bedreigd door twee andere mannetjesapen, Yeroen en Dandy, en zou geen uitweg meer hebben gezien. Was dit de eerste keer dat er een zelfmoord onder apen werd waargenomen? Beide primatologen achten het echter toch waarschijnlijker dat het om een ongeluk ging (De Waal , Adang).

Vooralsnog niet heel sterke aanwijzingen dat zelfmoord bij dieren voorkomt. Wat mij betreft moeten we het er op houden dat Henry Maudsley nog steeds gelijk heeft. In 1879 gaf hij op het verhaal van een moederpoes die zichzelf gewurgd zou hebben nadat haar kleintjes waren verdronken, de volgende reactie (uit het eerder aangehaalde ‘The Nature of Suicide’):

‘It is quite possible that an animal in a state of excitement or delirium from pain and illness may make a frantic rush which issues in its death, just a s a human being may do; but that is quite a different thing from a distinctly conceived and deliberately perpetuated suicide. Of such an act by any animal below man we are yet in want of satisfactory evidence’.

Ook de bekende schrijver Jonathan Safran Foer vindt dat we moeten oppassen met het toedichten van menselijke eigenschappen aan dieren, ook als dat gebeurt met de bedoeling om onrecht aan de kaak te stellen (link):

‘We don’t need to make animals like humans in order to treat them with decency. If we just treated pigs like pigs and cows like cows, that would be sufficient’.

Het aangrijpende verhaal van de zelfmoord van de moederbeer lijkt me een verzinsel. Een actie die (verkeerd) geïnterpreteerd kan worden als zelfmoord, zoals Maudsley beschrijft, is in dit geval nog wel voorstelbaar. Dat ze eerst nog bewust haar jong doodt, lijkt me echter al te sterk om waar te zijn. Kan een beer overigens wel wurgen? En is het mogelijk om zelfmoord te plegen door met je kop tegen een muur te lopen (hoe hard zou een berenschedel zijn)? …
Maar wellicht zijn dit soort verhalen wel een effectief middel om meer aandacht te vragen voor praktijken die natuurlijk echt zo snel mogelijk moeten stoppen! Een leugentje om bestwil?

[Update 2-3-2012] Ik denk het originele Chinese artikel gevonden te hebben: link. Mijn kennis van het Chinees is nihil, maar een gebruik makend van de Google translator als controle, lijkt het me dat de vertaling op deze site wel aardig zal kloppen. Het verhaal is nog een stuk aangrijpender dan ik dacht: het jong zou de nacht voor de operatie zelf ontsnapt zijn en zich bij de verteller van het verhaal verstopt hebben onder het bed. Voor mij wordt het er niet geloofwaardiger op.