Kloptdatwel?

Wetenschap

Slimme Hans en het belang van dubbelblind onderzoek

by 3 Comments

Het paard Slimme Hans stond bekend om zijn rekenkundige vermogens. Wanneer zijn baasje hem het cijfer 4 en 2 liet optellen, sloeg Hans precies 6 keer met zijn been. Onderzoek wees echter uit dat zijn baasje onbewust al het rekenwerk deed.

Het filmpje laat ons weer eens zien dat iemand nog zo overtuigd (en overtuigend) kan zijn van een bijzonder fenomeen maar dat een wetenschappelijke benadering ervan de waarheid boven tafel krijgt. Als Hans echt had kunnen rekenen was dat ook boven water gekomen.

En daarnaast laat het ook mooi zien waarom dubbelblind zo onderzoek belangrijk is. Bij een dubbelblind onderzoek weten zowel de onderzoeker als de onderzochte niet wat voor behandeling (of middel, of wat je dan ook onderzoekt) er gegeven wordt. Als een van hen dat wel zou weten dan zou dit de uitkomst van het onderzoek kunnen beïnvloeden, precies zoals de eigenaar van het paard dit deed.

Daarom is een onderzoek wat dubbelblind is uitgevoerd ook veel betrouwbaarder dan onderzoeken die niet dubbelblind waren. Het moge duidelijk zijn dat ook onderzoek bij dieren dubbelblind uitgevoerd dient te worden. Straks krijg je nog het idee dat je paard kan tellen… (of beter is geworden, of helderziend is, of…)

Het woordenboek van de skepticus schreef ook over dit Slimme Hans fenomeen.

Een lesje statistiek – door PVV-er Lilian Helder

by 26 Comments

Iedereen weet dat statistiek belangrijk is. Kort door de bocht: zonder statistiek is veel wetenschap niet mogelijk. Niet voor niets besteden de meeste studies maanden aan het onderwijzen van statistiek. In het onderstaande filmpje wordt maar weer eens duidelijk waarom dit toch zo belangrijk is. Aan het woord PVV-er Lilian Helder, advocaat en onwetend op het gebied van statistiek en het doen van onderzoek.

http://www.youtube.com/watch?v=R9cNsK0s9WQ

Statistiek is voor veel mensen moeilijk. Ik zal niet ontkennen dat ik daar ook een van ben. Maar hoe je groepen met elkaar moet vergelijken is zo ongeveer les numero 1 als een student onderwezen wordt in de statistiek. Als mevrouw Helder dan zegt dat je groep A uberhaupt niet met groep B kan vergelijken…

Het zou mooier zijn geweest wanneer ze inhoudelijk kritiek had gehad op de onderzoeken. Bijvoorbeeld iets in de richting van: “Er moet een reden zijn waarom de rechter persoon A een taakstraf geeft en persoon B voor hetzelfde delict een gevangenisstraf. De groepen zijn dus per definitie altijd verschillend en niet te vergelijken” Ofzoiets. Ik ga er echter vanuit dat de onderzoekers met dit soort zaken rekening hebben gehouden. Jammer genoeg is dat niet wat mevrouw Helder hier bedoeld.

Ik neem overigens aan dat het rechtssysteem niet is gaan experimenteren en willekeurig personen aan een strafconditie heeft toegewezen. Dat lijkt me niet ethisch verantwoord maar ik kan me vergissen. Mocht iemand de onderzoeken kennen en er meer van weten, dan ben ik daar erg benieuwd naar.

Edit 08:24 – Dank aan Wilmazone voor deze achtergrondinformatie (zie 2e comment):

http://www.kennislink.nl/publicaties/werkt-gevangenisstraf

Ex-gevangenen maken zich vaker opnieuw schuldig aan criminaliteit dan veroordeelden die geen gevangenisstraf kregen. Dit geldt voor verschillende typen daders en voor verschillende typen delicten. Gevangenisstraf brengt daarmee deels teweeg wat het zou moeten voorkomen, namelijk crimineel gedrag. Dit blijkt uit onderzoek van het Nederlands Studiecentrum Criminaliteit en Rechtshandhaving.
quote:

Hulp van de statistiekEen echt experiment is dus problematisch. Door gebruik te maken van een speciaal daarvoor ontwikkelde statistische techniek is het echter wel mogelijk een experimentele situatie zo dicht mogelijk te benaderen. Deze techniek helpt bij het samenstellen van goede vergelijkingsgroep. Bijvoorbeeld door iemand met een lang strafblad die wel gevangenisstraf kreeg te vergelijken met iemand met een even lang strafblad die geen gevangenisstraf kreeg. Dankzij deze onderzoeksmethode kunnen we, net als bij een experiment, het criminele gedrag van de gevangenisgestraften na hun straf vergelijken met dat van de vergelijkingsgroep. We kunnen er dan ook zo goed als zeker van zijn dat de gevonden verschillen niet het gevolg zijn van verschillen die al tussen de beide groepen bestonden vóór het opleggen van de gevangenisstraf.Bron:Nieuwbeerta, P. A. Blokland & D. Nagin (2007). De effecten van gevangenisstraf op het verloop van criminele carrières. Mens en Maatschappij, 82, 272-279.

Hieronder een gedeelte uit het transscript van het debat via publitiek:

  1. Jeroen Recourt (PvdA)

    Voorzitter. De PVV heeft uiteraard, zoals iedere partij, recht op een mening. Maar nu het voorkomen van recidive. We hebben over een aantal onderzoeken gehoord. Het ene is wat succesvoller dan het andere, maar alle geven ze als uitkomst met betrekking tot de voorkoming van recidive — het gaat dan niet zozeer over vergelding, want daarover kun je denken wat je wilt — dat de taakstraf beter werkt dan een gevangenisstraf. Hoe past dat in de opmerkingen van mevrouw Helder?

  2. Lilian Helder (PVV)

    Ik vind dat die onderzoeken appels met peren vergelijken; niet appels met koeien, zo ver wil ik niet gaan, maar wel appels met peren. Niet iedere persoon is immers hetzelfde. Recidive slaat terug op de persoon zelf. Iemand die een taakstraf opgelegd heeft gekregen en recidiveert, is iemand anders dan iemand die een vrijheidsstraf opgelegd heeft gekregen en recidiveert; diegene heeft een vrijheidsstraf ondergaan en geen taakstraf. Ik vind dat je die niet met elkaar kunt vergelijken. Op die vraag kan ik dus helemaal geen antwoord geven, behalve dat ik die onderzoeken en hun resultaten wel wil meenemen, maar niet meer dan voor kennisgeving; ik vind dat je dat niet kunt vergelijken.

  3. Jeroen Recourt (PvdA)

    Ik kan mevrouw Helder niet volgen. In het onderzoek dat ik ken, is gekeken naar vergelijkbare delicten. Bij het ene delict hebben daders een taakstraf gekregen, bij het andere delict een korte gevangenisstraf en er is gekeken wie daarna vaker in de fout ging. Nu, degenen met een gevangenisstraf gingen twee keer zo vaak in de fout. Waarom is dat niet te vergelijken?

  4. Lilian Helder (PVV)

    Dat is heel goed niet te vergelijken, omdat de ene persoon de andere persoon niet is. De heer Recourtzei zojuist zelf al dat de ene persoon een vrijheidsstraf opgelegd heeft gekregen en de andere een taakstraf. Hoe moet ik die twee nu met elkaar vergelijken?

  5. Jeroen Recourt (PvdA)

    Ik concludeer dat voor mevrouw Helder überhaupt geen cijfermatige en wetenschappelijke onderbouwing te geven is als de cijfers niet vergelijkbaar zijn.

  6. Lilian Helder (PVV)

    Nee, dat klopt. Daarom zeg ik ook dat ik het voor kennisgeving aanneem, want iemand die een vrijheidsstraf heeft ondergaan, zou misschien anders gehandeld hebben als hij een taakstraf had ondergaan. We kunnen dat niet meten, want hij heeft een vrijheidsstraf ondergaan. Iemand die een taakstraf heeft ondergaan, heeft die vrijheidsstraf niet ondergaan. Wie weet zou hij niet gerecidiveerd hebben, wanneer hij die vrijheidsstraf had ondergaan. Dat kunnen we niet meten.

  7. Sharon Gesthuizen (SP)

    Voorzitter. Ik snap het echt niet. Bedoelt mevrouw Helder nu eigenlijk te zeggen dat degene die een taakstraf opgelegd heeft gekregen, wellicht ook een minder ernstig feit heeft ondergaan en daarom een minder grote kans heeft om te recidiveren?

  8. Lilian Helder (PVV)

    Ik zeg hetzelfde als wat ik eerder heb gezegd: persoon A is niet persoon B en die kun je dus niet met elkaar vergelijken.

  9. Sharon Gesthuizen (SP)

    Gelooft de PVV-fractie dan überhaupt niet in enige vorm van statistisch onderzoek? We doen namelijk statistisch onderzoek op allerlei terreinen, in de gezondheidszorg, in de handel, eigenlijk overal. Je vergelijkt altijd groepen mensen met groepen mensen, want anders is het niet meer te doen.

  10. Lilian Helder (PVV)

    Dat vind ik nu echt appels met koeien vergelijken en er iets met de haren bij trekken. Daar geef ik geen antwoord op, mevrouw Gesthuizen. Ik zeg dat, en nu ga ik toch antwoord geven, persoon A niet met persoon B te vergelijken is. Dat is toch iets heel anders dan de meetbare resultaten van het succes van een medische … Weet ik wat u er allemaal bij wilt halen? Persoon A is niet te vergelijken met persoon B. Persoon A heeft een vrijheidsstraf ondergaan en persoon B een taakstraf. Ik kan persoon A dus niet met persoon B vergelijken.

  11. Sharon Gesthuizen (SP)

    Dat zou dan ook betekenen dat als in het ene ziekenhuis 50% van de patiënten aan een openhartoperatie overlijdt, terwijl dat in het andere ziekenhuis bij een vergelijkbare operatie voor maar 3% geldt, er dus geen verschil in kwaliteit tussen de ziekenhuizen zou zijn omdat je patiënt A nooit met patiënt B zou mogen vergelijken. Ik vind dat echt een kolderredenering en ik vind het eigenlijk heel verdrietig dat ik op deze manier moet debatteren.

  12. Lilian Helder (PVV)

    Ik ga niet herhalen wat ik al drie keer heb gezegd.

Emily Rosa

by 5 Comments

Emily Rosa onderzocht energetisch therapeuten en kwam daarmee in het Guinness book of Records:

At age 11, Emily Rosa, of Loveland, Colorado, USA, became the youngest person to have research published in a scientific or medical journal when an article she co-authored appeared in the Journal of the American Medical Association on 1 April 1998.

Het artikel onderzocht de voornaamste claim van Therapeutic Touch (TT) therapeuten:

Er bestaat een universele levensenergie die (…) het sterkst [is] in en rond levende organismen. Als een organisme gezond is, stroomt de levensenergie er vrij en op een evenwichtige manier doorheen, maar bij ziekte is de energiestroom geblokkeerd, ontregeld en verzwakt. De toestand van het energieveld kan worden vastgesteld op basis van bepaalde sensaties die TT-beoefenaren voelen wanneer ze hun handen op een decimeter afstand langs het lichaam van de patiënt bewegen.

Rob Nanninga schreef voor Skepter al eens een uitgebreid artikel over Therapeutic Touch.

Het idee van Emily om deze mensen te onderzoeken kwam toen ze zich op haar negende afvroeg: kunnen TT-therapeuten écht een energieveld voelen? Als schoolproject besloot ze de TT-therapeuten eens te onderwerpen aan een simpele test:

http://www.youtube.com/watch?v=z3iaBNOJ6vA

De test was simpel: laat de therapeuten hun hand door een karton steken waar ze niet doorheen kunnen kijken. Houd vervolgens een van je eigen handen boven een van de handen van de therapeut en laat ze vertellen boven welke hand jouw hand zich bevindt. Als ze inderdaad een energieveld kunnen voelen, dan is het een simpele opgave.

Als je zo’n test tien keer doet, dan zou je gemiddeld ongeveer 5 keer goed moeten zitten. Dat aantal wordt dus gehaald door ieder willekeurig persoon die je maar van de straat plukt en dat betekent dus dat er niets speciaals aan de hand is: iedereen scoort rond de 5 keer.

Sommige therapeuten dachten echter al dat ze met 4 uit de tien een goede score hadden behaald… zoals Emily al zegt: die snappen niets van statistiek.

Sommige mensen hadden kritiek op het feit dat Emily niet de eerste auteur is van ‘haar’ artikel, dat is namelijk haar moeder Linda Rosa. Mevrouw Rosa reageerde daarop op de site Reddit.

Wetenschap heeft geen ‘auto-correct knop’

by 11 Comments

Skeptici roemen vaak het zelfreinigend vermogen van de wetenschap. Zelfcorrectie onderscheidt de wetenschap van de astrologie en andere pseudowetenschappelijke nepperij. Maar corrigeert de wetenschap wel altijd zijn eigen missers? Over die vraag stond een paar dagen geleden (25 juni)  een interessant artikel in de New York Times. Een korte samenvatting.

Wetenschap heeft geen 'auto-correct knop' 1
Carl Sagan: vertrouwen in zelfcorrigerend vermogen van wetenschap (wikipedia)

Het artikel begint met een optimistisch citaat van Carl Sagan:

“There are many hypotheses in science which are wrong. That’s perfectly all right: it’s the aperture to finding out what’s right. Science is a self-correcting process.”

Om direct daarna vast te stellen dat de werkelijkheid niet zo simpel in elkaar zit. Wetenschap heeft geen ‘auto-correct’-knop. De wetenschap repareert niet altijd (met gemak) zijn fouten:

‘Science runs forward better than it does backward. Why? One simple answer is that it takes a lot of time to look back over other scientists’ work and replicate their experiments’.

Het tijdschrift Science publiceerde in mei acht kritische commentaren naar aanleiding van een controversieel artikel over bacteriën die arsenicum in hun DNA zouden kunnen inbouwen (in plaats van fosfor). Maar het betwiste onderzoek werd door geen van de critici herhaald. Dat zou een team namelijk maanden werk hebben gekost. Veel wetenschappers besteden niet graag zoveel energie als de kans op een negatief resultaat groot is. Ze werken liever aan onderzoek dat nieuwe inzichten oplevert. Een van de criticasters (Rosie Redfield van de Universiteit van British Columbia): “Scientifically I think trying to replicate the claimed results is a waste of time.” Daardoor zijn er onvoldoende argumenten om de controversiële paper in te trekken. De conclusies van het oorspronkelijke artikel blijven dus overeind.

Wetenschap heeft geen 'auto-correct knop' 2
De vreemde resultaten van Daryl Bem blijven overeind (CSI)

Soms nemen wetenschappers wel de moeite om een onderzoek te herhalen. Dan lopen ze wel het risico dat hun resultaten niet worden gepubliceerd. En dat is slecht voor je wetenschappelijke carrière. Daryl Bem, een psycholoog aan de Cornell Universiteit, schokte zijn collega’s met een zeer merkwaardig onderzoeksresultaat dat hij publiceerde in The Journal of Personality and Social Psychology. Mensen zouden meetbaar beïnvloed worden door toekomstige gebeurtenissen. Drie onderzoeksteams herhaalden het onderzoek van Bem – zonder resultaat. Een van de teams schreef een artikel. Maar dat werd afgewezen door het tijdschrift. Niet omdat het herhaalde onderzoek niet zou deugen, maar ‘omdat we nooit herhalingsstudies publiceren’ zo lichtte de hoofdredacteur toe. Amerikaanse skeptici verwierpen de onderzoeksresultaten van Bem. Maar een ‘debunk’-artikel in de Skeptical Enquirer heeft natuurlijk niet de status van een officiële retraction. De conclusies van het oorspronkelijke artikel blijven dus overeind.

En zelf als herhaald onderzoek wél wordt gepubliceerd leidt dit er niet altijd toe dat een controverse wordt beslecht. Dat overkwam de onderzoekers die het XMRV virus niet konden vinden in patiënten met het chronische vermoeidheidssyndroom. In 2009 publiceerde Judy Mikovits in Science dat lijders aan dit syndroom dit virus bij zich droegen. Toen andere onderzoekers het virus niet konden vinden en Mikovits vroegen om haar artikel in te trekken, reageerde ze dat ze dat ‘prematuur zou vinden’. Science publiceerde wel een ‘expression of concern’. De conclusies van het oorspronkelijke artikel blijven dus overeind.

Toch zit er beweging in het XMRV-onderzoek. Samen met viroloog Ian Lipkin herhaalt Judy Mikovits haar onderzoek op verzoek van het Amerikaanse Institutes of Health. Jammer  genoeg is dit soort onderzoek de uitzondering en niet de regel.