• Skip to primary navigation
  • Skip to main content
  • Skip to primary sidebar

Kloptdatwel?

  • Home
  • Onderwerpen
    • (Bij)Geloof
    • Columns
    • Complottheorieën
    • Factchecking
    • Gezondheid
    • Hoax
    • Humor
    • K-d-Weetjes
    • New Age
    • Paranormaal
    • Pseudowetenschap
    • Reclame Code Commissie
    • Skepticisme
    • Skeptics in the Pub
    • Skeptische TV
    • UFO
    • Wetenschap
    • Overig
  • Skeptisch Chatten
  • Werkstuk?
  • Contact
  • Over Kloptdatwel.nl
    • Activiteiten agenda
    • Colofon – (copyright info)
    • Gedragsregels van Kloptdatwel
    • Kloptdatwel in de media
    • Interessante Links
    • Over het Bol.com Partnerprogramma en andere affiliate programma’s.
    • Social media & Twitter
    • Nieuwsbrief
    • Privacybeleid
    • Skeptisch Chatten
      • Skeptisch Chatten (archief 1)
      • Skeptisch Chatten (archief 2)
      • Skeptisch Chatten (archief 3)
      • Skeptisch Chatten (archief 4)

Pepijn van Erp

Is er echt een probleem met excellente leerlingen op het VWO?

4 July 2012 by Pepijn van Erp 25 Comments

Een ANP-bericht met als kop ‘Kwart van slimme vwo’ers niet in 6 jaar klaar’ werd donderdag 14 juni op veel nieuwssites klakkeloos overgenomen (onder andere de Volkskrant, Trouw, Nu.nl). De argeloze lezer krijgt snel de indruk dat er een specifiek probleem is voor de slimmerds en dat ze het misschien nog wel slechter doen dan hun medeleerlingen die met een lagere CITO-score aan het VWO begonnen. De onderzoekers spreken namelijk over een ‘schrikbarend hoog’ percentage. Het klinkt in eerste instantie nogal verontrustend, maar ik had er niet meteen een beeld bij. Is dat kwart nou veel meer dan je mag verwachten? Is het echt zo dramatisch? Het is maar hoe je ernaar kijkt. 

Merkwaardig genoeg trof ik in geen van de berichten een link of anderszins bruikbare verwijzing naar het echte onderzoek. Het knippen en plakken van ANP-berichten heeft natuurlijk ook weinig met journalistiek te maken, maar het valt toch steeds weer op dat er werkelijk geen enkele moeite wordt gedaan om zo’n bericht van wat achtergrond en nuance te voorzien. Geen van de sites die het bericht overnamen zal vermoedelijk het rapport zelf gezien hebben. Het kostte mij niet veel moeite om het te vinden: eerst even kijken bij het onderzoeksbureau dat het uitvoerde (GION): nee, niets. Dan maar bij de opdrachtgever, het ministerie van OCW. En daar staat het dan, een stevig rapport van 118 pagina’s.

Er staat erg veel in, maar mijn oog viel snel op tabel 3.16 (blz. 36):

Is er echt een probleem met excellente leerlingen op het VWO? 1

De tabel behoeft volgens mij weinig toelichting. De CITO-scores van 549 en 550 werden in het onderzoek opgevat als ‘excellent’. Een score van 545 is wel zo’n beetje de laagste waarmee je het VWO in kunt gaan. Ik zie hier weinig verontrustends aan, de tabel beantwoordt wel aan de verwachting die ik vooraf had. Misschien dat de percentages van alle CITO-score groepen wat beter kunnen, maar van een verontrustend beeld specifiek voor de ‘excellente’ groepen lijkt mij geen sprake. Hoe komen de onderzoekers daar dan bij? Dat wordt duidelijk als je wat verder bladert in het rapport. Op blz. 93 geven ze hun definitie van onderpresteren:

Wij hebben de (normatieve) opvatting gehanteerd dat het niet na zes jaar hebben behaald van het VWO-diploma als criterium voor ‘ondermaats presteren’ kan gelden.

Ja, zo kan ik het ook! Élke uitval wordt geïnterpreteerd als onderpresteren. Het gaat bijna zo ver dat ook uitval door overlijden als onderpresteren wordt beschouwd. In de percentages wordt daar gelukkig wel voor gecorrigeerd en het zal ook wel voor bovenstaande tabel zijn gebeurd. Maar er is geen correctie voor andere oorzaken van vertraging zoals ziekte en familieomstandigheden. Niet dat dat iets zal uitmaken voor de verhouding tussen de uitval van excellente en minder excellente leerlingen, maar het nuanceert wel dat ‘kwart van de slimmerds’ die niet in zes jaar het VWO doorloopt. Je hebt zo nog geen idee wat het terrein is dat überhaupt gewonnen kan worden door veranderingen in het onderwijs.

Is er echt een probleem met excellente leerlingen op het VWO? 2
Blindelings zoeken in data levert bijna altijd ‘wat’ op.

Vervolgens gaan de onderzoekers ijverig op zoek in de data om te kijken of er verschillen zijn te ontdekken tussen de groep excellente leerlingen die wel in zes jaar door het VWO fietst en de groep excellente leerlingen die ergens hapert. Dan wordt het wel snel data-vissen en moet je erg oppassen niet toevallige correlaties aan te treffen. We moeten ook bedenken dat alles is gebaseerd op een steekproef onder VWO’ers uit maar één startjaar, 1999. Ik zie niet al te veel slagen om de arm bij het vinden van de ‘oorzaken’ en de relevantie voor het onderwijs van nu.
Zo adviseren de onderzoekers om excellente leerlingen niet in gemengde HAVO/VWO klassen te laten beginnen, dat zou die excellente leerlingen 10% minder kans geven op een vlekkeloze doorstroom. Nou vraag ik me meteen af of die leerlingen niet om een heel goede reden gekozen hebben voor zo’n gemengde brugklas, maar de onderzoekers blijkbaar niet. Ook een gebrek aan ‘ordelijkheid’ wordt aangevoerd als een hindernis, maar dat kan net zo goed voor alle leerlingen gelden en niet specifiek voor de slimmerds (voor de gemiddelde groep wordt het niet als risicofactor gezien).

Kortom, het lijkt me weer een mooi staaltje naar de gewenste uitkomst toe redeneren. Natuurlijk moet er wat gedaan worden om te voorkomen dat onze toekomstige toppers onderweg een keertje struikelen. Anders blijft dat potje van 30 miljoen per jaar voor hoogbegaafde en excellente leerlingen ook maar ongebruikt op het ministerie staan …

 

Filed Under: Factchecking, Uit het nieuws Tagged With: CITO, onderwijs, statistiek, VWO

Indiaas skepticus beschuldigd van blasfemie

25 June 2012 by Pepijn van Erp 12 Comments

Als er wat in het nieuws komt over religieuze tegenstellingen in India, gaat het meestal om problemen tussen moslims en hindoes. Maar onder katholieken blijken net zulke heetgebakerde personen voor te komen. Vooraanstaand scepticus Sanal Edamaruku wordt achtervolgd door een serie aanklachten wegens blasfemie. Het is zo serieus dat hij inmiddels naar Finland is uitgeweken om arrestatie te voorkomen. En het begon allemaal met een simpele uitleg hoe het kan dat er water druppelt van een beeld van een gekruisigde Christusfiguur voor een kerk in Mumbai.

Indiaas skepticus beschuldigd van blasfemie 3
Sanal Edamaruku

Sanal Edamaruku is voorzitter van de Indian Rationalist Association en in het land dat ook bekend staat om zijn fakirs, goeroes en meer van dat soort figuren, heeft hij al heel wat demystificaties op zijn naam staan. In een spraakmakende confrontatie met ‘s lands machtigste  ‘tantrik’ op live televisie overleefde hij bijvoorbeeld zonder problemen al diens krachtige rituelen die erop gericht waren hem te doden in deze ‘ultimate destruction ceremony’. In februari 2011 werd Edamaruku fellow van het Committee for Skeptical Inquiry.

Een kort filmpje legt uit waarmee de affaire begon. Edamaruku werd uitgenodigd door een televisiezender om te onderzoeken of er geen rationele verklaring gegeven kon worden voor het wonderlijke druppen van water van een crucifix voor een kerk in Mumbai (Our Lady of Velankanni). Dat bleek een koud kunstje: binnen een half uur had Edamaruku ontdekt dat het gaat om capillaire opzuiging van water uit een verstopte afvoerpijp van een nabijgelegen wasruimte.

Indiaas skepticus beschuldigd van blasfemie 4
Water druppelt van een crucifix in Mumbai

Nu lijkt dit niet meer dan de eerste aanleiding voor de aanklachten vanwege blasfemie. Die lijken namelijk meer gebaseerd te zijn op de discussie die daarna op dezelfde televisiezender werd gevoerd tussen Edamaruku en een aantal betrokken katholieken (onder andere de priester van de bewuste kerk). Op een gegeven moment belt ook de aartsbisschop van Mumbai zelf en gaat in discussie met Edamaruku.
Die discussie staat ook op YouTube, maar is lastig te volgen, omdat die begint in Hindi, weliswaar later overschakelt op Engels (na 10 minuten), maar het loopt nogal door elkaar. In een interview op website  The Pod Delusion legt Edamaruku in eigen woorden uit wat er speelt (directe link het bewuste audiofragment). Dat is overigens wel een beetje een eenzijdige weergave van het debat, want daarin gaat Edamaruku over van alles en nog wat te keer tegen de bisschop: Galilei, Bruno, exorcisme, Hitler, Mussolini, al dat soort stokpaardjes tegen de rooms-katholieke kerk komen voorbij.

De katholieke organisaties nemen het hem formeel dus voornamelijk kwalijk dat hij gezegd zou hebben dat de kerk dit specifieke geval als wonder heeft aangeduid om op die manier geld op te halen, wat niet zo zou zijn. De bisschop beschuldigt Edamaruku ervan te snel conclusies getrokken te hebben en claimt dat de kerk dit soort ‘wonderen’ altijd eerst goed onderzoekt op wetenschappelijke wijze voordat het als wonder wordt aangenomen.
Maar van dat soort serieus onderzoek door de kerk is volgens Edamaruku geen spoor te bekennen. Hij werd bij zijn onderzoek ter plekke door vertegenwoordigers van katholieke organisaties belaagd en er werd ontkend dat water überhaupt omhoog zou kunnen stromen. Duidelijk naar voren komt dat er een grote discrepantie bestaat tussen de officiële handelswijze van de katholieke kerk in dit soort zaken en de manier waarop lokale organisaties hier mee omgaan.
Natuurlijk heeft de kerk niet zelf de aanklachten ingediend, maar is dat door aanverwante organisaties gedaan. Het komt allemaal nogal overtrokken over en het lijkt er eerder op dat er andere rekeningen te vereffenen zijn of dat iemand zijn gezicht moet redden. Geëist wordt namelijk dat Edamaruku zijn excuses aanbiedt. En die vindt op zijn beurt dat de kerk zijn excuses zou moeten aanbieden voor het feit dat ze heeft laten gebeuren dat veel gelovigen het water als ‘heilig water’ dronken, terwijl het misschien wel uit een verontreinigde afvoerpijp afkomstig is.

Een artikel uit The Hindu geeft wat meer achtergrondinformatie over deze blasfemiewetgeving, die al vaker is (mis)bruikt om kunstenaars en intellectuelen lastig te vallen. Probleem voor Edamaruku is niet zozeer die rechtzaak zelf, die hij graag lijkt aan te gaan om het idiote van die blasfemiewetgeving aan te tonen, maar het feit dat het gaat om een strafbaar delict, waarbij je niet op borgtocht vrij je rechtzaak kunt afwachten. Het vooruitzicht gearresteerd te worden en niet zeker te zijn van hoe lang je dan in gevangenis op je proces moet wachten is natuurlijk niet zo aantrekkelijk. Vandaar dat hij nu toch (tijdelijk?) naar Finland is uitgeweken (volgens een bericht van James Randi).

Lees meer over deze zaak op:

  • http://www.rationalistinternational.net/ – de organisatie van Edamaruku zelf
  • interview met New Humanist Magazine
  • blog van Jim Newman op Skeptic Money

Je kunt een online petitie op change.org tekenen die probeert de aartsbisschop van Mumbai te bewegen zijn volgelingen de aanklachten in te laten trekken.

[Update 27 juni 2012] Via een CSI-blog eindelijk een linkje gevonden naar hoe de opponenten van Edamaruku tegen de zaak aankijken:  Mr. Sanal No Church Authority Claimed that the Irla Cross Dripping Was a Miracle. Het maakt de gang van zaken wel iets duidelijker. Het lijkt erop dat Edamaruku voor zijn bezoek aan Mumbai, een paar dagen eerder vanuit Delhi het hele wonder  vrij gemakzuchtig had weggezet als oplichterij van de lokale priester (hij zou gezegd hebben dat het ging om een beeld van gips en dat de priester er gewoon water van boven af in zou gieten). Dat schoot in het verkeerde keelgat van de Association Of Concerned Catholics (volgens mij het clubje van die nogal schreeuwerige dame in het filmpje) en die daagde Edamaruku om te komen kijken (ze betaalden zijn ticket) en hem te confronteren met zijn ongelijk. Het televisieprogramma was onderdeel van de deal: Edamaruku zou zijn ongelijk moeten bekennen en excuses aanbieden of de juridische gevolgen ondergaan.
Helaas voor de fanatieke gelovigen, moest Edamaruku weliswaar toegeven dat zijn eerste gedachten over het wonder niet klopten, maar vond hij wel snel uit hoe het dan wel zat (die capillaire werking). Om een of andere reden hadden ze geen rekening gehouden met die uitkomst en hielden ze strak vast aan hun ingezet plan: excuses of rechtzaak.

Filed Under: (Bij)Geloof, Buitenland, Skepticisme, Uit het nieuws Tagged With: christenen, india, Sanal Edamaruku

Skeptisch gereedschap: rbutr

18 June 2012 by Pepijn van Erp 507 Comments

Skeptisch gereedschap: rbutr 5
Herkenbaar? (‘Duty Calls’ – xkcd.com)

Het internet staat vol met interessante informatie, maar er zit ook heel veel onzin tussen. Websites als Kloptdatwel en skepsis.nl geven natuurlijk tegengas aan sites die vol staan met pseudowetenschap en kwakdenken, maar is dat het enige en meeste effectieve wat een skepticus online kan doen? Er worden hulpmiddelen ontwikkeld om het makkelijker te maken zin en onzin van elkaar te onderscheiden. 

Skeptisch Internetactivisme
Direct reageren op sites en blogs heeft als groot nadeel dat site beheerders controle hebben over het commentaarsysteem. En vaak zijn er niet eens mogelijkheden om commentaar achter te laten. Sommige skeptische sites raden aan om actief Wikipedia-pagina’s bij te werken en te voorzien van goede bronnen. Op zich een prijzenswaardig initiatief, maar het kost veel tijd. En ook dan ben je afhankelijk van het systeem waarbij anderen jouw wijzigingen weer heel gemakkelijk ongedaan kunnen maken.

Wat je eigenlijk zou willen hebben is een tool waarmee je makkelijk kunt verwijzen naar goede informatie tussen verschillende sites. Maar ook zou je graag gewezen worden op sites die een mogelijke weerlegging bevatten. Je kunt die misschien zelf wel vinden, maar het zou mooier zijn als je kunt profiteren van het werk van andere skeptici. Misschien is het nieuwe rbutr een interessante ontwikkeling op dit gebied. Ik ben redelijk enthousiast over de mogelijkheden en het gebruiksgemak.


Skeptisch gereedschap: rbutr 6Wat is rbutr?

De naam rbutr is een hippe verbastering van Rebuttal (=weerlegging) in de trant van websitenamen als Flickr en Tumblr. Het Mission Statement van rbutr geeft heel beknopt weer wat de bedoeling is van de oprichters Shane Greenup and Craig O’Shannessy:

To link every page on the internet to its most appropriate responses, so that no one is ever forced to simply accept what they are ‘told’ by any one source ever again.

Er wordt een onderscheid gemaakt tussen Direct Rebuttals en General Rebuttals. Het onderscheid is dat een direct rebuttal echt moet gaan over de beweringen in de bronpagina en die dus weerleggen. Een voorbeeldje is de rebuttal (link) van de kritiek op een cartoon van the Oatmeal over Tesla in een blog op Forbes.com. Een general rebuttal kan ook een webpagina zijn waarop in algemene zin informatie te vinden is die de beweringen op de bekritiseerde pagina tegenspreekt. Het Wikipedia-artikel over de wetten van thermodynamica zou je bijvoorbeeld  kunnen gebruiken als general rebuttal voor een pagina die een perpetuum mobile probeert te verkopen.

Hoe werkt rbutr in de praktijk?

Rbutr werkt nu alleen nog als een extensie van de browser Chrome, maar versies voor Firefox en Internet Explorer zouden snel moeten volgen. Na registratie krijg je een korte tutorial. In minder dan vijf minuten heb je het door. Het komt er kortweg op neer dat je de pagina opent die je wilt ‘weerleggen’, op de knop in je browser klikt en vervolgens naar de pagina gaat waar de ‘weerlegging’ staat. Weer even op de knop drukken en heel kort uitleggen waarom het een goede rebuttal is, en klaar is Kees! Achter de schermen zal er nu wel het een en ander gecontroleerd worden, of het geen overduidelijke spam is en of de links wel kloppen, maar heel snel is je rebuttal toegevoegd aan de database.

Skeptisch gereedschap: rbutr 7
Het rode vierkantje met ‘1’ onder de rbutr-button laat zien dat er een weerlegging aan deze website is gelinkt

Iedereen die in het vervolg op de betrokken pagina’s komt (en rbutr gebruikt natuurlijk) kan nu meteen zien aan een rood vlaggetje dat die pagina in een discussie is opgenomen en kan makkelijk tussen de pagina’s switchen. Gebruikers kunnen ook aangeven of ze een rebuttal goed of slecht vinden en zo komen de beste weerleggingen ook nog het meest prominent in beeld.

Een voorbeeldje maakt het wellicht wat duidelijker. Het artikel in de Huffington Post over de UFO-waarneming boven een luchtmachtbasis in Chili (zie UFO-video uit Chili bewijst ’t: ze hebben zes pootjes), heb ik zelf ‘gerbutrd’ met een draadje op het blog van Hoaxkiller.com waarin de UFO-video helemaal ontleed werd. Via de button in Chrome kun je makkelijk heen en weer springen tussen bron en weerlegging, maar je kunt ook op de rbutr-site zien wat de status is van de rebutttal.

 

Skeptisch gereedschap: rbutr 8
Zo zag de rebuttal eruit op 6 juni 2012. Klik op afbeelding voor de huidige status.

Je kunt je ook nog abonneren op pagina’s of trefwoorden, zodat je telkens een berichtje krijgt als er een rebuttal is toegevoegd op die pagina of met zo’n trefwoord.

Gaat het wat worden?
Het is altijd moeilijk om in te schatten of zo’n nieuwe tool op voldoende grote schaal gebruikt gaat worden om succesvol te zijn. Gebruikers van het eerste uur zijn waarschijnlijk voornamelijk bezig zelf rebuttals aan te dragen en zullen pas na loop van tijd profiteren; in de zin dat ze een pagina aantreffen waarvan ze niet zelf al de weerlegging kenden, maar die nu via een rood rbutr-knopje wordt aangeboden. rbutr heeft intussen wel een aantal zeer positieve besprekingen gehad o.a. van skepticus Tim Farley, Research Fellow bij de James Randi Educational Foundation (zie de rbutr website voor andere links). Ook staat de site redelijk hoog in The Knight News Challenge, een initiatief van de Knight Foundation die voornamelijk journalistieke activiteiten ondersteunt.

Het is ook leuk om door de reeds aangemelde rebuttals te browsen. Op die manier kun je een idee krijgen welke onderwerpen het meest weerlegd worden en voor de meeste discussie zorgen op Internet. Niet verwonderlijk is dat Science, Health en Politics hoog scoren. Maar al snel volgen meer specifieke onderwerpen als Climate Change, Vaccination en Evolution.
Een belangrijke vraag is natuurlijk ook of ‘de tegenpartij’ niet net zo actief gaat worden op rbutr.com. Dat lijkt me eigenlijk alleen maar goed: de discussie wordt zichtbaar en de argumenten over en weer zullen te zien zijn. Een direct rebuttal van een kwakzalver zal echt wel door de mand vallen als die niet serieus ingaat op de argumenten van verstandigere schrijvers. En anders is een rebuttal daarop ook zo weer geschreven!

Filed Under: Algemeen, Skepticisme Tagged With: blogs, internet, rbutr, skepticisme

Slecht rekenwerk aan rookverbod voorkomt 16.638 hartstilstanden

13 June 2012 by Pepijn van Erp 28 Comments

Engels - UK vlag 30x24Fantastisch nieuws van de Universiteit Maastricht: door de invoering van het rookverbod op de werkplek begin 2004 zijn in heel Nederland meer dan 16.000 acute hartstilstanden voorkomen in de ruim 4 jaar die daarop volgden. Een hartstilstand leidt in 90 procent van de gevallen tot overlijden, bericht het persbericht ook nog om het resultaat in het juiste perspectief te zetten. Bij De Telegraaf kon iemand een rekenmachine bedienen en rekende uit dat er dus wel 14.000 levens zijn gered. Hoera!

Slecht rekenwerk aan rookverbod voorkomt 16.638 hartstilstanden 9
Goed nieuws voor de anti-rooklobby

Ook het NOS journaal bracht het nieuws en liet de onderzoeker, professor Onno van  Schayck, zelf aan het woord. Duidelijk in zijn nopjes met het mooie resultaat pleit hij voor het nu definitief en volledig doorvoeren van het rookverbod in de horeca. Want dat zal dan wel net zo’n mooie daling van het aantal hartstilstanden laten zien, moeten we denken. Zowel De Telegraaf als NOS Journaal nemen het juichverhaal uit Maastricht bijna klakkeloos over. Niet zo slim, want er blijkt nogal een luchtje aan dit onderzoek te zitten.

[Update 20 juni] Professor Van Schayck heeft een reactie gestuurd op deze blog, die staat onderaan het artikel.

Het onderzoek in Zuid-Limburg

Hoe onderzocht het team van prof. Van Schayck dat effect van het invoeren van het rookverbod op de werkplek? Het persbericht meldt daarover het volgende:

Voor dit onderzoek werd gebruik gemaakt van gegevens van de Regionale Ambulance Voorziening van de GGD Zuid-Limburg. In de analyses werden drie perioden onderscheiden: de periode voor invoering van de rookverboden (1 januari 2002 – 1 januari 2004), de periode waarin de rookvrije werkplek ingevoerd werd (1 januari 2004 – 1 juli 2008) en de periode waarin de rookvrije horeca van kracht was (1 juli 2008 – 1 mei 2010).

In de studie werden in totaal 2305 gevallen van acute hartstilstand geteld. In de periode vóór invoering van de rookverboden steeg het aantal met 24%. In de periode na invoering van de rookvrije werkplek daalde het aantal met 12%. Omgerekend in absolute aantallen en voor de hele Nederlandse bevolking impliceert deze afname dat er meer dan 16000 gevallen van acute hartstilstand voorkomen zijn in de hele periode tussen 2004 en 2008. Bijna 90% van de patiënten met een acute hartstilstand overlijden hieraan.

Er werden dus hartstilstanden (in jargon sudden circulatory arrest, afgekort SCA) geteld die via de ambulancedienst gemeld waren; de SCA’s in ziekenhuizen zijn niet meegenomen. Ook gaat het om een beperkt gebied, Zuid-Limburg, met ruim 600.000 inwoners en alleen om de groep mensen tussen 20 en 75 jaar oud. Op zich al redenen om vraagtekens te zetten bij de representativiteit van het onderzoek voor het hele land. Daarnaast is het bij dit soort onderzoeken altijd de vraag of er niet alleen maar een correlatie gevonden is zonder dat er sprake hoeft te zijn van een oorzakelijk verband.
Wetenschapsjournalist Maarten Keulemans vertrouwde het onderzoek niet helemaal en schreef er een uiterst kritische blog over op NWTonline (daar kun je ook het fragment uit het NOS journaal zien). Hij stelt een aantal zeer terechte vragen over het veronderstelde causale verband. Zo is er maar heel weinig bekend van SCA gevallen, niet eens of die zelf rookten, of vóór 2004 op een werkplek vertoefden waar gerookt werd. En als je over de hele periode kijkt die is bekeken, zie je trouwens helemaal geen daling. De cijfers in het onderzoek bevreemdden hem zeer en hij vroeg mij om er ook eens naar te kijken. Dat heb ik gedaan en ik ben er eerlijk gezegd nogal van geschrokken.

Hoe komen de onderzoekers aan die 16.000 hartstilstanden die voorkomen zouden zijn?

Onderstaande grafiek komt uit het artikel dat de onderzoekers publiceerden in het tijdschrift Heart onder de titel Effect of smoke-free legislation on the incidence of sudden circulatory arrest in the Netherlands (helaas achter een paywall).

Slecht rekenwerk aan rookverbod voorkomt 16.638 hartstilstanden 10
Grafiek uit het artikel in Heart. Stijging van SCA gevallen in 2002 en 2003, na invoering van het rookverbod een significante daling.

De grijze curve geeft het aantal SCA casus aan per week in de gemeten populatie. De gekleurde ‘lijnen’ komen met wat rekenwerk uit een poissonregressie. Het zijn eigenlijk exponentiële krommen, die weer vermenigvuldigd zijn met de wisselende populatieomvang. Maar op deze schaal is het verschil met een rechte lijn niet echt zichtbaar, ik heb het verder dus ook maar over lijnen. Het komt er in feite op neer dat ze de beste manier hebben gevonden om een lijn met twee knikken door de chaotisch op en neer springende grijze curve te trekken. De plek van de twee knikken hadden ze van tevoren vastgelegd, namelijk precies op de data van invoer van de rookverboden op de werkplek (1/1/2004) en in de horeca (1/7/2008).
Welke conclusies trekken de auteurs nu in het artikel? In de eerste plaats geven ze aan dat dit model (de geknikte lijn) een goede benadering is. Ook vertellen ze dat de omslag van het groene naar blauwe gedeelte een significante daling inhoudt. De tweede omkering, van blauw naar oranje gedeelte is echter niet significant. Kortom: de invoering van het rookverbod op de werkplek had als gevolg een daling van SCA-incidentie en over de invoering van het andere verbod kunnen we niets zeggen op grond van deze cijfers. Ja, ja …

Maar het wordt nog wat erger als ze gaan becijferen hoeveel SCA’s zijn uitgebleven door invoering van het eerste rookverbod. Op basis van het gevonden model heb je een mooie formule gekregen, waarmee je voor elk moment in de bekeken periode een schatting kunt maken. En dat kun je ook doen als je net doet alsof er niets meer zou veranderen aan de trend ná 2003. En natuurlijk(?) kun je ook een andere populatiegrootte invoeren, bijvoorbeeld de hele Nederlands bevolking, in plaats van die ruim 400.000 mensen in Zuid-Limburg waarop de grafiek betrekking heeft. Gewoon de formule even invullen met de ruim 16 miljoen zielen die Nederland rijk is, gaf het resultaat van 16.638 vermeden SCA’s, het getal dat vervolgens prominent naar voren kwam in het persbericht en door prof. Van Schayck ook genoemd werd in het NOS Journaal (als ‘ruim 16.000’).

Rekenfoutje …

Toen ik het artikel gelezen had, probeerde ik het model zelf na te bootsen, gewoon even snel in een spreadsheetje. Dat lukt heel erg aardig, zelfs met de weinig precieze vermelding van de parameters van het model in het artikel. Die zijn vreemd genoeg maar met één cijfer nauwkeurig gegeven, maar de 16.638 is wel heel exact. Misschien dat bijvoorbeeld de -0,05% trend inderdaad heel precies is, maar dan had je verwacht dat er -0,050000% was opgeschreven. Maar goed, in de afbeelding iets verder naar beneden, heb ik de grafiek die ik uit mijn benadering kreeg (de blauwe kniklijn), gelegd over de grafiek uit het artikel. Je kunt zien dat het bijna precies klopt. Kleine verschillen kunnen er zijn, omdat ik niet precies weet welke populatiegrootte ze op elk punt hebben gebruikt; mijn interpolatie kan net anders zijn dan die van de onderzoekers.

Als ik in mijn model de ’16 miljoen  Nederlanders’ stop (op basis van CBS-gegevens), kom ik uit op een aantal vermeden SCA’s van 16.504. Erg dicht in de buurt van die 16.638 uit het artikel dus. Meteen toen ik dat deed, besefte ik echter dat deze rekensom helemaal niet klopt. De grafiek van de onderzoekers slaat niet op alle personen, alleen op die met een leeftijd tussen 20 en 75 jaar! Het staat niet heel expliciet bij de grafiek, maar het is duidelijk als je kijkt naar de berekende modelwaarden per 100.000 personen en de getallen langs de y-as. De grafiekwaarden krijg je alleen uit het model als je rekent met de onderzoekspopulatie en niet als je de gehele populatie van Zuid-Limburg invoert.
Met beter vergelijkbare cijfers van de Nederlandse bevolking, kom je uit op bijna 12.000. Ik kon bij het CBS zo gauw alleen aantallen tussen 20 en 80 jaar vinden, dus eigenlijk is dit nog een te grote groep. De marges van de schatting zijn wat lastig te bepalen, maar een kort door de bocht benadering geeft dat de werkelijk waarde zou liggen tussen 2.700 en 39.000 (95% betrouwbaarheidsinterval). Het aantal voorkomen SCA’s is dus een heel stuk minder en het betrouwbaarheidsinterval is enorm.  Maar nog steeds iets om blij over te zijn, toch?

… en een ongeloofwaardige voorspelling

Nu kun je ook nog gaan steggelen of Zuid-Limburg wel representatief is voor heel Nederland, en of je niet moet corrigeren voor bijvoorbeeld de slechtere gemiddelde gezondheid daar. Maar er is iets veel ergers aan de hand en dat is meteen duidelijk als je kijkt wat het doortrekken van die trend over 2002 en 2003 betekent. In de onderstaande grafiek heb ik die doorgetrokken als rode lijn.

Slecht rekenwerk aan rookverbod voorkomt 16.638 hartstilstanden 11
De grafiek uit het artikel met daarover heen geplakt mijn model met blauwe lijn die het model van de onderzoekers benadert en de rode lijn die laat zien hoe het doortrekken van trend uitpakt. (klik voor grotere versie)

Als je de voorspellende waarde van die rode lijn serieus neemt, zou je de conclusie moeten trekken dat er zonder rookverbod in de periode van 2002 tot juli 2008 bijna een verdubbeling van het aantal SCA’s zou zijn geweest! De onderzoekers zien niet dat de steile trend over 2002 en 2003 nooit representatief kan zijn voor de ontwikkeling van vóór 2004. Ze noemen die trend aan het begin van het artikel zelf ‘klein, maar significant (p=0,044)‘. Een trend van +0,2% per week is echter een trend van bijna 11% per jaar! Dat noem ík niet klein. Het kan niet anders dan dat de helling van het eerste stuk in het model toevallig of door een nog onbekende oorzaak zo groot is.
Heel misschien ligt het aan de manier van modelleren. Ik zou bijvoorbeeld graag de trend van de afzonderlijke periodes zien, berekend zonder dat de lijnen op de schanierpunten aan elkaar vastzitten. Nu zijn de berekende trends namelijk niet onafhankelijk van elkaar. Het gebruiken van die 11% toename per jaar als voorspeller voor de incidentie 4,5 jaar later slaat in ieder geval nergens op naar mijn mening.

Sowieso zou je op grond van zo’n data-fitting exercitie met een krap aan significant resultaat op zijn best een aanwijzing hebben gevonden voor die omslag van de trend per 1 januari 2004. Om die te bevestigen zou je het in andere regio’s moeten toetsen. In dit geval lijkt het me echter voldoende om even te kijken naar de SCA incidentie van die eerste periode. Of beter nog: laten ze in Maastricht de gegevens van nog een paar jaar eerder opzoeken. Als die trend niet bevestigd kan worden, houdt het hele verhaal namelijk meteen op. Want alle significante resultaten en conclusies hangen samen met die extreme stijging.

Conclusie

Ik kan me verder helemaal vinden in de kritiek van Keulemans. Het onderzoek is zo opgezet dat vooraf al duidelijk had moeten zijn dat je eigenlijk nooit de conclusie had kunnen trekken dat het rookverbod effect heeft gehad. Dat effect is waarschijnlijk te klein om op te sporen in de vrij korte periode na invoer en met de relatief kleine aantallen die ze in dit onderzoek meegenomen hebben. Zeker als je naar een uitkomstwaarde kijkt die door heel veel factoren beïnvloed kan worden. De cijfermatige conclusies zijn mijns inziens volkomen onterecht. Een rekenfoutje kan vergeven worden, maar de gedachten achter de extrapolatie naar het landelijke getal getuigen van een bedroevend laag cijfermatig inzicht (tenzij het bewust is gedaan, natuurlijk).

Oh ja, voordat ik daarover lastig gevallen wordt: ik ben groot voorstander van de rookvrije werkplek en een rookvrije horeca. Gelukkig heb ik zelf altijd mogen genieten van een rookvrije werkplek, ook al ruim vóór 2004. En ten slotte: ik heb geen banden met de tabaksindustrie, hoewel ik niet kan uitsluiten dat mijn pensioenfonds daar wel in belegt.

[UPDATE 20 juni] Reactie van professor Van Schayck
Op maandag 18 juni jl. had ik telefonisch contact met prof. Van Schayck en na aanleiding van deze blog en het gesprek stelde hij voor met een reactie te komen, die staat hier integraal onder.

Wij willen graag inhoudelijk ingaan op de kritiek van Pepijn van Erp. Feitelijk heeft van Erp een 3-tal hoofdpunten van kritiek:

  1.  “Daarnaast is het bij dit soort onderzoeken altijd de vraag of er niet alleen maar een correlatie gevonden is zonder dat er sprake hoeft te zijn van een oorzakelijk verband….De onderzoekers zien niet dat de steile trend over 2002 en 2003 nooit representatief zou kunnen zijn voor de ontwikkeling van voor 2004.”
  2. “Als ik in mijn model de ’16 miljoen Nederlanders’ stop, kom ik uit op een aantal vermeden SCA’s van 16.504. Erg dicht in de buurt van die 16.638 uit het artikel dus…..De grafiek van de onderzoekers slaat niet op alle personen, alleen op die met een leeftijd tussen 20 en 75 jaar!”
  3. “Om dit bevestigen zou je in andere regio’s moeten toetsen…Of beter nog: laten ze in Maastricht de gegevens van nog een paar jaar eerder opzoeken.”

Ad 1. Wij hebben nooit gezegd dat het verband tussen de rookvrije werkplek en de daling van hartstilstanden door deze studie causaal bewezen is. Net als in elk ander onderzoek hebben wij van tevoren een hypothese opgesteld. Die luidde dat er zowel na 2004 als na 2008 een daling in de incidentietrend zou zijn, mede op basis van wat er in studies in het buitenland op dat moment al was aangetoond in het aantal ziekenhuisopnames voor hartinfarcten. Het studiedesign van onze studie is ook grotendeels gebaseerd op hoe andere studies dit aangepakt hebben.
Met het analyseren van onze data hebben we de eerste daling kunnen bevestigen, de tweede niet. De toename in de periode 2002-2004 kan door vele factoren verklaard worden die invloed hebben op acute hartstilstanden (denk aan: overgewicht, voeding, beweging, diabetes, hoge bloeddruk, hoog cholesterol, (mee)roken). Net zo min als dat we aanwijzingen hebben dat deze factoren voor 2002 sterk veranderd zijn, zijn er aanwijzingen dat die factoren (gunstig) veranderd zijn na 2004, behalve het (mee)roken. Door in de sensitiviteitsanalyses te schuiven met het moment van introductie van het rookverbod hebben we wel uitgesloten dat dit een toevallige bevinding is. Daarnaast is er gedurende de totale periode van ruim 9 jaar wekelijks gecorrigeerd voor die factoren waarvan we weten dat ze invloed hebben op acute hartstilstand (temperatuurschommelingen, verhoogde fijn stof concentraties in de lucht en griepepidemieën), zodat alle denkbare zorgvuldigheid in de analyse van de data betracht is voordat de studie gepubliceerd werd.
Omdat het geen gecontroleerde gerandomiseerde studie is, kunnen we inderdaad niet onomstotelijk aantonen dat de verandering in de trends door het rookverbod veroorzaakt is. In het licht van observaties in andere soortgelijke studies lijkt dit wel de meest waarschijnlijke verklaring. Het feit dat de trend significant veranderde, wijst er ook op dat het zeer onwaarschijnlijk is dat de observatie op toeval berust.
In 2010 werd een Meta-analyse gepubliceerd (Mackay e.a. Heart 2010;96:1525-30) van de belangrijkste studies op de effecten van een rookverbod op cardiovasculaire aandoeningen. Dit betrof een overzicht van 17 studies uit de VS, Europa en Australasia. Er zaten verschillende studies bij die gepubliceerd zijn in de meest vooraanstaande medische tijdschriften in de wereld zoals de New England Journal of Medicine, British Medical Journal en Circulation. Alle studies hadden een vergelijkbaar design als onze studie (voor-na vergelijk zonder controlegroep).
Bij enkele studies was men wel in staat om een geografische vergelijking te maken omdat het zorgsysteem in bijvoorbeeld verschillende staten in de VS vergelijkbaar is, maar de invoering van het rookverbod niet simultaan tot stand kwam. Die situatie was bij ons helaas niet aanwezig. De conclusie van de meta-analyse was dat er een overtuigend bewijs is dat de invoering van een rookverbod leidt tot een vermindering in optreden van acute coronaire eindpunten.

Ad 2. Dit door van Erp genoemde “rekenfoutje” berust waarschijnlijk op afrondingsverschillen. In onze berekeningen zijn de niet-afgeronde trendcijfers gebruikt, terwijl in het artikel de afgeronde trendcijfers vermeld worden. Terecht corrigeert van Erp ons dat we hadden moeten extrapoleren naar de inwoners in Nederland van tussen de 20-75 jaar. De nadruk die deze extrapolatie in de kritiek van van Erp krijgt staat overigens niet helemaal in verhouding tot de plaats die deze extrapolatie had in het artikel.
De analyse is gebaseerd op trend verschillen in incidenties en alleen die resultaten zijn gerapporteerd in het Abstract en de Results van het artikel. Omdat een verschil in trends van +0.20% naar -0.24% per week, een lastig te interpreteren gegeven is, is dit getal geëxtrapoleerd naar de Nederlandse bevolking en vanwege de beperkingen die dit met zich meebrengt alleen vermeld in de Discussion en juist niet in de Results of Abstract section.

Ad 3. Dit is natuurlijk een terechte opmerking. Weliswaar behoorde deze observatieperiode tot een van de langste observatieperiode van dit type studies ooit (zie gepubliceerde meta-analyse) en behoort de Ambulancedienstregio Zuid-Limburg tot de meest dichtbevolkte regio van Nederland, het is altijd beter om in groter gebied te kijken en over een langere periode te meten, niet alleen vanwege de representativiteit van het gebied maar ook omdat je cijfers betrouwbaarder worden. Het zijn vooral de financiële beperkingen die de omvang van een studie als deze bepalen.

Mede namens Dianne de Korte,

Onno van Schayck

Mijn reactie hierop heb ik in de commentaren gegeven.

 (de titelafbeelding bevat een bewerkte foto van stock.xchng)

Filed Under: Gezondheid, Uit het nieuws, Wetenschap Tagged With: rekenfout, rookverbod, statistiek, Universiteit Maastricht

Nu ook al hufterig door biologisch voedsel?

7 June 2012 by Pepijn van Erp 7 Comments

Werden we vorig jaar nog verrast door  de ontdekking dat ‘de vleeseter egoïstischer en minder sociaal is dan mensen die geen vlees eten’, nu is opeens het geitenwollensokken-type dat biologisch voedsel eet de kwaaie pier: “Does organic food turn people into jerks?“ Dat ‘vleeshufteronderzoek’ van Diederik Stapel, Roos Vonk en Marc Zeelenberg bleek helemaal niet uitgevoerd en de getalletjes die leidden tot de voorbarige conclusie verzonnen door Stapel. Maar het onderzoek van Kendall J. Eskine waaruit de kwalijke implicaties van ‘organic food’ zouden blijken, is geaccepteerd voor publicatie in Social Psychological and Personality Science onder de titel “Wholesome Foods and Wholesome Morals? Organic Foods Reduce Prosocial Behavior and Harshen Moral Judgments“. Moeten we dat nu serieus nemen of is dit het zoveelste onderzoekje uit de Sociaal Psychologie dat alleen maar leuke krantenkoppen oplevert? 

Nu ook al hufterig door biologisch voedsel? 12
Het ziet er zo vredig uit, maar ondertussen …

Wat het onderzoek zou aantonen, kunnen we het beste laten vertellen door de onderzoeker zelf,  Dr. Kendall J. Eskine, assistant professor aan Loyola University in New Orleans (bron):

There’s a line of research showing that when people can pat themselves on the back for their moral behavior, they can become self-righteous.

en

There’s something about being exposed to organic food that made them feel better about themselves. And that made them kind of jerks a little bit, I guess.

Wat deden ze dan in het onderzoek om mensen ‘bloot te stellen’ aan biologisch voedsel? Ze lieten ze plaatjes zien en dan werd er gekeken hoe ze een aantal morele problemen beoordeelden. De groep die alleen plaatjes te zien kreeg van organic food velde iets hardere morele oordelen over situaties als “een man eet zijn dode hond op” of “een student steelt een bibliotheekboek”. Daarbij bleken ze na dit testje ook nog eens minder bereid vrijwillig tijd te besteden aan een ander onderzoekje.

De opzet lijkt sterk op aantal testjes uit het ‘vleeshufteronderzoek’ dat nooit is uitgevoerd. Ook hier werden mensen een bepaald beeld ingeprent en dan gekeken of er verschil is in gedrag of keuzes die gemaakt moeten worden. Hieronder een aantal van de plaatjes die gebruikt werden als ‘typical organic‘, ‘typical comfort food‘ en ‘neither comfort nor organic food‘:

Nu ook al hufterig door biologisch voedsel? 13
Per categorie één plaatje waaraan de proefpersonen werden blootgesteld

Test je hier nu wel echt een verschil tussen mensen die zijn blootgesteld aan ‘biologisch voedsel’, ‘comfort food’ en ‘neutraal voedsel’? Je zou net zo goed kunnen zeggen: ‘plaatjes met een labeltje’, ‘plaatjes van ongezond eten’ en ‘plaatjes van saai eten’ en waar is dan het ‘biologische’ gebleven? De plaatjes uit de categorie ‘organic‘ waren van groente en fruit, die van het neutrale voedsel van havermout, rijst, bonen en mosterd. Die laatste producten kunnen natuurlijk ook best als biologisch gezien worden als er niet expliciet bijstaat dat het dat niet is.
Het doet mij dus sterk denken aan het probleem dat ik aanstipte in mij bespreking van dat ‘vleeshufteronderzoek’ in Pas op: abstraheren is weglaten! Daar ging men in de opzet ervan uit dat een bepaalde keuze uit drie verschillende menu’s impliceert dat een proefpersoon kiest uit ‘vlees’, vegetarisch’ of ‘vis’, terwijl je het net zo goed kon uitleggen als een keuze voor ‘champignons’, ‘roomsaus’ of ‘sesamkorstje’ (of erger “bovenste plaatje’, ‘middelste plaatje’ en ‘onderste plaatje’).
In dit onderzoek hadden ze een andere groep proefpersonen gebruikt om aan de plaatjes te komen die het beste de drie verschillende categoriëen voedsel zouden representeren. Maar het lijkt me nogal evident dat er een verschil is tussen  plaatjes goed kunnen indelen op voorgehouden categorieën en door blootstelling aan die plaatjes inderdaad met die categorieën ingeprent worden. Om echt te onderzoeken of het ‘biologische’ aspect van het voedsel er toe doet, moet je dat toch anders doen, lijkt me. Een volgende set plaatjes lijkt me dan veel logischer:

Nu ook al hufterig door biologisch voedsel? 14

 

Ergens hoopte ik dat het hele onderzoek een parodie was op het onderzoek van Stapel, Vonk & Zeelenberg, iets als “effe een Sokalletje doen“. Maar gezien het eerdere onderzoek van Eskine, moeten we aannemen dat het allemaal bloedserieus bedoeld is. Ik vind het allemaal wel weer erg dun en slecht doordacht. En dan heb ik het niet eens over de minimale aantallen in de groepen (20)  en het gebruik van die Likert-scales (7-punts schalen), waarvan ik het ook maar uiterst bedenkelijk vind dat die bij deze lage aantallen met standaard statistische toetsen worden gebruikt, zonder dat er enigszins aannemelijk gemaakt wordt dat dat zou kunnen.

Filed Under: Wetenschap Tagged With: biologisch, roos vonk, sociaal psychologie

  • « Go to Previous Page
  • Page 1
  • Interim pages omitted …
  • Page 179
  • Page 180
  • Page 181
  • Page 182
  • Page 183
  • Interim pages omitted …
  • Page 186
  • Go to Next Page »

Primary Sidebar

Steun ons via:
Een aankoopbol.com Partner (meer info)
Of een donatie

Schrijf je in voor de nieuwsbrief!

Skeptic RSS feed

  • Skepsis
  • Error
  • SBM
Inschrijvingen Skepsiscongres 2025 geopend: Was vroeger alles beter?
9 May 2025 - Ward van Beek
Inschrijvingen Skepsiscongres 2025 geopend: Was vroeger alles beter?

.Het vorige congres ligt nog vers in ons geheugen, maar omdat ontwikkelingen steeds sneller gaan zijn wij alweer druk bezig met het Skepsiscongres 2025, op zaterdag 1 november a.s.  De maatschappij bekeken met een skeptische bril Je hoort het vaak:…Lees meer Inschrijvingen Skepsiscongres 2025 geopend: Was vroeger alles beter? › [...]

Graancirkels op European Skeptics Congress 2024
7 May 2025 - SkepsisSiteBeheerder
Graancirkels op European Skeptics Congress 2024

Voordracht van Francesco Grassi op ESC2024 in Lyon.Lees meer Graancirkels op European Skeptics Congress 2024 › [...]

SKEPP wordt 35… en dat vieren ze!
27 April 2025 - SkepsisSiteBeheerder
SKEPP wordt 35… en dat vieren ze!

Onze Belgische zusterorganisatie SKEPP bestaat dit jaar 35 jaar. Op zaterdag 10 mei vieren ze dat met een mooi programma. Hoofdgast is de bekende skepticus en emeritus hoogleraar psychologie Chris French die onlangs ook tot erelid van SKEPP werd benoemd.…Lees meer SKEPP wordt 35… en dat vieren ze! › [...]

RSS Error: A feed could not be found at `https://skepp.be/feed`; the status code is `404` and content-type is `text/html; charset=UTF-8`

No turbo cancer at ASCO: William Makis vs. Scott Adams and A Midwestern Doctor instead?
2 June 2025 - David Gorski

I was in Chicago this weekend attending the ASCO meeting, the largest oncology meeting in the world. Nary a talk or poster about "turbo cancer" was seen, but that doesn't mean there wasn't cancer quack fight online to distract me from the meeting. The post No turbo cancer at ASCO: William Makis vs. Scott Adams and A Midwestern Doctor instead? first appeared on Science-Based Medicine. [...]

Our Medical Establishment In Power Versus Our Medical Establishment Out of Power
29 May 2025 - Jonathan Howard

Now that they have power, Drs. Marty Makary, Vinay Prasad, and Jay Bhattacharya have different standards than they set for their predecessors. The post Our Medical Establishment In Power Versus Our Medical Establishment Out of Power first appeared on Science-Based Medicine. [...]

Rethinking Medications: Truth, Power, and the Drugs You Take
28 May 2025 - David Weinberg

A critical appraisal of the state of the prescription medications in the United States The post Rethinking Medications: Truth, Power, and the Drugs You Take first appeared on Science-Based Medicine. [...]

Recente reacties

  • Hans1263 on De linke weekendbijlage (22-2025)Wat te doen als je problemen hebt in je familie, met name met een aanhanger van kwakzalverij en (complot)geloof en
  • Renate1 on De linke weekendbijlage (22-2025)Voor kritiek op het MAHA report zou ik toch liever verwijzen naar https://sciencebasedmedicine.org/the-maha-report-the-good-the-bad-and-the-
  • Renate1 on De linke weekendbijlage (22-2025)Ik vraag me af of het aanhalen van een artikel van het Cato Institute https://en.wikipedia.org/wiki/Cato_Institute wel zo handig is. Dit
  • Renate1 on De linke weekendbijlage (21-2025)Tja, geen idee. Mensen denken misschien dat ze geholpen zullen worden met hun problemen. Deels misschien omdat ze geen andere
  • Hans1263 on De linke weekendbijlage (21-2025)@Renate1 Er zijn helaas talrijke warhoofden. Ik las zojuist dat heks Trees P. van Pater Pio ook nog steeds bezig

Archief Kloptdatwel.nl

Copyright © 2025 · Metro Pro on Genesis Framework · WordPress · Log in