Fantastisch nieuws van de Universiteit Maastricht: door de invoering van het rookverbod op de werkplek begin 2004 zijn in heel Nederland meer dan 16.000 acute hartstilstanden voorkomen in de ruim 4 jaar die daarop volgden. Een hartstilstand leidt in 90 procent van de gevallen tot overlijden, bericht het persbericht ook nog om het resultaat in het juiste perspectief te zetten. Bij De Telegraaf kon iemand een rekenmachine bedienen en rekende uit dat er dus wel 14.000 levens zijn gered. Hoera!
Ook het NOS journaal bracht het nieuws en liet de onderzoeker, professor Onno van Schayck, zelf aan het woord. Duidelijk in zijn nopjes met het mooie resultaat pleit hij voor het nu definitief en volledig doorvoeren van het rookverbod in de horeca. Want dat zal dan wel net zo’n mooie daling van het aantal hartstilstanden laten zien, moeten we denken. Zowel De Telegraaf als NOS Journaal nemen het juichverhaal uit Maastricht bijna klakkeloos over. Niet zo slim, want er blijkt nogal een luchtje aan dit onderzoek te zitten.
Het onderzoek in Zuid-Limburg
Hoe onderzocht het team van prof. Van Schayck dat effect van het invoeren van het rookverbod op de werkplek? Het persbericht meldt daarover het volgende:
Voor dit onderzoek werd gebruik gemaakt van gegevens van de Regionale Ambulance Voorziening van de GGD Zuid-Limburg. In de analyses werden drie perioden onderscheiden: de periode voor invoering van de rookverboden (1 januari 2002 – 1 januari 2004), de periode waarin de rookvrije werkplek ingevoerd werd (1 januari 2004 – 1 juli 2008) en de periode waarin de rookvrije horeca van kracht was (1 juli 2008 – 1 mei 2010).
In de studie werden in totaal 2305 gevallen van acute hartstilstand geteld. In de periode vóór invoering van de rookverboden steeg het aantal met 24%. In de periode na invoering van de rookvrije werkplek daalde het aantal met 12%. Omgerekend in absolute aantallen en voor de hele Nederlandse bevolking impliceert deze afname dat er meer dan 16000 gevallen van acute hartstilstand voorkomen zijn in de hele periode tussen 2004 en 2008. Bijna 90% van de patiënten met een acute hartstilstand overlijden hieraan.
Er werden dus hartstilstanden (in jargon sudden circulatory arrest, afgekort SCA) geteld die via de ambulancedienst gemeld waren; de SCA’s in ziekenhuizen zijn niet meegenomen. Ook gaat het om een beperkt gebied, Zuid-Limburg, met ruim 600.000 inwoners en alleen om de groep mensen tussen 20 en 75 jaar oud. Op zich al redenen om vraagtekens te zetten bij de representativiteit van het onderzoek voor het hele land. Daarnaast is het bij dit soort onderzoeken altijd de vraag of er niet alleen maar een correlatie gevonden is zonder dat er sprake hoeft te zijn van een oorzakelijk verband.
Wetenschapsjournalist Maarten Keulemans vertrouwde het onderzoek niet helemaal en schreef er een uiterst kritische blog over op NWTonline (daar kun je ook het fragment uit het NOS journaal zien). Hij stelt een aantal zeer terechte vragen over het veronderstelde causale verband. Zo is er maar heel weinig bekend van SCA gevallen, niet eens of die zelf rookten, of vóór 2004 op een werkplek vertoefden waar gerookt werd. En als je over de hele periode kijkt die is bekeken, zie je trouwens helemaal geen daling. De cijfers in het onderzoek bevreemdden hem zeer en hij vroeg mij om er ook eens naar te kijken. Dat heb ik gedaan en ik ben er eerlijk gezegd nogal van geschrokken.
Hoe komen de onderzoekers aan die 16.000 hartstilstanden die voorkomen zouden zijn?
Onderstaande grafiek komt uit het artikel dat de onderzoekers publiceerden in het tijdschrift Heart onder de titel Effect of smoke-free legislation on the incidence of sudden circulatory arrest in the Netherlands (helaas achter een paywall).
De grijze curve geeft het aantal SCA casus aan per week in de gemeten populatie. De gekleurde ‘lijnen’ komen met wat rekenwerk uit een poissonregressie. Het zijn eigenlijk exponentiële krommen, die weer vermenigvuldigd zijn met de wisselende populatieomvang. Maar op deze schaal is het verschil met een rechte lijn niet echt zichtbaar, ik heb het verder dus ook maar over lijnen. Het komt er in feite op neer dat ze de beste manier hebben gevonden om een lijn met twee knikken door de chaotisch op en neer springende grijze curve te trekken. De plek van de twee knikken hadden ze van tevoren vastgelegd, namelijk precies op de data van invoer van de rookverboden op de werkplek (1/1/2004) en in de horeca (1/7/2008).
Welke conclusies trekken de auteurs nu in het artikel? In de eerste plaats geven ze aan dat dit model (de geknikte lijn) een goede benadering is. Ook vertellen ze dat de omslag van het groene naar blauwe gedeelte een significante daling inhoudt. De tweede omkering, van blauw naar oranje gedeelte is echter niet significant. Kortom: de invoering van het rookverbod op de werkplek had als gevolg een daling van SCA-incidentie en over de invoering van het andere verbod kunnen we niets zeggen op grond van deze cijfers. Ja, ja …
Maar het wordt nog wat erger als ze gaan becijferen hoeveel SCA’s zijn uitgebleven door invoering van het eerste rookverbod. Op basis van het gevonden model heb je een mooie formule gekregen, waarmee je voor elk moment in de bekeken periode een schatting kunt maken. En dat kun je ook doen als je net doet alsof er niets meer zou veranderen aan de trend ná 2003. En natuurlijk(?) kun je ook een andere populatiegrootte invoeren, bijvoorbeeld de hele Nederlands bevolking, in plaats van die ruim 400.000 mensen in Zuid-Limburg waarop de grafiek betrekking heeft. Gewoon de formule even invullen met de ruim 16 miljoen zielen die Nederland rijk is, gaf het resultaat van 16.638 vermeden SCA’s, het getal dat vervolgens prominent naar voren kwam in het persbericht en door prof. Van Schayck ook genoemd werd in het NOS Journaal (als ‘ruim 16.000’).
Rekenfoutje …
Toen ik het artikel gelezen had, probeerde ik het model zelf na te bootsen, gewoon even snel in een spreadsheetje. Dat lukt heel erg aardig, zelfs met de weinig precieze vermelding van de parameters van het model in het artikel. Die zijn vreemd genoeg maar met één cijfer nauwkeurig gegeven, maar de 16.638 is wel heel exact. Misschien dat bijvoorbeeld de -0,05% trend inderdaad heel precies is, maar dan had je verwacht dat er -0,050000% was opgeschreven. Maar goed, in de afbeelding iets verder naar beneden, heb ik de grafiek die ik uit mijn benadering kreeg (de blauwe kniklijn), gelegd over de grafiek uit het artikel. Je kunt zien dat het bijna precies klopt. Kleine verschillen kunnen er zijn, omdat ik niet precies weet welke populatiegrootte ze op elk punt hebben gebruikt; mijn interpolatie kan net anders zijn dan die van de onderzoekers.
Als ik in mijn model de ’16 miljoen Nederlanders’ stop (op basis van CBS-gegevens), kom ik uit op een aantal vermeden SCA’s van 16.504. Erg dicht in de buurt van die 16.638 uit het artikel dus. Meteen toen ik dat deed, besefte ik echter dat deze rekensom helemaal niet klopt. De grafiek van de onderzoekers slaat niet op alle personen, alleen op die met een leeftijd tussen 20 en 75 jaar! Het staat niet heel expliciet bij de grafiek, maar het is duidelijk als je kijkt naar de berekende modelwaarden per 100.000 personen en de getallen langs de y-as. De grafiekwaarden krijg je alleen uit het model als je rekent met de onderzoekspopulatie en niet als je de gehele populatie van Zuid-Limburg invoert.
Met beter vergelijkbare cijfers van de Nederlandse bevolking, kom je uit op bijna 12.000. Ik kon bij het CBS zo gauw alleen aantallen tussen 20 en 80 jaar vinden, dus eigenlijk is dit nog een te grote groep. De marges van de schatting zijn wat lastig te bepalen, maar een kort door de bocht benadering geeft dat de werkelijk waarde zou liggen tussen 2.700 en 39.000 (95% betrouwbaarheidsinterval). Het aantal voorkomen SCA’s is dus een heel stuk minder en het betrouwbaarheidsinterval is enorm. Maar nog steeds iets om blij over te zijn, toch?
… en een ongeloofwaardige voorspelling
Nu kun je ook nog gaan steggelen of Zuid-Limburg wel representatief is voor heel Nederland, en of je niet moet corrigeren voor bijvoorbeeld de slechtere gemiddelde gezondheid daar. Maar er is iets veel ergers aan de hand en dat is meteen duidelijk als je kijkt wat het doortrekken van die trend over 2002 en 2003 betekent. In de onderstaande grafiek heb ik die doorgetrokken als rode lijn.
Als je de voorspellende waarde van die rode lijn serieus neemt, zou je de conclusie moeten trekken dat er zonder rookverbod in de periode van 2002 tot juli 2008 bijna een verdubbeling van het aantal SCA’s zou zijn geweest! De onderzoekers zien niet dat de steile trend over 2002 en 2003 nooit representatief kan zijn voor de ontwikkeling van vóór 2004. Ze noemen die trend aan het begin van het artikel zelf ‘klein, maar significant (p=0,044)‘. Een trend van +0,2% per week is echter een trend van bijna 11% per jaar! Dat noem ík niet klein. Het kan niet anders dan dat de helling van het eerste stuk in het model toevallig of door een nog onbekende oorzaak zo groot is.
Heel misschien ligt het aan de manier van modelleren. Ik zou bijvoorbeeld graag de trend van de afzonderlijke periodes zien, berekend zonder dat de lijnen op de schanierpunten aan elkaar vastzitten. Nu zijn de berekende trends namelijk niet onafhankelijk van elkaar. Het gebruiken van die 11% toename per jaar als voorspeller voor de incidentie 4,5 jaar later slaat in ieder geval nergens op naar mijn mening.
Sowieso zou je op grond van zo’n data-fitting exercitie met een krap aan significant resultaat op zijn best een aanwijzing hebben gevonden voor die omslag van de trend per 1 januari 2004. Om die te bevestigen zou je het in andere regio’s moeten toetsen. In dit geval lijkt het me echter voldoende om even te kijken naar de SCA incidentie van die eerste periode. Of beter nog: laten ze in Maastricht de gegevens van nog een paar jaar eerder opzoeken. Als die trend niet bevestigd kan worden, houdt het hele verhaal namelijk meteen op. Want alle significante resultaten en conclusies hangen samen met die extreme stijging.
Conclusie
Ik kan me verder helemaal vinden in de kritiek van Keulemans. Het onderzoek is zo opgezet dat vooraf al duidelijk had moeten zijn dat je eigenlijk nooit de conclusie had kunnen trekken dat het rookverbod effect heeft gehad. Dat effect is waarschijnlijk te klein om op te sporen in de vrij korte periode na invoer en met de relatief kleine aantallen die ze in dit onderzoek meegenomen hebben. Zeker als je naar een uitkomstwaarde kijkt die door heel veel factoren beïnvloed kan worden. De cijfermatige conclusies zijn mijns inziens volkomen onterecht. Een rekenfoutje kan vergeven worden, maar de gedachten achter de extrapolatie naar het landelijke getal getuigen van een bedroevend laag cijfermatig inzicht (tenzij het bewust is gedaan, natuurlijk).
Oh ja, voordat ik daarover lastig gevallen wordt: ik ben groot voorstander van de rookvrije werkplek en een rookvrije horeca. Gelukkig heb ik zelf altijd mogen genieten van een rookvrije werkplek, ook al ruim vóór 2004. En ten slotte: ik heb geen banden met de tabaksindustrie, hoewel ik niet kan uitsluiten dat mijn pensioenfonds daar wel in belegt.
[UPDATE 20 juni] Reactie van professor Van Schayck
Op maandag 18 juni jl. had ik telefonisch contact met prof. Van Schayck en na aanleiding van deze blog en het gesprek stelde hij voor met een reactie te komen, die staat hier integraal onder.
Wij willen graag inhoudelijk ingaan op de kritiek van Pepijn van Erp. Feitelijk heeft van Erp een 3-tal hoofdpunten van kritiek:
- “Daarnaast is het bij dit soort onderzoeken altijd de vraag of er niet alleen maar een correlatie gevonden is zonder dat er sprake hoeft te zijn van een oorzakelijk verband….De onderzoekers zien niet dat de steile trend over 2002 en 2003 nooit representatief zou kunnen zijn voor de ontwikkeling van voor 2004.”
- “Als ik in mijn model de ’16 miljoen Nederlanders’ stop, kom ik uit op een aantal vermeden SCA’s van 16.504. Erg dicht in de buurt van die 16.638 uit het artikel dus…..De grafiek van de onderzoekers slaat niet op alle personen, alleen op die met een leeftijd tussen 20 en 75 jaar!”
- “Om dit bevestigen zou je in andere regio’s moeten toetsen…Of beter nog: laten ze in Maastricht de gegevens van nog een paar jaar eerder opzoeken.”
Ad 1. Wij hebben nooit gezegd dat het verband tussen de rookvrije werkplek en de daling van hartstilstanden door deze studie causaal bewezen is. Net als in elk ander onderzoek hebben wij van tevoren een hypothese opgesteld. Die luidde dat er zowel na 2004 als na 2008 een daling in de incidentietrend zou zijn, mede op basis van wat er in studies in het buitenland op dat moment al was aangetoond in het aantal ziekenhuisopnames voor hartinfarcten. Het studiedesign van onze studie is ook grotendeels gebaseerd op hoe andere studies dit aangepakt hebben.
Met het analyseren van onze data hebben we de eerste daling kunnen bevestigen, de tweede niet. De toename in de periode 2002-2004 kan door vele factoren verklaard worden die invloed hebben op acute hartstilstanden (denk aan: overgewicht, voeding, beweging, diabetes, hoge bloeddruk, hoog cholesterol, (mee)roken). Net zo min als dat we aanwijzingen hebben dat deze factoren voor 2002 sterk veranderd zijn, zijn er aanwijzingen dat die factoren (gunstig) veranderd zijn na 2004, behalve het (mee)roken. Door in de sensitiviteitsanalyses te schuiven met het moment van introductie van het rookverbod hebben we wel uitgesloten dat dit een toevallige bevinding is. Daarnaast is er gedurende de totale periode van ruim 9 jaar wekelijks gecorrigeerd voor die factoren waarvan we weten dat ze invloed hebben op acute hartstilstand (temperatuurschommelingen, verhoogde fijn stof concentraties in de lucht en griepepidemieën), zodat alle denkbare zorgvuldigheid in de analyse van de data betracht is voordat de studie gepubliceerd werd.
Omdat het geen gecontroleerde gerandomiseerde studie is, kunnen we inderdaad niet onomstotelijk aantonen dat de verandering in de trends door het rookverbod veroorzaakt is. In het licht van observaties in andere soortgelijke studies lijkt dit wel de meest waarschijnlijke verklaring. Het feit dat de trend significant veranderde, wijst er ook op dat het zeer onwaarschijnlijk is dat de observatie op toeval berust.
In 2010 werd een Meta-analyse gepubliceerd (Mackay e.a. Heart 2010;96:1525-30) van de belangrijkste studies op de effecten van een rookverbod op cardiovasculaire aandoeningen. Dit betrof een overzicht van 17 studies uit de VS, Europa en Australasia. Er zaten verschillende studies bij die gepubliceerd zijn in de meest vooraanstaande medische tijdschriften in de wereld zoals de New England Journal of Medicine, British Medical Journal en Circulation. Alle studies hadden een vergelijkbaar design als onze studie (voor-na vergelijk zonder controlegroep).
Bij enkele studies was men wel in staat om een geografische vergelijking te maken omdat het zorgsysteem in bijvoorbeeld verschillende staten in de VS vergelijkbaar is, maar de invoering van het rookverbod niet simultaan tot stand kwam. Die situatie was bij ons helaas niet aanwezig. De conclusie van de meta-analyse was dat er een overtuigend bewijs is dat de invoering van een rookverbod leidt tot een vermindering in optreden van acute coronaire eindpunten.Ad 2. Dit door van Erp genoemde “rekenfoutje” berust waarschijnlijk op afrondingsverschillen. In onze berekeningen zijn de niet-afgeronde trendcijfers gebruikt, terwijl in het artikel de afgeronde trendcijfers vermeld worden. Terecht corrigeert van Erp ons dat we hadden moeten extrapoleren naar de inwoners in Nederland van tussen de 20-75 jaar. De nadruk die deze extrapolatie in de kritiek van van Erp krijgt staat overigens niet helemaal in verhouding tot de plaats die deze extrapolatie had in het artikel.
De analyse is gebaseerd op trend verschillen in incidenties en alleen die resultaten zijn gerapporteerd in het Abstract en de Results van het artikel. Omdat een verschil in trends van +0.20% naar -0.24% per week, een lastig te interpreteren gegeven is, is dit getal geëxtrapoleerd naar de Nederlandse bevolking en vanwege de beperkingen die dit met zich meebrengt alleen vermeld in de Discussion en juist niet in de Results of Abstract section.Ad 3. Dit is natuurlijk een terechte opmerking. Weliswaar behoorde deze observatieperiode tot een van de langste observatieperiode van dit type studies ooit (zie gepubliceerde meta-analyse) en behoort de Ambulancedienstregio Zuid-Limburg tot de meest dichtbevolkte regio van Nederland, het is altijd beter om in groter gebied te kijken en over een langere periode te meten, niet alleen vanwege de representativiteit van het gebied maar ook omdat je cijfers betrouwbaarder worden. Het zijn vooral de financiële beperkingen die de omvang van een studie als deze bepalen.
Mede namens Dianne de Korte,
Onno van Schayck
Mijn reactie hierop heb ik in de commentaren gegeven.
(de titelafbeelding bevat een bewerkte foto van stock.xchng)
Steun Kloptdatwel
Waardeer je dit artikel? Je kunt onze site steunen met een financiële bijdrage. Dat waarderen wij dan weer! Een donatie kun je doen via dit betaalverzoek (of klik op de afbeelding hiernaast).
NB de rekening staat op naam van Maarten Koller, formeel eigenaar van deze site.
Bedankt voor dit artikel! Toen ik het persbericht over dit onderzoek las fronsten mijn wenkbrauwen vanzelf, maar ik kan het niet op deze manier beredeneren/onderbouwen.
Ik weet wel dat dit geen incident is. Er komen wel vaker onderzoeken met chocoladeletters in het nieuws die bij nader inzien niet/nauwelijks blijken te kloppen. Van rectificeren is meestal geen sprake bij het hap-snap nieuws van tegenwoordig.
Gisteren viel b.v. mijn oog op dit bericht:http://www.nu.nl/gezondheid/2832950/slechte-poetsers-overlijden-vaker-kanker-.html‘Slechte poetsers overlijden vaker aan kanker’
Het blijkt in dit geval ook weer voornamelijk een kwestie van slecht rekenwerk te zijn:http://www.wetenschap24.nl/nieuws/artikelen/2012/juni/Tandplak-en-kanker.htmlIk
Ik kan niet beoordelen wanneer iets wel of niet onder de noemer fraude valt/zou moeten vallen, maar er zou iig nodig eens iets gedaan moeten worden aan de publicatiedrang en het klakkeloos overnemen daarvan in de media.
Die grafiek heeft zo’n 800 datapunten met zoveel ruis dat er op het eerste gezicht geen trend te zien is. Je zou, in eerste instantie, de data kunnen filteren, i.e. neem een gewogen gemiddelde van elk data punt en een aantal van de buren eromheen. De beste manier om dat te doen is een Fourier transformatie van de originele data en dan een omgekeerde Fourier transformatie nadat je de hogere frequenties hebt afgekapt. Maar ja, dan moeten die onderzoekers je wel eerst de originele numerieke data geven. Is er iets van een trend te bespeuren nadat je al die pieken en dalen hebt weggefilterd?
Je zou ook iets als die 800 originele datapunten kunnen maken met een echte randomgenerator (gewoon met een gemiddelde en een standaard deviatie om de ruis te karakteriseren). Daarna kun je dan de “trendzoekbenadering” van de auteurs van het artikel toepassen. Als je dan trends vindt die net zo groot zijn als wat de auteurs van het artikel vinden, dan kun je de vindingen van het artikel als niet-significant bestempelen.
Het is mogelijk om de datapunten af te lezen uit de grafiek, maar ik vond dat toch een beetje overdreven 😉
Zou het een en ander misschien ook beïnvloed worden naar de vraag naar de schadelijkheid van meeroken? Als meeroken niet schadelijk is, hebben de rokers een argument om toch te blijven roken, ondanks het feit dat mensen zeggen er hinder van te ondervinden? Hiermee wil ik het een en ander niet goedpraten, maar vaak lijkt het er op dat tegenstanders van rookverboden alles aangrijpen om het een en ander ongedaan te maken en de niet-rokers die zeggen last van de rook te hebben als aanstellers weg te zetten.
Een onjuist argument blijft natuurlijk een onjuist argument. Maar afgezien van de vraag of meeroken al dan niet ongezond is, ik heb er wel hinder van.
Het hele onderzoek lijkt toch sterk vanuit de anti-rooklobby opgezet en bedoeld om het rookverbod in de horeca extra onder de aandacht te brengen. Daar ben ik ook helemaal voor, maar volgens mij werkt dit soort onderzoek uiteindelijk averechts.
Ik kwam nog een interview met prof. Van Schayck tegen waar ik toch een paar bedenkelijke uitspraken in aantref:http://www.mumc.tv/specialismen/longziekten/1664455934001/acutehartstilstanddoorrookverbodverminderd/
Inderdaad, dergelijk onderzoek werkt averechts. Het doet me denken aan een andere discussie die een tijd geleden hier is gevoerd over dierenmishandeling voor berengal.
Is het argument dat mensen last hebben van andermans rook (of dat nu al dan niet schadelijk is) niet genoeg?
Duidelijk dat het onderzoek niet deugt. Dat is nu goed te zien dankzij uw uitleg. Ook als je het eerste plaatje ziet met die reuze ruis merk je meteen dat er misschien iets niet in orde is. Maar toen ik het twede plaatje zag, dat met die rode lijn, kon ik me niet langer inhouden met lachen.
Ik rook zelf niet maar ik wil wel wat tolerantie oefenen tegen degene die het wel doen. De anti-roker fanaten schuwen geen onzin om hun standpunt te beredeneren. Ik heb zelf al een ernstig bedoeld argument gehoord waar gezegd werd dat passief meeroken nog schadelijker is dan zelf actief een sigaret te roken. Daar gaat het toch echt de absurde kant op.
Tolerantie jegens rokers is leuk, maar ik ondervind de hinder van andermans rook en dan interesseert het gezondheidsaspect me absoluut niet. De geur van een wind zal ook niet schadelijk zijn, maar ik hoef het toch niet te ruiken.
Ik zou rokers met hun rookwaren het liefst in een luchtdichte kamer zetten. Waarom moet het persé schadelijk zijn, om mensen te dwingen om eerst even na te denken voor ze een sigaar of sigaret opsteken? Rekening houden met mensen die last hebben van de rook is toch niet zo moeilijk?
Ik vraag me wel eens af hoe schadelijk dat passief meeroken nu eigenlijk precies is, het lijkt me medisch gezien een beetje een omstreden kwestie. Je hoort er verschillende geluiden over.
Weet iemand daar iets over te melden?
Het is inderdaad best lastig om snel ergens objectieve informatie te vinden. Bij het KWF staat een redelijk genuanceerd (lijkt mij althans) stukje over pasief roken:
(bron: http://kanker.kwfkankerbestrijding.nl/wat-is-kanker/Pages/gezond-leven-minder-kans-op-kanker.aspx )
Die schatting van 250 per jaar geeft ook wat extra nuancering aan die ruim 14.000 geredde levens van de Telegraaf. Het idee is toch dat het verbod op roken op de werkplek vooral scheelt in gezondheid voor degenen die onvrijwillig meerookten. Er zal ook wel een effect zijn dat meer rokers zijn gaan stoppen, en dat zou in het totaal wel eens belangrijker kunnen zijn geweest. Maar goed, dan moet je gewoon het effect van stoppen met roken onderzoeken.
L’histoire se répète. Ik herinner mij van jaren terug juichende berichten over onderzoeken die uitwezen dat na een of ander rookverbod in Italië het aantal hartaanvallen enorm daalde, en wel van de ene op de andere dag. Ik geloofde er toen al niets van, en nu ook niet.
Details kan ik niet terugvinden, maar het moet ergens in 2008 zijn geweest, zie b.v. :
http://www.trouw.nl/tr/nl/4324/nieuws/article/detail/1287368/2008/06/28/Minder-hartaanvallen-in-Italie-na-rookverbod.dhtml
Competing interests : ik kauw op een Nicorette momenteel.
Ik kan die studie wel terugvinden: http://eurheartj.oxfordjournals.org/content/early/2006/08/29/eurheartj.ehl201.abstract
Daar menen ze inderdaad zowat van de een op de andere dag een verandering te zien. Ze vergelijken dan de gevallen in okt-dec 2004 (net voor het verbod) met die van een jaar eerder in dezelfde periode, okt-dec 2003 dus. En net zo voor de maanden na het verbod feb-jun 2005 vergeleken met feb-jun 2004. Januari laten ze er waarschijnlijk uit omdat het verbod op 10 januari inging.Dan vinden ze eigenlijk alleen voor de vrouwen onder de 60 een significante daling, maar dat is gebaseerd op een 108 gevallen (bij de mannen 724), waarbij je ook nog moet bedenken dat het risico voor die groep veel lager is dan dat voor de mannen (0,19 per 1000 vs 1,24 per 1000). In totaal vind je dan dus(?) een daling van het relatief risico dat nipt significant is.
Ik vind dat er wel weer heel veel statistisch geweld wordt gebruikt om een krap aan significant resultaat te trekken uit relatief weinig gegevens. De kans dat er een andere oorzaak verkeerd ingeschat wordt lijkt me aanzienlijk. Zo doen ze erg makkelijk over de inschatting van het effect van het dalende percentage rokers (al ingezet voor het rookverbod).
Maar aan het aantal soortgelijke studies te zien dat weer aan deze studie refereert, is er erg veel behoefte om aan te tonen dat de rookverboden direct resultaat laten zien.
suggesting that most of the observed effect (11%) might be due to the reduction of passive smoking
http://eurheartj.oxfordjournal…
Zo, dat liegt er ook niet om.
In reactie op de vandaag toegevoegde reactie van professor Van Schayck:
Ten eerste wil ik opmerken dat ik blij ben dat professor Van Schayck de moeite heeft genomen om te reageren op mijn stuk, maar het commentaar gaat toch een beetje voorbij aan de kern van mijn bezwaar. Ik begrijp best goed waarom het onderzoek zo opgezet is, zeker gezien de onderzoeken in het buitenland. Logisch dat je bij de methodes die eerder gebruikt zijn aansluit omdat het dan beter vergelijkbaar is. Het betekent echter niet dat het resultaat dat je denkt te vinden ook bevestigd wordt door die eerdere gepubliceerde artikelen. De conclusie kun je alleen baseren op de gegevens die je in je eigen studie hebt. Als die conclusie vrij onzeker is, kun je niet die andere studies gebruiken als versteviging. Op zijn best draagt het een steentje bij in een positieve resultaat van een meta-analyse.De studie is misschien dan wel relatief lang, maar de periode die gebruikt is voor de voorspelling (en die leidt tot het getal van 16.638 voorkomen hartstilstanden) is maar twee jaar. Dat de trend significant omklapt bij 2004 acht ik geen sterk bewijs voor het effect, zolang niet goed uitgezocht is of de stijging over 2002-2004 niet een toevallige afwijking is en of die ook wel landelijk voorkomt. In mijn ogen is het in eerste instantie niet die ‘omslag’ die verklaard zou moeten worden, maar die sterke steiging.
Specifiek over dat ‘rekenfoutje’: om te voorkomen dat dit op een semantische discussie uitdraait, wil ik verduidelijken dat ik daarmee bedoelde dat de onderzoekers volgens de in hun ogen logische manier van berekenen van het verschil op 12.000 hadden moeten uitkomen en niet op die ruim 16.000.
Het verschil tussen mijn 16.504 en de 16.638 heb ik alleen maar laten zien om aan te tonen dat mijn modelletje zelfs met de afgeronde waarden niet ver af zat van het model van de Maastrichtse onderzoekers.
Maar zoals ik duidelijk heb proberen te maken in mijn blog (en ook in een telefoongesprek dat ik met Van Schayck had) vind ik dat niet het grootste probleem. Het gaat mij erom dat de gedachte achter het doortrekken van de curve als voorspelling voor ‘het geval dat er geen rookverbod op de werkplek zou zijn ingevoerd’ niet klopt. En die leidt vervolgens tot een onverantwoorde schatting van voorkomen hartstilstanden. Ik zal mijn redenen daarvoor nog eens duidelijk geven:
Ten eerste omdat het mijns inziens een heel rare gedachte is dat je van zo’n grillige curve goed zou kunnen voorspellen over een periode van 4,5 jaar op basis van gegevens van slechts twee jaar, ook al kijk je alleen naar de trends.
Ten tweede omdat die eerste ‘trend’ niet alleen gebaseerd is op de gegevens van die twee jaar, maar dat die mede wordt bepaald door de metingen van daarna. Als voorspelmodel is het dus niet de meest logische keuze. Een beter model zou overigens getalsmatig toevallig wel op soortgelijke schattingen uit kunnen komen, dat valt niet te zeggen zonder over de data zelf te beschikken.
Ten derde: zelfs als dat in principe redelijk lijkt (als de curve heel vlak was bijvoorbeeld), dan nog is het doortrekken van zo’n steile curve en het extrapoleren naar een landelijk getal onverantwoord zonder daarbij een betrouwbaarheidsinterval te geven. Althans, dat is mijn stellige mening.
Ik denk overigens dat het volstrekt plausibel is dat maatregelen als rookverboden een positief effect hebben op de gezondheid. Alleen dat je dat effect zo duidelijk aan kunt wijzen door te kijken naar omslagpunten in trends, betwijfel ik.
Pepijn, ook het stukje bij KWF is verre van genuanceerd en de cijfers daarin zijn niet wetenschappelijk hard te maken. Als je de broodkruimeltjes van slecht wetenschappelijk werk gaat volgen in het ‘second hand smoking’ verhaal dan val je van de ene verbazing in de ander.
Heden 7 juli staat een groot stuk in de Volkskrant waar Pepijns beschouwing dunnetjes wordt overgedaan met ‘drie onafhankelijke experts’ (die op prof. Hein Putter na naamloos blijven) die het nog eens voor de Volkskrant hebben nagegaan. (Reactie aangepast JWN)
Een van die drie experts was Pepijn zelf!
Ik geloof dat die opmerking “Ik viel van mijn stoel” of iets dergelijks, wel uit mijn koker kwam 😉 Maar dat ging eigenlijk iets meer over de gang van zaken tussen tijdschrift, reviewer en auteurs van het artikel. Het kwam er uit de mond van Van Schayck zo wat op neer dat ze tegen hun zin in die extrapolatie naar een landelijk cijfer er in gezet hebben. En dan wel dat cijfer in het persbericht zetten en op NOS journaal zonder blikken of blozen naar voren brengen.
Heden 14 juli staat in de Volkskrant een bijdrage van Van Schayck (en Gorgels) zelf, waarin zij betogen dat overal in de wereld dergelijke dalingen van cardiovasculaire narigheid te zien is na invoering van restricties.
Dan bekruipt me hetzelfde gevoel als bij sommig ander onderzoek. De onderzoekers willen allemaal zo graag iets vinden dat ze alles uit de kast halen om uit ‘ruis’ nog een ‘effect’ te maken. En er zit helaas nog genoeg in de kast. Op gezondheidsgebied wordt zoveel bijgehouden dat er in die zee van gegevens makkelijk valt te vissen. Dus het zou allemaal het effect kunnen zijn van een collectief vooroordeel. Of het echt zo is, weet ik niet. Maar een collectief vooroordeel in combinatie met veel mogelijkheden voor data-vissen kan opvallende resultaten opleveren. Speciaal de mededeling van Van Schayck dat het tijdschrift Heart hem vroeg of er niet nog meer uit de gegevens te halen viel spreekt boekdelen. In die kringen is het gezegde (van Nobelprijswinnaar Ronald H. Coase zie
http://www.barrypopik.com/index.php/new_york_city/entry/if_you_torture_the_data_long_enough_it_will_confess/ )
van toepassing.
Ik heb altijd gedacht dat de bedenker I.J. Good was, maar ik zie nu pas dat dit waarschijnlijk een misvatting is.
In die reactie schrijft Van Schayck over de ‘statisticus van het tijdschrift’ maar volgens mij ging het dus om een (anonieme) reviewer. In ons telefoongesprek had hij ‘t in ieder geval niet over wensen of bemoeienis van Heart zelf.
Als een reviewer zo veel af kan dwingen, zou je eigenlijk ook wel mogen verzoeken om verklaring van de mogelijke belangenverstrengeling van zo iemand. Maar eigenlijk zie ik nooit info over de reviewers staan bij artikelen.
De onderzoekers hebben de ‘rekenfout’ inmiddels ook in een commentaar bij het artikel in Heart aangegeven:
http://heart.bmj.com/content/98/13/995.abstract/reply#heartjnl_el_16487
Er zijn bij die door van Schayck gemelde internationale onderzoeken over opnames ten gevolge van AMI’s, evenals bij zijn onderzoek, veel zaken mis:
– Er wordt zo lang gezocht tot men een regio heeft gevonden waar een effect rookverbod-AMI’s te vinden is
– Binnen die regio data wordt dan weer geschoven met de meetperiode, zoals ook weer in deze studie
– Een controlegroep (wel/niet rookverbod) wordt nooit meegenomen.
– ‘Science by press release’: resultaten worden al gepubliceerd voordat het eigenlijke artikel is verschenen
– Publication bias door verzwegen (financiële) belangen.
Al deze onderzoeken zijn wetenschappelijk beargumenteerd bekritiseerd door o.a. Dr. Michael Siegel (https://www.google.nl/search?sourceid=navclient&ie=UTF-8&hl=nl&rlz=1T4GGHP_nlNL460NL460&q=AMI+site:tobaccoanalysis.blogspot.nl#hl=nl&rlz=1T4GGHP_nlNL460NL460&sclient=psy-ab&q=AMI+site%3Atobaccoanalysis.blogspot.com&oq=AMI+site:tobaccoanalysis.blogspot.com&gs_l=serp.3…4172.5189.0.5827.5.5.0.0.0.0.104.405.3j2.5.0…0.0…1c.LQ3E6tMO6rk&pbx=1&bav=on.2,or.r_gc.r_pw.r_qf.&fp=54c0173e45355ecd&biw=1920&bih=806) en Christopher Snowdon (bijv. http://velvetgloveironfist.blogspot.nl/2012/03/scottish-smoking-ban-miracle-touches-to.html)
Het feit dat deze studies in peer-reviewed medische tijdschriften werden geaccepteerd is ongelooflijk. Het peer-review proces deugt niet omdat de ‘peers’, als het om tabaksonderzoeken gaat, helaas bijna altijd gekozen worden uit onderzoekers die aangesloten zijn bij http://www.globalink.org en dus dezelfde bias (gekleurde kijk) op de problematiek hebben als de onderzoekers zelf. Schadeonderzoeken betreffende de gevolgen van rookverboden op de horeca worden ook meestal door volksgezondheidsdeskundigen in medische tijdschriften gepubliceerd, peer-reviewed door Globalink leden en niet in een economisch journal!
Dit is geen wetenschap meer maar propaganda in dienst van politiek en farmaceutische belangen. Ook van Schayck loopt aan het handje van o.a. Pfizer, een van de belangrijkste farmaceutische producenten van NRT-producten (nicotinepleisters en -kauwgom en anti-depressiva die als afkickmiddel gebruikt worden). ‘Zijn’ MIRO wordt ook gesponsord door Pfizer. Hoe kun je van zo iemand dan objectief onderzoek verwachten?
Overigens is er wel een goed onderzoek over de relatie rookverboden en hartinfarcten uitgevoerd door de RAND corporation (http://www.forces-nl.org/modules.php?name=News&file=article&sid=1676). Daarbij werden de bovenstaande fouten niet gemaakt. En de conclusie? Er is GEEN effect van rookverboden op opnames voor hartinfarcten.
Wij bereiden nu een officiële klacht over dit onderzoek voor bij de commissie Wetenschappelijke Integriteit van de Uni van Maastricht.
Aan Ragnar764: zie http://www.tctactics.org
Als ik tijd heb zal ik dat RAND onderzoek is doorlezen, maar als ik de weergave van de conclusies op de site van forces-nl mag geloven, zijn die als volgt:
dan zie je dat het hele debat gaat om korte termijn effecten. Omgekeerd kun je dus ook niet concluderen dat het RAND onderzoek zou laten zien dat er geen lange termijn effect zal optreden.Ik heb in mijn commentaar hier al aangegeven dat ik het zeer plausibel acht dat een rookverbod zin heeft, alleen denk ik dat die effecten daarvan niet zo snel zichtbaar gemaakt kunnen worden met kleine steekproeven. Ik zit dan toch eerder te denken aan periodes van 20 jaar ofzo.Het kan goed zijn dat onderzoekers iets te enthousiast zijn om snel een resultaat te scoren.
Al deze onderzoeken die een verband tussen rookverboden en opnames voor hartaanvallen willen aantonen, inmiddels een 20-tal, proberen inderdaad een direct effect aan te tonen, niet een over 20 jaar.
Scare mongering, propaganda en politiek georiënteerde ‘wetenschap’, meer niet.
En toch komen dit soort onderzoeken, zoals die in het Italiaanse Piedmont, op de voorpagina van Trouw (http://www.trouw.nl/tr/nl/4324/nieuws/article/detail/1509163/2006/10/02/Italie-Aantal-hartinfarcten-daalt-na-rookverbod.dhtml, ook dankzij Globalink-lid, journalist Joop Bouma).
Zelfs het RIVM trapt er met open ogen in (http://www.forces-nl.org/download/RIVM_gevolgen_rookverbod.pdf ; of niet met open ogen? De auteur van dit rapport, Antoon Opperhuizen, is ook actief in de WHO’s TobReg (http://www.who.int/tobacco/global_interaction/tobreg/members/opperhuizen/en/index.html) en niet bepaald objectief) en zij zijn nog wel adviseur voor de regering.
Politiek getint is het allemaal zeker. Dat is ook het via VVD-kamerleden kamervragen insteken om het een minister lastig te maken die voor invoer van het rookverbod is. Ik weet niet of de vraag van Halbe Zijlstra, waarvoor dat RIVM rapport is opgesteld, ook van jou afkomstig is, maar ik kon er echter niets meer van zijn interesse voor terugvinden toen het rapport kwam. Misschien niet zo raar: een paar maanden later was al duidelijk dat de VVD in het nieuwe kabinet zou komen, en dan zou het natuurlijk veel makkelijker worden om het rookverbod in de horeca te saboteren.
Prof. Michael Siegel over dit onderzoek:
This study commits one of the most cardinal errors in all of epidemiology: the failure to include a comparison group when studying a phenomenon which is changing rapidly over time, even in the absence of the intervention of interest. Cardiovascular disease mortality is dropping rapidly throughout the world, during the precise time period of this study. Therefore, without examining how changes in sudden cardiac death rates in the Netherlands compare to changes occurring in other countries, it is impossible for the investigators to conclude that the observed changes are attributable to the smoking ban, rather than that they merely reflect secular changes occurring anyway due to factors such as vastly improved treatments for severe coronary artery disease and increased control of hypertension and hypercholesterolemia.
Because there is no comparison group, I do not believe that these data support a conclusion that the observed decline in heart attack admissions is attributable to the workplace smoking ban.
http://tobaccoanalysis.blogspot.nl/2012/08/new-study-concludes-that-smokefree.html
Als dit het commentaar van Siegel op deze studie is, denk ik dat hij zelf ook een stokpaardje berijdt. Hij heeft zelf duidelijk niet goed gekeken naar de grafiek. In deze studie bleek nl. helemaal geen duidelijke daling van hartstilstanden. Dat is nu net de kritiek van Keulemans en mijzelf. Er is een onverklaarde stijging in de periode 2002 to 2004, tenminste als je die benadering met trends serieus wilt nemen.
Wat het wel bewijst is dat die hele discussie sterkt gepolitiseerd is. De groep van Van Schayck heeft m.i. correct gehandeld met het insturen van hun relativerende commentaar in Heart. Dat ik het niet eens ben met de interpretatie van de gegevens is nog een gewoon wetenschappelijk debat te noemen.
Dat jij (of forces-nl) een klacht gaat indienen bij de commissie voor wetenschappelijke integriteit staat natuurlijk vrij, maar ik zie eigenlijk geen enkele grond daartoe.