rekenfout

Fantastisch nieuws van de Universiteit Maastricht: door de invoering van het rookverbod op de werkplek begin 2004 zijn in heel Nederland meer dan 16.000 acute hartstilstanden voorkomen in de ruim 4 jaar die daarop volgden. Een hartstilstand leidt in 90 procent van de gevallen tot overlijden, bericht het persbericht ook nog om het resultaat in het juiste perspectief te zetten. Bij De Telegraaf kon iemand een rekenmachine bedienen en rekende uit dat er dus wel 14.000 levens zijn gered. Hoera!

Ook het NOS journaal bracht het nieuws en liet de onderzoeker, professor Onno van  Schayck, zelf aan het woord. Duidelijk in zijn nopjes met het mooie resultaat pleit hij voor het nu definitief en volledig doorvoeren van het rookverbod in de horeca. Want dat zal dan wel net zo’n mooie daling van het aantal hartstilstanden laten zien, moeten we denken. Zowel De Telegraaf als NOS Journaal nemen het juichverhaal uit Maastricht bijna klakkeloos over. Niet zo slim, want er blijkt nogal een luchtje aan dit onderzoek te zitten.

[Update 20 juni] Professor Van Schayck heeft een reactie gestuurd op deze blog, die staat onderaan het artikel.

Het onderzoek in Zuid-Limburg

Hoe onderzocht het team van prof. Van Schayck dat effect van het invoeren van het rookverbod op de werkplek? Het persbericht meldt daarover het volgende:

Voor dit onderzoek werd gebruik gemaakt van gegevens van de Regionale Ambulance Voorziening van de GGD Zuid-Limburg. In de analyses werden drie perioden onderscheiden: de periode voor invoering van de rookverboden (1 januari 2002 – 1 januari 2004), de periode waarin de rookvrije werkplek ingevoerd werd (1 januari 2004 – 1 juli 2008) en de periode waarin de rookvrije horeca van kracht was (1 juli 2008 – 1 mei 2010).

In de studie werden in totaal 2305 gevallen van acute hartstilstand geteld. In de periode vóór invoering van de rookverboden steeg het aantal met 24%. In de periode na invoering van de rookvrije werkplek daalde het aantal met 12%. Omgerekend in absolute aantallen en voor de hele Nederlandse bevolking impliceert deze afname dat er meer dan 16000 gevallen van acute hartstilstand voorkomen zijn in de hele periode tussen 2004 en 2008. Bijna 90% van de patiënten met een acute hartstilstand overlijden hieraan.

Er werden dus hartstilstanden (in jargon sudden circulatory arrest, afgekort SCA) geteld die via de ambulancedienst gemeld waren; de SCA’s in ziekenhuizen zijn niet meegenomen. Ook gaat het om een beperkt gebied, Zuid-Limburg, met ruim 600.000 inwoners en alleen om de groep mensen tussen 20 en 75 jaar oud. Op zich al redenen om vraagtekens te zetten bij de representativiteit van het onderzoek voor het hele land. Daarnaast is het bij dit soort onderzoeken altijd de vraag of er niet alleen maar een correlatie gevonden is zonder dat er sprake hoeft te zijn van een oorzakelijk verband.
Wetenschapsjournalist Maarten Keulemans vertrouwde het onderzoek niet helemaal en schreef er een uiterst kritische blog over op NWTonline (daar kun je ook het fragment uit het NOS journaal zien). Hij stelt een aantal zeer terechte vragen over het veronderstelde causale verband. Zo is er maar heel weinig bekend van SCA gevallen, niet eens of die zelf rookten, of vóór 2004 op een werkplek vertoefden waar gerookt werd. En als je over de hele periode kijkt die is bekeken, zie je trouwens helemaal geen daling. De cijfers in het onderzoek bevreemdden hem zeer en hij vroeg mij om er ook eens naar te kijken. Dat heb ik gedaan en ik ben er eerlijk gezegd nogal van geschrokken.

Hoe komen de onderzoekers aan die 16.000 hartstilstanden die voorkomen zouden zijn?

Onderstaande grafiek komt uit het artikel dat de onderzoekers publiceerden in het tijdschrift Heart onder de titel Effect of smoke-free legislation on the incidence of sudden circulatory arrest in the Netherlands (helaas achter een paywall).

De grijze curve geeft het aantal SCA casus aan per week in de gemeten populatie. De gekleurde ‘lijnen’ komen met wat rekenwerk uit een poissonregressie. Het zijn eigenlijk exponentiële krommen, die weer vermenigvuldigd zijn met de wisselende populatieomvang. Maar op deze schaal is het verschil met een rechte lijn niet echt zichtbaar, ik heb het verder dus ook maar over lijnen. Het komt er in feite op neer dat ze de beste manier hebben gevonden om een lijn met twee knikken door de chaotisch op en neer springende grijze curve te trekken. De plek van de twee knikken hadden ze van tevoren vastgelegd, namelijk precies op de data van invoer van de rookverboden op de werkplek (1/1/2004) en in de horeca (1/7/2008).
Welke conclusies trekken de auteurs nu in het artikel? In de eerste plaats geven ze aan dat dit model (de geknikte lijn) een goede benadering is. Ook vertellen ze dat de omslag van het groene naar blauwe gedeelte een significante daling inhoudt. De tweede omkering, van blauw naar oranje gedeelte is echter niet significant. Kortom: de invoering van het rookverbod op de werkplek had als gevolg een daling van SCA-incidentie en over de invoering van het andere verbod kunnen we niets zeggen op grond van deze cijfers. Ja, ja …

Maar het wordt nog wat erger als ze gaan becijferen hoeveel SCA’s zijn uitgebleven door invoering van het eerste rookverbod. Op basis van het gevonden model heb je een mooie formule gekregen, waarmee je voor elk moment in de bekeken periode een schatting kunt maken. En dat kun je ook doen als je net doet alsof er niets meer zou veranderen aan de trend ná 2003. En natuurlijk(?) kun je ook een andere populatiegrootte invoeren, bijvoorbeeld de hele Nederlands bevolking, in plaats van die ruim 400.000 mensen in Zuid-Limburg waarop de grafiek betrekking heeft. Gewoon de formule even invullen met de ruim 16 miljoen zielen die Nederland rijk is, gaf het resultaat van 16.638 vermeden SCA’s, het getal dat vervolgens prominent naar voren kwam in het persbericht en door prof. Van Schayck ook genoemd werd in het NOS Journaal (als ‘ruim 16.000’).

Rekenfoutje …

Toen ik het artikel gelezen had, probeerde ik het model zelf na te bootsen, gewoon even snel in een spreadsheetje. Dat lukt heel erg aardig, zelfs met de weinig precieze vermelding van de parameters van het model in het artikel. Die zijn vreemd genoeg maar met één cijfer nauwkeurig gegeven, maar de 16.638 is wel heel exact. Misschien dat bijvoorbeeld de -0,05% trend inderdaad heel precies is, maar dan had je verwacht dat er -0,050000% was opgeschreven. Maar goed, in de afbeelding iets verder naar beneden, heb ik de grafiek die ik uit mijn benadering kreeg (de blauwe kniklijn), gelegd over de grafiek uit het artikel. Je kunt zien dat het bijna precies klopt. Kleine verschillen kunnen er zijn, omdat ik niet precies weet welke populatiegrootte ze op elk punt hebben gebruikt; mijn interpolatie kan net anders zijn dan die van de onderzoekers.

Als ik in mijn model de ’16 miljoen  Nederlanders’ stop (op basis van CBS-gegevens), kom ik uit op een aantal vermeden SCA’s van 16.504. Erg dicht in de buurt van die 16.638 uit het artikel dus. Meteen toen ik dat deed, besefte ik echter dat deze rekensom helemaal niet klopt. De grafiek van de onderzoekers slaat niet op alle personen, alleen op die met een leeftijd tussen 20 en 75 jaar! Het staat niet heel expliciet bij de grafiek, maar het is duidelijk als je kijkt naar de berekende modelwaarden per 100.000 personen en de getallen langs de y-as. De grafiekwaarden krijg je alleen uit het model als je rekent met de onderzoekspopulatie en niet als je de gehele populatie van Zuid-Limburg invoert.
Met beter vergelijkbare cijfers van de Nederlandse bevolking, kom je uit op bijna 12.000. Ik kon bij het CBS zo gauw alleen aantallen tussen 20 en 80 jaar vinden, dus eigenlijk is dit nog een te grote groep. De marges van de schatting zijn wat lastig te bepalen, maar een kort door de bocht benadering geeft dat de werkelijk waarde zou liggen tussen 2.700 en 39.000 (95% betrouwbaarheidsinterval). Het aantal voorkomen SCA’s is dus een heel stuk minder en het betrouwbaarheidsinterval is enorm.  Maar nog steeds iets om blij over te zijn, toch?

… en een ongeloofwaardige voorspelling

Nu kun je ook nog gaan steggelen of Zuid-Limburg wel representatief is voor heel Nederland, en of je niet moet corrigeren voor bijvoorbeeld de slechtere gemiddelde gezondheid daar. Maar er is iets veel ergers aan de hand en dat is meteen duidelijk als je kijkt wat het doortrekken van die trend over 2002 en 2003 betekent. In de onderstaande grafiek heb ik die doorgetrokken als rode lijn.

Als je de voorspellende waarde van die rode lijn serieus neemt, zou je de conclusie moeten trekken dat er zonder rookverbod in de periode van 2002 tot juli 2008 bijna een verdubbeling van het aantal SCA’s zou zijn geweest! De onderzoekers zien niet dat de steile trend over 2002 en 2003 nooit representatief kan zijn voor de ontwikkeling van vóór 2004. Ze noemen die trend aan het begin van het artikel zelf ‘klein, maar significant (p=0,044)‘. Een trend van +0,2% per week is echter een trend van bijna 11% per jaar! Dat noem ík niet klein. Het kan niet anders dan dat de helling van het eerste stuk in het model toevallig of door een nog onbekende oorzaak zo groot is.
Heel misschien ligt het aan de manier van modelleren. Ik zou bijvoorbeeld graag de trend van de afzonderlijke periodes zien, berekend zonder dat de lijnen op de schanierpunten aan elkaar vastzitten. Nu zijn de berekende trends namelijk niet onafhankelijk van elkaar. Het gebruiken van die 11% toename per jaar als voorspeller voor de incidentie 4,5 jaar later slaat in ieder geval nergens op naar mijn mening.

Sowieso zou je op grond van zo’n data-fitting exercitie met een krap aan significant resultaat op zijn best een aanwijzing hebben gevonden voor die omslag van de trend per 1 januari 2004. Om die te bevestigen zou je het in andere regio’s moeten toetsen. In dit geval lijkt het me echter voldoende om even te kijken naar de SCA incidentie van die eerste periode. Of beter nog: laten ze in Maastricht de gegevens van nog een paar jaar eerder opzoeken. Als die trend niet bevestigd kan worden, houdt het hele verhaal namelijk meteen op. Want alle significante resultaten en conclusies hangen samen met die extreme stijging.

Conclusie

Ik kan me verder helemaal vinden in de kritiek van Keulemans. Het onderzoek is zo opgezet dat vooraf al duidelijk had moeten zijn dat je eigenlijk nooit de conclusie had kunnen trekken dat het rookverbod effect heeft gehad. Dat effect is waarschijnlijk te klein om op te sporen in de vrij korte periode na invoer en met de relatief kleine aantallen die ze in dit onderzoek meegenomen hebben. Zeker als je naar een uitkomstwaarde kijkt die door heel veel factoren beïnvloed kan worden. De cijfermatige conclusies zijn mijns inziens volkomen onterecht. Een rekenfoutje kan vergeven worden, maar de gedachten achter de extrapolatie naar het landelijke getal getuigen van een bedroevend laag cijfermatig inzicht (tenzij het bewust is gedaan, natuurlijk).

Oh ja, voordat ik daarover lastig gevallen wordt: ik ben groot voorstander van de rookvrije werkplek en een rookvrije horeca. Gelukkig heb ik zelf altijd mogen genieten van een rookvrije werkplek, ook al ruim vóór 2004. En ten slotte: ik heb geen banden met de tabaksindustrie, hoewel ik niet kan uitsluiten dat mijn pensioenfonds daar wel in belegt.

[UPDATE 20 juni] Reactie van professor Van Schayck
Op maandag 18 juni jl. had ik telefonisch contact met prof. Van Schayck en na aanleiding van deze blog en het gesprek stelde hij voor met een reactie te komen, die staat hier integraal onder.

Wij willen graag inhoudelijk ingaan op de kritiek van Pepijn van Erp. Feitelijk heeft van Erp een 3-tal hoofdpunten van kritiek:

1.  “Daarnaast is het bij dit soort onderzoeken altijd de vraag of er niet alleen maar een correlatie gevonden is zonder dat er sprake hoeft te zijn van een oorzakelijk verband….De onderzoekers zien niet dat de steile trend over 2002 en 2003 nooit representatief zou kunnen zijn voor de ontwikkeling van voor 2004.”
2. “Als ik in mijn model de ’16 miljoen Nederlanders’ stop, kom ik uit op een aantal vermeden SCA’s van 16.504. Erg dicht in de buurt van die 16.638 uit het artikel dus…..De grafiek van de onderzoekers slaat niet op alle personen, alleen op die met een leeftijd tussen 20 en 75 jaar!”
3. “Om dit bevestigen zou je in andere regio’s moeten toetsen…Of beter nog: laten ze in Maastricht de gegevens van nog een paar jaar eerder opzoeken.”

Ad 1. Wij hebben nooit gezegd dat het verband tussen de rookvrije werkplek en de daling van hartstilstanden door deze studie causaal bewezen is. Net als in elk ander onderzoek hebben wij van tevoren een hypothese opgesteld. Die luidde dat er zowel na 2004 als na 2008 een daling in de incidentietrend zou zijn, mede op basis van wat er in studies in het buitenland op dat moment al was aangetoond in het aantal ziekenhuisopnames voor hartinfarcten. Het studiedesign van onze studie is ook grotendeels gebaseerd op hoe andere studies dit aangepakt hebben.
Met het analyseren van onze data hebben we de eerste daling kunnen bevestigen, de tweede niet. De toename in de periode 2002-2004 kan door vele factoren verklaard worden die invloed hebben op acute hartstilstanden (denk aan: overgewicht, voeding, beweging, diabetes, hoge bloeddruk, hoog cholesterol, (mee)roken). Net zo min als dat we aanwijzingen hebben dat deze factoren voor 2002 sterk veranderd zijn, zijn er aanwijzingen dat die factoren (gunstig) veranderd zijn na 2004, behalve het (mee)roken. Door in de sensitiviteitsanalyses te schuiven met het moment van introductie van het rookverbod hebben we wel uitgesloten dat dit een toevallige bevinding is. Daarnaast is er gedurende de totale periode van ruim 9 jaar wekelijks gecorrigeerd voor die factoren waarvan we weten dat ze invloed hebben op acute hartstilstand (temperatuurschommelingen, verhoogde fijn stof concentraties in de lucht en griepepidemieën), zodat alle denkbare zorgvuldigheid in de analyse van de data betracht is voordat de studie gepubliceerd werd.
Omdat het geen gecontroleerde gerandomiseerde studie is, kunnen we inderdaad niet onomstotelijk aantonen dat de verandering in de trends door het rookverbod veroorzaakt is. In het licht van observaties in andere soortgelijke studies lijkt dit wel de meest waarschijnlijke verklaring. Het feit dat de trend significant veranderde, wijst er ook op dat het zeer onwaarschijnlijk is dat de observatie op toeval berust.
In 2010 werd een Meta-analyse gepubliceerd (Mackay e.a. Heart 2010;96:1525-30) van de belangrijkste studies op de effecten van een rookverbod op cardiovasculaire aandoeningen. Dit betrof een overzicht van 17 studies uit de VS, Europa en Australasia. Er zaten verschillende studies bij die gepubliceerd zijn in de meest vooraanstaande medische tijdschriften in de wereld zoals de New England Journal of Medicine, British Medical Journal en Circulation. Alle studies hadden een vergelijkbaar design als onze studie (voor-na vergelijk zonder controlegroep).
Bij enkele studies was men wel in staat om een geografische vergelijking te maken omdat het zorgsysteem in bijvoorbeeld verschillende staten in de VS vergelijkbaar is, maar de invoering van het rookverbod niet simultaan tot stand kwam. Die situatie was bij ons helaas niet aanwezig. De conclusie van de meta-analyse was dat er een overtuigend bewijs is dat de invoering van een rookverbod leidt tot een vermindering in optreden van acute coronaire eindpunten.

Ad 2. Dit door van Erp genoemde “rekenfoutje” berust waarschijnlijk op afrondingsverschillen. In onze berekeningen zijn de niet-afgeronde trendcijfers gebruikt, terwijl in het artikel de afgeronde trendcijfers vermeld worden. Terecht corrigeert van Erp ons dat we hadden moeten extrapoleren naar de inwoners in Nederland van tussen de 20-75 jaar. De nadruk die deze extrapolatie in de kritiek van van Erp krijgt staat overigens niet helemaal in verhouding tot de plaats die deze extrapolatie had in het artikel.
De analyse is gebaseerd op trend verschillen in incidenties en alleen die resultaten zijn gerapporteerd in het Abstract en de Results van het artikel. Omdat een verschil in trends van +0.20% naar -0.24% per week, een lastig te interpreteren gegeven is, is dit getal geëxtrapoleerd naar de Nederlandse bevolking en vanwege de beperkingen die dit met zich meebrengt alleen vermeld in de Discussion en juist niet in de Results of Abstract section.

Ad 3. Dit is natuurlijk een terechte opmerking. Weliswaar behoorde deze observatieperiode tot een van de langste observatieperiode van dit type studies ooit (zie gepubliceerde meta-analyse) en behoort de Ambulancedienstregio Zuid-Limburg tot de meest dichtbevolkte regio van Nederland, het is altijd beter om in groter gebied te kijken en over een langere periode te meten, niet alleen vanwege de representativiteit van het gebied maar ook omdat je cijfers betrouwbaarder worden. Het zijn vooral de financiële beperkingen die de omvang van een studie als deze bepalen.

Mede namens Dianne de Korte,

Onno van Schayck

Mijn reactie hierop heb ik in de commentaren gegeven.

 (de titelafbeelding bevat een bewerkte foto van stock.xchng)