Bandwidths for dummies

Thanks to Herman Steigstra and Jillis Kriek

In discussies over oversterfte wordt soms gewezen op de bandbreedte, die wekelijks afwijkende sterftes toestaat. Het is het lichtblauwe gebied rondom de voorspelde weekwaarde. Als die marge in aanmerking wordt genomen, zou er op weekbasis geen noemenswaardige oversterfte zijn. In dit artikel hoop ik aannemelijk te maken (ook voor niet-statistici zoals ik zelf) waarom dit niet klopt als we langere periodes beschouwen. Als er gedurende een heel kalenderjaar sprake is van oversterfte, dan nog kan het zijn dat er in geen enkele week sprake is van oversterfte omdat de weekcijfers altijd binnen de bandbreedte bleven. Statistici zeggen dan: “Er is nimmer significante oversterfte”.

Elke verwachting kent een mate van onzekerheid en dat geldt zeker als het gaat om demografische gegevens zoals de sterfteverwachting. Hoe groot die onzekerheid wordt geschat, hangt af van allerlei factoren. Zo is er onzekerheid in de schatting van een gemiddelde, onzekerheid in het getelde aantal overledenen en weersinvloeden die de fluctuatie groter maken of verschuivingen in de samenstelling van de bevolking. Het is een mix van statistische onzekerheden en de moeilijk voorspelbare veranderlijkheid van het onderwerp van die statistiek.

De werkelijke sterfte zit zelden of nooit exact op de verwachting maar dat is geen reden tot zorg. Wanneer in een week 2.600 doden zijn voorspeld, kunnen het er ook 2.500 zijn of 2.700. Als de voorspelling juist is, zal de werkelijke sterfte een slingerbeweging rond de verwachting oftewel de “basislijn” maken. Binnen een paar weken wordt een afwijking wel weer gecompenseerd door een afwijking de andere kant op.

Hoe ver die slingerbeweging mag uitslaan voordat er sprake is van een alarmsignaal is een statistische kwestie maar hangt ook af van afspraken over waarmee we kunnen en willen leven. Allerlei omstandigheden bepalen in hoeverre er veel mensen tegelijk overlijden en wat wij dan acceptabel vinden. Omdat er in de winter nu eenmaal meer mensen overlijden dan in de zomer en omdat het met forsere slingerbewegingen gepaard gaat, ligt niet alleen de basislijn in de winter hoger maar is ook de bandbreedte aanzienlijk groter (wel 2x zo groot als in de zomer). Dat vinden we dus acceptabel.

Die fluctuatie is normaal – gegeven normale omstandigheden, zonder hittegolven of zware epidemie. De gemeten sterfte mag dus elke week afwijken van de verwachting. Daarvoor worden weekmarges gehanteerd.

Oversterfte of niet?

Excess mortality per week

CBS hanteert de termen oversterfte en ondersterfte voor de weken waarin de donkerblauwe lijn (de sterfte) uit het lichtblauwe vlak (de weekmarge) breekt. De marge is het gebied tussen twee grenswaardes die we hebben afgesproken voor een te verwachten aantal overlijdens in een week. Uiteraard gelden ook hierbij weer onzekerheden maar dat voert nu te ver. De signaalwaardes zijn duidelijk en CBS publiceert ze. Zie bijvoorbeeld de “Download CSV” knoppen in de maandberichten op this page.

Er kan verhoogde of verlaagde of toegenomen sterfte zijn, extra sterfte, afgenomen sterfte etc. etc. die ook binnen het lichtblauwe gebied blijft dat de weekmarges aangeeft, dus binnen en buiten de signaalwaardes. In dit artikel gebruiken we hiervoor de termen increased mortality and reduced mortality.

Zonder bandbreedte bij de sterfteverwachting zouden we schommelingen niet goed kunnen duiden. De bandbreedte heeft dus vooral een signaalfunctie: daarbinnen is er voor die week geen reden tot zorg. Onder normale omstandigheden zien we zo meteen wanneer er iets buitensporigs gebeurt dat verklaring behoeft. In Nederland is dat doorgaans een hittegolf of een griepepidemie.

Excess mortality per month

Het lijkt vanzelfsprekend om ook bij het evalueren van een langere periode de opeenvolgende weekmarges als signaalwaarde aan te houden. Hoe ver we ook terugkijken, we blijven die weekmarges als maatgevend beschouwen. Dat is niet terecht.

Weekmarges mag je niet zomaar achter elkaar plakken om ze op langere periodes te betrekken.

Het is gemakkelijk te zien dat ruwweg optellen van de weekmarges -want dat doe je dan- leidt tot absurde resultaten. Als je alle oversterftemarges van 2021 bij elkaar optelt, kom je op een oversterftemarge van 13.413 extra sterfgevallen. Binnen die marge zou dus geen sprake zijn van oversterfte. Dat klopt niet met het feit dat zowel CBS als RIVM spreken van een “gemiddelde jaarlijkse oversterfte van 6.500 overlijdens meer dan verwacht”. Dat is nog niet de helft van die 13.413.

Nu lijkt dit een gezocht voorbeeld maar dit is precies wat er gebeurt als je op een jaar terugkijkt en van elke week apart nagaat of de weekmarge is overschreden of niet. Het per week blijven beoordelen van al dan niet oversterfte zal dus misleidend zijn. Er is immers de mogelijkheid om een preciezer beeld te krijgen vanwege de langere periode van een maand of een half jaar.

Hoe kunnen we die weekmarges dan wél aan elkaar plakken tot een langere periode?

Het tot een periode samenvoegen van zulke weekmarges is fascinerend. Aan de ene kant weet je dat het na meerdere weken om steeds grotere getallen gaat. Aan de andere kant verwacht je ook dat je schatting na een langere periode beter klopt. Je verwacht dat wat er daadwerkelijk gebeurt meer in de richting van je schatting zal gaan. Als je er rekening mee houdt dat je er na een jaar 1% naast kan zitten, is dat heel weinig. Maar in een korte periode, zoals een willekeurige winterweek, kun je er wel 20% naast zitten. Dus: hoe langer de periode, des te smaller de bandbreedte. Maar tegelijkertijd neemt het aantal waarover je uitspraken doet per week toe en grotere groepen maken de marges in absolute zin groter.

Vergelijk het met een muntje waarvan je verwacht dat je er net zoveel keer kop als munt mee zal gooien: als je die twee met elkaar vergelijkt, moet je na heel veel worpen steeds dichter bij 50 : 50 komen. Als je drie keer opgooit en je hebt drie keer kop, dan zegt dat eigenlijk niets. Gooi je nog eens drie keer op dan is de kans dat je wéér drie keer kop gooit hetzelfde, maar de kans dat je zes keer achter elkaar kop gegooid zou hebben is veel kleiner. Elke keer dat je weer drie worpen doet, is die kans op 3x “kop” steeds hetzelfde, maar de kans dat je voor alle worpen kop zult gooien is voor het steeds groter wordend aantal worpen op voorhand steeds kleiner.

Gooi je 365 keer het muntje op en je krijgt 365 keer kop, dan is dat een signaal dat er iets met je munt aan de hand is. Dan zul je ofwel je verwachting wat deze munt betreft moeten bijstellen ofwel de munt afkeuren (of gaan onderzoeken: misschien heeft die aan beide kanten kop?). Als je dan stug volhoudt ” ja maar elke keer dat ik gooide was het toch echt een kans van een op twee dus er is niets bijzonders te zien” dan pas je de verkeerde regel toe om een reeks van gebeurtenissen te kunnen beoordelen.

Dat een wetenschapsjournalist of een factchecker dit niet direct ziet is misschien te billijken. Van statistici zou dit mij verbazen. We zullen straks een maandelijks CBS-rapport tegen dit licht houden.

Terug naar de oversterfte: als we per week bijvoorbeeld een meersterfte van 300 als grenswaarde nemen voor oversterfte, dan betekent dat niet dat de marge na twee weken 600 is en na drie weken 900. Die lijn loopt steeds langzamer op en bereikt pas na 4 weken de 600 (afhankelijk van de gekozen betrouwbaarheidsgrens maar dat valt buiten de scope van dit blog. Meestal wordt gekozen voor 95% waarschijnlijkheid).

Om deze afnemende toename van kansen te berekenen bestaat een formule die komt uit de binomiaal statistiek. De spreiding (statistische benaming voor de afwijkingen naar boven en beneden) in het aantal overlijdens (in dit geval) neemt toe met de wortel uit het totaalaantal.

Hoe de formule uitpakt is het best te illustreren als we uitgaan van een constante weekmarge en een vast aantal sterfgevallen per week. De bandbreedte bij constante weekmarge van 300 ziet er uit als een kromme die steeds platter wordt:

Week 1: 300
Week 1 t/m 2: 424
Week 1 t/m 3: 520
Week 1 t/m 4: 600
etc.

Hoe verhoudt zich dat tot een meersterfte van bijvoorbeeld 75 per week? Dat zien we hieronder.

In de eerste week zit de 75 meersterfte ruim onder de bovengrens van 300, in de tweede week op de helft van de margelimiet. Na 16 weken is het nulpunt bereikt en begint de ‘officiële’ oversterfte. Kijken we in week 26 terug naar het voorbije half jaar, dan zien we dat er oversterfte is over die halfjaarlijkse periode. De paarse lijn breekt uit de marge.

Zo zitten we vanaf week 17 in een periode van groeiende oversterfte.

Er kan dus een oversterfte situatie ontstaan bij een meersterfte van slechts 75 overlijdens per week, ondanks dat de bandbreedte een signaalwaarde van 300 per week aangeeft (dat is 4 maal zo veel!).

Het lichtgele stippellijntje in de grafiek geeft aan wat er gebeurt als de weekmarges simpelweg bij elkaar worden opgeteld, zoals weleens wordt voorgesteld.

CBS reporting example

CBS verzamelt, beheert, evalueert, duidt en plausibiliseert onze nationale data. Kortom CBS vertelt ons wat de cijfers betekenen.

Een voorbeeld: mei 2022.

In de kop van het artikel zien we al dat de oversterfte weer de veilige bandbreedte in duikt, in de laatste week van de maand. Fijn toch? We zitten alweer in de veilige zone, het gaat de goede kant op, de oversterfte neemt af. Die kop van het artikel klopt dus helemaal – als je alleen naar de afzonderlijke weekmarges kijkt.

Maar als je één keer per maand in je maandrapportage uitgebreid terugkijkt naar de afgelopen maand, kun je dan niet wat meer uit je data halen, trends misschien? Signalen die aandacht vragen?

Met de basiskennis over periodemarges zou je mei ook in zijn geheel moeten bekijken en de weeksterftes in onderlinge samenhang. En aan de hand daarvan misschien wel de samenhang met eerdere maanden, als daar aanleiding toe is. Dat levert een ander beeld op: over de hele maand mei was er oversterfte, uiteindelijk meer dan twee keer zo hoog als de maand-signaalwaarde!

The real numbers of the past six months

Dan maar even een eigen terugblik op afgelopen half jaar. De weekmarges variëren. In de eerste weken zijn de weekmarges nog hoog (winter), de bandbreedte wordt snel groter. De boog is daarom niet zo regelmatig als het voorbeeld met een constante weekmarge. In de laatste weken van de grafiek (de zomer) zijn de marges meer dan de helft kleiner dus we zien de grafiek daar sneller afvlakken. Als we weer dezelfde periodecorrectie toepassen, maar nu op de werkelijke weekmarges zoals die door CBS zijn bepaald, dan ziet de halfjaarsmarge er als volgt uit:

Duidelijk is de knik te zien waar de wintersterfte overgaan in de zomersterfte.

In onderstaande grafiek is de paarse lijn de cumulatieve sterfteafwijking ten opzicht van de verwachte oversterfte (de basislijn). Waar de lijn daalt, is er mindersterfte en net geen ondersterfte. Na week 18 is er oversterfte. Week 18 is de eerste week van mei 2022.

Al in Augustus 2021 vroeg ik aandacht voor de oversterfte. Naar aanleiding van mijn stukken en aandacht van Maurice de Hond werden hier kamervragen over gesteld. Thierry Baudet probeerde het op de agenda te krijgen. Pas maanden later werd het breder opgepikt, Pieter Omtzigt diende een motie in (waaraan werd voldaan middels een surrogaat-exercitie) en inmiddels is structurele oversterfte wereldwijd een punt van aandacht dat merkwaardigerwijs door de autoriteiten wordt genegeerd.

Hieronder die eerste visual met de zomer uitgelicht voor 0-80 jaar: oversterfte of niet? Het artikel was van 25 augustus 2021. Ik mik op volgende week, 25 augustus 2022, om bovenstaande check in elk geval op deze periode los te laten. Om de oversterfte-verjaardag te vieren.