Volgers van dit blog hebben gezien hoe we enthousiast in de UK data zijn gedoken om de All-Cause-Mortality te vergelijken tussen gevaccineerden en niet-gevaccineerden. De data van UK waren gedetailleerd genoeg om nieuwe inzichten op te doen, ook nuttig voor het begrijpen van de Nederlandse situatie. Epidemioloog Jaime Bojas maakte ons attent op fouten in de artikelen. Methodologisch viel dat gelukkig erg mee maar toch moeten we een grote slag om de arm houden, simpelweg omdat blijkt dat de data onzuiver zijn. Tenzij Engeland alsnog neuzen gaat tellen.
Al eerder gingen er op social media klachten rond over de onbetrouwbaarheid van de ONS-data. Zij rapporteren absolute aantallen overlijdens en leeftijdsgestratificeerde data. Statistici willen graag met leeftijdsgroepen kunnen rekenen om bijvoorbeeld tot een gemiddeld sterftecijfer te kunnen komen, om leeftijdsgroepen te kunnen vergelijken of om vergelijkingen te kunnen maken met landen met een andere leeftijdsopbouw. De sterfte in een land met een zeer oude bevolking en de sterfte in een land met een jonge bevolking, krijgen zo met elkaar vergelijkbare mortaliteitscijfers, gecorrigeerd voor het leeftijdseffect. De landen worden vergeleken alsof de leeftijdsopbouw hetzelfde was geweest. Dat is weliswaar een eerlijke vergelijking – maar er wordt zo ook informatie minder zichtbaar die van belang kan zijn, zeker bij een leeftijdsdiscriminerende ziekte. De kritiek betrof met name de resultaten van die statistische omrekeningen.
Die statistische omrekeningen (correcties, standaardisaties) leken te omzeilen door de leeftijdsgroepen strikt gescheiden te houden van elkaar (compartimenteren). Dan moet je meer grafieken maken; je kunt niks samenvatten of middelen – maar dat wilde ik ook niet want juist het verschil per leeftijdsgroep is interessant. En als je werkt met een geïsoleerd leeftijdscohort hoef je verder niets om te rekenen of te “leeftijdsstandaardiseren”.
Binnen een 10 jaarscohort bestaat het gevaar dat het jongste vijf-jaarscohort een ander profiel heeft dan het oudere. Omdat de vaccinatiegraad nagenoeg gelijk is tussen de ouderen en de jongeren binnen de 10-jaars cohorten, kan daarin geen significant verschil ontstaan binnen de scope van de vergelijking vax/unvax.
Voor elke leeftijdsgroep is bekend hoeveel mensen er de laatste jaren overleden zijn en bovendien: wat hun vaccinatiestatus was. Dit wordt per dag per leeftijdsgroep nauwkeurig bijgehouden. Je hoeft die overledenen qua vaccinatiegraad dus maar te vergelijken met de betreffende leeftijdsgroep (en je weet exact per groep of het sterftecijfer percentueel hoger of lager is.
Het gaat dan ook niet fout in de methode of in de berekening maar bij het vaccinatiepercentage zoals dat in de heatmap onderaan de pagina van “Source 2” wordt gecommuniceerd. Deze officiële overheidsstatistiek klopt jammer genoeg niet omdat het aantal vaccinaties wel zeer nauwgezet wordt bijgehouden maar men geen goed beeld heeft van het aantal ongevaccineerden. Men spreekt dan over foute ‘noemers’ of ‘denominators’.
Een ‘noemer’ of ‘denominator’ is onderdeel van een breuk. De belangrijkste fout wordt echter al gemaakt bij het bepalen van de tellers, voordat er überhaupt wordt gedeeld.
Het aantal ongevaccineerden wordt namelijk berekend door het aantal gevaccineerden af te trekken van de populatie. Er zijn echter grote verschillen van inzichten over de grootte van de populatie in Engeland.
Het aantal ongevaccineerden wordt simpelweg berekend door het aantal gevaccineerden af te trekken van de populatie.
O = P – V (Aantal Ongevaccineerden = Populatiegrootte minus Aantal Gevaccineerden). Er bestaat echter groot verschil van inzicht over de grootte van de populatie in Engeland. DIt heeft enorme invloed op het aantal ongevaccineerden.
In this document van de National Health Service wordt beschreven wat de verschillen veroorzaakt. Zie ook het kopje “In het kort”.
Kort samengevat
NIMS (National Immunisation Management Service), dat de vaccinatiecijfers registreert, gaat uit van bevolkingscijfers die ze wekelijks bijwerken. Je zou zeggen dat dat dan toch wel moet deugen. Toch is iedereen het erover eens dat deze cijfers een aboutschatting zijn. Deze overschatting wordt toegeschreven aan een aantal oorzaken die mij kwantificeerbaar voorkomen en waarvoor ook redelijk te corrigeren zou kunnen zijn – maar dat konijnenhol ga ik niet in… Het is vast complexer dan het lijkt.
ONS (Office for National Statistics), dat de sterfte bijhoudt, werkt daarentegen met England population mid-year estimate. De meest recente versie is van juni 2021. Deze cijfers zijn overall zeer waarschijnlijk -en voor sommige cohorten aantoonbaar- een underschatting.
Resultaat:
NIMS telt 60 miljoen Engelsen terwijl ONS op 53 miljoen uitkomt.
Het probleem hiervan wordt duidelijk bij het berekenen van het aantal ongevacineerden. Dat levert verschillen op. Het aantal gevaccineerden wordt nauwkeurig bijgehouden. Het aantal ongevaccineerden wordt echter berekend door het aantal gevaccineerden af te trekken van de populatie. Dit levert bij verschillende populatiegroottes dramatisch verschillende grafieken op:
De populatie is te groot. Na aftrek van de gevaccineerden blijven er dus te veel ongevaccineerden over. Hierdoor daalt het sterftepercentage in die groep. Er zijn immers evenveel doden in een grotere groep.
De populatie is te klein. Na aftrek van de gevaccineerden blijven er dus te weinig ongevaccineerden over. Hierdoor stijgt het sterftepercentage in die groep. Er zijn immers evenveel doden in een kleinere groep.
In de linker grafiek wordt de sterfte onder ongevaccineerden te gunstig weergegeven. De paarse staven zouden hoger moeten zijn maar we weten niet hoeveel hoger.
In de rechter grafiek gebeurt iets heel vreemds. Dat komt omdat er in sommige groepen meer gevaccineerden zijn geregistreerd dan er mensen zijn(!). ONS werkt dan ook met de aanduiding 100%*, waarbij het sterretje aangeeft dat de vaccinatiegraad boven de 100% ligt. Dat kan natuurlijk niet en heeft tot gevolg dat er, na aftrek van de gevaccineerden, een negatief aantal ongevaccineerden overblijft. Vandaar die hangende staven. Die data vallen daarmee door de mand – waarmee niet meteen is gezegd dat de NIMS data wel bruikbaar zijn.
Wat nu?
Het verschil dat de grafieken uit eerdere posts over Engeland weergeven is in elk geval te nadelig voor de vaccins. Misschien is er iets op te vinden om dit enigszins te normaliseren (wordt over nagedacht) – maar heel precies zal het niet worden… Wat overigens ook geldt voor de ONS-benadering, waar de vaccins te positief uit naar voren komen.
Prof. Norman Fenton besteedde hier ook al aandacht aan, zie onderstaande tweets van afgelopen week. Lees ook de aanvullingen door O.S. die wijst op meer grote onzorgvuldigheden in de ONS-rapportage. Hij breekt een lans voor gebruik van de NIMS-data:
Hoe beleidsmakers, populatie- en gezondheidsstatistici hun werk daar hebben gedaan de afgelopen jaren is raadselachtig. Voor je het weet stap je uit de EU op basis van foute cijfers! Mocht iemand weten waarom het Bevolkingsregister niet werkt in Engeland (incl. migratiegegevens)
Boven de bestaande posts zal de volgende tekst komen te staan:
In the graphs below, the population data of NIMS are used. As a result, mortality rates among unvaccinated people, at least in some age groups, are displayed as lower than they actually are.
Because England works with impure population estimates, we don't know how many unvaccinated there are. The population size used has a direct effect on reporting on unvaccinated people. The deviation also differs per age group. It is not yet clear whether and if so, how this can be adjusted; the UKSHA (UK Health Security Agency) is working on this. The ONS says about this:
"We hope that the work UKHSA is doing to improve the NIMS data (including removing duplicates), along with the work ONS is doing on population estimates and the 2021 census, will improve our understanding. It is really positive that ONS and UKHSA are working together to try to find a solution to this problem, which is so important for so many statistics. Given this uncertainty, knowing the implications of the different choices can help users interpret the presented data with caution."
Uitgebreidere verantwoording in de post “UK professor: 'Data on mortality by vaxx status are junk' “
In the graphs below, the population data of NIMS are used. As a result, mortality rates among unvaccinated people, at least in some age groups, are displayed as lower than they actually are.
Gelukkig hebben we de cijfers nog.
De enige harde getallen zijn de ruwe tellingen. Als je die ordent zie je ook wel weer iets, kijk maar. Meer hierover in een volgend blog.
