Het Cochrane rapport over de oversterfte

Een reactie op het rapport “Systematische literatuuranalyse en internationale vergelijking ‘Oversterfte'”, Cochrane Netherlands, 3 april 2023

Auteurs (in alfabetische volgorde): Bram Bakker, Bastiaan Geelhoed, Maurice de Hond, Jillis Kriek, Fritsander Lahr, Ronald Meester, André Redert, Herman Steigstra, Anton Theunissen

Ook te vinden op de LinkedIn pagina van Ronald Meester.

Datum: 24 april 2023

Inleiding en context

Op 14 april 2023 stuurde minister Kuipers het bovengenoemde rapport [1] naar de Tweede Kamer. Hiermee kreeg het rapport een status die een reactie rechtvaardigt. Het rapport betreft een meta-analyse, waarin verschillende internationale studies naar oversterfte worden beschreven of met elkaar worden vergeleken. In beginsel zijn meta-analyses nuttig, hoewel conclusies vaak moeilijk of niet zijn te formuleren, juist vanwege het feit dat causaal verband in een epidemiologische setting bij een dergelijk groot dossier extreem moeilijk is vast te stellen.

In de begeleidende brief aan de Tweede Kamer geeft Kuipers de volgende samenvatting van de resultaten:

“Het onderzoek beschrijft dat er een trend zichtbaar wordt van hogere oversterfte (het verschil tussen de geobserveerde en verwachte sterfte (per 1 miljoen inwoners)) in Oost-Europese landen en een lagere oversterfte in Scandinavische landen, Australië en Nieuw-Zeeland. Daarnaast bevat het onderzoek ook een overzicht van de sterfte door COVID-19. De hoogste COVID-19-sterfte (per 1 miljoen inwoners) werd gezien in West-Europese landen, terwijl COVID-19-sterfte tevens het laagste was in Australië en Nieuw-Zeeland. De verschillen in de trends van oversterfte en specifieke COVID-19-sterfte kunnen mogelijk worden verklaard door verschillen in de rapportage van COVID-19-gerelateerd overlijden alsook door verschillen in de mogelijkheden om personen te testen op COVID-19. De onderzoekers geven tevens aan dat de internationale verschillen in oversterfte mogelijk te verklaren zijn door maatregelen tegen het coronavirus, organisatie van en toegang tot zorg, populatiekenmerken, gedrag, geografische locatie en verschillen tussen landen in kwaliteit van de data. Als laatste wijzen de onderzoekers erop dat een aantal studies laat zien dat de oversterfte lager is onder de populatie van volledig gevaccineerde mensen.”

Er is veel te zeggen over dit citaat, en het is in principe goed dat de onzekerheden en moeilijkheden bij het vergelijken van studies genoemd wordt. Echter, vooral de laatste opmerking is nogal misleidend omdat daarmee de suggestie wordt gewekt dat er een oorzakelijk verband is. Want wat staat er in het rapport? We citeren op bladzijde 8: “Vaccinaties lijken samen te hangen met lagere oversterfte, maar aangezien de hogere vaccinatiegraad gepaard ging met de opkomst van de Omikron-variant, kan er geen causaal verband worden vastgesteld.” Cochrane’s bewoordingen geven dus een ander beeld dan de suggestie van de minister. En dat niet alleen: zoals we hieronder zullen uitleggen is op basis van het rapport geen enkele conclusie over een relatie tussen vaccinatiegraad en de omvang van de oversterfte te trekken.

Het gaat ons natuurlijk niet alleen om de manier waarop Kuipers de Tweede Kamer informeert. Liever maken we een aantal opmerkingen over het rapport zélf. We presenteren eerst een lijst met enkele opmerkingen over het rapport. Onze lijst met aandachtspunten (die we hieronder weergeven) is absoluut niet uitputtend – dat zou namelijk een veel grotere tijdsinvestering vereisen. Daarna tonen we aan dat het Cochrane rapport bronnen incorrect gebruikt en aanhaalt. We eindigen met een korte conclusie.

Een aantal opmerkingen over het rapport

1. Waarschijnlijk is voor de periode 2020 -2021 gekozen vanwege de Motie Omtzigt. Sinds die tijd is er echter een schat aan informatie bijgekomen, i.h.b. over bijwerkingen en schade van de vaccins en over de consequenties van maatregelen zoals lockdowns. Het is ook vooral juist de oversterfte die aanhoudt na vaccinatie die ons zorgen baart, en die ook niet verdwijnt na de komst van de mildere Omikron variant. Beweringen die t/m 2021 misschien nog redelijk leken, houden in het licht van de huidige inzichten geen stand. Het rapport is dus al bij verschijnen verouderd en daardoor niet of nauwelijks bruikbaar.
2. Vergelijkingen tussen verschillende studies zijn bijna onmogelijk als de methodologieën verschillen. Er wordt in het rapport geen systematische methodologische beoordeling gegeven van de diverse studies. Sowieso is het niet duidelijk welk systeem nu eigenlijk is gevolgd bij de selectie en beoordeling van de diverse studies. De studie is dus helemaal niet zo systematisch. Als je niet heel diep naar de methodologische kracht en zwaktes van individuele studies kijkt, er niet heel goed en diep over nadenkt inclusief alle valkuilen en biases, en alleen zegt dat “meerdere studies zeggen dit”, dan heb je er eigenlijk niet zoveel aan.
3. Zelfs het begrip “Oversterfte” zélf kent verschillende definities in verschillende studies. [2] Dat zou op zichzelf al genoeg reden moeten zijn om geen conclusies aan dit rapport te verbinden.
4. Het rapport schrijft op bladzijde 6 dat de oversterfte in Oost-Europa hoger is. Dat is volstrekt onjuist, zie Oversterfte in 34 landen, falende vaccins? (virusvaria.nl) voor een bespreking van deze claim die alleen kan volgen bij een naïeve en onvolledige kijk op de gegevens. Verder zijn landen als Wit-Rusland, IJsland en Groenland om verschillende redenen niet geschikt voor een studie als deze. Uit die analyse blijkt ook dat wat aangezien werd voor een correlatie tussen vaccinatiegraad en oversterfte, dat niet zomaar kan zijn; op basis van historische data.
5. Op bladzijde 7 lezen we dat er geen studies zijn aangetroffen waarbij vaccinatie en oversterfte positief gecorreleerd zijn. Dat kan alleen maar betekenen dat die studies niet zijn meegenomen, want ze bestaan wel degelijk – er zijn er zelfs vele. [3] Hier zien we inderdaad dat het rapport al bij verschijnen gedateerd is.
6. Het is volkomen onduidelijk hoe er met de verschillende bronnen van bias, zoals bijvoorbeeld recent beschreven in  Sources of bias in observational studies of covid-19 vaccine effectiveness – PubMed (nih.gov), is omgegaan in de diverse studies en in dit rapport.
7. Doodsoorzakenverklaringen van in ieder geval het CBS zijn in nevelen gehuld, om verschillende redenen. [4] Zo schrijft de WHO voor dat wanneer covid ergens op de overlijdensakte wordt vermeld, “Covid” als doodsoorzaak moet worden geregistreerd. Er zijn vele redenen waarom deze gegevens niet geschikt zijn als input voor wetenschappelijk onderzoek.
8. Inmiddels is ook duidelijk dat er grote verschillen bestaan tussen batches van de vaccins. In Denemarken bleek ongeveer 70% van de bijwerkingen uit 4% van de batches te komen; een sterke aanwijzing voor een relatie tussen vaccins en sterfte. [5] Dat maakt een meta-analyse wellicht tamelijk nutteloos.
9. Er zijn wel erg veel omissies in dit rapport die wel heel relevant zijn t.a.v. deze oversterfte-discussie, bijvoorbeeld t.a.v. de opvallend korte bescherming tegen infecties door de vaccins en de steeds korter wordende bescherming door boosters. Maar we noemen ook de tegenvallende bescherming van de vaccins tegen nieuwe virusvarianten (een mogelijk belangrijke deelverklaring waarom de Omikron-periode toch gepaard ging met veel oversterfte), de inmiddels in de literatuur bekende bijwerkingen van de vaccins die toch wel behoorlijk zorgwekkend zijn, de inmiddels wel degelijk bekende verschillen tussen de verschillende vaccin-types en -merken, en de opvallende oversterfte in de tweede helft van 2021, geheel 2022, en begin 2023 in veel hoog-gevaccineerde landen.
10. De exclusiecriteria op bladzijdes 11 en 12 zijn niet te rijmen met onderzoeksvragen 5 en 6.
11. Op bladzijde 13 lezen we: “Op deze manier konden verschillende landen met elkaar vergeleken worden, en werd gecorrigeerd voor verschillen in follow-up duur tussen studies.” De verschillen in follow-up duur worden door Cochrane gecorrigeerd door de relevante variabelen (sterfte/oversterfte e.d.) te delen door de follow-up duur, zodat deze als rate (sterfte per jaar) gepresenteerd werden. Als een publicatie slechts inzoomt op één golf, dan raakt die golf enorm uitvergroot als de waarden naar rates worden omgezet. Er zou onderscheid gemaakt moeten worden naar de afzonderlijke golven. Per golf kan je waarden naar rates omrekenen zodat landen onderling vergeleken kunnen worden. Maar nu bestaat zelfs het gevaar dat golf x in land A vergeleken wordt met golf y in land B op basis van sterfte-rate, terwijl ondertussen misschien zelfs al vaccinaties zijn uitgerold.
12. Voor uitgangsvraag 5 (internationale verschillen) werden alleen studies geselecteerd die gegevens van meer dan vijf landen presenteerden. Maar zelfs als studies slechts op 1 land betrekking hebben, kunnen deze studies nog steeds gebruikt worden om landen met elkaar te vergelijken, mits de juiste normalisaties en standaardisaties gedaan worden. We denken dus dat er met dit selectiecriterium een onnodig restrictieve selectie van studies plaatsvindt.
13. We merken tenslotte ook nog op dat er een interessant verschil bestaat tussen de versie van het rapport die aan de Tweede Kamer is gestuurd, en de versie die op de site van ZonMw is te vinden. [6] Op bladzijde 45 lezen we in de ZonMw-versie: “Verschillen tussen oversterfte en COVID-19-sterfte worden mogelijk veroorzaakt door verschillende datakwaliteit.” Deze zin staat niet in de Tweede Kamer-versie. We vinden het verwarrend dat er kennelijk verschillende versies in omloop zijn, zeker wanneer het opmerkingen betreft die ertoe doen. Natuurlijk roept zoiets vragen op.

Het gebruik van bronnen

We hebben bij wijze van steekproef gekeken of het Cochrane rapport alle bronnen wel correct gebruikt. Dat bleek helemaal niet het geval te zijn, en we illustreren dit met enkele voorbeelden:

Voorbeeld I

“Eén onderzoek presenteerde oversterfte in relatie tot vaccinatiegraad voor vier regio’s in de Verenigde Staten en voor drie verschillende tijdsperiodes (Tabel 11 en Excel bijlage). [62] Oversterfte was voor alle regio’s het hoogste in de periode met de laagste vaccinatiegraad van ongeveer 7%.”

De geciteerde publicatie is (we volgen de nummering uit het Cochrane rapport) [62] Stoto MA, Schlageter S, Kraemer JD. COVID-19 mortality in the United States: It’s been two Americas from the start. PLoS ONE 2022; 17(4 April) Doi: https://dx.doi.org/10.1371/journal.pone.0265053.

Echter, de uitspraak in het Cochrane rapport is incorrect, omdat er waarschijnlijk over het hoofd is gezien dat er periodes waren waarin de vaccinatiegraad niet gegeven wordt (een leeg vakje in de tabel), maar waarin deze naar alle waarschijnlijk wel lager was dan in de overige periodes in de tabel waarin de vaccinatiegraad wel gegeven wordt (omdat vaccinatiegraad in de tijd toeneemt). Zo zien we dan dat bijvoorbeeld regio Northeast de laagste oversterfte (0,111) per capita heeft in de periode 31 mei 2020 – 3 oktober 2020, terwijl de vaccinatiegraad voor die periode niet gegeven wordt, maar waarschijnlijk fors lager was dan 7%, omdat de massavaccinaties toen nog niet begonnen waren (het zal dus 0% zijn of in ieder geval dicht bij 0% liggen). Dit zou dan juist weer op de tegenovergestelde conclusie (dan die in het Cochrane rapport) duiden. In het Cochrane rapport wordt er dus een conclusie gesuggereerd (dat lagere vaccinatiegraad tot hogere oversterfte leidt) die niet door de auteurs van het artikel wordt gemaakt. In Tabel 11 in het Cochrane rapport wordt dus selectief geciteerd.

Voorbeeld II

Het Cochrane rapport vervolgt op bladzijde 42 met: “In zeven studies werd de relatie tussen oversterfte en vaccinaties beschreven. Meerdere studies lieten zien dat een verhoogde beschikbaarheid en gebruik van vaccins een correlatie hebben met een lagere oversterfte (Bijlage 11B). [17, 31, 62, 70, 73]”.

Van referentie [62] hebben we al laten zien dat het Cochrane rapport deze niet goed interpreteert. Laten de andere referenties dan wel het verband zien waar de auteurs van het Cochrane rapport op wijzen? We gaan het na.

 [17] Bell E, Brassel S, Oliver E, et al. Estimates of the Global Burden of COVID-19 and the Value of Broad and Equitable Access to COVID-19 Vaccines. Vaccine 2022; 10(8) Doi: https://dx.doi.org/10.3390/vaccines10081320

In de conclusie van het Bell paper staat niet dat een verhoogde beschikbaarheid en gebruik van vaccins een correlatie hebben met een lagere oversterfte. Het kan zijn dat de auteurs van het Cochrane rapport tot hun conclusie zijn gekomen n.a.v. de volgende uitspraak in het Bell-paper: “Our model’s results under Scenario 1 show that in 2021 1.4 million direct deaths, 4.3 million excess (direct and indirect) deaths and 6.0 million hospitalisations have been averted and hospital resources worth USD 59 billion have been saved by COVID-19 vaccinations.” Los gezien van of deze conclusie correct is (ze is immers gebaseerd op een model/scenario), is het gewoon iets anders dan wat in het Cochrane rapport beweerd wordt.

Bron [31] dan? Dit gaat om Fazekas-Pongor V, Szarvas Z, Nagy ND, et al. Different patterns of excess all-cause mortality by age and sex in Hungary during the 2nd and 3rd waves of the COVID-19 pandemic. GeroScience 2022 Doi: https://dx.doi.org/10.1007/s11357-022-00622-3.

Deze studie laat helemaal niet eenduidig zien dat (in de woorden van het Cochrane rapport) “een verhoogde beschikbaarheid en gebruik van vaccins een correlatie met een lagere oversterfte” zou hebben. Het laat een kleine afname van de “excess absolute mortality” zien van de tweede naar de derde golf terwijl gelijktijdig de vaccinatiegraad steeg. Maar dit effect hebben de auteurs van het Fazekas paper ook uitgesplitst naar leeftijd, en lijkt voornamelijk gedreven te worden door de groep van 65 jaar en ouder. De leeftijdsgroepen 35 – 44 jaar, 45 – 54 jaar en 55 – 64 jaar lieten alle drie een toename van de “excess absolute mortality” zien, die gepaard ging met een eveneens toenemende vaccinatiegraad.

Bron [70] dan? Dat is Watson OJ, Barnsley G, Toor J, et al. Global impact of the first year of COVID-19 vaccination: a mathematical modelling study. The Lancet Infectious Diseases 2022; 22(9):1293-302. Doi: https://dx.doi.org/10.1016/S1473-3099%2822%2900320-6.

Dit is een mathematische modellering hoe COVID-19 vaccinatie de oversterfte kan laten afnemen. Er wordt in het model geen rekening gehouden met eventuele sterfte door vaccinatie, bijwerkingen of (on)veiligheid van de vaccins. Hoewel interessant, mag deze studie niet gebruikt worden om conclusies te trekken ten aanzien van sterfte door vaccinatie, bijwerkingen of (on)veiligheid van de vaccins, want van die wordt door het gebruikte model a priori aangenomen dat ze geen rol spelen.

Bron [73] dan? Dit gaat om  Zhou F, Hu TJ, Zhang XY, et al. The association of intensity and duration of non-pharmacological interventions and implementation of vaccination with COVID-19 infection, death, and excess mortality: Natural experiment in 22 European countries. Journal of Infection and Public Health 2022; 15(5):499-507. Doi: https://dx.doi.org/10.1016/j.jiph.2022.03.011.

Deze publicatie laat juist het omgekeerde effect zien dan wat in het Cochrane rapport beweerd wordt. In Figuur 35 is er duidelijk te zien dat het “vaccine effect” op de oversterfte toeneemt met toenemende “vaccination coverage”. Dat de relative risks (RR) onder de 1 liggen is hierbij niet van belang. Van belang voor de correlatie tussen oversterfte en vaccinatiegraad is alleen het feit dat de RR’s toenemen met toenemende vaccinatiegraad.

Discussie en conclusie

We hebben niet de tijd gehad om álle bronnen van het Cochrane rapport te bestuderen, maar waar we dat wel deden waren er steevast problemen. In ons onderzoek naar problemen met bronnen zijn we overigens veel meer problemen tegengekomen dan die we hier vermelden. Natuurlijk is de vraag hoe dat mogelijk is, maar op die vraag kunnen wij geen antwoord geven.

Voor de context is het wellicht goed om op te merken dan het Nederlandse team van Cochrane, waaronder de directeur van Cochrane Nederland, uitsluitend uit medewerkers van het UMC Utrecht bestaat. De directeur van opdrachtnemer Cochrane Nederland verricht tevens werkzaamheden voor de uiteindelijke opdrachtgever (VWS).

Ons kwaliteitsoordeel is op basis van het voorafgaande duidelijk: dit Cochrane rapport levert nauwelijks een zinvolle bijdrage aan het onderzoek naar de oversterfte.

Referenties

[1] Systematische literatuuranalyse en internationale vergelijking ‘Oversterfte’ | Publicatie | Rijksoverheid.nl

[2] Zie bijvoorbeeld Comparison of pandemic excess mortality in 2020–2021 across different empirical calculations – ScienceDirect, als ook enkele andere referenties in het Cochrane rapport.

[3] Zie bijvoorbeeld Is there a Link between the 2021 COVID-19 Vaccination Uptake in Europe and 2022 Excess All-Cause Mortality?[v1] | Preprints.org, (16) (PDF) Australian COVID-19 pandemic: A Bradford Hill analysis of iatrogenic excess mortality (researchgate.net), (16) (PDF) Causal effect of covid vaccination on mortality in Europe (researchgate.net),  (16) (PDF) A likelihood analysis of COVID-19 mRNA vaccine safety in the third booster campaign in The Netherlands (researchgate.net). Er is nog veel meer te vinden natuurlijk.

[4] Zie bijvoorbeeld Is er echt oversterfte? – Onverklaarde oversterfte.

[5] Batch-dependent safety of the BNT162b2 mRNA COVID-19 vaccine – PubMed (nih.gov)

[6] Rapportage oversterfte (zonmw.nl)