De veiligheidsillusie van vaccintrials

Terugkijkend op de introductie van de bewezen “safe and effective” mRNA-vaccins, is het aspect “effectief” tegengevallen: vaccinatiecijfers onder covid-overledenen zijn niet geruststellend en worden hooguit onbedoeld vrijgegeven. 80% van de overlijdens aan covid-19 tijdens de Deltagolf was gevaccineerd¹Zie steig.nl: Het grote geheim van de deltagolf. Ruim 90% van de deelnemers aan het long-covid overheidsproject is gevaccineerd²Zie Over welke ziekte gaat het post-covid rapport?, ook iets dat zou niet moeten kunnen na een trial die geen twijfel overliet aan effectiviteit. Maar het klinkt ook niet dat je zegt: “veilig” want als het niet effectief is tegen Covid, wat doet het dan wel? Het is immers geen zoutwateroplossing en de gestegen sterfte aan alle oorzaken en vele meldingen van bijwerkingen wekken ook geen vertrouwen. Dat zou echt niet zo moeten zijn na een trial die het sein “veilig” had opgeleverd. Pfizer heeft kennelijk een andere definitie van “veilig”.

De basis van “veilig” wordt kleiner

In de publieke discussie wordt ervan uitgegaan dat de Pfizer-trial³Het Pfizer-rapport: Summary Basis for Regulatory Action – COMIRNATY met ruim 43.000 deelnemers voldoende bewijs leverde voor het predikaat safe & effective.

Iedereen die kritisch vaccinstudies heeft bekeken, heeft vast weleens gedacht: “Als een sample van 43.000 deelnemers voldoende veiligheid biedt voor het injecteren van de volledige wereldbevolking, waarom zijn er dan in het verleden megastudies gedaan met honderdduizenden of zelfs miljoenen proefpersonen?” De statistische kennis die zo’n onderzoeksopzet vereiste, bestond in de jaren vijftig en zestig ook al. Toch waren die onderzoeken niet een klein beetje groter: die waren veertig keer zo groot! En sinds enige tijd kunnen we het af met luttele tienduizenden. Waarom?

Hoe groter, hoe preciezer. Hoe kleiner, hoe meer statistische onzekerheid, waardoor de mogelijke onveiligheid omhooggaat.

Er waren weliswaar 43.448 mensen ingeschreven maar de primaire veiligheidsanalyse waarop de claim “veilig” is gebaseerd, betrof minder deelnemers omdat niet iedereen een volledige follow-up voltooide. Bij de veiligheidsanalyse waren 37.706 deelnemers betrokken, waarbij je je ook weer af kunt vragen hoe die 5.700 afvallers zijn geselecteerd. Hoe dan ook, dat levert een bovengrens op van ±10.000 extra overlijdens op 12 miljoen gevaccineerden binnen 2 maanden. Preciezer is niet mogelijk. Maar ook wordt een mediane follow-upduur van twee maanden gemeld en dit betekent dat een onbekend deel van de groep korter dan twee maanden gevolgd werd⁴“Safety was evaluated in 37,706 participants who received at least one dose of vaccine or placebo; 18,860 received BNT162b2 and 18,846 received placebo. At the time of the data cutoff, a median of two months of safety data was available for 18,860 vaccine recipients and 18,846 placebo recipients.”
— Polack FP, et al. NEJM, 2020. Dat levert een hogere bovengrens op die we niet precies kunnen berekenen omdat we de grootte van het uiteindelijke sample niet kennen. Dat zal dus kleiner zijn, en hoe kleiner het sample, hoe groter de onzekerheid. Daardoor gaat de statistische bovengrens verder omhoog en wordt “veilig” steeds minder veilig. Ik zal de grootte aangeven met <38.000.

De door Pfizer gekozen cut-offdatum (14 november 2020) bepaalde hoeveel deelnemers de twee maanden hadden volgemaakt. Dat is dus afhankelijk van de inschrijfdatum van elke deelnemer en accurate registratie daarvan. Omdat individuele data niet openbaar zijn, wordt de data-integriteit alleen geborgd door de fabrikant, die scherp moet zijn op mogelijke ‘slordigheden’. Dat het lastig is om melding te maken van onvolkomenheden blijkt uit hoe er is omgegaan met meldingen van een medewerker aan de Pfizer-trial, Brook Jackson⁵ Interviews met Brook Jackson, die later in The BMJ (2021) de wanordelijke dataverzameling en gebrekkige monitoring beschreef)⁶Brook Jackson met video in The BMJ: https://www.bmj.com/content/375/bmj.n2635.

In de fase 3-veiligheidsstudie van Pfizer (sample < 38.000) overleden 21 mensen in de vaccingroep en 17 in de placebogroep. 23% meer sterfte in de gevaccineerde groep dus. De conclusie van Pfizer was: geen statistisch significant verschil in sterfte, dus het vaccin is “veilig”. Voor de argumentatietheoretici onder ons is het meteen zo klaar als een klontje: afwezigheid van bewijs is niet het bewijs van afwezigheid. Niet alleen een statistische regel maar een klassieke drogreden: de non sequitur⁷Uitleg non sequitur door ChatGPT. Maar farmaceuten denken zo niet dus gaan we eens zoeken we in hun eigen historie of dat een nieuw inzicht is. De onderzoeksopzet (-grootte) bij Pfizer steekt namelijk schril af tegen eerdere vaccinstudies (ga met je muis over de grafiek om in te zoomen):

Als Pfizer kan volstaan met ca. 44.000 deelnemers (en < 38.000 qua veiligheid), waarom waren zulke aantallen eerder dan nodig? Dat zou met een betekenisverandering van het begrip ‘veiligheid’ te maken kunnen hebben.

Waar denken we dat “veilig” voor staat?

Als je iemand met een visuele beperking helpt met “Het is veilig, u kunt oversteken” dan zeg je dat niet als je denkt dat er een kleine kans is dat hij wordt overreden. Dat zeg je pas als je zeker weet dat hij veilig de overkant zal bereiken. Als burger vaar je blind op farmaceuten. Maar die hebben andere standaarden.

In de klinische praktijk betekent “veilig” meestal: er is geen significant verschil met placebo in deze onderzoekspopulatie, in de beperkte periode van de trial. Dat is dus die drogreden. In het alledaagse spraakgebruik betekent “veilig” iets heel anders, namelijk: geen reëel risico op overlijden of ernstige schade. Maar opnieuw is het dan onduidelijk wat “geen reëel risico” is. Dat is dus niet “geen risico”. In welke getallen moeten we denken? Laten we eens aannemen dat een risico van 1 extra sterfgeval per 10.000 prikken nog acceptabel zou worden geacht (op risicocategorieën komen we later nog even terug). Het is de op een na veiligste categorie volgens de officiële EMA/WHO-classificatie. (vaak: >1/10, soms: 1/100–1/1.000, zelden: 1/1.000–1/10.000, zeer zelden: 1/10.000-1/100.000.)

Hoe groot zou een trial moeten zijn?

We gaan daarbij uit van een hypothetisch maximumrisico: de extra kans om binnen twee maanden (de duur van de trial!) na vaccinatie te overlijden mag niet groter zijn dan 0,01% (1 op 10.000). Voor een populatie van 12 miljoen gevaccineerden (NL) betekent dat maximaal 1.200 overlijdens in twee maanden – waarbij je ook nog je vraagtekens kunt zetten, maar we spraken af dit nog te accepteren als zijnde ‘veilig’. Het zou ook nog afgewogen moeten worden tegen de ernst van de ziekte. Wat ook ontbreekt is het leeftijdsaspect. Alle leeftijden worden over een kam geschoren, wat ethische vragen oproept en statistische vertekeningen in de hand kan werken.

Om uit te sluiten dat het risico groter is dan 0,01%,, zijn meer dan 1 miljoen proefpersonen nodig. (zie kopje Veldwerk, onderaan). Wil je daarbij een likelihood ratio van 100% bereiken dan worden het vele, vele miljoenen. Dat heeft dus geen zin meer als ’trial’, dat is “uitrollen en zien wat er gebeurt”.
Pfizer werkte echter met < 38.000 proefpersonen. Daarmee kun je een klein verschil als 1:10.000 statistisch niet opmerken. In feite kun je met zulke kleine aantallen alleen uitsluiten dat er niet méér dan ongeveer 10.000 à 12.000 overlijdens zouden optreden in de eerste twee maanden bij 12 miljoen gevaccineerden.

Dat betekent dus dat de Pfizer safety trial aangeeft dat de totale sterfte in de populatie gelijk kan blijven maar ook met de helft zou kunnen toenemen door de vaccinaties, want daar komen de cijfers op neer. Alles daartussenin is daarmee tot acceptabel (want ‘veilig’) verklaard.

Belangrijk is bovendien dat deze berekening alleen geldt voor de duur van de trial: twee maanden. Inmiddels weten we dat bijwerkingen en overlijdens soms pas na 3–4 maanden (±100 dagen) manifest worden en mogelijk nog later. Maar ook de vermoedelijke hoogte van die sterftekans zou niet zijn waargenomen in deze underpowered studie⁸Observationele schattingen lijken te wijzen op een risico van 0,02% voor de basisserie. Dat zou voor twee maanden dan 2400 overlijdens zijn. Dat valt dus ruimschoots binnen de ongevoeligheidsrange van deze opzet..

De ethische dimensie

Medicijnen worden gegeven aan zieke mensen. Een klein extra risico kan daar acceptabel zijn, omdat de patiënt zonder behandeling een hoog risico loopt.
Vaccins worden daarentegen gegeven aan gezonde mensen, aan kinderen. Dat maakt de balans fundamenteel anders. Kun je gezonde (jongere) individuen overlijdensrisico laten lopen om sterfgevallen elders (bij ouderen) te voorkomen? Dat is geen puur wetenschappelijke, maar vooral een ethische en mogelijk cultuurgebonden vraag. En daarom misschien wel een politieke, iets voor een referendum.

Leeftijdsafhankelijkheid

Covid-sterfte is net als veel andere aandoeningen sterk leeftijdsgebonden. Het percentage oversterfte per leeftijdsgroep is vergelijkbaar over alle leeftijdsgroepen. De trials hadden in de verste verte niet de power om veiligheid en effectiviteit per leeftijdsgroep afzonderlijk te bewijzen. Resultaten voor een “gemiddelde proefpersoon” werden gewoon gegeneraliseerd naar alle leeftijden. Dat zou misschien nog te rechtvaardigen zijn als het doel groepsimmuniteit was geweest. Het hoeft verder geen betoog dat het hele argument van groepsimmuniteit sowieso niet opging voor een middel dat besmettingen niet reduceerde en op het verkeerde moment werd toegediend (wat een paniekvoetbal toch, als je het zo weer op een rijtje zet)

Semantiek en framing

De woorden zelf zijn vrij plotseling geëvolueerd:

• “Vaccin” stond voor een onschuldige eerste kennismaking met een pathogeen, zodat het lichaam risicoloos immuniteit opbouwt. Met mRNA- en vectorvaccins is het een medicinale interventie geworden want de immuniteit is dermate tijdelijk dat het middel bij voorkeur enkele weken voor besmetting moet worden toegediend – een onmogelijke timing, dat bewezen de ‘boosters’. Ook de verspreiding door het lichaam is heel anders. Traditioneel gold: hoe verder weg van de injectieplek, hoe zwakker. mRNA-vaccins zijn micro-onderzeeërtjes die overal in het lichaam kunnen komen en pas bij aankomst in een cel hun werkzame lading lozen.
• “Trial” stond ooit voor langdurige, grootschalige veldstudies (polio, BCG, hepatitis E, cholera). De Covid-19 trials waren relatief klein en kort. Kijkend naar de benodigde power en de gerealiseerde onderzoeken waren ze vooral voor de bühne, shortcuts naar de goedkeuring. Nietszeggende data werden opgevat als veilig. De afwezigheid van bewijs voor extra sterfte -de voorspelbare uitkomst bij deze kleine samples- werd geframed als bewijs voor het tegendeel. Dat nodigt uit tot het bekijken van andere vaccinstudies want zoals we aan de top-10 grafiek kunnen zien, liggen bijna alle studies getalsmatig onder de hier besproken Pfizer trial.

Conclusie

• Pfizer’s trial bewees niet dat het vaccin veilig was in de alledaagse betekenis van dat woord. Het bewees slechts dat er in beperkte tijd geen significant verschil in sterfte was met placebo. Maar afwezigheid van bewijs is niet het bewijs van afwezigheid.
• Op voorhand was bekend dat deze trial in de verste verte niet aan zou kunnen tonen dat de veiligheid van het vaccin in het geding zou zijn. De populariteit van deze orde van sample groottes is begrijpelijk, vanuit farmaceutisch perspectief. Er moet heel wat gebeuren, wil daar een hard (significant) veiligheidssignaal uit komen.
• Om echte veiligheid aan te tonen zijn veel omvangrijker trials nodig — en dat is historisch ook wel eens zo gedaan. De claim “safe and effective” is verworden tot het resultaat van framing en herhaling, niet van harde wetenschap.
• De cijfers zijn een harde grens: minder dan 12.000 in twee maanden na de prik, daar is de trial op gedimensioneerd. Dat is de uitspraak “veilig” ook. Minder dan 12.000 overlijdens in twee maanden is “veilig”. Gelukkig zijn het er waarschijnlijk niet meer dan 2.000 per 2 maanden.

Referenties

• 1
  Zie steig.nl: Het grote geheim van de deltagolf
• 2
  Zie Over welke ziekte gaat het post-covid rapport?
• 3
  Het Pfizer-rapport: Summary Basis for Regulatory Action – COMIRNATY
• 4
  “Safety was evaluated in 37,706 participants who received at least one dose of vaccine or placebo; 18,860 received BNT162b2 and 18,846 received placebo. At the time of the data cutoff, a median of two months of safety data was available for 18,860 vaccine recipients and 18,846 placebo recipients.”
  — Polack FP, et al. NEJM, 2020
• 5
  Interviews met Brook Jackson
• 6
  Brook Jackson met video in The BMJ: https://www.bmj.com/content/375/bmj.n2635
• 7
  Uitleg non sequitur door ChatGPT
• 8
  Observationele schattingen lijken te wijzen op een risico van 0,02% voor de basisserie. Dat zou voor twee maanden dan 2400 overlijdens zijn. Dat valt dus ruimschoots binnen de ongevoeligheidsrange van deze opzet.