Prognoses boetseren: The Art of Virographics

Ik sorteerde een maand geleden voor op een artikeltje waarin ik merkwaardige aanpassingen in rivm-gegevens nader wilde bekijken. Ik heb dat 2 weken geleden al een beetje gedaan maar mijn stoutste verwachtingen zijn daarna nog overtroffen; ik houd het nu bij de laatste twee weken om het punt te maken. Bekijk in elk geval de slider met de plaatjes.

15 mei 2021, gaf ik mijn correctie op de prognose van OMT-lid Ernst Kuipers. De aangegeven waanzinnige ondergrens was 1,1. De laatste -waarde is 0,87. Ik heb daarbij ook -voor volgende week- een R-waarde voorspeld tussen 0,5 en 0.8. Daar zitten we inmiddels al.

Op tv zien we nu blij verraste OMT-ers en andere zorgfunctionarissen over de voorspoedige terugtrekking van het virus. Ze snappen er niet veel van, blijkt uit quotes als “Dat we die harde lockdown achter ons kunnen laten, is erg mooi. We gaan nu de eindfase in.” (AD) en “Misschien houden mensen zich beter aan de maatregelen nu er weer wat perspectief is”. (Radio 1, weet niet meer wie).

De data zijn openbaar

Het rivm publiceert over R-waarde een soort Excelbestand met kolommen “Ondergrens 95% betrouwbaarheidsinterval”, “Geschat reproductiegetal” en “Bovengrens 95% betrouwbaarheidsinterval”. De onder- en bovengrens van de twee laatste weken in de Excel zijn prognoses op basis van hun model. Per week kunnen voor de laatste week nog verschuivingen plaatsvinden: de band wordt wat nauwer of wijder, een boven- of ondergrens kunnen worden bijgesteld.

De prognose voor de één-na-laatste week zou toch vast moeten staan, die wordt de week daarop bewaarheid of gelogenstraft door de gerealiseerde R-waarde. Het merkwaardige nu is dat als de R-waarde zich niet aan de laatste geprognotiseerde marges houdt, die margeprognoses gewoon achteraf worden bijgesteld. Dat gebeurt tot drie (soms wel vier) weken terug.

De intrinsieke kwaliteit van de prognoses is ook discutabel. Voorzag het rivm weken achter elkaar, tot week 19 aan toe, nog een steile sprong omhoog van de R-waarde (die ze bij gebrek aan corona steeds vooruit schoven), in week 20 is dat ineens zomaar een steile daling geworden. Alsof ergens in het model een plusje per ongeluk een minnetje is geworden. Waren ze even vergeten dat het zomer werd?

Als er al een model onder de prognoses lag, dan mag dat best krakkemikkig worden genoemd. De oorspronkelijke minimale waarde bleek in één week tijd hoger dan de nieuwe maximale waarde. Dat is niet bijstellen, dat is gewoon faliekant fout. Dan doe je maar wat. Laat ook even doordringen op welke termijn men vooruit kijkt. Op basis van deze vooruitziende blik wordt de samenleving gedirigeerd.

Concreet:

• De minimale waarde voor week 19 werd geschat op 1,1; een week later ligt de maximale waarde voor week 19 ineens op 0,8. Dat is een gigantisch verschil.
  
• De week-17-ondergrens werd in week 19 geschat op 0,95. In week 20 wordt de schatting voor de week-17-ondergrens alsnog omlaag gehaald tot 0.90. Een correctie van 0.5, drie weken na dato. (De paarse en de zwarte lijn in slide 5).

Ook in plaatjes

Het is wat verwarrend omdat de meest recente datum van de berekende R-waarde altijd twee weken oud is. Blijkt een laatste prognose niet uit te komen omdat een grenswaarde wordt overschreden door de R-waarde, dan verandert de prognose gewoon met de R-waarde mee. Alsof je je totoformulier achteraf corrigeert.

Vermoedelijk wordt er de draai aan gegeven dat het dan een “onzekerheidsmarge” weergeeft. Maar zelfs de onzekerheidsmarges van een week vallen buiten de latere onzekerheidsmarges van diezelfde week. Zelfs de onzekerheden worden dus verkeerd ingeschat. Toetsen van de prognoses aan de gerealiseerde waarden wordt zo best een uitzoekerij, zeker als alleen de laatst bijgewerkte Excel beschikbaar is.

Maar het is begrijpelijk dat rivm, terugkijkend naar de grafiek van, erg tevreden is over haar eigen voorspellingen.

Klik door de slides heen (en terug), dan wordt de het geschuif beter zichtbaar.

…of bekijk het als filmpje, voor snelle lezers (pauzeer als het te snel gaat).

Virographics – The Movie 🙂

Nog zo’n mooie voorspelling. De demissionaire Premier Rutte heeft zich ongetwijfeld iets laten influisteren door het OMT… maar wat bedoelt hij eigenlijk:

“Deze zomer is het nog even doorbijten maar richting najaar/winter is de pandemie echt voorbij. Dan kan iedereen weer gewoon bij elkaar zitten op kantoor en kunnen de mondkapjes allemaal op straat worden gegooid!”

Of is het meer in de richting van:

“Richting najaar/winter gaat alles weer gewoon dicht. En dan blijven we ook thuiswerken en mondkapjes gebruiken, daarom is hebben we besloten om dat tijdens de zomer gewoon door te zetten.”

Nee, het is toch echt de eerste interpretatie, gezien het vervolg “Het loslaten van het zoveel mogelijk thuiswerken staat vooralsnog gepland voor de laatste stap van het openingsplan. Dan vervallen ook alle andere maatregelen, waaronder het houden van anderhalve meter afstand en het dragen van een mondkapje.”

Dus na de zomer gaan ze de laatste versoepelingen doorvoeren, right…