Afgelopen week zijn een reeks rapporten over CoronaMelder verschenen [1]. Ik heb ze nog niet allemaal gelezen, maar hieronder vind je alvast mijn eerste (doch uitgebreide) reactie daarop.

[1] https://www.rijksoverheid.nl/onderwerpen/coronavirus-app/documenten/publicaties/2021/05/28/rapporten-evaluatie-coronamelder-9-maanden

A) CoronaMelder spoort nog minder besmettelijke personen op dan gemeld
Uit de samenvatting "CoronaMelder: de resultaten" [2] pagina 2:

DIT IS AANTOONBARE VOLKSVERLAKKERIJ!

Redenen:
1) Dat van de door CoronaMelder gewaarschuwde mensen die nog geen klachten hebben, 77% (nog) niet door de GGD benaderd was, geloof ik best. Want een groot deel daarvan zat aan de andere kant van een muur, plafond of andere afscheiding toen hun app een "contact" met een later positief geteste persoon registreerde. Zoals uit gegevens van de GGD/GHOR blijkt, test namelijk meer dan 97% van de app-gewaarschuwden zonder symptomen NEGATIEF. Dat een groot deel van hen (nog) niet door de GGD gebeld is en wordt, is terecht.

2) In een groot deel van de betreffende periode is het BCO (bron- en contactenonderzoek afgeschaald geweest vanwege het grote aantal besmettingen. Mensen moesten zelf maar hun nauwe contacten bellen; logisch dat je dan vaak niet door de GGD gebeld wordt!

3) Uit "Tabellenrapport CoronaMelder GGD GHOR Nederland" van 6-5-2021 met cijfers van 2020 week 42 t/m 2021 week 15 ([3]), heb ik tabel 1 en 2 gecombineerd en de regelvolgorde aangepast:


De onderste twee regels van bovenstaande tabel betreffen door CoronaMelder gewaarschuwden die nog geen symptomen hadden. Te zien is dat 1.419 van de 3.252 (1.419 + 1.833) app-gewaarschuwden TEVENS in het kader van BCO gewaarschuwd waren voordat zij een test aanvroegen. Dat is meer dan 43%!

Dramatisch slechte resultaten CoronaMelder
De enige echt relevante regel voor CM is de onderste, namelijk door CoronaMelder "gevonden" mensen die nog geen symptomen hadden: 61.288 mensen die nog geen symptomen hadden en nog niet door de GGD gebeld waren, lieten zich testen en ontvingen een testuitslag.

Van hen testten echter slechts 1.833 (2,99%) positief. M.a.w. bij 97% van de mensen die die nog geen symptomen hebben is een app-melding loos alarm. Maar zelfs die 1.833 en 2,99% zijn, om meerdere redenen, veel te rooskleurig.

Percentage 2,99% is in werkelijkheid lager
Bovenaan pagina 3 van [3] staat: "In tabel 1 zijn de testaanvragen die tot een test met een uitslag leiden geteld over de volledig geleverde periode (eind september 2020 tot en met eind april 2021)". Waarom noemen ze dit dan geen testuitslagen? Ik vind namelijk dat je van alle testaanvragen (van app-gewaarschuwden zonder symptomen) uit moet gaan. Als er geen uitslag volgt (bijv. omdat de betrokkene niet komt opdagen bij de test) is de kans klein dat de betreffende persoon in zelfisolatie gaat en blijft, maar de betrokke gaf aan wel door diens app te zijn gewaarschuwd.

Als ik alle "testaanvragen" (feitelijk testuitslagen) op pagina 8 van [3] bij elkaar optel kom ik op 150.350 testuitslagen, terwijl als ik op de MinVWS pagina op GitHub [4] het aantal testaanvragen voor week 42 t/m 15 bij elkaar optel, ik op 159.758 uitkom.

Als ik daar vanuit ga zijn niet 61.288 klachtenvrije app-gewaarschuwden getest, maar 61.288 * 159.758/150.350 = 65.123 personen. Omdat 1.833 van hen positief getest zijn, gaat het dus niet om 2,99% maar om 2,81%.

[2] https://www.rijksoverheid.nl/binaries/rijksoverheid/documenten/publicaties/2021/05/28/rapporten-evaluatie-coronamelder-9-maanden/Samenvatting+Evaluatie+CoronaMelder+Een+overzicht+na+9+maanden.pdf
[3] https://www.rijksoverheid.nl/binaries/rijksoverheid/documenten/publicaties/2021/05/28/rapporten-evaluatie-coronamelder-9-maanden/Tabellenrapport+CoronaMelder+GGD+GHOR+Nederland+def.pdf
[4] https://github.com/minvws/nl-covid19-notification-app-statistics/blob/main/statistics/ggd_weekly_tests_following_notification_CM.csv

Aantal van 1.833 'gevonden door CM' is, schat ik, meer dan twee keer te hoog
Wat we niet weten van die 1.833 mensen is:
1) Hoeveel van hen tevens door een huisgenoot of collega zijn gewaarschuwd (tijdens de lockdown vond waarschijnlijk meer dan de helft van de besmettingen thuis of op het werk plaats);
2) Hoeveel van hen een app-melding kregen vóórdat zij zelf besmettelijk werden (de meeste app-gebruikers die door CM gewaarschuwd worden, krijgen de melding pas als zij al besmettelijk zijn en anderen kunnen hebben besmet - wat de R dus minder verlaagt);
3) Of die mensen na hun app-melding in zelfisolatie zijn gegaan (en lang genoeg zijn gebleven, voor en na de testuitslag);
4) Hoeveel van hen onterecht positief testten vanwege RNA-restanten t.g.v. een eerdere besmetting;
5) Hoeveel van hen positief testten t.g.v. een besmetting door een ander "contact" (of object) dan waar de app voor waarschuwt.

Die laatste twee punten lijken overtrokken, maar in de praktijk blijkt dat het percentage app-gewaarschuwden dat positief test, stijgt bij hogere besmettingscijfers - en dat is opmerkelijk. Omdat de Nederlandse besmettingscijfers in de onderhavige periode niet veel variëerden, zie je dit nauwelijks in bijv. [5].

Wel kun je dit goed zien in de onderste twee balkendiagrammen van resp. Engeland en Wales in [6], en wellicht nog beter in een eerdere snapshot van die pagina ([7]). Vooral in de cijfers van Engeland is goed te zien dat tijdens zeer hoge besmettingscijfers het aantal "Positive test results" in verhouding tot de "Negative test results" erg hoog is, en flink daalt bij weinig besmettingen. Als CoronaMelder alleen terechte waarschuwingen zou geven en PCR-tests nul false positives zouden opleveren, zie ik geen redenen waarom je dit effect zou zien.

[5] https://coronamelder.nl/media/Factsheet_Corona_latest.pdf
[6] https://stats.app.covid19.nhs.uk/#test-results
[7] https://archive.is/5Scaa#test-results


Meer over de effectiviteit van CoronaMelder
In de gepubliceerde documenten worden nauwelijks negatieve effecten van CoronaMelder genoemd, en waar dat wel gebeurd worden die negatieve effecten niet meegenomen in het totaalplaatje.

Als ik bovenstaande tabel sorteer op oplopende effectiviteit van CoronaMelder, enkele kolommen verplaats en rekening houd met negatieve effecten door gewaarschuwde app-gebruikers die zich niet laten testen, krijg ik het volgende:


{1} "Overig": GGD-test na bijv. vliegreis of na positieve zelftest.
{2} "NEGATIEF!", want ondanks een CM-melding vroeg de betrokkene GEEN GGD-test aan. Hoe groot deze groep is weet ik niet, maar na elke negatieve testuitslag zal deze toenemen.
{3} "NEGATIEF!", want ondanks klachten dacht de betrokkene NIET besmet te kunnen zijn omdat CoronaMelder GEEN waarschuwing gaf. Ook van deze groep weet ik de grootte niet, maar ik verwacht dat deze aanzienlijk is.
{4} "NEGATIEF", want ondanks klachten EN een app-melding was kennelijk TEVENS een BCO-testoproep nodig om een test aan te vragen.
{5} "Negatief", want ondanks een app-melding was kennelijk TEVENS een BCO-testoproep nodig om een test aan te vragen.
{6} "Negatief?", want de mensen met CM die géén app-waarschuwing kregen, kunnen hun testaanvraag en/of zelfisolatie hebben uitgesteld totdat zij klachten kregen. Nb. het gaat hier om een zeer grote totale groep mensen.
{7} "Pos./Neg.": met lichte symptomen kan een CM-waarschuwing de doorslag geven om wel een test aan te vragen. Anderzijds was alleen de app-melding kennelijk geen reden om een test aan te vragen (formeel kon dit, zonder symptomen, pas vanaf week 49 als ik me niet vergis). PROBLEEM: als je een CM-waarschuwing pas serieus neemt zodra je klachten (symptomen) krijgt, kun je al twee dagen besmettelijk zijn. Daarnaast zijn er ook besmettelijke mensen die helemaal geen symptomen krijgen.

Gegeven de vele potentiële negatieve effecten van CM is een vindpercentage van 0,16% al belachelijk laag. En als je er rekening mee houdt dat waarschijnlijk meer dan de helft van de 1.833 "opgespoorde" personen (om de redenen genoemd onder "Aantal van 1.833 'gevonden door CM' is in werkelijkheid veel lager") irrelevant is, blijft er van die 0,16% minder dan 0,08% over - m.i. is dat verwaarloosbaar. Ik geloof er dan ook helemaal niets van dat CM de R-waarde heeft verlaagd (in tegendeel, ik denk dat CM deze heeft verhoogd).


B) De samenvatting maakt meer cijfers mooier dan ze zijn
Uit de samenvatting "CoronaMelder: de resultaten" [2] pagina 2:
Volgens GGD/GHOR was de testuitslag van slechts 2,99% van de mensen zonder klachten, die uitsluitend door CM gewaarschuwd waren, positief. Als je naar het aantal testaanvragen kijkt van die mensen, is dat 2,81%. Van die 1.833 positief geteste mensen is, vermoed ik, minder dan de helft relevant. Van die "3% tot 4%" blijft dus minder dan 1,4% over.


C) Ook GGD/GHOR goochelt met cijfers
Op pagina 5 van [3] staat de volgende tabel:

Zelfs het zeer lage aantal "Positieve tests" voor CM van 10.889 is m.i. te hoog. Kijkend naar Tabel A en B hierboven, snapte ik aanvankelijk niet waar dit getal vandaan komt. Dit is hoogstwaarschijnlijk als volgt berekend:


M.a.w. voor die situaties dat de betrokkene zowel door diens CM als door een GGD'er (in het kader van BCO) is gewaarschuwt, wordt dit simpelweg gemiddeld. Ik geloof er niets van dat dit een terechte inschatting is; een telefoontje van een GGD'er die vraagt je te laten testen zal op de meeste mensen véél meer indruk maken dan een app-melding - vooral als je al een één of meer onterechte app-meldingen achter de rug hebt.

Bovendien klopt er in bovenstaande tabel helemaal niets van de kolom "Percentage positief" - ik heb geen idee hoe ze aan deze getallen komen. Als ik in de onderste regel uitsluitend CM-waarschuwingen meeneem en laatstgenoemde kolom corrigeer, ziet de tabel er als volgt uit:


LET OP #1: dit is een flauwe kul tabel, want in de onderste twee regels zitten mensen zonder en met klachten tijdens hun testaanvraag - en dat maakt een wereld van verschil.

LET OP #2: Hiermee kan de tabel op pagina 6 van [3] ook de prullenbak in (op verzoek zal ik dat toelichten).


D) CoronaMelder waarschuwt meestal te laat
Uit "Tabellenrapport CoronaMelder GGD GHOR Nederland" [3] pagina 7:
1) Dat is gemiddeld veel te lang; dat ligt te dicht in de buurt van de "generatietijd" (generation time, generation period) van een COVID-19 besmetting, nl. de tijd tussen besmet raken en zelf besmettelijk worden. In [8] licht ik toe waarom ik denk dat de generatietijd tussen de 3 en de 4 dagen ligt. Dat zou betekenen dat ongeveer de helft van de besmette mensen pas gewaarschuwd wordt door CM als zij al besmettelijk zijn.

2) Ik vermoed dat de gemiddelde tijd tussen contact en app-melding hoger is dan 3,1 dagen. Zoals ik in [8] laat zien is dit in Engeland en Wales ca. 5 dagen. Ik overweeg om vergelijkbare berekeningen voor Nederland te maken, maar dat is minder nauwkeurig omdat het overgrote aandeel TEK's op de Nederlandse CM-server van buitenlandse apps afkomstig is.

Dat de gemiddelde doorlooptijd zo hoog is, komt mede doordat de meeste app-gewaarschuwden zich pas laten testen als zij ook symptomen (klachten) hebben (uit tabel A: 64.949 tegen 61.288) en de noodzaak om je ASAP te laten testen onbekend bij app-gebruikers (zie ook [9]).

[8] https://tweakers.net/nieuws/181974/een-op-de-vijfentwintig-europeanen-meldt-coronabesmetting-in-app.html?showReaction=16089760#r_16089760
[9] https://www.security.nl/posting/695129/Hugo+snapt+CoronaMelder+niet


E) Nog meer larie uit de samenvatting
Uit [2]:
Zie boven.

Volgens de laatste versie van [5] (23 mei) hebben 4.901.914 "mensen CoronaMelder gedownload" oftewel "28,2% van de Nederlandse bevolking heeft CoronaMelder gedownload". Wat ging er mis dat daar nog maar zo weinig (16,7%) van over is?

Wat een totale onzin. Als mensen weinig onderling contact hadden, zouden er ook minder besmettingen zijn geweest. Als CM goed zou werken en evenredig verdeeld zou zijn over de bevolking, maakt het helemaal niets uit of er een lockdown is of niet, noch of er veel of weinig besmettingen zijn.

Dat heeft helemaal niets met de lockdown te maken. Wel met een hele reeks aan factoren zoals ik o.a. in [10] benoem.

Bovendien lijkt het aantal gebruikers terug te lopen. In elk geval verwacht ik dat, van het totale aantal deze week positief geteste mensen, minder dan 10% gegevens uit CM uploadt.

[10] https://www.security.nl/posting/704392


F) Het aantal mensen dat denkt dat CM henzelf beschermt tegen Corona, neemt toe
Uit de laatste "wave" van het LISS-panel onderzoek [11]:
- De vraag "Als ik de CoronaMelder gebruik, verlaag ik mijn risico op een besmetting met het coronavirus" wordt door nog slechts 49,8% (eerder 53,1%) van de ondervraagden met "Zeker niet waar" beantwoord (de rest twijfelt, weet het niet of kiest "Zeker waar"). Meer dan de helft van de app-gebruikers zou dus meer risico's kunnen nemen en zich minder aan de regels kunnen houden. En meer dan de helft van 2,9 miljoen app-gebruikers zijn heel veel mensen die in meer of mindere mate risico's kunnen nemen.

- Erger, 87,3% van de ondervraagden beantwoordt de vraag "Als ik de CoronaMelder gebruik, hoef ik me minder aan de andere maatregelen te houden" met "Zeker niet waar" (ook hier twijfelt de rest, weet het niet of kiest "Zeker waar"). Wellicht klinkt 12,7% weinig, maar als 2,9 miljoen Nederlanders nog met CM rondloopt, hebben we het potentieel over meer dan 368.000 roekeloze app-gebruikers die zich niet of minder aan de noodzakelijke maatregelen houden zonlang hun app niet waarschuwt - en dat doet CM zelden.

Waarom worden deze negatieve effecten niet meegenomen in het totaalplaatje?

[11] https://www.rijksoverheid.nl/binaries/rijksoverheid/documenten/publicaties/2021/05/28/rapporten-evaluatie-coronamelder-9-maanden/Rapportage_Evaluatie_CoronaMelder_TilburgUniversity_LISSpanel_Wave4_v2.pdf


CONCLUSIE
CoronaMelder is een grote flop met een averechts effect op de epidimie. Triest dat zoveel overheden over het falen van dit soort apps blijven liegen. Nog erger vind ik het dat wetenschappers, die objectief en onafhankelijk zouden moeten zijn, hun naam aan dit bedrog koppelen.