Amnesty: algoritmes Belastingdienst zorgden voor etnisch profileren
De algoritmes die de Belastingdienst gebruikte voor het controleren van aanvragen met de kinderopvangtoeslag hebben tot etnisch profileren geleid, wat een vorm van discriminatie is en daarmee in strijd met de mensenrechten, zo stelt Amnesty International op basis van eigen onderzoek. Volgens de mensenrechtenorganisatie heeft ongereguleerd gebruik van algoritmen tot discriminatie in de toeslagenaffaire geleid.
De Belastingdienst implementeerde in 2013 een algoritmisch systeem voor de opsporing van fraude bij de kinderopvangtoeslag. Dit systeem vergeleek goede en foute aanvragen om op basis daarvan risicoprofielen van aanvragers van kinderopvangtoeslag op te stellen. Het model bestond uit meerdere risicofactoren, waaronder Nederlanderschap.
Voor elke risicofactor kreeg de aanvrager een bepaald aantal punten, wat resulteerde in een totaalscore voor elke inkomende toeslagenvraag: de risicoscore. Ouders en verzorgers met een hoge risicoscore werden door ambtenaren onderzocht. De ambtenaar kreeg geen informatie over de reden voor de hoge risicoscore, aldus Amnesty.
"Het gebruik van nationaliteit in het algoritme geeft aan dat de ontwikkelaars en/of gebruikers van het systeem veronderstelden dat mensen van een bepaalde nationaliteit meer geneigd zouden zijn om fraude te plegen dan mensen van andere nationaliteiten. Het geeft ook aan dat de belastingdienst dacht dat er een verband bestaat tussen etniciteit en criminaliteit", zo stelt de mensenrechtenorganisatie.
De Nederlandse overheid zegt maatregelen te hebben genomen om herhaling van de toeslagenaffaire te voorkomen. Amnesty analyseerde deze maatregelen en stelt dat die op alle fronten tekort schieten. "Zo zijn ambtenaren niet verplicht om de mensenrechtenrisico’s vooraf in kaart te brengen, is het toezicht op algoritmes ondermaats, en mogen overheidsinstellingen het gebruik en de werking van algoritmes geheimhouden."
Volgens Amnesty moeten overheidsinstanties bij het gebruik van algoritmische systemen de mensenrechten beschermen. Zo moeten er regels worden opgesteld die mensenrechtenschendingen bij het gebruik van dergelijke systemen voorkomen. Verder moeten overheden transparant zijn over het gebruik van algoritmes en voor de inzet van algoritmische systemen een mensenrechtentoets uitvoeren.
Daarnaast moeten regeringen monitoring- en toezichtmechanismen instellen die controleren of de regels worden nageleefd. Verder vindt Amnesty dat de personen die verantwoordelijk zijn voor schendingen ter verantwoording worden geroepen en moeten er effectieve rechtsmiddelen zijn voor de mensen en groepen van wie rechten zijn geschonden.
Dus de verantwoordelijke minister, zijn voorgangers, en de hoogste ambtenaren van het departement gaan voorgeleid worden bij het Internationaal Strafhof wegens mensenrechten-schendingen?
Als dat net zo vlot gaat als met het afhandelen van de resitutie voor de slachtoffers van de Toeslagenaffaire, dan zijn die mannen (en vrouwen?) tegen die tijd stok oud en dement.
Nou, meestal wordt dat soort systemen niet "getrained" met gevoelens van de ontwikkelaars of gebruikers, maar met een grote hoeveelheid data vanuit de productie omgeving.
Dus je voert alle parameters van alle aanvragen in in het systeem, en daarbij ook de indicatie "fraude", en dan berekent het systeem de match tussen o.a. nationaliteit en fraude (evt in combinatie met andere parameters).
Dat is een "Bayesiaans filter". Wordt ook gebruikt door spamfilters, bijvoorbeeld.
Nou kan uit dit soort processen natuurlijk een ongemakkelijke waarheid komen. Als er daadwerkelijk meer gefraudeerd wordt door immigranten dan door autochtonen dan komt dat in dat cijfer voor nationaliteit terecht. Dat wil niet zeggen dat dat bij medewerkers vandaan komt die dan racistisch zouden zijn.
Waar je altijd voor moet oppassen is de vergelijking om te keren. Dus van "immigranten frauderen meer" te maken "dit is een immigrant dus die fraudeert vast". Dat kun je discriminatie noemen.
Ook moet de input neutraal zijn. Als je begint met alle immigranten te onderzoeken op fraude en die gegevens in het systeem te zetten, terwijl de rest van de data voornamelijk uit niet-fraude gevallen bestaat omdat dat niet onderzocht is, dan trek je het filter natuurlijk scheef. Dat is hetzelfde als wanneer je je Bayes filter laat trainen op een mailadres waar alleen spam op binnenkomt.
Deze hele check is ingebouwd naar aanleiding van de Bulgarenfraude. De kamer heeft destijds geëist dat het kabinet nog strenger moest controleren en het kabinet zij dat ze al het maximum deden binnen de wettelijke mogelijkheden.
In elk geval is het evident dat je de Bulgarenfraude (en soortgelijke fraude uit andere landen) het beste bestrijdt door de aanvragen van Bulgaren (en andere nationaliteiten) extra te controleren.
Voor deze controle had je Bulgaarse ronselaars die andere Bulgaren geld gaf als ze een tijdje in Nederland gingen wonen. In hun naam werd dan een toeslag aangevraagd en vervolgens verdwenen ze weer. Maar het geld werd uitgekeerd met een controle achteraf. De fraude met de toeslag aanvraag kwam dus pas aan het licht als de aanvragers niet meer te traceren waren.
De belastingdienst dacht dat niet alleen, maar de cijfers gaven aan dat dat verband er ook was.
Dat is een "Bayesiaans filter". Wordt ook gebruikt door spamfilters, bijvoorbeeld.
Een ander risico is dat een bias zichzelf in stand kan houden. Neem het volgende scenario:
• Bij bevolkingsgroep X komt daadwerkelijk relatief veel fraude voor.
• Het systeem pikt dat op, en mensen uit bevolkingsgroep X lopen daardoor een verhoogde kans gecontroleerd te worden.
• Na een aantal jaar is bevolkingsgroep X misschien beter geïntegreerd geraakt, jongeren zijn misschien beter opgeleid dan hun ouders en hebben betere banen; hoe dan ook, het is inmiddels niet meer zo dat er daar meer gefraudeerd wordt dan in andere bevolkingsgroepen.
• Omdat het nou eenmaal in het systeem zit worden ze wel nog steeds vaker gecontroleerd dan andere groepen.
• Omdat ze vaker worden gecontroleerd worden fraudeurs uit die groep ook vaker gepakt, het lijkt daardoor alsof er in groep X nog steeds relatief vaak gefraudeerd wordt, terwijl het alleen de pakkans is die verhoogd is.
• De nieuwe ervaringen worden natuurlijk aan het systeem gevoed en dat behoudt daardoor zijn bias tegen bevolkingsgroep X, waardoor die groep vaker gecontroleerd en gepakt blijft worden, zonder dat daar nog aanleiding voor is.
Zie je waarom de ongemakkelijke uitkomst niet per se de waarheid is?
Of er een onterechte bias in zo'n systeem zit kan ook nog eens heel lastig te achterhalen zijn. Een zelflerend systeem spuugt na de training typisch geen overzichtelijke en begrijpelijke verzameling van de toegepaste regeltjes uit, geschikt om door een mens beoordeeld te worden. Vaak is volstrekt onduidelijk op grond waarvan eigenlijk het onderscheid wordt gemaakt. Als dat systeem niet vertelt hoe de uitkomst tot stand is gekomen wordt het verdomd lastig om te beoordelen of er geen ongewenste dingen gebeuren.
De belastingdienst dacht dat niet alleen, maar de cijfers gaven aan dat dat verband er ook was.
Ja dat is het probleem, uit dergelijke systemen komen "ongemakkelijke" waarheden. Dingen die mensen niet willen
zien omdat ze zich er slecht bij voelen, of waarvan ze het idee hebben dat ze "vast niet kloppen". Maar die wel gebaseerd
zijn op waargenomen feiten. Feiten die bepaalde groeperingen liever niet zien en daarom wegvegen als "racisme".
Het enige waar je voor moet oppassen is zoals al gemeld een bias in de aangeleverde fraude data. Als je het idee
hebt dat Bulgaren wellicht frauderen, dan vervolgens in een gericht onderzoek alle Bulgaren gaat onderzoeken en hun
gegevens markeert met "heeft wel of niet gefraudeerd", en datzelfde niet doet bij de veel grotere groep autochtonen,
dan krijg je in een dergelijk filter de conclusie "Bulgaren frauderen veel vaker dan autochtonen" terwijl dat dan niet
echt zo hoeft te zijn.
Wel blijft dan uiteraard het geconstateerde fraudepercentage binnen de groep Bulgaren gewoon een geldig feit, als
dat bijvoorbeeld 80% is dan is dat nog steeds een reden om Bulgaren kritisch te bekijken. Maar als het bijvoorbeeld
3% is en normaal is 1%, dan zal een Bulgaar die daarop extra bekeken wordt dat als discriminerend kunnen neerzetten.
Het is discriminerend en racistisch on niet alle bulgaren gewoon op hun aanvraag de Nederlandse voorschotten van toeslagen te geven. Hoe wonderlijk en wereldvreemd is zo'n Amnesty als ze niet begrijpen dat zoiets niet waar is.
Na de commotie over de bulgarenfraude wilde iedereen in nederland dat dat aangepakt zou worden.
• De nieuwe ervaringen worden natuurlijk aan het systeem gevoed en dat behoudt daardoor zijn bias tegen bevolkingsgroep X, waardoor die groep vaker gecontroleerd en gepakt blijft worden, zonder dat daar nog aanleiding voor is.
Dat klopt niet. je vergelijkt de groepen in hun totale omvang en relatieve vergelijking en achtgronden.
Omdat ze vaker gecontroleerd worden zal de effectiviteit / ratio afnemen waardoor andere groepen juist in beeld zullen gaan komen. Je moet dus complete groepen met elkaar vergelijken en niet de grote privacy fout maken dat het niet mag van de privacy. Let wel je registreerd om die reden juist gevallen waar nies gevonden wordt.
Maak je de privacy fout in een fout argument dan schend je dus juist de privacy.
Maar dat is allemaal geen probleem voor Amnesty, zolang er maar geen sprake is van "racisme" volgens een of andere uitgebreide definitie van het begrip.
Die persoon weet niet dat hij/zij op een zwarte lijst staat, en ook niet waarom.
De behandelaar van zo'n geval, kreeg die informatie ook niet (als die informatie al beschikbaar en leesbaar was!)
Als een persoon zo'n "fout" maakt, dan kun je nog verhaal halen. Zonodig met diens baas spreken. Of uiteindelijk een rechtzaak aanspannen gebaseerd op de onderliggende documentatie. Die is te zien. te beoordelen.
Bij een algorime is dat alles niet niet aanwezig (bij de Tieslagen affaire).
Je weet niet dat je uitegzonderd bent.
Je weet niet waarom.
Omdat je niets weet, kun je geen verhaal halen. idem bij een rechtzaak.
Uiteindelijk moet de zwakkere burger het afleggen tegen de grote sterke belastingdienst.
En waarom? Omdat een algorite iets berekent heeft.
Compurer Says No.
• De nieuwe ervaringen worden natuurlijk aan het systeem gevoed en dat behoudt daardoor zijn bias tegen bevolkingsgroep X, waardoor die groep vaker gecontroleerd en gepakt blijft worden, zonder dat daar nog aanleiding voor is.
Dat klopt niet. je vergelijkt de groepen in hun totale omvang en relatieve vergelijking en achtgronden.
Omdat ze vaker gecontroleerd worden zal de effectiviteit / ratio afnemen waardoor andere groepen juist in beeld zullen gaan komen. Je moet dus complete groepen met elkaar vergelijken en niet de grote privacy fout maken dat het niet mag van de privacy. Let wel je registreerd om die reden juist gevallen waar nies gevonden wordt.
Maak je de privacy fout in een fout argument dan schend je dus juist de privacy.
“Iedereen die iets weet van risicoselectie weet dat je alert moet zijn op selectiebias”, zegt Liem. Bijvoorbeeld door ook aselect aanvragen te controleren. Maar dat gebeurde niet bij Toeslagen, zo blijkt uit een zelfonderzoek van het model uit maart van dit jaar dat de Belastingdienst ter inzage gaf aan Trouw en RTL Nieuws. “Wij onderzoeken alleen de hoge scores en er is geen toezichtproces dat ook andere kenmerken onderzoekt”, schrijft de dienst over het risico dat er sprake is van selectiebias.
Deze posting is gelocked. Reageren is niet meer mogelijk.
Junior DevOps Engineer
Certified Secure is op zoek naar een Junior DevOps Engineer. Deze functie is een stuk interessanter dan de term doet vermoeden! Om jou als potentiële nieuwe collega meteen te laten zien wat we doen hebben we speciaal voor jou een selectie gemaakt van een aantal leuke security challenges. Are you ready for a challenge?
Cybersecurity Trainer / Streamer
Toe aan een nieuwe nieuwe job waarmee je het verschil maakt? In de Certified Secure trainingen laat je deelnemers zien hoe actuele kwetsbaarheden structureel verholpen worden. Ook werk je actief mee aan de ontwikkeling van onze gamified security challenges. Bij het maken van challenges kom je telkens nieuwe technieken tegen, van Flutter tot GraphQL, van Elastic Search tot Kubernetes.
