De overheid maakt steeds vaker gebruik van algoritmes en kunstmatige intelligentie om mensen te selecteren of in te delen in groepen en als dit niet rechtmatig en transparant gebeurt ligt discriminatie op de loer, zo waarschuwt Aleid Wolfsen, voorzitter van de Autoriteit Persoonsgegevens. De privacytoezichthouder legde de Belastingdienst deze week een boete van 2,75 miljoen euro op voor het overtreden van de AVG.

Uit onderzoek van de AP naar de Toeslagenaffaire bleek dat de fiscus discriminerend te werk ging bij het beoordelen van aanvragen voor kinderopvangtoeslag en bij het selecteren van mensen voor (fraude)onderzoek. De slachtoffers waren op basis van een algoritme als 'risico' of voor (fraude)onderzoek geselecteerd.

Volgens Wolfsen mag de overheid dergelijke selecties op basis van een algoritme of AI alleen maken als dit wettelijk is toegestaan. Daarnaast hebben mensen het recht om te weten dat er op deze manier is geselecteerd en wat de selectiecriteria zijn. Het is daarom belangrijk scherp te zijn op de selectiecriteria van een algoritme of AI en hier transparant over te zijn, aldus de AP-voorzitter.

"Het onbekend blijven van selecteren leidt tot schijnzekerheid voor de overheid. Want burgers zullen alsnog in bezwaar gaan zodra het wordt ontdekt. Of om een herziening van een rechterlijke uitspraak vragen, schadevergoeding vragen of alsnog een klacht indienen bij de AP."

Wolfsen merkt op dat het voor burgers buiten twijfel moet zijn dat selectie door algoritmes en AI eerlijk en rechtmatig heeft plaatsgevonden. "Dan moet steeds buiten iedere twijfel zijn dat dat eerlijk en rechtmatig heeft plaatsgevonden. Dus moet dat bekend zijn en toetsbaar. Voor alle criteria en selectieregels moet een objectieve rechtvaardiging zijn."

Hij waarschuwt dan ook voor de (potentiële) gevaren van het gebruik van algoritmen en de mogelijke discriminerende werking ervan. "Zo houden we elkaar scherp, wordt er eerlijk en rechtmatig geselecteerd en kunnen rechters mensen adequaat beschermen tegen onrechtmatige inbreuken op grondrechten, waaronder het grondrecht op non-discriminatie."