De inzet van algoritmes voor monitoring van het betalingsverkeer is niet zonder risico's en kan tot een 'chilling effect' leiden, zo stelt de Autoriteit Persoonsgegevens (AP) in de eerste 'Rapportage Algoritmerisico’s Nederland'. Daarin laat de privacytoezichthouder onder andere weten dat duidelijke regelgeving omtrent algoritmes nu cruciaal is. Sinds het begin van dit jaar houdt de AP ook toezicht op het gebruik van algoritmes. In de vandaag verschenen rapportage worden de risico's van algoritmes besproken en de gevolgen die dit voor de maatschappij kunnen hebben.
Het gaat dan ook om het gebruik van algoritmes om het betalingsverkeer te monitoren. Het demissionaire kabinet presenteerde vorig jaar plannen om alle particuliere transacties boven de 100 euro gezamenlijk door banken te monitoren. Privacy First sprak van een 'bancair sleepnet' en ook volgens de AP is dit niet zonder risico's. "Waar algoritmes ingezet worden om ongebruikelijke patronen te herkennen, bestaat ook snel het risico dat bias kan resulteren in ongewenste discriminerende effecten." Een mogelijk gevolg is ook het optreden van een 'chilling effect'. Dit is het verschijnsel dat mensen hun gedrag aanpassen wanneer ze het gevoel krijgen in hun grondrechten te worden aangetast. Ongeacht of dit echt zo is.
"Een nieuwe vorm van het chilling effect doet zich voor in de interactie tussen mens en algoritmes. Het is namelijk ook mogelijk dat mensen hun gedrag veranderen als zij weten, of het idee hebben, dat ze niet door een mens maar door een algoritme zullen worden beoordeeld", waarschuwt de Autoriteit Persoonsgegevens. Ook bij het gebruik van algoritmes voor gemeentelijke sociale voorzieningen en rechtshandhaving ziet de toezichthouder de nodige risico's.
"Algoritmes en AI kunnen geweldig nuttig zijn, maar brengen ook risico’s met zich mee. Bijvoorbeeld het risico op discriminatie, oneerlijke uitkomsten, misleiding en gebrek aan transparantie en uitlegbaarheid", zegt AP-voorzitter Aleid Wolfsen. "Het bewustzijn hierover neemt toe, maar veel overheden en bedrijven zijn nog zoekende naar de juiste manier om dit te doen. Daarom is duidelijke regelgeving nu cruciaal. We roepen het demissionaire kabinet op om hierin voortgang te blijven maken."
De AP adviseert om alvast aan te sluiten bij de (verwachte) classificatie van hoogrisico-systemen onder aankomende Europese wetgeving die nu in onderhandeling is. Zo wordt het kabinet door de toezichthouder opgeroepen om overheidsorganisaties één jaar te geven om het algoritmeregister verplicht te vullen met alle hoogrisico-algoritmes.
Deze posting is gelocked. Reageren is niet meer mogelijk.