Amnesty: overheid zet steeds vaker risicoprofilering en algoritmen in
Overheidsorganisaties hebben zeer ruime bevoegdheden om mensen te controleren en zetten steeds vaker risicoprofilering en algoritmen in, wat de deur open zet voor machtsmisbruik en etnisch profileren, zo laat Amnesty International vandaag weten. Volgens de mensenrechtenorganisatie doet het kabinet te weinig om mensen in Nederland te beschermen tegen etnisch profileren.
"Door schandalen van de afgelopen jaren over discriminerende werkwijzen bij onder meer de politie, de Koninklijke Marechaussee, de Belastingdienst en DUO is duidelijk geworden dat het om een structureel en overheidsbreed probleem gaat", aldus Amnesty. De mensenrechtenorganisatie stelt dat de overheid bij de beslissing wie zij controleert zich steeds vaker baseert op risicoprofilering of risico-inschattingen, al dan niet met behulp van algoritmen.
"Overheidsorganisaties dienen zich ook bewust te zijn dat er bij het gebruik van algoritmen voor ondersteuning van beslissingen het risico bestaat op ‘automation bias’. Dat wil zeggen dat ambtenaren zich te veel laten leiden door de uitkomst van het algoritme, in dit geval de risicoscores en categorisering. Dit staat op zeer gespannen voet met het zorgvuldigheidsbeginsel", gaat Amnesty verder.
De inzet van risicoprofilering en algoritmen vindt echter plaats zonder duidelijke regulering en waarborgen, zo claimt Amnesty in het rapport ‘Etnisch profileren is overheidsbreed probleem – Nederlandse overheid moet burgers beschermen tegen discriminerende controles’ (pdf). De Tweede Kamer heeft wel moties aangenomen over een verplichte mensenrechtentoets voor algoritmes, maar volgens Amnesty is het onduidelijk hoe deze verplichting zal worden gehandhaafd.
Transparantie
Amnesty vindt dat overheidsorganisaties transparant moeten zijn over het gebruik van algoritmen voor beslissingen over burgers, door zinvolle informatie te verstrekken over de onderliggende logica, het belang en de verwachte gevolgen van beslissingen, zelfs als de besluitvorming niet volledig geautomatiseerd is, en ongeacht de mate van menselijke betrokkenheid bij het besluitvormingsproces.De mensenrechtenorganisatie constateert drie tekortkomingen aan het Algoritmeregister dat in december 2022 door het kabinet is gelanceerd: het register is nog altijd niet verplicht, de informatie in het register niet compleet en ontoereikend en het kabinet is voornemens om een uitzondering op de registratieplicht te introduceren voor opsporing, rechtshandhaving, defensie en inlichtingenverzameling.
Amnesty constateert ook dat de nieuwe algoritmetoezichthouder niet voldoende mandaat en middelen heeft gekregen om mensenrechtenschendingen als gevolg van de inzet van algoritmen effectief te kunnen aanpakken. De organisatie pleit voor een verplicht en openbaar Algoritmeregister, effectief toezicht, een verbod op het gebruik van zelflerende en black box-algoritmen voor de ondersteuning van selectiebeslissingen en risicoprofilering en een verplichte en bindende mensrechtentoets vooraf en tijdens het gebruik van algoritmes voor risicoprofilering.
Is er een gedragsbeïnvloedings unit die we op de overheid kunnen loslaten tegen ONDERMIJNING van onze Rechtsstaat?
https://onderzoek.amsterdam.nl/artikel/niet-westerse-allochtonen-verspreid-over-stad. Het is een gevolg van de lokale populatie. Om dan te zeggen dat de ANPR camera racistisch zijn omdat het niet aan een ideaal van geheel nederland voldoet is te kort door de bocht. Die houding is op zich racistisch. Amnesty is op dat vlak van het goed pad afgedwaald.
Voor DUO was er onderliggende onbekend relatie de aanleiding voor een scheve verhouding. Wat met een schever verhouding niet deugt is dat er geen enkele ander geval in het onderzoek en ophef is. Alsof er een bias (discriminatie) in het onderzoek tegen DUO in opgesloten zit.
Het duiden van zelflerende back-box algoritmen toont een andere bias vooringenomenheid aan. Geen onderzoek naar de achterliggende statistieken maar de statistieken zelf als discriminerend duiden.
voel je al een beetje een op afstand aanstuurbare cyborg, toch?
Hoe ver wil de overheid gaan? Waar zijn ze zo bang voor?
Pendant van "woke is broke", ben jein Mokum niet 'wakker', ben je een "stakker".
Straks zal men A.I. gaan inzetten om uw toekomstig eventueel in de fout kunnen gaan vast te stellen.
Alleen de algeheel afgestompte zombies zullen dan nog de dans kunnen ontspringen,
terwijl om hen heen allerlei soorten vrijheden van weleer worden ingeperkt.
U dient aan te nemen, wat wij u voorkauwen, ook al is het de grootste onzin.
Anders werkt vanaf nu de oplaadpaal niet meer (stroomtekort).
In welke dystopie wil men ons met z'n allen op den duur laten leven?
Je mag de kat zelfs nu niet meer 's nachts buiten laten, een vergrijp tegen de natuur namelijk (of andersom).
Maar wie blijven de katjes in het donker knijpen? (sarcasm intended)
https://onderzoek.amsterdam.nl/artikel/niet-westerse-allochtonen-verspreid-over-stad. Het is een gevolg van de lokale populatie. Om dan te zeggen dat de ANPR camera racistisch zijn omdat het niet aan een ideaal van geheel nederland voldoet is te kort door de bocht. Die houding is op zich racistisch. Amnesty is op dat vlak van het goed pad afgedwaald.
Bovenstaande klinkt als een enigzins kromme analogie, maar goed.
Als diezelfde camera's in andere delen van het land een soortgelijk resultaat laten zien, dan ligt dat er dus volgens jouw aan dat overal Surinamers wonen of langskomen?
Want een camera kan specifiek "een Surinamer" van mensen met een andere achtergrond onderscheiden.
Of zou er dan toch iets anders fout gaan. Een bias op huidskleur, oid?
Wat de overheid steeds vaker doet, en dit lijkt overgewaaid uit de VS, is het profileren van bevolkingsgroepen. Het hangt kenmerken aan zulke groepen, en als die kenmerken herkend worden, dan wordt iemand in zo'n hokje geplaatst. En vaker of minder vaak, of helemaal niet (ons kent ons) gecontroleerd.
Dit gebeurde vroeger op school ook al.
Ik kwam uit een arbeidersgezin, en ook al had ik een zeer hoge cito-score, het advies was lts/mavo. Dat vond de leraar wel voldoende voor me. Hij stimuleerde me ook nergens in. (de lagere school was oersaai)
FYI: Ik heb zonder omwegen VWO gedaan (de middelbare school wilde me de kans wel geven, lager kon altijd nog vinden ze) en ik ben afgestudeerd.
Dus die leraar met zijn sociale vooroordelen zat er zwaar naast.
We kennen allemaal wel de zeer racistische uitdrukking:
"Wij (Nederlanders) hebben de klok, zij (Indiers, zwarten,etc) hebben de tijd".
Zulke aannames worden, onbewust ook verwerkt in dit soort algoritmes. Niet omdat mensen elkaar haten (ik blijf positief), maar omdat iedereen vooroordelen heeft. En velen zijn zich daar niet of slecht van bewust.
We zitten allemaal in onze bubbels en sociale laag.
Ga je (als testje) eens anders kleden en gedragen dan de rest van je buren. Hou dat een maandje vol, en beoordeel dan hoe ze met je omgaan en over je spreken achter je rug.
Dit werkt nog beter als je net verhuist bent.
De overheid wel hoor!
Bovenstaande klinkt als een enigzins kromme analogie, maar goed.
Dat gelijk willen trekken op geuitte gevoelens is behoorlijk fout
Als je gaat racismie discriminatie gaat roepen moet het volledige beeld correct uitgewerkt worden.
Als door een lokale verdeling het heel voor de hand liggend is, dan is dat het ijkpunt niet een ander verzonnen iets.
Haaienaanvallen gaan samen met pieken in ijsjesverkoop. Om nu de ijsjesverkopers schuldig te verklaren aan de aanvallen ..... tja
Ik kwam uit een arbeidersgezin, en ook al had ik een zeer hoge cito-score, het advies was lts/mavo. Dat vond de leraar wel voldoende voor me. Hij stimuleerde me ook nergens in. (de lagere school was oersaai)
Je hebt het gehaald ik adviseer om het schoolgeld terug vragen.
Je hebt de hele basis van statistiek en sociale verhoudingen gemist dan wel vergeten.
"Wij (Nederlanders) hebben de klok, zij (Indiers, zwarten,etc) hebben de tijd".
Nederlanders is aangeleerd om met de klok te werken, het is een cultuurverschil zols "yes sahib" en er veel meer zijn. Je moet interesse daarvoor hebben zonder dat als racisme zien
Zulke aannames worden, onbewust ook verwerkt in dit soort algoritmes. Niet omdat mensen elkaar haten (ik blijf positief), maar omdat iedereen vooroordelen heeft. En velen zijn zich daar niet of slecht van bewust.
Een van de bubbels in een sociale groep is dat de ander discriminerende racistisch is en jezelf gevrijwaard bent van dat soort overtuigingen. De tegenspraak zit in "de ander"
Ik kwam uit een arbeidersgezin, en ook al had ik een zeer hoge cito-score, het advies was lts/mavo. Dat vond de leraar wel voldoende voor me. Hij stimuleerde me ook nergens in. (de lagere school was oersaai)
Je hebt de hele basis van statistiek en sociale verhoudingen gemist dan wel vergeten.
Het opleidingsniveau van ouders en onderadvisering in het primair onderwijs.
"Leerlingen met lager opgeleide ouders krijgen vaker een advies voor een lager onderwijsniveau én minder vaak een advies voor een hoger onderwijsniveau dan op basis van hun Cito-eindscore te verwachten zou zijn (Inspectie van het Onderwijs, 2018). Dat stelt de Onderwijsinspectie in het rapport "De Staat van het Onderwijs", het onderwijsverslag over het schooljaar 2016/2017. (..) Kansenongelijkheid in het onderwijs lijkt volgens de rapporten tevens alsmaar toe te nemen."(Inleiding; pagina's zijn niet genummerd).
https://thesis.eur.nl/pub/42929/Kuijpers-N.-432071.pdf
Wellicht is een avondstudie sociologie met aandachtspunt "kansenongelijkheid" een zinvolle aanvulling voor je.
Je bent niet ingelogd en reageert "Anoniem". Dit betekent dat Security.NL geen accountgegevens (e-mailadres en alias) opslaat voor deze reactie. Je reactie wordt niet direct geplaatst maar eerst gemodereerd. Als je nog geen account hebt kun je hier direct een account aanmaken. Wanneer je Anoniem reageert moet je altijd een captchacode opgeven.
Junior DevOps Engineer
Certified Secure is op zoek naar een Junior DevOps Engineer. Deze functie is een stuk interessanter dan de term doet vermoeden! Om jou als potentiële nieuwe collega meteen te laten zien wat we doen hebben we speciaal voor jou een selectie gemaakt van een aantal leuke security challenges. Are you ready for a challenge?
Cybersecurity Trainer / Streamer
Toe aan een nieuwe nieuwe job waarmee je het verschil maakt? In de Certified Secure trainingen laat je deelnemers zien hoe actuele kwetsbaarheden structureel verholpen worden. Ook werk je actief mee aan de ontwikkeling van onze gamified security challenges. Bij het maken van challenges kom je telkens nieuwe technieken tegen, van Flutter tot GraphQL, van Elastic Search tot Kubernetes.
