image

D66 wil opheldering minister over discriminerende surveillancesoftware

maandag 18 juli 2022, 13:58 door Redactie, 26 reacties

D66 wil opheldering van minister Dijkgraaf van Onderwijs over discriminerende surveillancesoftware. Aanleiding is een bericht over een student van de Vrije Universiteit die in eerste niet door de surveillancesoftware Proctorio werd herkend. De software wordt ingezet bij het afnemen van online examens en tentamens.

De student diende een officiële klacht bij de VU in en vroeg de universiteit te stoppen met het gebruik van de surveillancesoftware. Ze vond dat de VU geen verantwoordelijkheid nam voor de inzet van de software en stapte vervolgens naar het College voor de Rechten van de Mens.

"Bij Proctorio specifiek is aangetoond dat de software gebruik maakt van gezichtsherkenningstechnologie die significant minder goed werkt bij mensen met een donkere huidskleur dan bij mensen met een lichtere huidskleur. In buitenlandse media is er al geschreven over studenten met vergelijkbare ervaringen als die van Pocornie", aldus het Racism and Technology Center. "Toch wordt de software nog altijd gebruikt door onder meer de VU, de UvA, de TU Eindhoven en de Universiteit Twente."

D66 wil nu opheldering van de minister. "Welke mogelijkheden ziet u om ervoor te zorgen dat onderwijsinstellingen zich voor de inkoop of gebruik ervan te vergewissen dat software of technologie in de brede zin geen discriminerende werking heeft?", vraagt Kamerlid Van der Laan, die tevens wil weten welke mogelijkheden Dijkgraaf ziet om ervoor te zorgen dat instellingen in het hoger onderwijs in de toekomst geen discriminerende software of technologie meer gebruiken. De minister heeft drie weken om met een reactie te komen.

Reacties (26)
18-07-2022, 14:10 door gradje71
Typisch D66. Het gaat er helemaal niet over uit dat het systeem surveilleert, het gaat erover uit dat de software discrimineert.
18-07-2022, 14:19 door Anoniem
Ze zou juist blij moeten zijn dat ze niet herkend wordt. Wat een omgekeerde wereld.
18-07-2022, 14:21 door Anoniem
Ik denk dat mensen veel geld overhebben om niet meer herkend te worden en incognito over straat te kunnen gaan.
18-07-2022, 15:09 door Sysosmaster
Door gradje71: Typisch D66. Het gaat er helemaal niet over uit dat het systeem surveilleert, het gaat erover uit dat de software discrimineert.

Protoring = surveilleren... beetje nutteloos om daar tegen te ageren.

En het gebruik er van is dus een andere discussie.... (en ja er zijn betere oplossingen dan de troep die door Proctorio word gemaakt.)
18-07-2022, 15:47 door Anoniem
D66 is zelf zo discriminerend als wat dus wat willen ze nou
18-07-2022, 16:31 door Anoniem
Hoe discrimineert men met een gender-figuur in de sport? Hebben we daar al software voor of is D66 daar ook tegen?
Ze kunnen al niet meer overweg met het doorzetten van hun eigen absurditeiten. Omgekeerde discriminatie regels: wit zwart noemen dus.
18-07-2022, 16:33 door John777
Ik begrijp sowieso niet dat de studenten niet massaal in opstand zijn gekomen toen deze draconische maatregelen zijn ingevoerd.

Zijn de D66 stemmers oververtegenwoordigd onder de studenten? Het lijkt er op, en in dat geval kunnen we onze borst nat maken...
18-07-2022, 16:44 door Anoniem
Typisch weer een gevalletje stemmingmakerij: Mevrouw op TV is donker, gebruikt de software op een Acer laptop met een paar lampen achter zich.. en dan maar weer de discriminatiekaart trekken...
18-07-2022, 18:29 door Anoniem
Door Anoniem: Typisch weer een gevalletje stemmingmakerij: Mevrouw op TV is donker, gebruikt de software op een Acer laptop met een paar lampen achter zich.. en dan maar weer de discriminatiekaart trekken...
Je moet toch wat, als al het andere niet lukt.
18-07-2022, 19:41 door Anoniem
Door John777: Ik begrijp sowieso niet dat de studenten niet massaal in opstand zijn gekomen toen deze draconische maatregelen zijn ingevoerd.

Vanuit de Landelijke Studentenvakbond (LSVb) zijn eind 2021, nog in de coronacrisis, wel degelijk protesten geuit:

https://www.security.nl/posting/734303/LSVb%3A+surveillancesoftware+inbreuk+op+studentenrechten
19-07-2022, 06:52 door gradje71
Door Anoniem:
Door John777: Ik begrijp sowieso niet dat de studenten niet massaal in opstand zijn gekomen toen deze draconische maatregelen zijn ingevoerd.

Vanuit de Landelijke Studentenvakbond (LSVb) zijn eind 2021, nog in de coronacrisis, wel degelijk protesten geuit:

https://www.security.nl/posting/734303/LSVb%3A+surveillancesoftware+inbreuk+op+studentenrechten

Geuit, ja, maar geen massale protesten. Dat is een heel groot verschil. Een verschil dat verschil had kunnen maken. Ik weet niet waarom ze dat niet deden. Het kan toch niet zo zijn dat iedere student het verhaal gelooft? Als dat wel zo is dan zie ik de toekomst somber in.
19-07-2022, 07:37 door Anoniem
Studenten zijn veel lauwer als bijvoorbeeld in 1968. Gepamperd en gestreken zeker.
19-07-2022, 10:47 door Anoniem
Door Anoniem: Studenten zijn veel lauwer als bijvoorbeeld in 1968. Gepamperd en gestreken zeker.

De huidige generatie studenten is veel realistischer en pragmatischer dan de babyboom generatie en hun verwende kroost, die nog eeuwig op kosten van de staatsruif konden studeren. Idealen zijn leuk, maar slagen voor je tentamens is nuttiger dan machteloos tegen de bierkaai protesteren. Want zeg nu zelf: wat hebben al die massale protesten tegen de A27 dwars door de Amelisweerd en tegen de plaatsing van kernkoppen bij Volkel uitgehaald? Helemaal niets.
26-08-2022, 17:19 door Anoniem
Een start-up in Silicon Valley genaamd Sanas heeft een spraaktechnologie ontwikkeld die de accenten van callcenter medewerkers in realtime kan veranderen. Zelf zegt het bedrijf daarmee vooroordelen te willen wegnemen, maar critici vinden dat het toegeeft aan racisme.

https://www.welingelichtekringen.nl/tech/3588104/bedrijf-gebruikt-techniek-om-zwarte-callcentermedewerkers-wit-te-laten-klinken.html
09-12-2022, 11:18 door Anoniem
Antispieksoftware discrimineerde VU-studente vermoedelijk vanwege huidskleur

https://www.trouw.nl/binnenland/antispieksoftware-discrimineerde-vu-studente-vermoedelijk-vanwege-huidskleur~bf67d871/

Vermoedelijk is hier sprake van ‘algoritmische discriminatie’, zo concludeert het College voor de Rechten van de Mens:

https://www.mensenrechten.nl/actueel/nieuws/2022/12/09/eerste-keer-vermoeden-van-algoritmische-discriminatie-succesvol-onderbouwd
25-01-2023, 12:32 door Anoniem
Een openbaar algoritmeregister [ algoritmes.overheid.nl ] onder toezicht van de Autoriteit Persoonsgegevens (AP) is onvoldoende om discriminerende formules te bestrijden, schrijft Joris Krijger, promovendus AI en Ethiek aan de Erasmus Universiteit Rotterdam en oprichter van Ethische Data Science Associatie.

https://www.trouw.nl/opinie/publieke-controle-op-algoritmes-is-alleen-mogelijk-met-volledige-toegang~be11bb50/
14-02-2023, 12:15 door Anoniem
Hof verbiedt etnisch profileren marechaussee bij controles

https://nos.nl/artikel/2463761-hof-verbiedt-etnisch-profileren-marechaussee-bij-controles

De KMar mag huidskleur niet laten meewegen bij grenscontroles van reizigers die Nederland willen binnenkomen. Het beleid om op basis van veronderstelde etniciteit de één wel te controleren en anderen niet, is discriminerend. Dat heeft het gerechtshof in Den Haag dinsdag geoordeeld. Het hof verbiedt etnisch profileren bij grenscontroles.

https://www.nrc.nl/nieuws/2023/02/14/hof-marechaussee-discrimineert-bij-grenscontroles-mag-huidskleur-niet-meewegen-a4157048

Het gaat om de MTV-controles (Mobiel Toezicht Veiligheid), die worden ingezet bij de controle binnen de Europese Unie.
15-02-2023, 11:06 door Anoniem
Een volledige garantie op vooroordeelloze algoritmes is niet te geven, schrijven Linda Kool en Jurriën Hamer van het Rathenau-instituut. Laat de politiek daarom eerst bepalen welke vorm van profilering ze aanvaardbaar vindt – en waarom. Het non-discriminatierecht is niet altijd absoluut – het draait vaak om het maken van de juiste ­afweging.

https://www.trouw.nl/opinie/accepteer-dat-algoritmes-kunnen-discrimineren~b500c230/
16-02-2023, 13:05 door Anoniem
Ook zonder etnische profilering kan de marechaussee heus haar werk wel doen

column door Raoul du Pré, 16 februari 2023

https://www.volkskrant.nl/columns-opinie/ook-zonder-etnische-profilering-kan-de-marechaussee-heus-haar-werk-wel-doen~b8b8b0c6c/
19-03-2023, 10:24 door Anoniem
Felienne Hermans (39), hoogleraar computerwetenschappen aan de Vrije Universiteit Amsterdam, vreest opmars AI:

Critici waarschuwen al langer voor het feit dat in AI-systemen onbewust voorkeuren sluipen als gevolg van niet-neutrale data waarmee ze zijn getraind. Onlangs werd dit weer eens pijnlijk geïllustreerd door ChatGPT, dat bij het ‘trolley-probleem’ [1] van een duidelijke voorkeur voor het redden van mannen boven vrouwen [2] blijk gaf.

https://www.volkskrant.nl/nieuws-achtergrond/hoogleraar-computerwetenschappen-vreest-opmars-ai-wilt-u-50-euro-extra-betalen-voor-een-mens-toets-1~b5a92a0d/

[1] https://nl.wikipedia.org/wiki/Trolleyprobleem
[2] https://switzerlandtimes.ch/lifestyle/chat-gpt-prefers-to-let-women-die/


Nederland bungelt onderaan in de lijsten van participatie van vrouwen in de techniek. Meisjes hebben te maken met stereotypes en een omgeving die een ICT carrière ontmoedigen. De wijze van lesgeven lijkt neutraal, maar is dat niet.
30-03-2023, 12:27 door Anoniem
Gelukkig leven we nog niet in klein China, zegt Hans de Zwart. Hij doet onderzoek naar verantwoorde inzet van IT aan de Hogeschool van Amsterdam, is mede-oprichter van het Racism and Technology Center en zag Total Trust afgelopen weekend. ”Ik denk wel dat de verschillen met China soms kleiner zijn dan we denken. Wij zijn ook op allerlei manieren bezig sociale controle uit te oefenen en gedrag te normeren met behulp van surveillance.”

Sociale controle
Massasurveillance bestaat niet alleen in China, ook hier sijpelt het de maatschappij binnen

https://www.trouw.nl/cultuur-media/massasurveillance-bestaat-niet-alleen-in-china-ook-hier-sijpelt-het-de-maatschappij-binnen~b133a84d/
24-04-2023, 16:20 door Anoniem
‘Pas op met deze visumaanvraag’, waarschuwt het algoritme. De papiermolen rond visa detacheert Buitenlandse Zaken zo veel mogelijk naar buitenlandse bedrijven. Maar het risico op ongelijke behandeling door profilering van aanvragers blijft bestaan. Kritiek van de interne privacy-toezichthouder, werd door het ministerie in de wind geslagen.

https://www.nrc.nl/nieuws/2023/04/23/beslisambtenarenblijven-profileren-met-risicoscores-a4162837

VFS Global is het bedrijf dat voor de Nederlandse overheid aanvragen voor het Schengenvisum verwerkt. De ‘functionaris gegevensbescherming’ (FG) van het ministerie van Buitenlandse Zaken heeft grote moeite met het risicoscore systeem 'Informatie Ondersteund Beslissen' (IOB), en trok aan de bel.


Ethnic Profiling: Whistleblower reveals Netherlands' use of secret and potentially illegal algorithm to score visa

https://www.lighthousereports.com/investigation/ethnic-profiling/


Op het ministerie woedt een conflict over de risico’s op datalekken en mogelijke discriminatie van visumaanvragers.
19-10-2023, 12:21 door Anoniem
Klacht over 'discriminerende' antispieksoftware niet gegrond, oordeelt het College voor Rechten van de Mens

https://nos.nl/artikel/2494441-klacht-over-discriminerende-antispieksoftware-niet-gegrond-oordeelt-college

Het college zegt nu dat de VU voldoende heeft aangetoond dat de student niet meer problemen met inloggen had dan andere studenten. De keren dat ze wel moeite had met inloggen kwam dat volgens het college niet vanwege haar huidskleur, maar doordat haar internetverbinding haperde of vanwege de bril die ze droeg.

https://www.mensenrechten.nl/actueel/nieuws/2023/10/17/student-niet-gediscrimineerd-door-tentamensoftware-proctorio-maar-vu-had-de-klacht-zorgvuldiger-moeten-behandelen
13-01-2024, 21:53 door Anoniem
Hoe ging het verder met de ophef rond software die aan de Vrije Universiteit een student zou hebben gediscrimineerd?

Bij vier tentamens [...] hoefde zij niet meer dan drie pogingen te doen om in te loggen (na drie keer krijgt de student automatisch hulp aangeboden). Bij drie van vier latere tentamens kwam ze sneller in de tentamenomgeving dan de gemiddelde deelnemer. Dat het bij één tentamen niet lukte, werd volgens de VU veroorzaakt door haar bril.

https://www.nrc.nl/nieuws/2024/01/10/vrije-universiteit-vrijgepleit-van-discriminatie-met-systeem-voor-gezichtsherkenning-a4186530
01-02-2024, 11:32 door Anoniem
Aylin Alexa Zainea (Universiteit Leiden) heeft met haar masterscriptie ‘Automated Decision-Making (ADM) in Online Platforms: Protection Against Discrimination and Manipulation of Behavior’ de eerste AP-scriptieprijs gewonnen.

https://www.security.nl/posting/827402/Autoriteit+Persoonsgegevens+reikt+eerste+scriptieprijs+studenten+uit
31-07-2024, 20:07 door Anoniem
De Rekenkamer ontwikkelde een een toetsingskader om algoritmen te controleren. Het beeld na het schrijven van stapels onderzoeksrapporten dat blijft hangen, is dat het te gemakkelijk is om alleen op discriminatie te focussen:

https://www.rekenkamer.nl/onderwerpen/algoritmes/toetsingskader

Algoritmen maken werk efficiënter, ze besparen tijd en geld. Een wereld zonder is inmiddels ondenkbaar. Maar ze brengen ook onmiskenbaar risico’s met zich mee. Daarom is het van doorslaggevend belang dat ze aan een aantal randvoorwaarden voldoen. Niet alleen dat ze niet discrimineren, maar ook dat informatie bijvoorbeeld veilig wordt opgeslagen, dat risico’s bewust worden afgewogen en dat ze doeltreffend zijn.

ingezonden bijdrage door Ewout Irrgang, collegelid van de Algemene Rekenkamer

https://www.volkskrant.nl/columns-opinie/opinie-als-het-aankomt-op-algoritmen-zijn-de-problemen-van-het-rijk-breder-dan-alleen-discriminatie~b6c34c16/
Reageren
Ondersteunde bbcodes
Bold: [b]bold text[/b]
Italic: [i]italic text[/i]
Underline: [u]underlined text[/u]
Quote: [quote]quoted text[/quote]
URL: [url]https://www.security.nl[/url]
Config: [config]config text[/config]
Code: [code]code text[/code]

Je bent niet en reageert "Anoniem". Dit betekent dat Security.NL geen accountgegevens (e-mailadres en alias) opslaat voor deze reactie. Je reactie wordt niet direct geplaatst maar eerst gemodereerd. Als je nog geen account hebt kun je hier direct een account aanmaken. Wanneer je Anoniem reageert moet je altijd een captchacode opgeven.