Het College voor de Rechten van de Mens waarschuwt voor de inzet van algoritmen in het onderwijs, omdat dit een risico voor de privacy van leerlingen en studenten kan zijn en kan leiden tot ongelijke behandeling. Het College roept de overheid op om scholen te helpen dergelijke risico's tegen te gaan. Onderzoeksinstituten KBA Nijmegen en ResearchNed deden in opdracht van het College onderzoek naar hoe algoritmen in het onderwijs in Nederland worden ingezet.

Daaruit blijkt volgens het College dat veel onderwijsinstellingen digitale middelen inzetten waarbij algoritmes keuzes maken, zoals leersystemen die oefeningen automatisch aanpassen op het gedrag van de leerling. "De inzet van deze middelen kent voordelen, maar ook risico's", aldus het College. Het gaat vooral om risico’s op discriminatie en/of kansenongelijkheid, zo staat in het onderzoeksrapport.

"Dergelijke risico’s kunnen het gevolg zijn van ‘bias’. Deze kan ontstaan door de selectie of het gebruik van data waarmee het algoritme is getraind en door de manier waarop het algoritme is geprogrammeerd. Als het algoritme onvoldoende rekening houdt met de achtergrond of specifieke kenmerken van bepaalde groepen, kunnen zij worden benadeeld", stellen de onderzoekers. Die voegen toe dat het doorgaans moeilijk is om vast te stellen of bepaalde algoritmen inderdaad sommige groepen benadelen.

"Het is onvoldoende transparant hoe algoritmen precies werken. Volgens deskundigen komt dat mede doordat er commerciële belangen mee zijn gemoeid", zo stellen de onderzoekers. Een ander risico van het gebruik van algoritmen in het onderwijs waarop wordt gewezen, is het risico dat de privacy van leerlingen en studenten onvoldoende is gewaarborgd. "Zij worden doorgaans onvoldoende geïnformeerd over welke data worden verzameld en gebruikt. Ook speelt de kwestie van het eigenaarschap van de data", laat het rapport weten.

Het onderzoek laat ook zien dat allerlei algoritmische toepassingen in zowel het funderend als het hoger onderwijs worden ingezet. Veertig tot zestig procent van de basisscholen gebruikt adaptieve leersystemen, waarbij het systeem oefeningen, bijvoorbeeld bij taal en rekenen, automatisch aanpast op basis van het gedrag van de leerling. Ook gebruiken veel onderwijsinstellingen algoritmes om data over leerlingen automatisch te analyseren om bijvoorbeeld te voorspellen of een leerling risico loopt uit te vallen of extra ondersteuning nodig heeft of om fraude op te sporen.

Het College stelt dat onderwijsinstellingen voordat ze digitale systemen gaan gebruiken een 'waardenafweging' moeten maken of en wanneer technologie een bijdrage levert aan goed onderwijs. "Scholen kunnen en moeten eisen stellen aan softwareleveranciers op het gebied van gelijke behandeling, privacy, autonomie en transparantie."

Big Tech

"Daarom moet het ministerie van Onderwijs, Cultuur en Wetenschap scholen helpen", zo gaat het College verder. Dat stelt dat het ministerie dit kan doen door onderzoek naar de effecten van digitale systemen te stimuleren en voorlichting te geven over de risico's aan schoolbesturen, docenten, ouders en leerlingen. Ook kan er een normenkader worden ontwikkeld dat duidelijkheid schept waar een systeem in ieder geval aan moet voldoen om discriminatie te voorkomen.