De Autoriteit Persoonsgegevens (AP) maakt zich zorgen over de privacyrisico's van generatieve AI zoals ChatGPT. Dergelijke modellen worden vaak getraind met gescrapete data waarin zich vrijwel zeker persoonsgegevens bevinden. "Het is onwaarschijnlijk dat het verzamelen van die gegevens mag op basis van de privacywetgeving", zegt Cecile Schut, directeur Systeemtoezicht, Beveiliging en Technologie bij de AP.

Daarnaast is het ook de vraag of de output van generatieve AI-modellen wel klopt. "Het model kan fouten maken, doordat ongeverifieerde persoonsgegevens zijn gebruikt om het model te trainen. En het model kan ook informatie, inclusief persoonsgegevens, genereren die uit de lucht is gegrepen. En dat is niet toegestaan", gaat Schut verder. Ze voegt toe dat persoonsgegevens moeten kloppen. "Betrokkenen hebben het recht op actualisatie of rectificatie. Onjuiste gegevens moeten kunnen worden aangepast of verwijderd. Dat is bij dit soort modellen een probleem."

De Autoriteit Persoonsgegevens ziet dat veel organisaties AI-toepassingen inzetten zonder voldoende kennis of serieuze voorbereiding. "Terwijl het juist belangrijk is om na te denken over risico’s", aldus Schut. Ze noemt als voorbeeld digitale assistenten waarvan aanbevelingen klakkeloos worden overgenomen. "Zelfs neutraal ogende antwoorden van de chatbot kunnen daarbij gebaseerd zijn op vooroordelen of onvolkomenheden die in trainingsdata zaten."

Afsluitend waarschuwt de directeur Systeemtoezicht dat generatieve AI door verkeerd gebruik van persoonsgegevens grote, nadelige maatschappelijke effecten kan hebben, bijvoorbeeld door vooroordelen te bevestigen en uitsluiting en discriminatie in de hand te werken. "We ondernemen als AP de komende tijd verschillende acties", laat Schut weten. Zo heeft de AP softwareontwikkelaar OpenAI om opheldering gevraagd over ChatGPT. Dit onderzoek loopt nog.