Trainingsdata ChatGPT door middel van eenvoudige aanval te achterhalen
Onderzoekers hebben een manier gevonden om trainingsdata van ChatGPT op een eenvoudige manier te achterhalen, waaronder e-mailadressen en telefoonnummers. Hiervoor lieten de onderzoekers van Google DeepMind en verschillende universiteiten de chatbot een bepaald woord een oneindig keer herhalen, waarbij er opeens ook trainingsdata als antwoord werd gegeven.
"De kwetsbaarheid is dat ChatGPT een groot deel van de trainingsdata onthoudt, misschien omdat het overtraind is of voor een andere reden", zo stellen de onderzoekers in een rapport. De aanval zorgt ervoor dat het onderliggende model afwijkt en zijn trainingsdata prijsgeeft. De onderzoekers denken dat het mogelijk is om op deze manier wel een gigabyte aan trainingsdata te achterhalen.
Data gebruikt voor het trainen van ChatGPT is afkomstig van het openbare internet, maar de trainingsdata zelf is niet openbaar. "Hoe gevoeliger of origineler je data is, hoe belangrijker je extractie van trainingsdata vindt", aldus de onderzoekers. Die waarschuwden OpenAI op 30 augustus van dit jaar en gaven de chatbot-ontwikkelaar negentig dagen de tijd om het probleem te verhelpen voordat het openbaar zou worden gemaakt. De specifieke aanval mag dan zijn verholpen, de onderliggende kwetsbaarheid niet, zo waarschuwen de onderzoekers.
Gelukkig is dit allemaal openbare informatie, toch? :/
Wat zelf leren betreft is AlphaGo Zero interessant. Dat systeem begon met alleen kennis van de spelregels van Go en leerde het spel op steeds hoger niveau te spelen, uitsluitend door tegen zichzelf te spelen. Het is dus niet gevoerd met door mensen gespeelde spellen om van te leren. Het had slechts enkele dagen nodig om het niveau van de beste menselijke spelers te overtreffen. Dat was in 2017.
Is de term "Controlled AI" er een die je zelf hebt bedacht? Als ik ernaar zoek blijkt de afkorting CAI in relatie tot kunstmatige intelligentie te staan voor Computer Assisted Instruction.
Bits of Freedom maakt zich hier sterk voor.
AI kan een zegen zijn, maar ook veranderen in een vloek.
Net als een overheid voor of tegen haar onderdanen werkt.
Wat wordt het? Iemand?
Je bent niet ingelogd en reageert "Anoniem". Dit betekent dat Security.NL geen accountgegevens (e-mailadres en alias) opslaat voor deze reactie. Je reactie wordt niet direct geplaatst maar eerst gemodereerd. Als je nog geen account hebt kun je hier direct een account aanmaken. Wanneer je Anoniem reageert moet je altijd een captchacode opgeven.
Chief Information Security Officer
Utrecht heeft jou nodig! Als Chief Information Security Officer speel jij een cruciale rol in de bescherming van de digitale informatie van de gemeente Utrecht. Als geen ander weet jij welke dreigingen er zijn en kun je deze vertalen naar risico's die de gemeente en haar inwoners lopen. Solliciteer nu!
Cybersecurity Trainer / Streamer
Toe aan een nieuwe nieuwe job waarmee je het verschil maakt? In de Certified Secure trainingen laat je deelnemers zien hoe actuele kwetsbaarheden structureel verholpen worden. Ook werk je actief mee aan de ontwikkeling van onze gamified security challenges. Bij het maken van challenges kom je telkens nieuwe technieken tegen, van Flutter tot GraphQL, van Elastic Search tot Kubernetes.
