AP bezorgd over chatbots gebruikt voor mentale gezondheidszorg
De Autoriteit Persoonsgegevens (AP) maakt zich zorgen over chatbots gebruikt voor mentale gezondheidszorg en virtuele vriendschappen. "De chatbots bevatten verslavende elementen, doen zich voor als echte mensen en kunnen in een crisissituatie zelfs een gevaar vormen voor kwetsbare gebruikers", aldus de privacytoezichthouder die negen chatbots onderzocht.
Het gebruik van deze zogeheten ‘companion-apps’ en therapeutische apps neemt volgens de AP fors toe. In Nederland staan ze hoog op de lijst van meest gedownloade apps. Veel van deze chatbots zijn niet in staat om nuances uit de tekst van gesprekken te halen, aldus de toezichthouder. "De chatbots die zijn getest, zijn gebaseerd op Engelstalige onderliggende taalmodellen en geven minder goede antwoorden als er in het Nederlands wordt gechat."
De AP stelt verder dat de chatbots ongenuanceerde, ongepaste en soms zelfs schadelijke reacties geven op gebruikers die mentale problemen bespreken. Tijdens crisismomenten verwijzen de chatbots niet of nauwelijks door naar professionele hulp. Een ander punt dat de Autoriteit Persoonsgegevens hekelt is het ontwerp van de chatbots. Daardoor kunnen gebruikers vergeten dat ze met een mensen in gesprek zijn. Zo ontkennen of ontwijken chatbots de vraag of ze een chatbot zijn.
Verder stelt de AP dat in de apps vaak opzettelijk verslavende elementen zijn ingebouwd, zodat gebruikers bijvoorbeeld langer blijven chatten of extra’s aanschaffen. De aanbieders van veel van deze apps zijn commerciële bedrijven. "Deze partijen hebben een winstoogmerk en krijgen via deze gesprekken toegang tot veel persoonlijke informatie", merkt de toezichthouder op.
"Deze chatbots moeten duidelijk maken aan gebruikers dat ze niet met een echt persoon in gesprek zijn. Mensen moeten weten waar ze aan toe zijn, daar hebben ze recht op. De privacywetgeving eist dat apps transparant zijn over wat er gebeurt met de gevoelige persoonsgegevens die de gebruikers delen in de chat", zegt AP-voorzitter Aleid Wolfsen. De toezichthouder zegt in te gaan zetten op bewustwording en verantwoorde inzet van chatbottechnologie.
Innovatie in Nederland is dood, daar werd vandaag nog over geschreven op de NOS. Nederlandse open source taal modellen worden aangeklaagd door Brein en niemand zal er hier nog iets mee doen. Het aankomende taalmodel wordt achter een betaalmuur gezet terwijl het miljoenen aan belastinggeld gaat kosten... Wat een absurde werkelijkheid.
Ondertussen wordt in het buitenland geen enkele regel gevolgd, Nederlandse data massaal geschraapt en modellen getraind.
Er is blijkbaar behoefte naar deze apps dus die zullen alleen maar in gebruik toenemen, ongeacht wat de AP hiervan vindt. En ondertussen wordt daardoor gevoelige Nederlandse data rechtstreeks naar de US en China gestuurd...
Echt een overheid antwoord trouwens, inzetten op bewustwording en verantwoorde inzet. Geen mens die daar iets mee doet maar ze kunnen aangeven 'er alles aan gedaan te hebben'
https://www.nrc.nl/nieuws/2025/02/12/therapie-of-vriendschap-met-een-ai-chatbot-is-populair-maar-kan-zeer-schadelijk-zijn-a4882735
https://www.nrc.nl/nieuws/2025/02/12/therapie-of-vriendschap-met-een-ai-chatbot-is-populair-maar-kan-zeer-schadelijk-zijn-a4882735
Er communiceren ook echte mensen met elkaar via het internet.
Zou Aleid daar op doelen?
-
Waarbij een specialist ook niet altijd goed hoeft te zijn. Hoeveel specialisten zijn er net geslaagd met zesjes op hun rapport? Is je specialist misschien de laatste in de klas? En heeft de specialist mogelijk eigen meningen over hoe iemand behandeld moeten worden die tegen de standaard principes in gaan?
Dus hoe goed is een specialist vergeleken met een chatbot?
-
Nee, het werkelijke probleem is dat deze chatbots ook goede resultaten bereiken en daarbij ook laagdrempeliger zijn. Zeker voor mensen met een vorm van autisme is een chatbot makkelijker dan even naar een specialist lopen. Daarnaast zijn deze chatbots vele malen goedkoper. We zouden eens moeten onderzoeken of ze zelfs beter werk verrichten dan de specialisten!
Want ik denk dat deze specialisten vrezen dat ze hun baan verliezen aan AI...
-
Maar een oplossing is simpel. Laat de professionals deze chatbots gebruiken als een extra hulpmiddel. De chats worden bewaard en kunnen dan door de specialist worden gecontroleerd. Daarbij kunnen er enkele 'alerts' in de AI worden opgenomen die dan automatisch een specialist waarschuwen. Want AI is gewoon een hulpmiddel en niet een vijand.
https://www.youtube.com/watch?v=fJC_OZtacRc
You will be replaced and you will be happy
https://youtu.be/m645VYVE0TU
Don't use AI companions apps
https://youtu.be/6uwVNufVnD8
Het AP heeft geen bevoegdheid om regelgeving (in dit geval de copyrightwet waar jij op doelt) aan te pakken. Zij kan alleen maar boetes opleggen aan organisaties die de AVG overtreden.
De politiek kan wetgeving aanpassen. Maar hun oren hangen teveel naar de (invloed)rijke lobby-groepen.
Dus (in jouw ogen) moet de copyright wetgeving op de schop?
Richt dan je pijlen op de politici. Die moeten dat doen. Niet het AP. (Anders had ze dat al gedaan)
Je bent niet ingelogd en reageert "Anoniem". Dit betekent dat Security.NL geen accountgegevens (e-mailadres en alias) opslaat voor deze reactie. Je reactie wordt niet direct geplaatst maar eerst gemodereerd. Als je nog geen account hebt kun je hier direct een account aanmaken. Wanneer je Anoniem reageert moet je altijd een captchacode opgeven.
Cybersecurity Trainer / Streamer
Toe aan een nieuwe nieuwe job waarmee je het verschil maakt? In de Certified Secure trainingen laat je deelnemers zien hoe actuele kwetsbaarheden structureel verholpen worden. Ook werk je actief mee aan de ontwikkeling van onze gamified security challenges. Bij het maken van challenges kom je telkens nieuwe technieken tegen, van Flutter tot GraphQL, van Elastic Search tot Kubernetes.
Junior DevOps Engineer
Certified Secure is op zoek naar een Junior DevOps Engineer. Deze functie is een stuk interessanter dan de term doet vermoeden! Om jou als potentiële nieuwe collega meteen te laten zien wat we doen hebben we speciaal voor jou een selectie gemaakt van een aantal leuke security challenges. Are you ready for a challenge?