image

Staatssecretaris kijkt naar rijksbeleid voor lokaal draaien generatieve 'AI'

donderdag 13 februari 2025, 16:48 door Redactie, 9 reacties

Staatssecretaris Szabo voor Digitalisering kijkt of er rijksbreed beleid moet komen voor het lokaal draaien van generatieve 'AI'. Dat liet de bewindsman weten tijdens een debat van de commissie voor Digitale Zaken over opkomende en toekomstige technologieën. NSC-Kamerlid Six Dijkstra merkte op dat de DeepSeek-chatbot lokaal kan draaien en zo in principe geen data doorstuurt naar het bedrijf.

"We zien steeds meer geavanceerde taalmodellen en andere generatieve AI-modellen die dit kunnen. Daarom is mijn eerste vraag aan de staatssecretaris: moet het niet rijksbreed beleid worden om generatieve AI in principe lokaal te draaien in plaats van in de cloud? Dit is nu immers met meerdere toepassingen mogelijk. Ook worden daarmee de serieuze risico's ondervangen dat burgerdata door de overheid wordt gevoed aan big tech, per ongeluk of via omwegen", zo wilde het Kamerlid weten.

"Moet het geen rijksbreed beleid worden om generatieve AI in principe lokaal te draaien in plaats van in de cloud nu dat mogelijk is en dat het risico ondervangt dat overheidsdata gegeven worden aan big tech?", vatte Szabo de vraag samen. "Ik heb kennisgenomen van de lancering van R1, het model van DeepSeek. Dat biedt kansen, maar geeft ook zorgen. We weten namelijk niet hoe het is geproduceerd. Er zijn mogelijkheden om generatieve AI in principe lokaal te draaien. Daar gaat het ook om. Dat moet eerst goed uitgezocht worden", ging de staatssecretaris verder. Szabo gaf aan dat hij dit zal meenemen in zijn herijkte standpunt op generatieve 'AI', dat eind maart moet verschijnen.

"In principe zijn er al best veel geavanceerde generatieve AI-modellen die lokaal kunnen draaien. Ik denk dat je heel veel risico's ondervangt als je met je beleid toewerkt naar "in principe lokaal". Ik hoor graag iets concreter van de staatssecretaris wanneer we daar meer over te weten komen", reageerde Six Dijkstra op het antwoord van Szabo. "Ja, er zijn er meer. Daar kijken we ook naar in ons herijkte standpunt. Dat zal dus eind Q1 naar u toe komen. Ik ben bekend met het onderwerp. Het is een heel belangrijk onderwerp om heel serieus naar te kijken", antwoordde de staatssecretaris vervolgens.

Reacties (9)
13-02-2025, 17:29 door Anoniem
Eindelijk een initiatief de goed richting op. Nu gelijk open source meenemen want wij willen natuurlijk niet afh zijn van 1 bedrijf.
13-02-2025, 17:39 door Anoniem
Door Anoniem: Eindelijk een initiatief de goed richting op. Nu gelijk open source meenemen want wij willen natuurlijk niet afh zijn van 1 bedrijf.
Software met een vrije licentie is nog beter dan open source, anders zijn we nog steeds afhankelijk van eenzelfde bedrijf.
Open source is alleen dat de broncode transparant is, met vrije software moeten ontwikkelaars zich aan de vier vrijheden houden:
https://nl.m.wikipedia.org/wiki/Vrije_software
13-02-2025, 18:22 door DeZin
In principe modellen gebruiken die je zelf kán hosten sta ik volledig achter, maar dat perse 'lokaal' (is dat lokaal op elke client of on-prem hosted?) is weer een ander verhaal. Als we uitgaan van on-prem zelf gehost, hebben alsnog de meeste overheidsinstellingen niet de expertise in huis om dat goed aan te pakken en ontsluiten. Stel regels aan hoe de modellen die je gebruikt gehost worden, maar de hosting van een model uitbesteden aan een betrouwbare (Nederlandse of Europese) MSP zou gewoon moeten kunnen.
13-02-2025, 19:19 door Anoniem
Ik gebruik zelf ook een offline model, zowel de app als het model zijn gebaseerd op vrije software, zowel op mijn telefoon als op mijn desktop; het is verreweg de beste oplossing wanneer het aankomt op onhafhankelijkheid en privacy.
Ook bij een internet outage of ramp (hoewel onwaarschijnlijk) is het geen probleem.
Al zou ik tijdens een ramp wel wat beters te doen hebben dan aanklooien met een AI...
14-02-2025, 08:22 door Anoniem
Ik snap dat we bijna niet meer om AI heen kunnen maar het bied ook zorgen.

Daarnaast vind ik de woordkeuze "in principe" altijd een trigger. In principe laat ruimte vrij voor andere mogelijkheiden.
AI moet lokaal worden gedraaid of helemaal niet. Punt.

Durf gewoon een standpunt te maken.
14-02-2025, 09:26 door Anoniem
Door DeZin: In principe modellen gebruiken die je zelf kán hosten sta ik volledig achter, maar dat perse 'lokaal' (is dat lokaal op elke client of on-prem hosted?) is weer een ander verhaal. Als we uitgaan van on-prem zelf gehost, hebben alsnog de meeste overheidsinstellingen niet de expertise in huis om dat goed aan te pakken en ontsluiten. Stel regels aan hoe de modellen die je gebruikt gehost worden, maar de hosting van een model uitbesteden aan een betrouwbare (Nederlandse of Europese) MSP zou gewoon moeten kunnen.

Het zijn politici, die kunnen de voor- en achterkant van een varken niet eens onderscheiden.
Helaas blèren ze ongeïnformeerde 'oplossingen' zonder zelf ook maar enige bit kennis te hebben over computers, laat staat AI.

Als je het echte deepseek 671B model wil draaien, dan kan dat inderdaad 'lokaal' maar daarmee bedoelt men: op minimaal een relatief oké server met 32 cores en 192 GB geheugen. Dat zijn minimums waar je het model in 20 minuten in kan laden en je een reactietijd geeft van in de minuten. Om een beetje reactie tijd te krijgen, wil je liever een paar extra Nvidia RTX A6000 GPUs met 48GB VRAM. Ik denk dat je wel een ton of twee kwijt bent aan hardware.

Wees dus maar niet bang dat een ambtenaar dit 'lokaal' gaat draaien.

Het is verder mogelijk dat men een 'quantized' model van Ollama of QWEN draaien maar die modellen kunnen totaal niet op tegen de cloud varianten. Ook vereisen ze nog steeds een zeer sterke machine.

Het is dus wel goed mogelijk dat men over het laatste praat. Waarschijnlijk worden ze gelobbyd in het kopen van een paar Microsoft Co-Pilot laptops die Microsoft zo graag wil slijten.. Kunnen ze mooi ai-en daar in Den Haag.
14-02-2025, 11:50 door Anoniem
Door Anoniem:
Door Anoniem: Eindelijk een initiatief de goed richting op. Nu gelijk open source meenemen want wij willen natuurlijk niet afh zijn van 1 bedrijf.
Software met een vrije licentie is nog beter dan open source, anders zijn we nog steeds afhankelijk van eenzelfde bedrijf.
Open source is alleen dat de broncode transparant is, met vrije software moeten ontwikkelaars zich aan de vier vrijheden houden:
https://nl.m.wikipedia.org/wiki/Vrije_software
De verschillen tussen de vrijesoftwaregemeenschap en de opensourcegemeenschap zijn vooral politiek of filosofisch van aard. De meeste – maar niet alle – opensourcesoftware is dan ook vrije software en vice versa.
14-02-2025, 11:52 door Anoniem
Door Anoniem:
Door Anoniem: Eindelijk een initiatief de goed richting op. Nu gelijk open source meenemen want wij willen natuurlijk niet afh zijn van 1 bedrijf.
Software met een vrije licentie is nog beter dan open source, anders zijn we nog steeds afhankelijk van eenzelfde bedrijf.
Open source is alleen dat de broncode transparant is, met vrije software moeten ontwikkelaars zich aan de vier vrijheden houden:
https://nl.m.wikipedia.org/wiki/Vrije_software

Onzin. Jij lijkt het te hebben over source-available software, iets wat heel anders is dan open-source. De open-source definitie is 1:1 over genomen van de Debian Free Software Guidelines. Deze definitie is weliswaar anders dan de de 4 vrijheden van vrije software, maar even strict. Het staat exact dezelfde licenties toe als vrije software, zowel permissive als copyleft. Dus MIT, GPL, Apache etc. zijn allemaal zowel open-source als vrije software. Er is geen software die voldoet aan open-source en niet aan vrije software of visa versa. Enkel het gedachtegoed erachter is anders.

https://en.wikipedia.org/wiki/The_Open_Source_Definition
15-02-2025, 17:27 door Anoniem
Door Anoniem: Onzin. Jij lijkt het te hebben over source-available software, iets wat heel anders is dan open-source. De open-source definitie is 1:1 over genomen van de Debian Free Software Guidelines.
Mee eens.
Deze definitie is weliswaar anders dan de de 4 vrijheden van vrije software, maar even strict. Het staat exact dezelfde licenties toe als vrije software, zowel permissive als copyleft. Dus MIT, GPL, Apache etc. zijn allemaal zowel open-source als vrije software. Er is geen software die voldoet aan open-source en niet aan vrije software of visa versa. Enkel het gedachtegoed erachter is anders.
Daar ben ik het niet mee eens. Vrije software (copyleft, GPL) voldoet aan de open source-definitie, maar zeker niet alles dat aan de open source-definitie voldoet is daarmee ook vrije software. Vrije software is een deelverzameling van open source, maar het is niet hetzelfde.

Permissieve licenties als BSD, MIT en Apache staan toe dat iemand de software verder verspreidt, al dan niet met aanpassingen, onder een gesloten licentie. Vrije licenties (GPL) staan dat niet toe, daar moet verdere verspreiding ook onder een compatibele vrije licentie gebeuren, en dat geldt ook voor afgeleide werken.

Het draait om twee verschillende opvattingen over welke vrijheden het zwaarst wegen. Geef je de directe ontvanger maximale vrijheid, inclusief de vrijheid om bij verder verspreiden op een gesloten licentie over te stappen? Of ga je voor de maximale verspreiding van de vrijheid, zodat ook ontvangers van ontvangers (van ontvangers...) die vrijheid krijgen, ook al gaat dat ten koste van de vrijheid om op een gesloten licentie over te stappen? Dat laatste is nodig voor vrije software, en beide kunnen open source zijn.
Reageren
Ondersteunde bbcodes
Bold: [b]bold text[/b]
Italic: [i]italic text[/i]
Underline: [u]underlined text[/u]
Quote: [quote]quoted text[/quote]
URL: [url]https://www.security.nl[/url]
Config: [config]config text[/config]
Code: [code]code text[/code]

Je bent niet en reageert "Anoniem". Dit betekent dat Security.NL geen accountgegevens (e-mailadres en alias) opslaat voor deze reactie. Je reactie wordt niet direct geplaatst maar eerst gemodereerd. Als je nog geen account hebt kun je hier direct een account aanmaken. Wanneer je Anoniem reageert moet je altijd een captchacode opgeven.