Wanneer is er sprake van een algoritme of een AI-systeem?
woensdag 6 juli 2022, 10:13 door Arnoud Engelfriet, 19 reacties
Heb jij een interessante vraag op het snijvlak van privacy, cybersecurity en recht? Stuur je vraag naar juridischevraag@security.nl. Elke week geeft ict-jurist Arnoud Engelfriet in deze rubriek antwoord.
Juridische vraag: Vier Utrechtse gemeenten, Nieuwegein, IJsselstein, Houten en Lopik, hebben bij de bestrijding van bijstandsfraude gebruikgemaakt van een verboden overheidsalgoritme. Dat meldde Security.nl onlangs. Het gaat om een Excelsheet, hoezo noemen juristen dat nou een "algoritme"?
Antwoord: De Fraudescorekaart is het waanzinnig idee dat je met een serie punten over iemands achtergrond kunt inschatten of diegene een fraudeur is:
De kaart profileerde bijvoorbeeld op beroep, woonsituatie, opleidingsniveau, geslacht en de wijk waarin burgers woonden. Woonwagenbewoners kregen 700 punten, huiseigenaren 0 punten. Bij een score van 950 punten was er volgens het systeem, dat door 158 gemeenten werd gebruikt, sprake van fraude. In 2020 besloten gemeenten met het systeem te stoppen.
Wie zichzelf langs de lat wil leggen (doe me een lol en zet je score bij je reactie) kan dat dankzij Lighthouse Reports doen, en dan zien je meteen hoe raar het werkt. Neem bijvoorbeeld de beroepenlijst: horeca, bouw, taxi of kapper en anders “overig”. Hoe lager je inkomen hoe hoger je fraudekans. En ga zo maar door.
Is dat nu een algoritme? Wie de gebruikelijke definities erbij pakt, komt bij termen als “stappenplan” of “recept om een wiskundig of informaticaprobleem op te lossen”, al dan niet onder verwijzing naar de naam van de Perzische wiskundige Al-Chwarizmi. Die termen zijn zo breed dat dit er zeker ook wel onder valt, “beantwoord de vragen en tel de punten uit de bijlage op conform onderstaand schema” is best wel een stappenplan of recept te noemen, zij het voor het juridisch probleem “hoe rechtvaardig je een vermoeden van fraude zonder een heel dossier door te hoeven”.
In de praktijk wordt de term algoritme vooral gebruikt voor complexe stappenplannen of recepten, zeg maar waar je zonder computer er zeer zeker niet uit komt. Vaak gaat het dan specifiek over machine learning of artificial intelligence, waarbij een wiskundige formule datapunten classificeert of positioneert op basis van patronen die in een enorme bak data zijn aangetroffen. (Terzijde, dat is volgens informatici dan weer géén algoritme omdat het statistiek is en dus geen recept.) Het staat dan wat raar dat je een Excel filter of een formule die twintig cellen optelt en =if(C88>=950;"Fraudeur";"Geen fraudeur") laat zien dan met diezelfde term aanduidt.
Voor juristen zou deze hele definitiekwestie niet aan de orde moeten zijn. Waar het namelijk uiteindelijk om gaat, is of je geautomatiseerd een beslissing neemt (AVG artikel 22) of een hoog-risico AI systeem in gebruik hebt (artikel 6(2) concept AI Act). Dat je met zo’n Excelsheet een beslissing neemt, lijkt me vrij voor de hand liggend. Ik verwacht weinig tot geen nader menselijk onderzoek als je zo’n mooie Excel hebt.Voor de AI Act is dan de definitie van AI relevant (art. 3 lid 1, concept):
‘artificial intelligence system’ (AI system) means software that is developed with one or more of the techniques and approaches listed in Annex I and can, for a given set of human-defined objectives, generate outputs such as content, predictions, recommendations, or decisions influencing the environments they interact with;
En dan noemt Annex I deze drie elementen:
- Machine learning approaches, including supervised, unsupervised and reinforcement learning, using a wide variety of methods including deep learning;
- Logic- and knowledge-based approaches, including knowledge representation, inductive (logic) programming, knowledge bases, inference and deductive engines, (symbolic) reasoning and expert systems;
- Statistical approaches, Bayesian estimation, search and optimization methods.
Voldoen aan eentje van deze drie is genoeg om je systeem “AI” te mogen noemen. Dus ja, als woning=woonwagen en beroep=autohandelaar dan fraudeur=true anders fraudeur=false is dan een AI. Net zoals die Excel dus. Dat is óók weer raar want dat bedoelen we normaliter niet met “AI”. Maar in de context klopt het, de vraag is niet zozeer “is dit volgens de beroepsbeoefenaars wel of geen AI” maar “levert dit systeem risico’s op voor mensen omdat er met dit soort technieken naar conclusies wordt gesprongen”. En dát is natuurlijk zeker het geval met die ene regel van mij, en met die Excel.
Arnoud (vermogensfraude 458, samenlevingsfraude 229; had ik in een woonwagen gewoond was dit 1526 en 534 geweest dus dikke fraudeur en wekelijks gecontroleerd)
Arnoud Engelfriet is Ict-jurist, gespecialiseerd in internetrecht waar hij zich al sinds 1993 mee bezighoudt. Hij werkt als partner bij juridisch adviesbureau ICTRecht. Zijn site Ius mentis is één van de meest uitgebreide sites van Nederland over internetrecht, techniek en intellectueel eigendom. Hij schreef twee boeken, De wet op internet en Security: Deskundig en praktisch juridisch advies.
Reacties (19)
De Fraudescorekaart is het waanzinnig idee dat je met een serie punten over iemands achtergrond kunt inschatten of diegene een fraudeur is
Nee, dat er waanzinnig is dat is die weergave en uitleg van het systeem.De bedoeling van die score is niet om "in te schatten dat diegene een fraudeur is" maar om groepen te definieren die de moeite waard zijn om met meer prioriteit te onderzoeken dan anderen.
Zeg maar: de politie is opgeroepen omdat er in een buurt een inbraak geweest is en de inbrekers zijn weg gevlucht.
Ter plekke aangekomen zien ze:
- een oude vrouw die haar hond uitlaat
- een persoon die net met de auto (een nieuw model) komt aanrijden en naar de voordeur loopt met een aktentas en de sleutel in zijn hand
- twee jongens in het zwart gekleed die met een scooter zonder kenteken en zonder licht keihard de straat uit rijden.
Nu moeten ze de beslissing nemen wie ze gaan aanspreken. Dat gebeurt dan op basis van een dergelijke scorekaart.
Het is dan waarschijnlijk dat ze achter die scooter aan gaan. Daarmee zijn dit nog geen inbrekers, de kans is alleen veel groter dat het inbrekers zijn dan dat die twee anderen dat zijn, en dus wordt hier de aandacht op gericht.
Het feit dat in een artikel als dit de fase "nader onderzoek" al weer wordt weggelaten en er meteen gesteld wordt dat dergelijke algorithmes de dader aanwijzen ipv een voorselectie doen geeft al aan waar het mis gaat.
Door Anoniem: Nu moeten ze de beslissing nemen wie ze gaan aanspreken. Dat gebeurt dan op basis van een dergelijke scorekaart.
Vermoedelijk eerder vanwege het gegeven signalement door dat 1-1-2 telefoontje, van die oude mevrouw met haar hond.
Mijn scores: Witte fraude 758 punten, zwarte fraude 1133, vermogensfraude 944 :-) :-) :-)
Ervaring leert.. "Computer zegt.... dus is het zo". Zo vaak als tussen regel wordt gebruikt dat het nader onderzoek achterwege blijft.. En is de computerscore zowel onderzoeker, rechter en beul in een stap.
Door Anoniem:
Vermoedelijk eerder vanwege het gegeven signalement door dat 1-1-2 telefoontje, van die oude mevrouw met haar hond.
Door Anoniem: Nu moeten ze de beslissing nemen wie ze gaan aanspreken. Dat gebeurt dan op basis van een dergelijke scorekaart.
Vermoedelijk eerder vanwege het gegeven signalement door dat 1-1-2 telefoontje, van die oude mevrouw met haar hond.
Als dat in het geval van een gemeente zo zou gaan dan heette dat oude vrouwtje in plaats van "een goede burger die de politie helpt" ineens "een smerige NSB'er". Dus dan is hulp van een computer toch wel handig.
Leuk en het testje ingevuld. Maar dan ook bij "misschien ook wel es gebeurd" ook gewoon ja ingevuld. Want ik gebruik Google Chrome dus dat is toch veilig, lol.
Zwarte fraude scoor ik 1043. Vermogensfraude 927. En Adresfraude 927.
Op witte fraude scoor in nul. Wat op zich het enige cijfer is dat inderdaad klopt. Maar je wilt niet weten hoeveel stille vertrouwelijke tips ik aan goeie vrienden heb gegeven. Altijd blije gezichten daarna. En als je goeie vrienden hebt dan hoef je de boel niet te belazeren maar staat er altijd wel een bordje warm eten ergens klaar.
Zwarte fraude scoor ik 1043. Vermogensfraude 927. En Adresfraude 927.
Op witte fraude scoor in nul. Wat op zich het enige cijfer is dat inderdaad klopt. Maar je wilt niet weten hoeveel stille vertrouwelijke tips ik aan goeie vrienden heb gegeven. Altijd blije gezichten daarna. En als je goeie vrienden hebt dan hoef je de boel niet te belazeren maar staat er altijd wel een bordje warm eten ergens klaar.
Persoonlijk ben ik van de volgende stelling, of dit juridisch hout snijdt, geen idee...
algoritme = verzameling van meer dan 1 input waarop een statische bewerking wordt gedaan waarna er een uitkomst uit komt.
AI = algoritme die zichzelf bij stelt op basis van stationaire of dynamische additionele input.
Zo kan een excelsheet nooit een AI worden maar een systeem wat ik ooit bij een bibliotheek introduceerde wel.
Dit systeem zag naar aanleiding van input, het scannen van nieuwe en bestaande boeken dat mensen discremineren.
Dit systeem deed dit bijvoorbeeld door links te leggen in nieuwsberichten uit kranten, deze informatie te correleren met boekinformatie en liet bijvoorbeeld zien dat wanneer je op 'uitkeringsfraude' zocht, je boeken en informatie kreeg over mensen uit turken, marokanen, polen en roemenen.
(ook andere zoekopdrachten waren typisch... 'slechtste chauffeurs' leverde BMW, Audi, Volvo en Mercedes op, en pinpas skimmen leverde steevast als resultaat 'Roemenen' op als grootste bubbel). Simpele woorden als 'bonnetjes' leverde VVD op...
Dat had dit systeem volledig zelfstandig ondekt. Geen excelsheet formule aan te pas gekomen.
Het enge hieraan was wel dat het systeem ervan uit ging dat nederlandse nieuwsmedia onpartijdig en neutraal is. We kunnen er inmiddels wel vanuit gaan dat dit anno 2022 niet meer het geval is.
algoritme = verzameling van meer dan 1 input waarop een statische bewerking wordt gedaan waarna er een uitkomst uit komt.
AI = algoritme die zichzelf bij stelt op basis van stationaire of dynamische additionele input.
Zo kan een excelsheet nooit een AI worden maar een systeem wat ik ooit bij een bibliotheek introduceerde wel.
Dit systeem zag naar aanleiding van input, het scannen van nieuwe en bestaande boeken dat mensen discremineren.
Dit systeem deed dit bijvoorbeeld door links te leggen in nieuwsberichten uit kranten, deze informatie te correleren met boekinformatie en liet bijvoorbeeld zien dat wanneer je op 'uitkeringsfraude' zocht, je boeken en informatie kreeg over mensen uit turken, marokanen, polen en roemenen.
(ook andere zoekopdrachten waren typisch... 'slechtste chauffeurs' leverde BMW, Audi, Volvo en Mercedes op, en pinpas skimmen leverde steevast als resultaat 'Roemenen' op als grootste bubbel). Simpele woorden als 'bonnetjes' leverde VVD op...
Dat had dit systeem volledig zelfstandig ondekt. Geen excelsheet formule aan te pas gekomen.
Het enge hieraan was wel dat het systeem ervan uit ging dat nederlandse nieuwsmedia onpartijdig en neutraal is. We kunnen er inmiddels wel vanuit gaan dat dit anno 2022 niet meer het geval is.
Door Anoniem: Persoonlijk ben ik van de volgende stelling, of dit juridisch hout snijdt, geen idee...
algoritme = verzameling van meer dan 1 input waarop een statische bewerking wordt gedaan waarna er een uitkomst uit komt.
AI = algoritme die zichzelf bij stelt op basis van stationaire of dynamische additionele input.
Zo kan een excelsheet nooit een AI worden maar een systeem wat ik ooit bij een bibliotheek introduceerde wel.
Dit systeem zag naar aanleiding van input, het scannen van nieuwe en bestaande boeken dat mensen discremineren.
Dit systeem deed dit bijvoorbeeld door links te leggen in nieuwsberichten uit kranten, deze informatie te correleren met boekinformatie en liet bijvoorbeeld zien dat wanneer je op 'uitkeringsfraude' zocht, je boeken en informatie kreeg over mensen uit turken, marokanen, polen en roemenen.
(ook andere zoekopdrachten waren typisch... 'slechtste chauffeurs' leverde BMW, Audi, Volvo en Mercedes op, en pinpas skimmen leverde steevast als resultaat 'Roemenen' op als grootste bubbel). Simpele woorden als 'bonnetjes' leverde VVD op...
Dat had dit systeem volledig zelfstandig ondekt. Geen excelsheet formule aan te pas gekomen.
Het enge hieraan was wel dat het systeem ervan uit ging dat nederlandse nieuwsmedia onpartijdig en neutraal is. We kunnen er inmiddels wel vanuit gaan dat dit anno 2022 niet meer het geval is.
Altijd interessant om je eigen definitie erin te gooien, als een juridisch specialist al eerder heeft verteld wat in juridische termen wel/niet een algoritme is.algoritme = verzameling van meer dan 1 input waarop een statische bewerking wordt gedaan waarna er een uitkomst uit komt.
AI = algoritme die zichzelf bij stelt op basis van stationaire of dynamische additionele input.
Zo kan een excelsheet nooit een AI worden maar een systeem wat ik ooit bij een bibliotheek introduceerde wel.
Dit systeem zag naar aanleiding van input, het scannen van nieuwe en bestaande boeken dat mensen discremineren.
Dit systeem deed dit bijvoorbeeld door links te leggen in nieuwsberichten uit kranten, deze informatie te correleren met boekinformatie en liet bijvoorbeeld zien dat wanneer je op 'uitkeringsfraude' zocht, je boeken en informatie kreeg over mensen uit turken, marokanen, polen en roemenen.
(ook andere zoekopdrachten waren typisch... 'slechtste chauffeurs' leverde BMW, Audi, Volvo en Mercedes op, en pinpas skimmen leverde steevast als resultaat 'Roemenen' op als grootste bubbel). Simpele woorden als 'bonnetjes' leverde VVD op...
Dat had dit systeem volledig zelfstandig ondekt. Geen excelsheet formule aan te pas gekomen.
Het enge hieraan was wel dat het systeem ervan uit ging dat nederlandse nieuwsmedia onpartijdig en neutraal is. We kunnen er inmiddels wel vanuit gaan dat dit anno 2022 niet meer het geval is.
Het maakt bij een juridisch conflict namelijk niet uit dat je dat vindt, een rechter zal werken met een juridische definitie in de context van het voorliggende conflict en de relevante wetten.
Het feit dat in een artikel als dit de fase "nader onderzoek" al weer wordt weggelaten en er meteen gesteld wordt dat dergelijke algorithmes de dader aanwijzen ipv een voorselectie doen geeft al aan waar het mis gaat.
Indien het allemaal zo goed en zorgvuldig ging als jij pretendeert, dan hadden we bijvoorbeeld -geen- toeslagen affaire gehad. Want dan had men goed uitgezocht of de mensen in je voorselectie zich wel/niet -daadwerkelijk- hadden schuldig gemaakt aan fraude.
En hoe zit het met het omgekeerde; fraudeurs die -niet- in de voorselectie voorkomen, waardoor er -geen- nader onderzoek komt, en waardoor ze vervolgens -niet- gepakt worden ?
Je zit met false positives, en false negatives. Het lijkt dat jij die bij voorkeur onder het vloerkleed veegt.
Door Anoniem:
Indien het allemaal zo goed en zorgvuldig ging als jij pretendeert, dan hadden we bijvoorbeeld -geen- toeslagen affaire gehad. Want dan had men goed uitgezocht of de mensen in je voorselectie zich wel/niet -daadwerkelijk- hadden schuldig gemaakt aan fraude.
En hoe zit het met het omgekeerde; fraudeurs die -niet- in de voorselectie voorkomen, waardoor er -geen- nader onderzoek komt, en waardoor ze vervolgens -niet- gepakt worden ?
Je zit met false positives, en false negatives. Het lijkt dat jij die bij voorkeur onder het vloerkleed veegt.
Het feit dat in een artikel als dit de fase "nader onderzoek" al weer wordt weggelaten en er meteen gesteld wordt dat dergelijke algorithmes de dader aanwijzen ipv een voorselectie doen geeft al aan waar het mis gaat.
Indien het allemaal zo goed en zorgvuldig ging als jij pretendeert, dan hadden we bijvoorbeeld -geen- toeslagen affaire gehad. Want dan had men goed uitgezocht of de mensen in je voorselectie zich wel/niet -daadwerkelijk- hadden schuldig gemaakt aan fraude.
En hoe zit het met het omgekeerde; fraudeurs die -niet- in de voorselectie voorkomen, waardoor er -geen- nader onderzoek komt, en waardoor ze vervolgens -niet- gepakt worden ?
Je zit met false positives, en false negatives. Het lijkt dat jij die bij voorkeur onder het vloerkleed veegt.
Dat is het gevaar dat je dus iedereen over een kam heen scheert. En je hebt uiteraard een hoop luie ambtenaren die zo'n score kaart prima vinden i.p.v. dat zij het werk zelf moeten doen.
Op zich is er niet zo heel veel mis om een selectietool te gebruiken als indicatiemiddel maar het mag nooit never als basis voor een besluit worden gebruikt. Daarnaast moet het ook duidelijk zijn op basis van welke gegevens iemand wel of niet binnen de selectie valt. Alleen afkomst of huidskleur zou hierbij uiteraard nooit een rol mogen spelen, wat het wel bij de Belastingdienst deed overigens.
Ik verbaas me er nog steeds over dat allerlei organisaties als BLM ed. geen demo's hebben gehouden om een dergelijke ernstige vorm van discriminatie aan de kaak te stellen. Blijkbaar dienen deze gesubsidieerde organisaties toch een geheel ander doel.
Door Anoniem:
Indien het allemaal zo goed en zorgvuldig ging als jij pretendeert, dan hadden we bijvoorbeeld -geen- toeslagen affaire gehad. Want dan had men goed uitgezocht of de mensen in je voorselectie zich wel/niet -daadwerkelijk- hadden schuldig gemaakt aan fraude.
Het feit dat in een artikel als dit de fase "nader onderzoek" al weer wordt weggelaten en er meteen gesteld wordt dat dergelijke algorithmes de dader aanwijzen ipv een voorselectie doen geeft al aan waar het mis gaat.
Indien het allemaal zo goed en zorgvuldig ging als jij pretendeert, dan hadden we bijvoorbeeld -geen- toeslagen affaire gehad. Want dan had men goed uitgezocht of de mensen in je voorselectie zich wel/niet -daadwerkelijk- hadden schuldig gemaakt aan fraude.
Precies, daar is het op mis gegaan. Hetzelfde als de suggestie die hier gewekt wordt: dat er uit die "algorithmes" meteen schuldigen komen, terwijl dat helemaal niet het doel is en het ook niet zo werkt.
Kennelijk zijn er erg veel mensen, ook werkzaam bij de belastingdienst, die dit subtiele onderscheid niet kunnen maken.
En hoe zit het met het omgekeerde; fraudeurs die -niet- in de voorselectie voorkomen, waardoor er -geen- nader onderzoek komt, en waardoor ze vervolgens -niet- gepakt worden ?
Je zit met false positives, en false negatives. Het lijkt dat jij die bij voorkeur onder het vloerkleed veegt.
Je zit met false positives, en false negatives. Het lijkt dat jij die bij voorkeur onder het vloerkleed veegt.
Niet bij voorkeur, maar als gevolg van realiteit. Als je 10 miljoen gevallen moet controleren en je hebt niet de personele capaciteit om iedereen te onderzoeken, moet je een voorselectie maken. Dat kun je doen aan de hand van dit soort algorithmes, of je kunt het "random" doen. Kies je dat laatste dan heb je een veel lagere pakkans en dus een veel groter aantal false negatives dan je nu hebt. En het enige voordeel wat je bereikt is dat je tegen iedereen die onderzocht is kunt zeggen "u was een willekeurige steekproef, alle mogelijke kenmerken die u zelf meent te hebben en waarvan u zelf dacht dat die tot de steekproef geleid hebben die zijn niet relevant".
Het echte onderzoek zou echter in beide werkmethoden even grondig gedaan moeten worden. En dat is niet gebeurd.
DAARDOOR hadden we toeslagenaffaire. Niet door de voorselectie.
07-07-2022, 17:23 door
karma4
Door Anoniem: Ervaring leert.. "Computer zegt.... dus is het zo". Zo vaak als tussen regel wordt gebruikt dat het nader onderzoek achterwege blijft.. En is de computerscore zowel onderzoeker, rechter en beul in een stap.
Komt overeen met "het heeft op internet gestaan" daarmee is de grootste onzin ineens waarheid. Ooit van complotters aluhoedjes gehoord.
07-07-2022, 17:30 door
karma4
Door Anoniem:
Indien het allemaal zo goed en zorgvuldig ging als jij pretendeert, dan hadden we bijvoorbeeld -geen- toeslagen affaire gehad. Want dan had men goed uitgezocht of de mensen in je voorselectie zich wel/niet -daadwerkelijk- hadden schuldig gemaakt aan fraude.
Best komisch het weren journalisten die van alles als schuldig verklaring hebben geuit zonder gedegen onderzoek.Indien het allemaal zo goed en zorgvuldig ging als jij pretendeert, dan hadden we bijvoorbeeld -geen- toeslagen affaire gehad. Want dan had men goed uitgezocht of de mensen in je voorselectie zich wel/niet -daadwerkelijk- hadden schuldig gemaakt aan fraude.
Bij veel van de toeslag gevallen was wel degelijk iets mis en niet volgens de exact opgelegde wetgeving.
Bedenk dat met toeslagensystem het om voorschotten gaat die je zelf mocht bepalen.
Bewijs onderbouwing zou volgens menselijke algoritmes bij politici geen probleem zijn.
Bulgaren die eerste wat moesten terugbetalen (terecht) krijgen nu flink geld toegestopt. Raar algoritme.
En hoe zit het met het omgekeerde; fraudeurs die -niet- in de voorselectie voorkomen, waardoor er -geen- nader onderzoek komt, en waardoor ze vervolgens -niet- gepakt worden ?
Je zit met false positives, en false negatives. Het lijkt dat jij die bij voorkeur onder het vloerkleed veegt.
FSV was er dus voor dat soort gevallen bij ondernemingen. Het lijkt er op dat de affaire bepaalde groepen fraudeurs uit de wind houdt. Voor hun is alle aandacht elders heel prettigJe zit met false positives, en false negatives. Het lijkt dat jij die bij voorkeur onder het vloerkleed veegt.
08-07-2022, 00:47 door
Erik van Straten
Door Arnoud Engelfriet: In de praktijk wordt de term algoritme vooral gebruikt voor complexe stappenplannen of recepten, zeg maar waar je zonder computer er zeer zeker niet uit komt.
Sluit "vooral" minder vaak uit? Oftewel, wiens praktijk? Niet de mijne in elk geval.Bijv. het Quicksort algoritme is helemaal niet complex. En wordt nog steeds veel gebruikt. Voor mij zijn een optelling van 2 getallen (variabel en/of fixed) en een "If-statement" al algoritmes.
Dat een meerderheid van nitwits (al dan niet gevoed door nitwit-journalistiek) bij het woord "hacker" aan een cybercrimineel denkt, rechtvaardigt niet om Linus Torvalds een cybercrimineel te noemen als hij zichzelf een hacker noemt. En ik zou het belachelijk vinden als hij zich geen hacker meer zou mogen noemen omdat hij dan het risico zou lopen te worden gearresteerd en veroordeeld door een gestoorde rechter.
AI is m.i. niets meer en niets minder dan een combinatie van opgeslagen kennis en algoritmes, die er samen voor zorgen dat je bij een bepaalde input een "verrijkte" output krijgt - op basis van de opgeslagen kennis en de doorlopen stappen van het algoritme. Een Tesla zal, net als een verkeersdeelnemer, "geleerd" moeten hebben wat verkeersborden betekenen (kennis) en wat je moet doen (algoritme) als je een verkeersbord ziet.
Zo'n Excel-sheet is dus inderdaad (simpele) AI.
Van "zelflerende AI" is sprake als transacties leiden tot wijzigingen aan- en/of aanvullingen van de opgeslagen kennis. Een Tesla zou kunnen constateren dat er, bij regen, op bepaalde wegen (GPS-coördinaten) vaker aquaplaning optreedt (bijv. door ontstane kuilen of spoorvorming) en zo leren dat je op die plekken, bij regen, langzamer moet rijden.
In zo'n Excel-sheet zou je een trend kunnen waarnemen (de criminaliteit onder bevolkingsgroep X in wijk Y stijgt met Z% per maand) en op basis daarvan extrapoleren bij toekomstige data, wat natuurlijk niet zonder risico is als je tussendoor geen data kreeg die de trend bijgesteld zou hebben (dit los van de discussie of je op basis van vooroordelen mag schiften).
Denkbaar is ook AI waarbij "on the fly" de gebruikte algoritmes automatisch worden aangevuld en/of gewijzigd, maar daarbij zijn de risico's al gauw groot dat het een andere kant opgaat dan gewenst. Juridisch lijkt het mij dan helemaal de vraag wie er verantwoordelijk is als "het" ernstig verkeerd afloopt door zo'n systeem.
Door Anoniem: Het maakt bij een juridisch conflict namelijk niet uit dat je dat vindt, een rechter zal werken met een juridische definitie in de context van het voorliggende conflict en de relevante wetten.
Helaas plaatsen juristen zich soms buiten de werkelijkheid door krampachtig vast te houden aan juridische definities waar een gewone sterveling een heel andere voorstelling bij heeft. Ik vind dat een slechte zaak, want dit komt het rechtsgevoel (wat is redelijk) van burgers niet ten goede, en dat doet afbraak aan het vertrouwen in de rechtsstaat.Rechters zouden paal en perk moeten stellen aan (natuurlijk niet objectieve) advocaten die met definities aan de haal gaan in het belang van hun zaak - met als risico dat vanwege in jurisprudentie opgenomen absurde definities, de juridische wereld zich steeds verder distantieert van de echte. Als definities niet eenduidig zijn, moet je ze niet eenduidig proberen te maken. Oftewel, je moet niet krom lullen wat recht is (pun intended).
Door Erik van Straten: [
Dat een meerderheid van nitwits (al dan niet gevoed door nitwit-journalistiek) bij het woord "hacker" aan een cybercrimineel denkt, rechtvaardigt niet om Linus Torvalds een cybercrimineel te noemen als hij zichzelf een hacker noemt. En ik zou het belachelijk vinden als hij zich geen hacker meer zou mogen noemen omdat hij dan het risico zou lopen te worden gearresteerd en veroordeeld door een gestoorde rechter.
Dat een meerderheid van nitwits (al dan niet gevoed door nitwit-journalistiek) bij het woord "hacker" aan een cybercrimineel denkt, rechtvaardigt niet om Linus Torvalds een cybercrimineel te noemen als hij zichzelf een hacker noemt. En ik zou het belachelijk vinden als hij zich geen hacker meer zou mogen noemen omdat hij dan het risico zou lopen te worden gearresteerd en veroordeeld door een gestoorde rechter.
Nou inderdaad, dat had ik eigenlijk ook nog willen schrijven maar later vergeten: kennelijk is het woord "algorithme"
ons ook al ontrokken in de eigenlijke betekenis. Er is helemaal niks mis met een "algorithme", de hele dag werken
we met computers die algorithmes uitvoeren, van heel simpele tot heel complexe. Maar nu is "algorithme" in het
dagelijks spraakgebruik synoniem geworden met "kwaadaardige manier om mensen te beoordelen, gebaseerd op
vooroordelen", net zoals "hacker" niet meer iemand is die met computers knutselt maar een cybercrimineel.
En ook "AI" is al behoorlijk besmet geraakt.
Denkbaar is ook AI waarbij "on the fly" de gebruikte algoritmes automatisch worden aangevuld en/of gewijzigd, maar daarbij zijn de risico's al gauw groot dat het een andere kant opgaat dan gewenst. Juridisch lijkt het mij dan helemaal de vraag wie er verantwoordelijk is als "het" ernstig verkeerd afloopt door zo'n systeem.
Waar het nog steeds fout gaat is dat de stap tussen voorselectie en daadwerkelijke bepaling kennelijk wel eens wordt
overgeslagen. Als je een rookmelder hebt (tegenwoordig "verplicht") en deze gaat piepen dan betekent dat "ik zie
rook dus wellicht is er brand, ga onderzoeken wat er aan de hand is en let op je veiligheid". Een rookmelder geeft
niet aan dat er ook echt brand is, maar alleen dat de omstandigheden er op wijzen dat er wellicht brand is. Er zullen
zat mensen zijn die dat verschil niet snappen. Maar ik heb al heel lang rookmelders en ik weet dus dat in 100% van
de gevallen waarin deze af gingen er GEEN brand was, en ik dus niet voetstoots kan aannemen dat als ie piept er
dan brand is.
Op dezelfde manier kan een "algorithme" (in de context waarin het hier gebruikt wordt) aangeven dat er misschien
fraude is, maar het is EEN GROTE FOUT om dan meteen het stempel "fraudeur" te zetten. Als we er niet van op
aan kunnen dat bepaalde medewerkers van de belastingdienst die fout niet maken, moeten we dan van de algorithmes
af of van die medewerkers?
En dan nog, het is waarschijnlijk inderdaad zo dat de hele affaire ook een flink aantal mensen wel heel goed uitkwam.
Dwz ze waren extra onderzocht, ze waren inderdaad fraudeur, ze zijn daar op aangepakt, maar nu pakken ze de hele
rel aan om dat terug te laten draaien zonder mogelijkheid voor de belastingdienst om tegengas te geven.
Aardig artikel met de nodig referenties en uitleg hoe dit juridisch zit, bedankt.
Om een antwoord te geven op de vraag: als blanke hoogopgeleide man met een koophuis, scoor ik overal 0. Mocht ik ook naar een woonwagenkamp verhuizen dan zorgt dat voor: Vermogensfraude 1175, Adresfraude 1542
Om een antwoord te geven op de vraag: als blanke hoogopgeleide man met een koophuis, scoor ik overal 0. Mocht ik ook naar een woonwagenkamp verhuizen dan zorgt dat voor: Vermogensfraude 1175, Adresfraude 1542
Door Anoniem: Maar nu is "algorithme" in het dagelijks spraakgebruik synoniem geworden met "kwaadaardige manier om mensen te beoordelen, gebaseerd op vooroordelen", net zoals "hacker" niet meer iemand is die met computers knutselt maar een cybercrimineel. En ook "AI" is al behoorlijk besmet geraakt.
Inderdaad. Dat is verwarrend, maar hoeft geen drama te zijn. Dat wordt het wel als juristen de oorspronkelijke en nog steeds door een deel van de betrokkenen gehanteerde betekenis voor onjuist gaan kwalificeren.Door Anoniem: Op dezelfde manier kan een "algorithme" (in de context waarin het hier gebruikt wordt) aangeven dat er misschien fraude is, maar het is EEN GROTE FOUT om dan meteen het stempel "fraudeur" te zetten.
Maar ik begrijp sommige argumenten wel. Immers, puur statistisch gezien heeft een meerderheid van de criminelen zonder witte boorden allochtone roots. Maar als wij, in een land dat wij beschaafd noemen, vinden dat iedereen gelijke kansen moet hebben, en daar al bij falen vóórdat sommigen crimineel worden, vind ik het persoonlijk onnacceptabel om als uitgangspunt te nemen dat iedereen in zo'n groep wel crimineel zal zijn.Terwijl bijvoorbeeld niemand anders het gek lijkt te vinden dat steeds meer "ondernemers" in (vervuilende en lawaaïge) belastingvrije monstertrucks (pick-ups) rondrijden en daar zelfs de kinderen mee naar school brengen (zoek op internet: pick-up belasting). En er lopen veel meer Siewerts rond. M.a.w., hoe meer je focust op bijvoorbeeld etniciteit, hoe minder aandacht sommige andere misbruikers van algemene voorzieningen krijgen, en daarmee wegkomen.
Door Erik van Straten: M.a.w., hoe meer je focust op bijvoorbeeld etniciteit, hoe minder aandacht sommige andere misbruikers van algemene voorzieningen krijgen, en daarmee wegkomen.
Ja maar dat is niet echt hoe het werkt. Er wordt een hele matrix vermenigvuldigd van eigenschappen van het individuen parameters voor fraude/criminaliteit. Als daarbij blijkt dat 1 parameter heel erg bepalend is voor het resultaat van
de functie dan betekent dat alleen maar dat vooroordelen op waarheden gebaseerd zijn. Dat kan een ongemakkelijk
resultaat zijn ja, maar dat resultaat komt er niet zomaar. Als keer op keer blijkt dat die allochtoon waarbij uit de functie
kwam "hoog risico op fraude" kwam in werkelijkheid toch geen fraudeur is, dan zakt die parameter vanzelf. Daarom zeg
ik de hele tijd al dat je de uitkomst van die functie niet moet interpreteren als "IS een fraudeur" maar alleen als "is de
moeite waard om nader te ONDERZOEKEN". En DAT heeft men dan kennelijk niet goed gedaan.
Het enige waar je wel op moet letten is dat je groepen die niet al als crimineel te boek staan evengoed wel blijft onderzoeken
per steekproef, zodat die betreffende parameters wel geupdate worden. Dan kan het best zijn dat "bezit pick-up" ook
een grote indicator van criminaliteit blijkt te zijn, ja.
09-07-2022, 16:17 door
Erik van Straten
Door Anoniem: Er wordt een hele matrix vermenigvuldigd van eigenschappen van het individu
en parameters voor fraude/criminaliteit. Als daarbij blijkt dat 1 parameter heel erg bepalend is voor het resultaat van
de functie dan betekent dat alleen maar dat vooroordelen op waarheden gebaseerd zijn.
Je kunt de parameters in twee categoriën verdelen:en parameters voor fraude/criminaliteit. Als daarbij blijkt dat 1 parameter heel erg bepalend is voor het resultaat van
de functie dan betekent dat alleen maar dat vooroordelen op waarheden gebaseerd zijn.
1) Informatie over de persoon zelf. Voorbeeld van afgelopen week:
Politicus Jos van Rey mag wethouder van Roermond worden, ondanks zijn eerdere veroordeling voor fraude.
Bron: https://nos.nl/artikel/2435598-voor-fraude-veroordeelde-van-rey-mag-wethouder-worden2) Overige informatie die statistisch iets over de persoon zou kunnen zeggen, zoals dubbele nationaliteit, postcode, of "handelt met cryptovaluta".
Hoewel ook mijn onderbuik zich er soms mee probeert te bemoeien, betoog ik dat punt 2 discriminatie is én bovendien eenzijdig is omdat veel soorten oneerlijke zakkenvullers niet in de gangbare risicoprofielen zijn en worden opgenomen.
Als je de boel belazert is door dit soort systemen de pakkans groter als je, in plaats van een lichte, een donkere huidskleur hebt, en dat is simpelweg niet eerlijk. En leidt tot ellende zoals de Toeslagenaffaire.
Door Anoniem: Daarom zeg ik de hele tijd al dat je de uitkomst van die functie niet moet interpreteren als "IS een fraudeur" maar alleen als "is de moeite waard om nader te ONDERZOEKEN".
Nee dus, want als je meer mensen met donkere dan met lichte huidskleur onderzoekt op fraude, is de kans groot dat je meer donkere fraudeurs vindt. En dat onderbouwt dan ook nog eens jouw "zie je wel" gevoel en dat van jouw zelflerende AI systeem, waarmee de pakkans van bijvoorbeeld de blanke cryptocoin-witwasser afneemt.Het risico op een self-fulfilling prophecy is dus groot; het is enorm lastig en misschien wel onmogelijk om een aangetoond objectief en onbevangen systeem te bouwen (en, in een constant veranderende maatschappij, te zorgen dat dit zo blijft) dat filtert op punt 2 hierboven.
Een verstandig uitgangspunt is dan om er überhaupt niet aan te beginnen, en meer te focussen op signalen die op de persoon zelf betrekking hebben - waarbij ook dat al knap lastig is om dat objectief, onbevangen en vrij van valse informatie te doen (denk aan de zwarte lijst met ongeverifieerde tips van "boze buren" die de belastingdienst er op nahield).
En hou te allen tijde in je achterhoofd dat er, bij onterechte veroordelingen, niemand verantwoordelijk lijkt als uitsluitend "het systeem" (black box) dat oordeel gaf. Dat mag niet zo zijn natuurlijk.
Reageren
Deze posting is gelocked. Reageren is niet meer mogelijk.
Specialiseer je in Forensisch ICT
Online informatieavond 19 november
Wil jij je specialiseren in digitaal forensisch onderzoek? Je kennis verbreden en tech-nische vaardigheden ontwikkelen? Ontdek de cursus- en opleidingsmogelijkheden van Hogeschool Leiden:
- Bachelor Informatica Forensisch ICT (deeltijd)
- Master Digital Forensics (vol- en deeltijd)
- Module Mobile Forensics
- Module Data Analytics
Interesse? Meld je aan!
Information Security Officer (2fte)
Een uitdagende rol waarbij jij, op basis van security, de vertaalslag maakt tussen business en IT en direct bijdraagt aan de veiligheid van informatie binnen de gemeente Almere. Dat is in een notendop waar jij als Information Security Officer mee bezig bent. Interesse gewekt? Door groei van de organisatie zijn we op zoek naar twee nieuwe collega’s.
Cybersecurity Trainer / Streamer
Toe aan een nieuwe nieuwe job waarmee je het verschil maakt? In de Certified Secure trainingen laat je deelnemers zien hoe actuele kwetsbaarheden structureel verholpen worden. Ook werk je actief mee aan de ontwikkeling van onze gamified security challenges. Bij het maken van challenges kom je telkens nieuwe technieken tegen, van Flutter tot GraphQL, van Elastic Search tot Kubernetes.
