Door Anoniem: Aan die regels heeft AI lak...Dat blijkt wel uit dit artikel:
http://www.telegraaf.nl/dft/nieuws_dft/28804872/__Robot_Facebook_op_hol__.html
Da's een artikel dat nogal slecht weergeeft wat er gebeurd is. Ze hebben een artikel op
Tech Times als bron gebruikt zonder de moeite te nemen een link op te nemen. Hier is het:
http://www.techtimes.com/articles/212124/20170730/facebook-ai-invents-language-that-humans-cant-understand-system-shut-down-before-it-evolves-into-skynet.htmAls je ze naast elkaar zet blijkt hoe vervormd de weergave in de Telegaaf is.
Telegraaf:
De robots moesten zelf vervolgstappen in de programmeertaal bedenken voor apparaten. Ze kwamen echter vanuit het niets met een coderingstaal waar het Facebook-personeel weinig tegen kon doen maar ook niet begreep.
Tech Times:
Bob: "I can can I I everything else."
Alice: "Balls have zero to me to me to me to me to me to me to me to me to."
The above passages, which mean no sense to humans, is a conversation that happened between two AI agent developed by Facebook. The AI agents, created to negotiate with humans, first talked to each other using plain English, but eventually created a new language that only the AI systems understood.
Allereerst maakt de Telegraaf
robots van
AI agents. Er staat nergens dat een agent een robot is, als je wat links op Tech Times volgt blijkt al snel dat het om
chatbots gaat, computerprogramma's die kunnen ouwehoeren. Oké, in het gebruikte IT-jargon worden allerlei min of meer autonoom opererende programma's
bots genoemd, en dat is afgeleid van
robots, maar het gaat hier niet om rondwandelende machines maar om programma's die op een knappe manier met tekst werken.
Verder ging het dus niet om een programmeertaal voor apparaten maar om gewoon Engels, bedoeld om te onderhandelen met mensen.
Telegraaf:
De robots gingen door de grenzen van wat programmeurs vooraf als norm hadden vastgesteld.
Tech Times:
The AI agents were not confined to a limitation of only using the English language, and so they deviated from it and created one that made it easier and faster for them to communicate.
De AI agents traden dus nadrukkelijk
niet buiten de norm die de programmeurs hadden gesteld, het probleem was dat de programmeurs die norm helemaal niet gesteld hadden. Dat klinkt voor mij (als programmeur) als iets dat bij complexe systemen (simulaties bijvoorbeeld) sowieso wel eens voorkomt: tijdens het ontwikkelen ontdek je al doende dat je ergens een rem op moet zetten om het goed te laten gaan.
Iets interessants dat Telegraaf niet heeft overgenomen van Tech Times:
Over time, Facebook claims that the bots even learned how to bluff, pretending to care for a result they didn't actually want just to have an upper hand later in the negotiation.
"This behavior was not programmed by the researchers but was discovered by the bot as a method for trying to achieve its goals," says Facebook's blog post.
Ik zou zeggen dat het wél was ingeprogrammeerd. Je geeft een systeem een doel, je geeft het de mogelijkheid zelf middelen te ontwikkelen om het doel te bereiken, en het ontwikkelt inderdaad middelen om het doel te bereiken. Dat systeem heeft precies gedaan wat het moest doen. Dat mensen bluffen moreel bedenkelijk vinden weet dat systeem niet, simpelweg omdat de programmeurs vooraf niet op het idee waren gekomen dat ze daar rekening mee moesten houden. Dat is ook een voorbeeld van een rem waar men pas al doende van ontdekt dat die nodig is.
Iets vergelijkbaars trad op bij een AI-systeem een poosje terug in het nieuws was. Als ik me het goed herinner moest het een wedstrijdje winnen, en ontdekte als het ware een manier om de tegenstander te doden (software tegen software, misschien crashte de tegenstander of zo). Oeps, moord vinden we niet leuk. Maar ook daar geldt dat die software niet zelf bedenkt dat zijn makers daar ongemakkelijk mee zijn, die software weet niet eens van zijn makers af, het zijn algoritmes die doen wat ze ontworpen zijn te doen. De beperking zit in de makers die kennelijk niet bedacht hebben dat voor hun moreel verwerpelijke oplossingen ook oplossingen zijn.
In beide voorbeelden is een belangrijk ingrediënt van het probleem dat de systemen een competitieve opdracht meekregen, ze moesten winnen, iets ten koste van iets anders doen. Dat ze met oplossingen komen die wij meedogenloos vinden is niet vreemd als geen er grenzen aan eigenbelang zijn ingebouwd. Als je een werkelijk veilig AI-systeem wilt bouwen, richt je dan niet op competitie maar op dienstbaarheid, coöperatie en altruïsme. Het komt op mij nogal naïef over dat men schrikt dat AI "slechte" dingen doet zonder dat de makers beseffen dat dat precies de opdracht is die ze hebben ingebouwd. Misschien ligt het aan de manier waarop erover bericht wordt, misschien kont het omdat de VS een hevig competitieve maatschappij is waar velen geloven dat alles vanzelf goed komt als iedereen maar zijn eigenbelang najaagt. Vanuit dat mensbeeld is het misschien een verrassing om te ontdekken dat de grenzen die de meeste mensen niet overgaan geen automatisme zijn maar ingebouwd zijn in onze soort of cultuur en ook expliciet ingebouwd moeten worden in AI-systemen.
Als dat zo is dan zou het grootste gevaar van AI wel eens kunnen zitten in het gebrek aan zelfkennis bij de mensen die het ontwikkelen.