Computerbeveiliging - Hoe je bad guys buiten de deur houdt

Bank-inloggen met AI-stem

26-02-2023, 18:23 door Erik van Straten, 12 reacties
Joseph Cox (journalist bij vice.com) heeft bankrekeningen bij Lloyds bank, waar hij met zijn stem kan inloggen; uit https://www.lloydsbank.com/contact-us/voice-id.html:
What is Voice ID?
Voice ID is a security feature available to Telephone Banking customers. It confirms your identity using your voice.
[...]
• Fast - you won't need to remember security information or answer questions

• Easy - it's easy to set up and when you call us again, we'll confirm your identity by asking you to repeat the simple phrase: "My voice is my password"

• Safe - your voice is like your fingerprint and unique to you
[...]

Het hele artikel van Joseph Cox vind je in https://www.vice.com/en/article/dy7axa/how-i-broke-into-a-bank-account-with-an-ai-generated-voice. Daaruit:
To create the voice, I recorded about five minutes of speech and uploaded it to ElevenLabs (for the audio clips, I read sections of Europe’s data protection law). A short while later, the synthetic voice was ready to use, with it saying whatever text was entered into ElevenLabs’ site.
Ik ga ervan uit dat Joseph Cox niet de tekst "My voice is my password" heeft uitgesproken, maar die uitgesproken zin kon hij vervolgens wél laten genereren.

Met de synthetische uitgesproken teksten "Check my balance" en "My voice is my password", en tussendoor de invoer van zijn geboortedatum, kon hij zijn banksaldo opvragen: https://youtu.be/kqYSIU70N68.

Tevens uit het Vice artikel ("Motherboard" is, zo te zien, een onderdeel van Vice):
Rachel Tobac, CEO of social engineering focused firm SocialProof Security, told Motherboard “I recommend all organizations leveraging voice ‘authentication’ switch to a secure method of identity verification, like multi-factor authentication, ASAP.”

Of MFA wél altijd een veilige oplossing is, lees je in een artikel van Joseph Cox van 2 dagen daarvoor: https://www.vice.com/en/article/pkg7pn/hacker-breaches-activision-slack-steals-call-of-duty-info.

Gemak dient de mens (niet alleen het aardige type).
Reacties (12)
27-02-2023, 08:29 door Anoniem
Een AI maakt dit makkelijker, maar dit kon eerder ook al. Met meer moeite.

Een soortgelijk trucje kun je ook uithalen door lang gesprek met een persoon (bv een interview) op te nemen. liefst digitaal. En dan de gebruikte woorden hergebruiken. Hoe langer de opnamen, hoe groter de statistische kans dat je alle benodigde woorden kunt opvangen. En anders het gesprek in de juiste richting zien te leiden.


Deze bank doet de volgende (foutieve) aannames:
- Biometrische gegevens kunnen niet vervalst worden
- Biometrische controle systemen kunnen niet voor de gek gehouden worden

Zodra een van de twee aannames niet meer klopt, faalt het systeem.

En bij een stem heb je nog een extra probleem:
Een stem kan vervormen/veranderen. Bv door schade aan de stembanden, helium, stress, woede, paniek, roken, etc
En dan hebben we het nog niet over zaken als bv een TIA, die je woordgebruik en uitspraak kunnen veranderen.
27-02-2023, 10:09 door Anoniem
Door Anoniem: Een AI maakt dit makkelijker, maar dit kon eerder ook al. Met meer moeite.

Een soortgelijk trucje kun je ook uithalen door lang gesprek met een persoon (bv een interview) op te nemen. liefst digitaal. En dan de gebruikte woorden hergebruiken. Hoe langer de opnamen, hoe groter de statistische kans dat je alle benodigde woorden kunt opvangen. En anders het gesprek in de juiste richting zien te leiden.


Deze bank doet de volgende (foutieve) aannames:
- Biometrische gegevens kunnen niet vervalst worden
- Biometrische controle systemen kunnen niet voor de gek gehouden worden

Zodra een van de twee aannames niet meer klopt, faalt het systeem.

En bij een stem heb je nog een extra probleem:
Een stem kan vervormen/veranderen. Bv door schade aan de stembanden, helium, stress, woede, paniek, roken, etc
En dan hebben we het nog niet over zaken als bv een TIA, die je woordgebruik en uitspraak kunnen veranderen.

Een stem veranderd in wezen niet door helium. De pitchhoogte veranderd wel maar de relatieve sinus is behoorlijk constant.
27-02-2023, 10:23 door Anoniem
Offtopic: Klinkt een beetje als het systeem uit de film "Sneakers". Daarin wordt een toegangssysteem tot een gebouw op die manier beveiligd.
06-03-2023, 23:11 door Erik van Straten
Toename "vriend/familielid in nood" scams - waarbij de beoogde slachtoffers telefonisch met de nagebootste stem van een dringend-geld-nodig-hebbend-familielid (kind, kleinkind, maar ook vriend etc.) van de noodzaak en urgentie worden overtuigd:
https://www.washingtonpost.com/technology/2023/03/05/ai-voice-scam/.

(Mijn bron: https://www.golem.de/news/enkeltrick-3-0-betrueger-imitieren-enkel-mit-ki-um-an-geld-zu-kommen-2303-172414.html).

Voor zover het al niet gebeurt: als je op de financiële administratie werkt en iemand met de stem van een leidinggevende of van een accountmanager belt (maar ook als deze mailt, apt etc.) met het verzoek om het bankrekeningnummer van bijv. een leverancier te wijzigen, doe dan altijd een extra check. Hetzelfde geldt voor personeelszaken: iemand die belt en klinkt als een medewerker, en vraagt om diens bankrekeningnummer te wijzigen, kan best een crimineel zijn. Bel op z'n minst kennelijke beller terug - op diens bekende nummer.

Beter: zorg dat je heldere procedures hebt (en dat die worden nageleefd en geoefend, bijv. onaangekondigd, met mensen die hun eigen stem nabootsen ;-) bij het wijzigen van "contactgegevens" waaronder bankrekeningnummers, afleveradressen, telefoonnummers en e-mailadressen. En zorg ervoor dat alle medewerkers (waaronder leidinggevenden en accountmanagers) weten waarom medewerkers niet zonder meer mogen doen wat hen gevraagd wordt. En doe hier niet lacherig over, bedrijven en andere organisaties verliezen bakken geld aan scams.
07-03-2023, 07:16 door Anoniem
Dus een keer opnemen en je hebt daarna voor eeuwig de mogelijkheid om in te loggen. Immers, je kunt eea. niet 'zomaar' veranderen... Hier is vast erg goed over nagedacht!
21-03-2023, 11:17 door Anoniem
Stemidentificatiesysteem Australische overheid te omzeilen met AI-stem
maandag 20 maart 2023, 11:48 door Redactie

https://www.security.nl/posting/790020/Stemidentificatiesysteem+Australische+overheid+te+omzeilen+met+AI-stem
21-03-2023, 12:41 door Anoniem
Wel handig, als jouw "vriend in nood" is...
hoort de computer de comotie en emotie - of niet en herkend gewoon je stem niet - ook goed.
21-03-2023, 14:09 door Anoniem
Erik, dank weer voor de mooie samenvatting!
21-03-2023, 14:25 door Anoniem
Een leuk onderzoek om in dit kader te lezen is https://arxiv.org/pdf/2210.00417.pdf. Er wordt al gewerkt aan detectie van AI-gegenereerde stemmen. Jammer genoeg zijn de gegenereerde "stemmen" tegenwoordig zo goed dat we langzamerhand tools nodig hebben om voice-spoofing te herkennen...
21-03-2023, 15:46 door Anoniem
In de TED presentatie 'What if You Could Sing in Your Favorite Musician's Voice?' is op een aantrekkelijke manier te horen en zien wat intussen al met voice-ai te bereiken is.

https://www.youtube.com/watch?v=5cbCYwgQkTE
29-03-2023, 01:33 door Erik van Straten
Uit https://www.rtlnieuws.nl/tech/artikel/5374282/oplichting-nagemaakte-stem-ai-voice-ouderen-oplichter-bellen:
Criminelen lichten mensen op door aan de telefoon met software de stem van een familielid van het slachtoffer na te bootsen. Daarvoor waarschuwt een toezichthouder in de VS. Het lijkt dan alsof bijvoorbeeld een kleinkind aan de lijn is.

Deze vorm van fraude met het klonen van stemmen met behulp van kunstmatige intelligentie (AI) komt nu zo vaak voor dat de Amerikaanse telecomtoezichthouder Federal Trade Commission (FTC) erover een waarschuwing heeft gepubliceerd (https://consumer.ftc.gov/consumer-alerts/2023/03/scammers-use-ai-enhance-their-family-emergency-schemes).

Uit de pagina waarnaar verwezen wordt:
You get a call. There's a panicked voice on the line. It's your grandson. He says he's in deep trouble — he wrecked the car and landed in jail. But you can help by sending money. You take a deep breath and think. You've heard about grandparent scams. But darn, it sounds just like him. How could it be a scam? Voice cloning, that's how.
29-03-2023, 15:09 door Anoniem
Door Anoniem: Een AI maakt dit makkelijker, maar dit kon eerder ook al. Met meer moeite.

Een soortgelijk trucje kun je ook uithalen door lang gesprek met een persoon (bv een interview) op te nemen. liefst digitaal. En dan de gebruikte woorden hergebruiken. Hoe langer de opnamen, hoe groter de statistische kans dat je alle benodigde woorden kunt opvangen. En anders het gesprek in de juiste richting zien te leiden.


Deze bank doet de volgende (foutieve) aannames:
- Biometrische gegevens kunnen niet vervalst worden
- Biometrische controle systemen kunnen niet voor de gek gehouden worden

Zodra een van de twee aannames niet meer klopt, faalt het systeem.

En bij een stem heb je nog een extra probleem:
Een stem kan vervormen/veranderen. Bv door schade aan de stembanden, helium, stress, woede, paniek, roken, etc
En dan hebben we het nog niet over zaken als bv een TIA, die je woordgebruik en uitspraak kunnen veranderen.
Hierom zeg ik altijd: biometrische gegevens dienen nooit gebruikt te worden als "wachtwoord"/"sleutel".

Je kan biometrische gegevens wel gebruiken als "gebruikersnaam". Op basis van stem herkennen welke gebruiker probeert te authenticeren, maar voor de authenticatie zelf een (of eigenlijk meerdere) andere factor(en) nodig hebben bijvoorbeeld.
Reageren

Deze posting is gelocked. Reageren is niet meer mogelijk.