Virtuele toetsenborden van smartphones en tablets zijn door middel van smart speakers af te luisteren, zo hebben onderzoekers van de Universiteit van Cambridge aangetoond (pdf). In het verleden hebben onderzoekers al laten zien dat het mogelijk is om door middel van een malafide app die de interne microfoon van de telefoon gebruikt om ingevoerde wachtwoorden en pincodes op te vangen.

De Cambridge-onderzoekers wilden kijken of dit ook mogelijk is via een externe microfoon, zoals van een smart speaker. Moderne stemassistenten beschikken over twee tot zeven microfoons, zodat ze gerichter kunnen luisteren. De microfoons zijn gevoelig genoeg om op een halve meter afstand het geluid van vingers die de smartphone aanraken waar te nemen.

Aan de hand van deze geluiden is af te leiden wat de gebruiker intikte. Zo is een vijfcijferige pincode met tien raadpogingen in vijftien procent van de gevallen te achterhalen. In het geval van ingevoerde tekst kan een nauwkeurigheid van vijftig procent worden gehaald. Voorwaarde is wel dat de aanvaller toegang tot de opgenomen audio heeft. Dit is echter op verschillende manieren mogelijk, zo stellen de onderzoekers.

Dit kan bijvoorbeeld door kwaadaardige software op de smart speaker te installeren of wanneer de aanvaller bij de smartspeakerfabrikant zich met spraakverwerking gaat bezighouden. Zo is bekend dat Amazon en Google mensen inhuren om via de smart speaker opgenomen audio te beluisteren. Een andere mogelijkheid om ingevoerde inloggegevens af te luisteren is door middel van verborgen microfoons in de buurt van het slachtoffer te plaatsen.

Om dit afluisteren te voorkomen geven de onderzoekers verschillende tips. Zo kunnen smartphonefabrikanten stille "tap-achtige" geluiden afspelen, die voor de gebruiker onhoorbaar zijn, wanneer het toetsenbord actief is. Daarnaast is de aanval alleen mogelijk als de aanvaller over een identiek toestel beschikt. Veel mensen maken echter gebruik van bijvoorbeeld schermfolie of hoezen om hun telefoon te beschermen, wat ook invloed op de akoestiek van het scherm heeft.