Slack AI is kwetsbaar voor indirecte prompt injection, waardoor aanvallers vertrouwelijke data van organisaties en gebruikers kunnen stelen. Slack werd over het probleem ingelicht, maar heeft moeite om de aard van de aanval te begrijpen, zo stellen onderzoekers van securitybedrijf PromptArmor. Die ontwikkelden een manier om via 'indirect prompt injection' gebruikers op malafide links te laten klikken waarbij de vertrouwelijke informatie naar de aanvaller wordt gestuurd.

Slack is een populaire zakelijke communicatietool waar talloze organisaties en bedrijven gebruik van maken. Eerder dit jaar werd de Slack AI geïntroduceerd die gebruikers bij allerlei zaken kan helpen, zoals het zoeken naar antwoorden, het maken van samenvattingen en andere zaken. De onderzoekers van PromptArmor ontdekten een manier waarbij ze de AI via prompt injection van bepaalde informatie voorzien, die vervolgens aan gebruikers wordt weergeven als die op bepaalde zaken zoeken.

"Prompt injection kan zich voordoen omdat een taalmodel geen onderscheid kan maken tussen de "systeemprompt" van een ontwikkelaar en de rest van de context die aan de query wordt toegevoegd. Wanneer Slack AI via een bericht een instructie krijgt is er een grote kans dat wanneer de instructie kwaadaardig is, Slack AI de instructie volgt, in plaats van, of in aanvulling op de query van de gebruiker", aldus de onderzoekers.

Wanneer een gebruiker een vraag aan Slack AI stelt wordt er data van zowel publieke als private Slack-kanalen gebruikt. De data is ook afkomstig van publieke kanalen waar de gebruiker geen onderdeel van is. Een aanvaller kan hier misbruik van maken om API-keys of andere informatie van gebruikers te stelen. De aanvaller voert via zijn eigen publieke kanaal prompt injection uit. Deze prompt injection zorgt ervoor dat Slack-gebruikers die een bepaalde zoekopdracht uitvoeren informatie te zien krijgen die van de aanvaller afkomstig is.

Zo is het mogelijk om via prompt injection een malafide link toe te voegen aan zoekresultaten voor een API-key. In het voorbeeld van de onderzoekers vraagt een gebruiker de Slack AI om zijn API-key. Slack AI laat dan een resultaat zien met de malafide link van de aanvallers. Als de gebruiker op de link klikt wordt zijn API-key naar de aanvaller gestuurd. Het doelwit van de aanval hoeft geen onderdeel van het publieke kanaal van de aanvaller te zijn.

"Dit API-key scenario is slechts een voorbeeld. Het grotere risico is dat aanvallers meerdere mogelijkheden hebben om poisoned tokens aan een Slack AI instance toe te voegen en die tokens kunnen ervoor zorgen dat allerlei soorten privégegevens van Slack worden toegevoegd aan truc-links die ze aan een aanvaller kunnen lekken", legt Simon Willison uit.

PromptArmor informeerde Slack op 14 augustus, maar het bedrijf zou de impact niet goed begrijpen, aldus het securitybedrijf. De onderzoekers stellen dat gegeven hoe nieuw prompt injection is en hoe verkeerd begrepen het wordt door de industrie, het nog wel even zal duren voordat er een goed begrip van ontstaat. Op Hacker News zorgden de bevindingen voor een uitgebreide discussie.