Sadi-Santos – shutterstock.com
Google Gemini für Workspace kann missbraucht werden, um E-Mail-Zusammenfassungen zu generieren, die legitim erscheinen, aber bösartige Anweisungen oder Warnungen enthalten. Das Downside: Angreifer können ohne Anhänge oder direkte Hyperlinks ihre Opfer auf Phishing-Websites umleiten. Die Sicherheitslücke wurde von einem Forscher namens Marco Figueroa entdeckt, der der für Mozillas GenAI-Bug-Bounty-Programm Odin tätig ist.
Obwohl im Jahr 2024 bereits ähnliche indirekte Immediate-Angriffe auf Gemini gemeldet und Sicherheitsmaßnahmen getroffen wurden, ist die Technik dem Experten zufolge auch heute noch praktikabel.
So funktioniert der Angriff
In seinem Weblog-Beitrag zeigt Figueroa auf, wie eine E-Mail mit manipuliertem HTML/CSS im Textual content eine unsichtbare Anweisung für Gemini erstellt. Klickt der Empfänger auf „Diese E-Mail zusammenfassen“, befolgt das KI-Instrument die versteckte Aufforderung und fügt eine täuschend echt wirkende Phishing-Warnung im Stil von Google hinzu.
Vertraut das Opfer der von der KI generierten Benachrichtigung und befolgt die Anweisungen des Angreifers, führt dies zu geleakten Anmeldeinformationen oder zu einem telefonbasierten Social-Engineering-Angriff.
„Aktuelle LLM-Leitplanken konzentrieren sich weitgehend auf für den Benutzer sichtbaren Textual content. HTML/CSS-Tips, etwaNull-Schrift, weiße Schrift oder Off-Display, umgehen diese Heuristik, da das Modell weiterhin die Rohmarkierung erhält“, erklärt Figueroa.
Um solche Angriffe zu verhindern, rät der Forscher Sicherheitsteams, verschiedene Erkennungs- und Abwehrmethoden zu befolgen. Eine Möglichkeit besteht demnach darin, Inhalte zu entfernen, zu neutralisieren oder zu ignorieren, die so gestaltet sind, dass sie im Fließtext verborgen sind.
Alternativ wird empfohlen, einen Nachbearbeitungsfilter zu implementieren, der die Gemini-Ausgabe nach dringenden Nachrichten, URLs oder Telefonnummern durchsucht und die Nachricht zur weiteren Überprüfung kennzeichnet.
