Halluzinierte Paketnamen sind oft glaubhaft und wiederholen sich – supreme für Angreifer.
mongmong_Studio- shutterstock.com
Cybersicherheitsforscher der College of Texas in San Antonio, der Virginia Tech und der College of Oklahama warnen vor einer neuen Bedrohung für die Software program-Lieferkette namens „Slopsquatting“.
Den Begriff „Slopsquatting“ hat Seth Larson, ein Sicherheitsentwickler der Python Software program Basis (PSF), geprägt, weil es der Technik des Typosquatting ähnelt. Anstatt sich auf den Fehler eines Benutzers zu verlassen, wie es bei Typosquats der Fall ist, verlassen sich Bedrohungsakteure auf den Fehler eines KI-Modells.
Gefahr durch KI-erfundene Paketnamen
Dieser entsteht, wenn generative KI-Modelle wie LLMs nicht existierende Softwarepakete, eine sogenannte Paket-Halluzinationen, vorschlagen. Angreifer können diese Lücken ausnutzen, um schädliche Pakete unter den halluzinierten Namen bereitzustellen.
Halluzinierte Paketnamen in KI-generiertem Code können von Angreifern ausgenutzt werden, indem sie diese Namen registrieren und Schadcode verbreiten. Da viele Entwickler den KI-Empfehlungen ohne gründliche Prüfung folgen, entsteht ein Sicherheitsrisiko.
Diese Paket-Halluzinationen sind besonders gefährlich, da sie sich als hartnäckig, wiederholend und glaubhaft erwiesen haben.
Jedes fünfte KI-Paket eine Fälschung
Dies betrifft insbesondere Sprachen wie Python und JavaScript, die in hohem Maße auf zentrale Paket-Repositories und Open-Supply-Software program angewiesen sind.
In einer Analyse von 16 Codegenerierungsmodellen wurde festgestellt, dass etwa 20 Prozent der empfohlenen Softwarepakete als Fälschungen identifiziert wurden. Es ist auffällig, dass CodeLlama häufig Halluzinationen hatte, wobei über ein Drittel der Angaben fehlerhaft waren. GPT-4 Turbo erzielte mit lediglich 3,59 Prozent Halluzinationen noch die beste Leistung.
In der vorliegenden Untersuchung wurde festgestellt, dass Open-Supply-Modelle wie DeepSeek und WizardCoder im Durchschnitt mit einer höheren Frequenz halluzinieren als kommerzielle Modelle wie GPT 4. Die durchschnittliche Prävalenz der Halluzinationen beträgt bei Open-Supply-Modellen 21,7 Prozent, während sie bei kommerziellen Modellen 5,2 Prozent aufweist.
Großes Risiko
Die Studie zeigt, dass viele Pakethalluzinationen von KI-Modellen wiederholbar und nicht zufällig sind, was sie für Angreifer besonders nützlich macht. Etwa 38 Prozent der halluzinierten Paketnamen ähneln echten Paketen, während nur 13 Prozent einfache Tippfehler sind. Das macht viele Namen semantisch überzeugend.
In der Untersuchung wurden 500 Prompts wiederholt, die zuvor zu halluzinierten Paketen geführt hatten. In 43 Prozent der Fälle traten die Halluzinationen in zehn aufeinander folgenden Durchgängen immer wieder auf.
In 58 Prozent der Fälle kamen die Halluzinationen sogar in mehr als einem Durchgang vor. Die Forscher kritisieren, dass die Modelle aufgrund unzureichender Sicherheitstests, wie sie etwa bei OpenAI durchgeführt werden, anfälliger sind.
Obwohl bisher keine belegten Fälle von Slopsquatting-Attacken vorliegen, weisen die Forscher auf die potenzielle Risiken hin.
