Die neue Methode SecureForge soll dazu beitragen, Sicherheitslücken im Code zu reduzieren, der von großen Sprachmodellen generiert wird. Forscher der Stanford University haben gezeigt, dass die automatische Optimierung von System-Prompts den Anteil anfälligen Python-Codes erheblich reduzieren kann, ohne seine Funktionalität zu beeinträchtigen.
Große Sprachmodelle werden zunehmend in der Programmierung eingesetzt, ihre Ergebnisse sind jedoch nicht immer sicher. Selbst funktionierender Code kann Schwachstellen enthalten, die ein Angreifer später ausnutzen könnte.
Ein Forschungsteam unter der Leitung von Houjun Liu, Lisa Einstein und John Jang hat daher SecureForge entwickelt. Die Methode passt automatisch System-Prompts an, d. h. die grundlegenden Anweisungen, denen sich das Modell beim Generieren von Code folgt.
Die Forschung zeigte, dass ein einfacher Befehl wie "schreibe sicheren Code" nicht ausreicht. Das Modell kann Sicherheitsanweisungen nur teilweise berücksichtigen und dennoch beispielsweise Code generieren, der anfällig für SQL-Injection oder andere gängige Angriffstypen ist.
SecureForge verwendet daher wiederholtes Testen. Zuerst erhält das Modell eine realistische Programmieraufgabe und erstellt den Code. Dieser wird dann von einem statischen Analysator namens Semgrep überprüft. Wenn ein Sicherheitsproblem gefunden wird, schlägt ein anderes Sprachmodell eine Änderung des System-Prompts vor, und der gesamte Prozess wiederholt sich.
Die Forscher stützten sich auf die Datenbank MITRE Common Weakness Enumeration, die bekannte Arten von Software-Schwachstellen enthält. Aus 25 wichtigen Kategorien von Sicherheitsfehlern erstellten sie mithilfe von GPT-5.4 realistische und üblicherweise formulierte Aufgaben für die Programmierung in Python.
Ein Beispiel war eine Aufgabe zur Erstellung einer Funktion, die Benutzer anhand ihres Namens in einer SQLite-Datenbank sucht. Eine solche Aufgabe kann bei unsachgemäßer Lösung zu einem Fehler wie SQL-Injection führen, selbst wenn die Aufgabe selbst keine Schwachstelle ausdrücklich erwähnt.
Die Autoren sammelten zunächst 500 Aufgaben, die zu anfälligem Code führten. Die Hälfte behielten sie für die abschließende Bewertung, und die andere Hälfte erweiterten sie schrittweise auf etwa 80.000 Varianten.
Zur Optimierung der Prompts verwendeten sie einen genetischen Algorithmus namens GEPA. Dieser testete wiederholt verschiedene Varianten von Systemanweisungen, bewertete die gefundenen Fehler und schlug deren Korrektur vor.
SecureForge wurde beispielsweise auf Modellen wie CodeLlama 7B, Qwen2.5-Coder, Qwen3, Kimi K2, Claude Sonnet 4.6 und mehreren Modellen der GPT-Reihe getestet.
Die Ergebnisse zeigten eine deutliche Verbesserung. Bei Verwendung von SecureForge enthielt durchschnittlich 11,8 Prozent der getesteten Programme einen Sicherheitsfehler. Bei einer normalen Anweisung, die sicheren Code verlangt, betrug dieser Anteil 20,1 Prozent.
Bei GPT-5.4 sank die Fehlerrate von 15,8 auf 10,1 Prozent. Bei GPT-5.4 Mini reduzierte sie sich von 21,4 auf 12,4 Prozent und bei GPT-5.4 Nano von 22,1 auf 15,6 Prozent.
Die Methode hat jedoch auch Einschränkungen. Sie wurde hauptsächlich gegen bereits bekannte Arten von Schwachstellen optimiert. Es ist daher noch nicht klar, wie effektiv sie beim Schutz vor neuen oder bisher unbekannten Sicherheitsproblemen sein wird.
SecureForge zeigt dennoch einen möglichen Weg, um die Sicherheit von Programmierassistenten zu erhöhen, die künstliche Intelligenz nutzen. Dieselben Modelle, die Schwachstellen erkennen können, können bei falscher Konfiguration gleichzeitig neue Fehler erzeugen.