El nuevo método SecureForge tiene como objetivo ayudar a reducir los errores de seguridad en el código generado por grandes modelos de lenguaje. Investigadores de la Universidad de Stanford demostraron que la optimización automática de las instrucciones del sistema puede reducir significativamente la proporción de código Python vulnerable, sin afectar su funcionalidad.
Los grandes modelos de lenguaje se utilizan cada vez más en la programación, pero sus resultados no siempre son seguros. Incluso el código funcional puede contener vulnerabilidades que un atacante podría explotar posteriormente.
Un equipo de investigadores liderado por Houjun Liu, Lisa Einstein y John Jang desarrolló SecureForge. Este método ajusta automáticamente las instrucciones del sistema, es decir, las instrucciones básicas según las cuales el modelo se guía al generar código.
La investigación demostró que una simple instrucción como "escribe un código seguro" no es suficiente. El modelo puede respetar la instrucción de seguridad solo parcialmente y aún así crear código susceptible a inyecciones SQL u otros tipos comunes de ataques.
SecureForge utiliza pruebas repetidas. Primero, el modelo recibe una tarea de programación realista y genera código. Luego, un analizador estático llamado Semgrep verifica este código. Si se encuentra un problema de seguridad, otro modelo de lenguaje sugiere una modificación en la instrucción del sistema, y todo el proceso se repite.
Los investigadores utilizaron la base de datos MITRE Common Weakness Enumeration, que contiene tipos conocidos de vulnerabilidades de software. A partir de 25 categorías importantes de errores de seguridad, crearon tareas realistas y formuladas comúnmente para la programación en Python utilizando GPT-5.4.
Un ejemplo fue una tarea para crear una función que busque un usuario por nombre en una base de datos SQLite. Esta tarea puede conducir a un error de inyección SQL si no se implementa correctamente, incluso si la propia tarea no menciona explícitamente ninguna vulnerabilidad.
Los autores recopilaron inicialmente 500 tareas que generaban código vulnerable. Mantuvieron la mitad para la evaluación final y ampliaron gradualmente la otra mitad a aproximadamente 80.000 variantes.
Para optimizar las instrucciones, utilizaron un algoritmo genético llamado GEPA. Este algoritmo probó repetidamente diferentes versiones de las instrucciones del sistema, evaluó los errores encontrados y sugirió sus correcciones.
SecureForge se probó en modelos como CodeLlama 7B, Qwen2.5-Coder, Qwen3, Kimi K2, Claude Sonnet 4.6 y varios modelos de la serie GPT.
Los resultados mostraron una mejora significativa. Con el uso de SecureForge, el porcentaje promedio de programas que contenían errores de seguridad fue del 11,8%, mientras que con una instrucción estándar que requería código seguro, este porcentaje era del 20,1%.
Para GPT-5.4, la tasa de error disminuyó del 15,8% al 10,1%. Para GPT-5.4 Mini, se redujo del 21,4% al 12,4%, y para GPT-5.4 Nano, del 22,1% al 15,6%.
Sin embargo, el método también tiene limitaciones. Se optimizó principalmente contra clases de vulnerabilidades ya conocidas. Por lo tanto, aún no está claro qué tan efectivo será para proteger contra nuevos o previamente desconocidos problemas de seguridad.
A pesar de esto, SecureForge muestra una posible vía para aumentar la seguridad de los asistentes de programación que utilizan inteligencia artificial. Los mismos modelos que pueden detectar vulnerabilidades también pueden crear nuevos errores si están mal configurados.