Preocupaciones de Seguridad en Llama Firewall de Meta

El análisis arrojó un resultado benigno a pesar de la intención claramente maliciosa. El equipo demostró además que las ofuscaciones simples de leetspeak que transformaban «ignorar» en «1gn0r3», por ejemplo, también pasaban el filtro y recibían puntuaciones de jailbreak insignificantes cuando se probaban con el modelo Llama-Prompt-Guard-2–86M.

Estos experimentos revelaron que el conjunto de reglas del firewall depende en gran medida de palabras clave en inglés y coincidencias exactas de patrones, lo que lo deja ciego a variaciones en el idioma o sustituciones de caracteres.

Igualmente preocupante fue la evaluación del equipo de CODE_SHIELD, el módulo diseñado para señalar sugerencias de código inseguro generadas por LLM.

En una prueba de concepto, los investigadores ordenaron a un asistente que produjera un punto final simple de Python Flask con una consulta SQL. El código resultante concatenó la entrada del usuario directamente en la cadena de consulta, creando una vulnerabilidad de inyección SQL de libro de texto.

A pesar del evidente riesgo, CODE_SHIELD clasificó la salida como segura y la permitió pasar sin oposición.

Los desarrolladores de Trendyol enfatizaron varias preocupaciones críticas sobre esta deficiencia:

• Riesgo de producción: Los equipos pueden depender de fragmentos generados por LLM sin una revisión humana exhaustiva.
• Brechas de seguridad: La dependencia excesiva del análisis automatizado introduce vulnerabilidades críticas.
• Exposición del sistema: Los sistemas de producción se vuelven vulnerables a la explotación a través de fallas no detectadas.
• Problemas de confianza: Los desarrolladores pueden desarrollar una confianza falsa en las herramientas de seguridad automatizadas.

El desvío más insidioso implicó incrustar instrucciones ocultas dentro de caracteres Unicode invisibles.

Al insertar espacios de ancho cero y otros puntos de código no imprimibles alrededor de la frase «ignorar todas las instrucciones anteriores», los investigadores camuflaron directivas maliciosas dentro de una pregunta inocua sobre la capital de Francia.

Aunque los usuarios y observadores casuales sólo vieron una consulta inofensiva, el LLM reconoció y ejecutó el comando oculto. Cuando se envió a Llama Firewall, esta carga útil pasó la inspección con una puntuación de amenaza cero.

El equipo de Trendyol demostró que incluso cargas útiles invisibles mínimas podrían subvertir de manera confiable las indicaciones del sistema y hacer que los modelos produzcan resultados arbitrarios o dañinos.

Esta técnica plantea una amenaza particularmente grave en entornos colaborativos donde los desarrolladores copian y pegan las indicaciones y los escáneres automatizados carecen de visibilidad de los caracteres ocultos.

En total, Trendyol probó cien cargas útiles de inyección únicas contra Llama Firewall. La mitad de estos ataques eludieron las defensas del sistema, lo que sugiere que si bien el firewall ofrece cierta protección, está lejos de ser integral.

Las omisiones exitosas resaltan escenarios en los que los atacantes podrían obligar a los LLM a ignorar los filtros de seguridad críticos, generar contenido sesgado u ofensivo, o generar código inseguro listo para su ejecución.

Para organizaciones como Trendyol, que planean integrar LLM en plataformas de desarrollo, procesos de automatización y aplicaciones orientadas al cliente, estas vulnerabilidades representan riesgos concretos que podrían conducir a fugas de datos, compromiso del sistema o incumplimiento normativo.

Los investigadores de seguridad de Trendyol informaron sus hallazgos iniciales a Meta el 5 de mayo de 2025, detallando las inyecciones rápidas multilingües y confusas.

Meta acusó recibo y comenzó una revisión interna, pero finalmente cerró el informe como «informativo» el 3 de junio y se negó a emitir una recompensa por errores.

Una divulgación paralela a Google sobre inyecciones invisibles de Unicode también se cerró como duplicada.

A pesar de las tibias respuestas de los proveedores, desde entonces Trendyol ha perfeccionado sus propias prácticas de modelado de amenazas y está compartiendo su estudio de caso con la comunidad de seguridad de IA en general.

La compañía insta a otras organizaciones a realizar un riguroso equipo rojo de defensas LLM antes de ponerlas en producción, enfatizando que el filtrado rápido por sí solo no puede prevenir todas las formas de compromiso.

Mientras las empresas se apresuran a aprovechar el poder de la IA generativa, la investigación de Trendyol sirve como advertencia: sin salvaguardias en capas y conscientes del contexto, incluso las herramientas de firewall de última generación pueden ser víctimas de vectores de ataque engañosamente simples.

La comunidad de seguridad ahora debe colaborar en métodos de detección más resistentes y mejores prácticas para adelantarse a los adversarios que innovan continuamente en nuevas formas de manipular estos poderosos sistemas.