Subvirtiendo a los codificadores LLM – Schneier sobre seguridad

Subvirtiendo a los codificadores LLM

Investigación realmente interesante: “Un ataque de puerta trasera asistido por LLM fácil de activar en modelos de finalización de código: inyectando vulnerabilidades disfrazadas contra una detección sólida“:

Abstracto: Los modelos de lenguajes grandes (LLM) han transformado la composición del código.
tareas de finalización, proporcionando sugerencias basadas en el contexto para aumentar la productividad del desarrollador de ingeniería de software. Como los usuarios suelen ajustar estos modelos para aplicaciones específicas, el envenenamiento y los ataques de puerta trasera pueden cambiar de forma encubierta los resultados del modelo. Para abordar este desafío de seguridad crítico, presentamos CODEBREAKER, un marco pionero de ataque de puerta trasera asistido por LLM en modelos de finalización de código. A diferencia de los ataques recientes que incorporan cargas útiles maliciosas en secciones de código detectables o irrelevantes (por ejemplo, comentarios), CODEBREAKER aprovecha los LLM (por ejemplo, GPT-4) para una transformación sofisticada de la carga útil (sin afectar las funciones), lo que garantiza que los datos envenenados para realizar ajustes y El código generado puede escapar a una fuerte detección de vulnerabilidades. CODEBREAKER se destaca por su cobertura integral de vulnerabilidades, lo que lo convierte en el primero en proporcionar un conjunto tan completo de evaluaciones. Nuestras extensas evaluaciones experimentales y estudios de usuarios destacan el sólido rendimiento de ataque de CODEBREAKER en diversos contextos, validando su superioridad sobre los enfoques existentes. Al incorporar cargas útiles maliciosas directamente en el código fuente con una transformación mínima, CODEBREAKER desafía las medidas de seguridad actuales, destacando la necesidad crítica de defensas más sólidas para completar el código.

Un ataque inteligente y otra ilustración más de por qué una IA confiable es esencial.

Etiquetas: artículos académicos, inteligencia artificial, puertas traseras, LLM

Publicado el 7 de noviembre de 2024 a las 07:07 • 0 comentarios