COMENTARIO
La llegada de las herramientas de codificación de inteligencia artificial (IA) marca sin duda un nuevo capítulo en el desarrollo de software moderno. Con 63% de las organizaciones Actualmente, al probar o implementar asistentes de codificación de IA en sus flujos de trabajo de desarrollo, el genio está realmente fuera de la botella y la industria ahora debe tomar medidas cuidadosas para integrarlo de la manera más segura y eficiente posible.
La Fundación OWASP ha sido durante mucho tiempo una defensora de las mejores prácticas de codificación segura, brindando una cobertura integral sobre cómo los desarrolladores pueden defender mejor sus bases de código contra vulnerabilidades explotables. Su reciente actualización de OWASP Top 10 para aplicaciones de modelos de lenguaje grande (LLM) revela las amenazas emergentes y más poderosas perpetuadas por el código generado por IA y las aplicaciones de IA generativa (GenAI), y es un punto de partida fundamental para comprender y mitigar las amenazas que puedan surgir.
Necesitamos centrarnos en construir controles fundamentales sólidos en torno a la gestión de riesgos de los desarrolladores si queremos ver software más seguro y de mayor calidad en el futuro, y mucho menos hacer mella en la ola de pautas globales que requieren la publicación de aplicaciones que son seguro por diseño.
La peligrosa intersección entre el código generado por IA y la seguridad de la cadena de suministro de software
La clasificación de Prompt Inyección como la entrada número uno en el último OWASP Top 10 no fue sorprendente, dada su función de comando directo en lenguaje natural que le dice al software qué hacer (para bien o para mal). Sin embargo, las vulnerabilidades de la cadena de suministro, que tienen un impacto mucho mayor a nivel empresarial, ocupan el tercer lugar.
La guía OWASP menciona varios vectores de ataque que comprenden esta categoría de vulnerabilidad, como la implementación de modelos previamente entrenados que también están comprometidos previamente con puertas traseras, malware y datos envenenados, o Adaptadores LoRA vulnerables que, irónicamente, se utilizan para aumentar la eficiencia, pero que, a su vez, pueden comprometer el núcleo del LLM. Estos presentan problemas de explotación potencialmente graves y generalizados que pueden afectar a toda la cadena de suministro en la que se utilizan.
Desafortunadamente, muchos desarrolladores carecen de habilidades y procesos suficientes para abordar estos problemas de manera segura, y esto es aún más evidente cuando se evalúa el código generado por IA en busca de fallas en la lógica empresarial. Aunque no figura específicamente como categoría, como se muestra Los 10 mejores sitios web de OWASP Riesgos de seguridad de las aplicacionesEsto se trata en parte en el número 6, Agencia excesiva. A menudo, un desarrollador favorecerá en gran medida que el LLM funcione de manera más fluida, especialmente en entornos de prueba, o malinterpretará cómo los usuarios reales interactuarán con el software, dejándolo vulnerable a errores lógicos explotables. Estos también afectan las aplicaciones de la cadena de suministro y, en general, requieren que un desarrollador aplique principios de pensamiento crítico y modelado de amenazas para superarlos. El uso incontrolado de herramientas de IA, o la adición de capas basadas en IA a las bases de código existentes, aumenta la complejidad general y es un área de riesgo importante para los desarrolladores.
La exposición de datos es una preocupación grave que requiere una gran concienciación.
La divulgación de información confidencial ocupa el segundo lugar en la nueva lista, pero debería ser una de las principales preocupaciones de los líderes de seguridad y desarrollo empresarial. Como señala OWASP, este vector puede afectar tanto al propio LLM como a su contexto de aplicación, lo que lleva a exposición a información de identificación personal (PII)y divulgación de algoritmos propietarios y datos comerciales.
La naturaleza de cómo funciona la tecnología puede significar que exponer estos datos sea tan simple como usar indicaciones inteligentes en lugar de “piratear” activamente una vulnerabilidad a nivel de código, y “la hazaña de la abuela” es un excelente ejemplo de datos confidenciales expuestos debido a controles de seguridad laxos en mensajes ejecutables. Aquí, ChatGPT fue engañado para revelar la receta de napalm cuando se le pidió que asumiera el papel de una abuela que lee un cuento antes de dormir. Una técnica similar También se utilizó para extraer Teclas de Windows 11.
Esto es posible en parte gracias a resultados de modelos mal configurados que pueden exponer datos de entrenamiento propietarios, que luego pueden explotarse en ataques de inversión para potencialmente eludir los controles de seguridad. Esta es un área de alto riesgo para quienes llenan sus propios LLM con datos de capacitación, y el uso de la tecnología requiere conciencia de seguridad en toda la empresa y basada en roles. Los desarrolladores que crean la plataforma deben estar bien versados en la validación de entradas y la desinfección de datos (es decir, estas habilidades se verifican y evalúan antes de que puedan enviar código), y cada El usuario final debe estar capacitado para evitar proporcionar datos confidenciales que podrían revelarse más adelante.
Si bien esto puede parecer trivial a pequeña escala, a nivel gubernamental o empresarial, con la posibilidad de que decenas de miles de empleados participen inadvertidamente en la exposición de datos confidenciales, es una expansión significativa que se suma a una superficie de ataque ya de por sí pesada que debe ser abordado.
¿Estás prestando atención a la Recuperación de Generación Aumentada (RAG)?
Quizás la nueva entrada más notable en la lista de 2025 se encuentre en el número 8, Debilidades de integración y vectores. Debido a que las aplicaciones empresariales LLM suelen utilizar la tecnología RAG como parte de la arquitectura del software, esta es una categoría de vulnerabilidad a la que la industria debe prestar mucha atención.
RAG es esencial para mejorar el rendimiento del modelo y, a menudo, actúa como el “pegamento” que proporciona pistas contextuales entre los modelos previamente entrenados y las fuentes de conocimiento externas. Esto es posible mediante la implementación de vectores e incrustaciones, pero si no se implementan de forma segura, pueden conducir a exposición de datos desastrosao abrir la puerta a graves ataques de inversión y envenenamiento de datos.
Una comprensión completa de la lógica empresarial básica y el control de acceso con privilegios mínimos debe considerarse una base de habilidades de seguridad para los desarrolladores que trabajan en modelos internos. Sin embargo, de manera realista, el mejor de los casos implicaría contratar a los mejores y más expertos en seguridad, junto con sus contrapartes de AppSec, para realizar un modelado integral de amenazas y garantizar un registro y monitoreo suficientes.
Como ocurre con toda la tecnología LLM, aunque es un espacio emergente fascinante, debe diseñarse y utilizarse con un alto nivel de conocimiento y cuidado en materia de seguridad. Esta lista proporciona una base poderosa y actualizada para el panorama de amenazas actual, pero el entorno inevitablemente crecerá y cambiará rápidamente. La forma en que los desarrolladores crean aplicaciones ciertamente mejorará en los próximos años, pero en última instancia, no hay sustituto para un desarrollador intuitivo y centrado en la seguridad que trabaja con el pensamiento crítico necesario para reducir el riesgo de datos e inteligencia artificial. .