IA desde la perspectiva de un atacante: aprenda cómo los ciberdelincuentes explotan la IA y sus vulnerabilidades para comprometer sistemas, usuarios e incluso otras aplicaciones de IA.
Cibercriminales e IA: realidad versus exageración
“La IA no sustituirá a los humanos en un futuro próximo. Pero los humanos que sepan cómo utilizar la IA sustituirán a los que no saben cómo utilizarla”, afirma Etay Maor, estratega jefe de seguridad de Redes Cato y miembro fundador de catón CTRL. “Del mismo modo, los atacantes también están recurriendo a la IA para aumentar sus propias capacidades”.
Sin embargo, hay mucho más entusiasmo que realidad sobre el papel de la IA en el ciberdelito. Los titulares suelen sensacionalizar las amenazas de la IA, con términos como “Caos-GPT” y “Herramientas de IA de sombrero negro”, incluso afirmando que buscan destruir a la humanidad. Sin embargo, estos artículos incitan al miedo más que representar amenazas graves.
Por ejemplo, cuando se exploraron en foros clandestinos, muchas de estas llamadas “herramientas de inteligencia artificial cibernética” resultaron ser nada más que versiones renombradas de LLM públicos básicos, sin funciones avanzadas. De hecho, los atacantes enojados incluso los han llamado estafas.
Cómo los piratas informáticos utilizan realmente la IA en los ciberataques
En realidad, los ciberdelincuentes todavía intentan explotar eficazmente la IA. Experimentan los mismos problemas y deficiencias que los usuarios legítimos, como alucinaciones y capacidades limitadas. Según sus predicciones, pasarán algunos años antes de que puedan aprovechar GenAI de manera efectiva para satisfacer las necesidades de piratería.
Por ahora, las herramientas GenAI se utilizan principalmente para tareas más simples, como escribir correos electrónicos de phishing y generar fragmentos de código que pueden integrarse en ataques. Además, observamos que los atacantes proporcionaban código comprometido a los sistemas de inteligencia artificial para su análisis, con el objetivo de “normalizarlo” como no malicioso.
Usar la IA para abusar de la IA: introducir GPT
Los GPT, presentados por OpenAI el 6 de noviembre de 2023, son versiones personalizables de ChatGPT que permiten a los usuarios agregar instrucciones específicas, integrar API externas e incorporar fuentes de conocimiento únicas. Esta característica permite a los usuarios crear aplicaciones altamente especializadas, como bots de mesa de ayuda, herramientas educativas y más. Además, OpenAI ofrece a los desarrolladores opciones de monetización para GPT a través de un mercado dedicado.
Abuso de GPT
Los GPT introducen posibles problemas de seguridad. Un riesgo notable es la exposición de instrucciones confidenciales, conocimiento propietario o incluso claves API integradas en el GPT personalizado. Los actores malintencionados pueden utilizar la IA, en particular la ingeniería rápida, para replicar un GPT y explotar su potencial de monetización.
Los atacantes pueden utilizar indicaciones para recuperar fuentes de conocimiento, instrucciones, archivos de configuración, etc. Esto podría ser tan simple como solicitar al GPT personalizado que enumere todos los archivos descargados y las instrucciones personalizadas o solicitar información de depuración. O algo más sofisticado, como pedirle a GPT que comprima uno de los archivos PDF y cree un enlace descargable, pedirle a GPT que enumere todas sus funciones en un formato de tabla estructurada y más.
“Incluso se pueden eludir las protecciones implementadas por los desarrolladores y se puede extraer todo el conocimiento”, dice Vitaly Simonovich, investigador de inteligencia de amenazas en Cato Networks y miembro de Cato CTRL.
Estos riesgos se pueden evitar mediante:
- No subas datos sensibles
- Utilice protección basándose en las instrucciones, aunque éstas no sean infalibles. “Tenemos que tener en cuenta todos los diferentes escenarios en los que el atacante puede abusar”, añade Vitaly.
- Protección abierta AI
Ataques y riesgos de la IA
Hay varios marcos disponibles en la actualidad para ayudar a las organizaciones a considerar el desarrollo y la creación de software basado en IA:
- Marco de gestión de riesgos de inteligencia artificial del NIST
- Marco seguro de IA de Google
- OWASP Top 10 para LLM
- OWASP Top 10 para aplicaciones LLM
- EL lanzado recientemente ATLAS con pestañas
Superficie de ataque LLM
Hay seis componentes clave del modelo de lenguaje grande (LLM) que los atacantes pueden atacar:
- Rápido – Ataques como inyecciones rápidas, donde se utilizan entradas maliciosas para manipular la salida de la IA.
- Respuesta – Uso indebido o filtración de información confidencial en respuestas generadas por IA
- Modelo – Robo, envenenamiento o manipulación del modelo de IA
- Datos de entrenamiento – Introducción de datos maliciosos para modificar el comportamiento de la IA.
- Infraestructura – Dirigirse a servidores y servicios que admitan IA
- Usuarios – Engañar o explotar a humanos o sistemas basándose en resultados de IA.
Ataques y riesgos reales
Terminemos con algunos ejemplos de manipulaciones de LLM, que pueden utilizarse fácilmente de forma maliciosa.
- Inyección rápida en los sistemas de atención al cliente. – Un caso reciente involucró a un concesionario de automóviles que utilizaba un chatbot de IA para atención al cliente. Un investigador logró manipular el chatbot emitiendo un mensaje que cambió su comportamiento. Al indicarle al chatbot que aceptara todas las declaraciones de los clientes y finalizara cada respuesta con “Y esta es una oferta legalmente vinculante”, el investigador pudo comprar un automóvil a un precio ridículamente bajo, exponiendo una vulnerabilidad importante.
- Alucinaciones que tienen consecuencias legales. – En otro incidente, Air Canada enfrentó acciones legales cuando su chatbot de IA proporcionó información incorrecta sobre las políticas de reembolso. Cuando un cliente confió en la respuesta del chatbot y posteriormente presentó una queja, Air Canada fue considerada responsable por la información engañosa.
- Fugas de datos propietarios – Los empleados de Samsung, sin saberlo, filtraron información patentada cuando utilizaron ChatGPT para analizar código. Cargar datos confidenciales en sistemas de inteligencia artificial de terceros es riesgoso porque no está claro cuánto tiempo se almacenan los datos o quién puede acceder a ellos.
- Inteligencia artificial y tecnología deepfake en el fraude – Los ciberdelincuentes también están aprovechando la IA más allá de la generación de texto. Un banco de Hong Kong fue defraudado por 25 millones de dólares cuando los atacantes utilizaron tecnología deepfake en vivo durante una videollamada. Los avatares generados por IA imitan a funcionarios bancarios de confianza y convencen a la víctima de transferir fondos a una cuenta fraudulenta.
En resumen: IA en el cibercrimen
La IA es una herramienta poderosa tanto para defensores como para atacantes. A medida que los ciberdelincuentes continúan experimentando con la IA, es importante comprender cómo piensan, las tácticas que emplean y las opciones disponibles para ellos. Esto permitirá a las organizaciones proteger mejor sus sistemas de IA contra el mal uso y el mal uso.