Varios grupos patrocinados por el experimento estatal con el asistente de Géminis impulsado por Google AI para aumentar la productividad y realizar investigaciones sobre la infraestructura potencial para los ataques o el reconocimiento de los objetivos.
El grupo de inteligencia sobre las amenazas de Google (GTIG) ha detectado grupos avanzados de amenazas avanzadas avanzadas (APT) vinculados al gobierno utilizando Gemini principalmente para las ganancias de productividad en lugar de desarrollar o liderar nuevos ataques cibernéticos compatibles con la IA que puede pasar por alto las defensas tradicionales.
Los actores de amenaza intentaron aprovechar las herramientas de IA para su ataque a varios grados de éxito, porque estos servicios públicos pueden al menos acortar el período de preparación.
Google ha identificado la actividad de Géminis asociada con grupos APT en más de 20 países, pero lo más importante vino de Irán y China.
Entre los casos más comunes, hubo asistencia a las tareas de código para desarrollar herramientas y scripts, investigación sobre vulnerabilidades divulgadas públicamente, verificación de tecnología (explicaciones, traducción), la búsqueda de detalles sobre los objetivos de las organizaciones y la búsqueda de métodos para escapar de la detección, aumentar los privilegios o gestionar el reconocimiento interno en una red de compromiso.
APTS usando Géminis
Google dice que los apartamentos de Irán, China, Corea del Norte y Rusia, todos experimentaron Géminis, explorando el potencial de la herramienta para ayudarlos a descubrir brechas de seguridad, escapar de la detección y planificar sus actividades posteriores a la compromiso. Estos se resumen de la siguiente manera:
- iraní Los actores amenazantes fueron los usuarios más pesados de Gemini, que lo sacaron para una amplia gama de actividades, incluido el reconocimiento de organizaciones de defensa y expertos internacionales, investigación sobre vulnerabilidades públicas, el desarrollo de campañas de phishing y creación de contenido para las operaciones de influencia. También utilizaron Géminis para la traducción y explicaciones técnicas relacionadas con la ciberseguridad y las tecnologías militares, incluidos los vehículos aéreos no tripulados (UAU) y los sistemas de defensa antimisiles.
- Porcelana-Los actores en la amenaza apoyados principalmente Géminis para el reconocimiento de las organizaciones militares y gubernamentales estadounidenses, investigación sobre vulnerabilidad, guiones para movimientos laterales y escalada de privilegios, y actividades posteriores a las actividades posteriores, como la detección y el mantenimiento de la persistencia en las redes. También exploraron formas de acceder a Microsoft Exchange utilizando el hash de contraseña y los ingenieros inversos como Carbon Black EDR.
- Norcoreano APTS usó Gemini para apoyar varias fases del ciclo de vida de los ataques, en particular la búsqueda de proveedores de alojamiento gratuito, la realización del reconocimiento en las organizaciones objetivo y las técnicas de ayuda para desarrollar malware y escape. Una parte importante de su actividad se ha centrado en el programa de trabajadores subterráneos de TI en Corea del Norte, utilizando Gemini para escribir solicitudes de trabajo, cartas de motivación y propuestas para obtener un trabajo en empresas occidentales bajo identidades falsas.
- ruso Los actores amenazantes tenían un compromiso mínimo con Gemini, la mayoría de los usos se centraron en la asistencia con guiones, traducción y artesanías. Su actividad incluyó la reescritura de software malicioso accesible al público en diferentes lenguajes de programación, la adición de características de cifrado a un código malicioso y la comprensión de la función específica del malware público. El uso limitado puede indicar que los actores rusos prefieren los modelos IA desarrollados en Rusia o evitan las plataformas de IA occidentales por razones de seguridad operativa.
Google también menciona que han observado casos en los que los actores de amenaza intentaron usar jailbreaks públicos contra Géminis o reformular sus indicaciones para evitar las medidas de seguridad de la plataforma. Estos intentos no habrían tenido éxito.
Openai, el creador del popular chatbot chatgpt, hizo una divulgación similar en octubre de 2024, por lo que el último informe de Google es una confirmación del uso abusivo a gran escala de herramientas de IA generativas por parte de actores de amenazas de todos los niveles.
Aunque los jailbreaks y los bypass de seguridad son una preocupación en los productos tradicionales de IA, el mercado de IA se llena gradualmente de modelos de IA que carecen de protecciones apropiadas para prevenir el abuso. Desafortunadamente, algunas de ellas con restricciones triviales para omitir también son una mayor popularidad.
La inteligencia de ciberseguridad Kela publicó recientemente los detalles de las medidas de seguridad laxas para Deepseek r1 Y Alibaba Qwen 2.5que son vulnerables a los ataques de inyección rápidas que podrían racionalizar el uso malicioso.
Los investigadores de la Unidad 42 también han demostrado técnicas efectivas de jailbreak contra Deepseek R1 y V3Mostrando que los modelos son fáciles de abusar con fines dañinos.