Yu Xian, fundador de la empresa de seguridad blockchain Slowmist, alarmas activadas sobre una amenaza creciente conocida como envenenamiento del código AI.
Este tipo de ataque implica inyectar código dañino en los datos de entrenamiento de los modelos de IA, lo que puede representar riesgos para los usuarios que dependen de estas herramientas para tareas técnicas.
el incidente
El problema llamó la atención después de un incidente preocupante que involucró al ChatGPT de OpenAI. El 21 de noviembre, un comerciante de criptomonedas llamado “r_cky0” reportado perder $2,500 en activos digitales después de buscar ayuda de ChatGPT para crear un bot para el generador de memecoins Pump.fun, basado en Solana.
Sin embargo, el chatbot recomendó un sitio web fraudulento de la API de Solana, lo que provocó el robo de las claves privadas del usuario. La víctima notó que a los 30 minutos de usar la API maliciosa, todos los activos fueron volcados a una billetera vinculada a la estafa.
[Editor’s Note: ChatGPT appears to have recommended the API after running a search using the new SearchGPT as a ‘sources’ section can be seen in the screenshot. Therefore, it does not seem to be a case of AI poisoning but a failure of the AI to recognize scam links in search results.]
Una investigación más profunda reveló que esta dirección recibe regularmente tokens robados, lo que refuerza las sospechas de que pertenece a un estafador.
El fundador de Slowmist señaló que el nombre de dominio de la API fraudulenta se registró hace dos meses, lo que sugiere que el ataque fue premeditado. Xian añadió que el sitio web carecía de contenido detallado y consistía únicamente en documentos y repositorios de códigos.
Aunque el envenenamiento parece deliberado, no hay evidencia que sugiera que OpenAI haya incorporado intencionalmente los datos maliciosos en el entrenamiento de ChatGPT, y que el resultado probablemente provenga de SearchGPT.
Consecuencias
Rastreador de estafas de empresas de seguridad Blockchain nota que este incidente ilustra cómo los estafadores contaminan los datos de entrenamiento de IA con código criptográfico dañino. La compañía dijo que un usuario de GitHub, “solanaapisdev”, había creado recientemente varios repositorios para manipular modelos de IA para generar resultados fraudulentos en los últimos meses.
Las herramientas de inteligencia artificial como ChatGPT, que ahora utilizan cientos de millones de personas, enfrentan desafíos cada vez mayores a medida que los atacantes encuentran nuevas formas de explotarlas.
Xian advirtió a los usuarios de criptomonedas sobre los riesgos asociados con los grandes modelos de lenguaje (LLM) como GPT. Señaló que el envenenamiento por IA, que alguna vez fue un riesgo teórico, ahora se ha transformado en una amenaza real. Entonces, sin defensas más sólidas, incidentes como este podrían socavar la confianza en las herramientas basadas en inteligencia artificial y exponer a los usuarios a mayores pérdidas financieras.