El Instituto Nacional de Estándares y Tecnología (NIST) del Departamento de Comercio de EE. UU. ha llegado a un acuerdo con los principales desarrolladores de IA OpenAI y Anthropic para establecer una colaboración formal con el Instituto de Seguridad de IA de EE. UU. (AISI), la agencia. dicho el jueves.
El instituto “tendría acceso a los principales diseños nuevos de cada empresa antes y después de su lanzamiento público”, según el anuncio. Anthropic desarrolla Claude, mientras que OpenAI ofrece ChatGPT.
Este acuerdo permitirá al Instituto evaluar las capacidades y riesgos de seguridad de diferentes modelos de IA.
“La seguridad es esencial para impulsar la innovación tecnológica disruptiva. A través de estos acuerdos, esperamos comenzar nuestras colaboraciones técnicas con Anthropic y OpenAI para avanzar en la ciencia de la seguridad de la IA”, dijo la directora de la agencia, Elizabeth Kelly, en un comunicado. “Estos acuerdos son sólo el comienzo, pero son un paso importante en nuestros esfuerzos para ayudar a gestionar responsablemente el futuro de la IA. »
Este trabajo con el AISI de EE. UU. se basará en trabajos anteriores que hemos realizado este año, donde trabajamos con el AISI del Reino Unido para realizar una prueba previa a la implementación de Sonnet 3.5. Algunas ideas más generales sobre la importancia de las pruebas de terceros aquí:
– Jack Clark (@jackclarkSF) 29 de agosto de 2024
Anthropic y OpenAI no respondieron de inmediato a las solicitudes de comentarios de Descifrar.
“Esperamos realizar pruebas previas al despliegue de nuestro próximo modelo con el AISI estadounidense”, dijo Jack Clark, cofundador de Anthropic. escribió en Twitter. “Las pruebas de terceros son una parte realmente importante del ecosistema de IA y es sorprendente ver a los gobiernos crear institutos de seguridad para facilitar esto. »
“Nos complace haber llegado a un acuerdo con el Instituto para la Seguridad de la IA de EE. UU. para probar previamente nuestros modelos futuros”, dijo Sam Altman, cofundador y director ejecutivo de OpenAI. escribió en Twitter. “Por muchas razones, creemos que es importante que esto suceda a nivel nacional. [The] ¡Estados Unidos debe seguir desempeñando un papel de liderazgo!
La cuestión de la seguridad de la IA ha invadido todos los niveles de la industria, y muchos expertos y ejecutivos de alto nivel abandonaron OpenAI por preocupaciones sobre sus prácticas, creando en algunos casos empresas rivales centradas en un desarrollo cuidadoso.
Los gobiernos también están preocupados. Lanzado en octubre de 2023 por la administración Biden, AISI se creó después de que el presidente Biden emitiera una orden ejecutiva de amplio alcance destinada a frenar el desarrollo de la inteligencia artificial.
En febrero, la administración Biden anunció los primeros miembros de lo que llamó el Consorcio AISI (AISIC). AISIC incluía varias empresas líderes en inteligencia artificial, incluidas OpenAI, Anthropic, Google, Apple, NVIDIA, Microsoft y Amazon.
El AISI de EE. UU. dijo que compartiría sus hallazgos sobre OpenAI y Anthropic con sus homólogos europeos en el Instituto de Seguridad de IA del Reino Unido.
Generalmente inteligente Hoja informativa
Un viaje semanal de IA contado por Gen, un modelo de IA generativa.