PRESIONE SOLTAR
La Oficina Principal de Inteligencia Digital y Artificial (CDAO) concluyó con éxito un programa piloto de garantía de Crowdsourced AI Red-Teaming (CAIRT) centrado en el uso de chatbots de modelo de lenguaje grande (LLM) en el contexto de la medicina militar. El programa CAIRT ayuda al Departamento de Defensa (DoD) a generar enfoques locales y participativos para garantizar la IA y mitigar sus riesgos. A través del crowdsourcing, los proyectos pueden obtener un gran volumen de datos e involucrar a una amplia variedad de partes interesadas.
Este piloto de CAIRT LLM fue dirigido por Humane Intelligence, una empresa de tecnología que crea una comunidad de práctica en torno a evaluaciones algorítmicas, en colaboración con la Agencia de Salud de Defensa (DHA) y la oficina ejecutiva del programa, Sistemas de Gestión de Atención Médica de Defensa (PEO DHMS). Gracias a la metodología de equipo rojo (que utiliza técnicas adversas para probar internamente la solidez del sistema), Humane Intelligence pudo detectar de manera efectiva vulnerabilidades específicas del sistema. Además, el equipo rojo atrae a participantes que desean involucrarse con nuevas tecnologías y, como futuros beneficiarios potenciales, tienen la oportunidad de contribuir a la mejora de los sistemas. Anteriormente, en la primavera de 2024, CDAO realizó un valioso ejercicio del equipo rojo del CAIRT utilizando un modelo financiero. principal.
En el último programa piloto, Humane Intelligence utilizó equipos rojos colaborativos para dos posibles casos de uso en el contexto de la medicina militar: resumen de notas clínicas y un chatbot de asesoramiento médico. Más de 200 participantes, incluidos proveedores clínicos y analistas de atención médica de DHA, la Universidad de Ciencias y Servicios de la Salud de Servicios Uniformados, participaron en el ejercicio, que comparó tres LLM populares. El ejercicio reveló más de 800 descubrimientos de posibles vulnerabilidades y sesgos relacionados con el uso de estas capacidades en estos posibles casos de uso. Este ejercicio generará resultados repetibles y escalables mediante el desarrollo de conjuntos de datos de referencia, que pueden usarse para evaluar futuros proveedores y herramientas para alinearlos con las expectativas de desempeño. Además, estos hallazgos desempeñarán un papel fundamental en el desarrollo de políticas y mejores prácticas del Departamento de Defensa para el uso responsable de la IA generativa (GenAI), mejorando así la atención médica militar. Si, cuando se implementen, estos posibles casos de uso incluyen la IA cubierta definida en OMB M-24-10, cumplirán con todas las prácticas de gestión de riesgos requeridas.
“Dado que la aplicación de GenAI para tales fines dentro del Departamento de Defensa se encuentra en sus primeras etapas de prueba y experimentación, este programa actúa como un pionero crítico en la generación de una gran cantidad de datos de prueba, descubriendo áreas para considerar y validar opciones de mitigación que darán forma a futuras investigaciones. y desarrollo. y garantía de los sistemas GenAI que pueden implementarse en el futuro”, comentó el líder de CADD para esta iniciativa, el Dr. Matthew Johnson.
Como lo reveló el piloto reciente y otros, las pruebas continuas de LLM y sistemas de IA a través del Programa de Garantía CAIRT serán clave para acelerar la Célula de Capacidades Rápidas de IA del CDAO, mejorar la efectividad de la misión GenAI y contribuir a una confianza justificada en los casos de uso del Departamento de Defensa.
Acerca de CDAO
El CDAO entró en funcionamiento en junio de 2022 y se dedica a integrar y optimizar las capacidades de IA dentro del Departamento de Defensa. La oficina es responsable de acelerar la adopción de datos, análisis e inteligencia artificial por parte del Departamento de Defensa, lo que permite que la infraestructura digital y la adopción de políticas del Departamento brinden soluciones escalables basadas en inteligencia artificial para empresas y casos de uso conjunto, protegiendo así a la nación contra amenazas actuales y emergentes.
Para obtener más información sobre CDAO, visite nuestro sitio web en ai.mil. También puede conectarse con CDAO en LinkedIn (@DoD Chief Digital and Artificial Intelligence Office) y X, oficialmente conocido como Twitter (@dodcdao). Se pueden encontrar actualizaciones y noticias adicionales en la página de la unidad CADD en DVIDS.