El nuevo borde de riesgo en la oferta de IA
AI se ha convertido en la nueva tecnología favorita de todos. Una panacea que se ha integrado a través de funciones comerciales, la integración de los clientes y la automatización del cumplimiento de la gestión de riesgos operativos y la detección de fraude. Los equipos de suministro son cada vez más responsables de obtener suministros en soluciones alimentadas por IA, a menudo bajo presión para moverse rápidamente y asegurar una ventaja competitiva. Sin embargo, muchas empresas no están preparadas para los riesgos específicos que la IA introduce en la organización. Estos riesgos no son simplemente tecnológicos; Implican dimensiones regulatorias, operativas y de reputación.
El entorno regulatorio también aumenta las expectativas relacionadas con la oferta de IA, en particular en los servicios financieros. La ley sobre la resiliencia digital de Europa (Dora), que entró en vigor a principios de este año, la obligación de gestionar los riesgos de tercera parte, incluida la IA. Según Dora, las empresas deben asegurarse de que las revisiones de las TIC críticas cumplan con los estándares de resiliencia operativa, seguridad y gestión de riesgos. Por supuesto, esto se extiende a los sistemas de IA integrados en servicios de proveedores.
Desafortunadamente, los procesos de suministro tradicionales de hoy están lejos de ser suficientes. El acento típico de las características, la seguridad, las SLA, etc. no aborda suficientemente los riesgos continuos que plantea la IA. Las funciones de suministro también se utilizan para actuar lenta y exclusivamente. Las organizaciones que no se adaptan y aceleran su enfoque de suministro pueden enfrentar numerosas responsabilidades, incluida la exposición regulatoria, los sesgos sistémicos, las fallas de gobernanza de datos y la pérdida de transparencia operativa hasta el punto de no saber qué ha estado mal.
Integridad de datos y transparencia del modelo
La mayoría de las recomendaciones se centran en los datos de capacitación, y con razón: una de las primeras fallas del suministro en IA proviene de la falta de control sobre los datos de capacitación. Las empresas deben requerir una divulgación clara en las fuentes de datos, los procesos de seguro de calidad y las etapas que los vendedores tienen para mitigar los prejuicios. Si los datos subyacentes son imperfectos o no representativos, el sistema IA inevitablemente producirá resultados erróneos, independientemente de cómo aparezcan los algoritmos avanzados. Pero no debe olvidarse que hay muchos matices en el proceso de entrenamiento y ajuste fino que van más allá de los simples datos de entrenamiento: los algoritmos, el muestreo, la interacción material y humano también afectan la formación del modelo.
La transparencia del modelo es igual de esencial. Las empresas no deben aceptar soluciones de “caja negra” sin mecanismos para la auditoría y la explicación de las salidas de IA. Los proveedores deben poder demostrar que sus modelos están sujetos a marcos de interpretación que permiten una auditoría independiente de las formas de toma de decisiones. La transparencia es fundamental para establecer la confianza, garantizar el cumplimiento regulatorio y el mantenimiento de procesos comerciales críticos.
Los riesgos emergentes de los modelos de base y las cadenas de suministro de los modelos
Una dimensión cada vez más importante del suministro de IA es comprender la cadena de suministro del modelo. Muchos vendedores de hoy construyen sus ofertas, además de poderosos modelos de cimientos de tercera parte como GPT o Claude. Aunque estos modelos aceleran la innovación, pueden ser caros y no adaptarse al objetivo, y con los modelos de código abierto en el mercado, el riesgo aumenta.
Los datos proporcionados a los proveedores podrían ser potencialmente absorbidos en modelos subyacentes a menos que existan garantías contractuales explícitas. Esto plantea una multitud de confidencialidad, propiedad intelectual y problemas de confidencialidad. Los equipos de suministro deben requerir claridad: ¿se aislarán los datos internos del reciclaje del modelo? ¿Qué controles técnicos existen para evitar fugas de datos? ¿Cómo se gobiernan las dependencias del modelo de fundación y qué responsabilidades se aceptan en caso de falla aguas arriba? ¿Cuál es el proceso de modificaciones / actualizaciones del modelo de base subyacente?
Los compradores no solo deben pensar en sus proveedores directos, sino también en todo el modelo del modelo aguas arriba, donde los problemas y las fallas podrían extenderse aguas abajo en sus propias operaciones.
El caso del monitoreo continuo
Las compras deben reconocer que los sistemas de IA introducen riesgos continuos y no estáticos. La naturaleza dinámica de la IA significa que pueden surgir nuevos problemas mucho después del despliegue. Por lo tanto, es crucial saber cuándo se modifican / actualizan los modelos de proveedores, cómo se lleva a cabo el reciclaje y qué monitoreo existe para el rendimiento posterior al recurso.
Los equipos de suministro deben construir un marco para el monitoreo continuo del comportamiento de la IA del proveedor, los resultados del modelo y el cumplimiento contractual. La evaluación de riesgos no puede detenerse en la integración, pero debe continuar durante todo el ciclo de vida del proveedor. Las organizaciones deben desarrollar capacidades para detectar cuándo evolucionan los riesgos y cuándo los proveedores modifican sus tecnologías fundamentales, sus modelos o sus prácticas de datos y datos.
Sin monitoreo dinámico, no descubriremos problemas hasta que sea demasiado tarde para mitigar.
Riesgo contractual: integrar la gobernanza en la fuente
Los contratos para las soluciones alimentadas por la IA deben evolucionar para responder a nuevas realidades del riesgo de IA. Los contratos de software tradicionales rara vez responden a las principales preocupaciones como:
- Propiedad y control de salidas de datos generadas por AI
- Límites del reciclaje de modelos utilizando datos comerciales
- Requisitos para pruebas de sesgo, auditoría de capital e informes de rendimiento
- Remedios para fallas de conformidad o uso no autorizado de datos del cliente
- Auditoría de derechos a proveedores directos y sus proveedores de modelos de fundación
Los equipos de suministro deben trabajar en estrecha colaboración con las funciones legales, de riesgo y cumplimiento para garantizar que la gobernanza específica esté integrada en los acuerdos de proveedores. La diligencia razonable antes del contrato debe incluir un examen meticuloso de la forma en que los riesgos de IA se asignan y atenúan a través de marcos legales, no solo términos comerciales. Si no gobernamos contractualmente los riesgos de la IA al comienzo, encontrará casi imposible hacer cumplir la responsabilidad cuando las fallas ocurran más adelante.
Las empresas también deben invertir en sistemas y procesos que permitan una evaluación continua de riesgos, problemas de proveedores y la aplicación de gobernanza contractual. El suministro debe convertirse en una función dinámica capaz de adaptarse a los riesgos que evolucionan de la IA, en lugar de un portero estático que realiza una evaluación básica y básica.
Haga mejores preguntas: más rápido y más a menudo
El panorama comercial cambia rápidamente. Nuevas tecnologías emocionantes han obtenido importantes promesas. Las empresas que pueden evaluar, integrar y monitorear de manera profunda y efectiva su ecosistema de proveedores tienen una ventaja competitiva significativa en la nueva economía.