La inteligencia artificial ha llegado al escritorio.
Microsoft 365 Copilot, que debutó el año pasado, ahora está ampliamente disponible. Apple Intelligence acaba de alcanzar la disponibilidad beta general para los usuarios de Mac, iPhone y iPad recientes. Y Google Gemini pronto podrá actuar a través del navegador Chrome como parte de una función de agente en desarrollo llamada Proyecto Jarvis.
La integración de grandes modelos de lenguaje (LLM) que examinan la información empresarial y proporcionan secuencias de comandos automatizadas de acciones (las llamadas capacidades de “agente”) son muy prometedoras para los trabajadores del conocimiento, pero también son preocupaciones importantes para los líderes empresariales y los gerentes de seguridad de la información (. CISO). . Las empresas ya están sufriendo problemas importantes relacionados con el intercambio excesivo de información y la falta de limitación de los permisos de acceso: el 40% de las empresas han retrasado la implementación de Microsoft 365 Copilot tres meses o más debido a estos problemas de seguridad. Encuesta de Gartner.
La amplia gama de capacidades que ofrecen los sistemas de inteligencia artificial de escritorio, combinada con la falta de una seguridad de la información rigurosa en muchas empresas, plantea un riesgo significativo, dice Jim Alkove, director ejecutivo de Oleria, una plataforma de gestión de identidad y acceso a la información para servicios en la nube.
“Lo que debería preocupar a todos es la combinatoria”, afirma. “Estos riesgos categóricos existen en un contexto más amplio. [native language] tecnología basada en modelos, y cuando se combina eso con el tipo de riesgos de seguridad en tiempo de ejecución que hemos estado enfrentando (y el acceso a la información y los riesgos de auditabilidad), termina teniendo un efecto multiplicador en el riesgo.
La IA de escritorio probablemente despegará en 2025. Las empresas ya están buscando adoptar rápidamente Microsoft 365 Copilot y otras tecnologías de IA de escritorio, pero solo el 16 % ha retrasado las pruebas piloto iniciales para implementar la tecnología para todos los trabajadores, según “Estado del copiloto de Microsoft 365: resultados de la encuesta” de Gartner. La inmensa mayoría (60%) todavía está evaluando la tecnología en un proyecto piloto, mientras que una quinta parte de las empresas ni siquiera se encuentra en esa fase y todavía se encuentra en la fase de planificación.
La mayoría de los trabajadores esperan tener un sistema de inteligencia artificial de escritorio que les ayude con sus tareas diarias. Alrededor del 90% de los encuestados cree que sus usuarios tendrían dificultades para mantener el acceso a su asistente de IA y el 89% está de acuerdo en que la tecnología ha mejorado la productividad, según Gartner.
Llevando seguridad al asistente de IA
Desafortunadamente, las tecnologías son cajas negras en términos de arquitectura y protección, lo que significa que carecen de confianza. Con un asistente personal humano, las empresas pueden realizar verificaciones de antecedentes, limitar su acceso a ciertas tecnologías y auditar su trabajo, medidas que actualmente no tienen un control análogo a los sistemas de inteligencia artificial de escritorio, dice Alkove de Oleria.
Los asistentes de IA, ya sea en una computadora de escritorio, en un dispositivo móvil o en la nube, tendrán mucho más acceso a la información de la que necesitan, afirma.
“Teniendo en cuenta lo mal equipada que está la tecnología moderna para hacer frente al hecho de que mi asistente debería poder realizar una determinada serie de tareas electrónicas en mi nombre, pero nada más”, dice Alkove. “Puedes otorgarle a tu asistente acceso a los correos electrónicos y a tu calendario, pero no puedes impedir que tu asistente vea ciertos correos electrónicos y eventos del calendario. Él o ella puede verlo todo”.
Esta capacidad de delegar tareas debe ser parte del tejido de seguridad de los asistentes de IA, afirma.
Riesgo cibernético: ingeniería social tanto de los usuarios como de la IA
Sin ese diseño y controles de seguridad, es probable que se produzcan ataques.
A principios de este año, un escenario de ataque de inyección rápida puso de relieve los riesgos para las empresas. El investigador de seguridad Johann Rehberger descubrió que un ataque de inyección rápida e indirecta a través de un correo electrónico, un documento de Word o un sitio web podría engañar a Microsoft 365 Copilot para que desempeñe el papel de estafadorextraer información personal y revelarla a un atacante. Rehberger informó inicialmente a Microsoft del problema en enero y proporcionó información a la empresa durante todo el año. No está claro si Microsoft tiene una solución completa para este problema.
La capacidad de acceder a las capacidades de un sistema operativo o dispositivo hará que los asistentes de inteligencia artificial de escritorio sean otro objetivo para los estafadores que intentan engañar a un usuario para que actúe. En cambio, ahora se centrarán en conseguir que un LLM actúe, afirma Ben Kilger, director ejecutivo de Zenity, una empresa de seguridad de agentes de inteligencia artificial.
“Un LLM les brinda la capacidad de hacer cosas en su nombre sin ningún consentimiento o supervisión específico”, dice. “Muchos de estos ataques de inyección rápida intentan realizar ingeniería social en el sistema, tratando de eludir otros controles que tiene sobre su red sin tener que recurrir a la ingeniería social por parte de un ser humano”.
Visibilidad en la caja negra de la IA
La mayoría de las empresas carecen de visibilidad y control sobre la seguridad de la tecnología de IA en general. Para controlar adecuadamente la tecnología, las empresas deben poder examinar qué hace el sistema de IA, cómo interactúan los empleados con la tecnología y qué acciones se delegan a la IA, afirma Kilger.
“Todas estas son cosas que debe controlar la organización, no la plataforma del agente”, afirma. “Es necesario desglosarlo y profundizar en cómo se utilizan realmente estas plataformas y cómo las personas las construyen e interactúan con ellas”.
El primer paso para evaluar el riesgo de Microsoft 365 Copilot, el llamado Proyecto Jarvis de Google, Apple Intelligence y otras tecnologías es obtener esta visibilidad e implementar controles para limitar el acceso de un asistente de IA a un nivel granular, explica Alkove d’Oleria. .
En lugar de una gran cantidad de datos a los que siempre puede acceder un sistema de inteligencia artificial de escritorio, las empresas deben poder controlar quién es el destinatario final de los datos, su función y la sensibilidad de la información, explica.
“¿Cómo le otorgas acceso a partes de tu información y partes de las acciones que normalmente realizarías como individuo, a este agente, y además solo por un período de tiempo?” pregunta Alkové. “Es posible que solo desee que el agente realice una acción una vez, o que solo desee que la haga durante 24 horas. Por lo tanto, es esencial asegurarse de tener este tipo de controles hoy”.
Microsoft, por su parte, reconoce los desafíos que rodean la gobernanza de datos, pero dice que no son nuevos, sino que se han vuelto más evidentes con la llegada de la IA.
“La IA es simplemente el último llamado a la acción para que las empresas administren de manera proactiva los controles que sus respectivas políticas únicas, regulaciones de cumplimiento de la industria y tolerancia al riesgo deben informar, como determinar las identidades de los empleados que deberían tener acceso a diferentes tipos de archivos, espacios de trabajo, y otros recursos”, dijo un portavoz de la empresa en un comunicado.
La compañía destacó su portal Microsoft Purview como una forma para que las organizaciones administren continuamente identidades, permisos y otros controles. A través del portal, los administradores de TI pueden ayudar a proteger los datos de las aplicaciones de IA y monitorear proactivamente el uso de la IA a través de una única ubicación de administración, dijo la compañía. Google se negó a comentar sobre su próximo agente de inteligencia artificial.