La mayoría de los analistas de la industria esperan que las organizaciones aceleren sus esfuerzos para aprovechar la inteligencia artificial generativa (GenAI) y los grandes modelos de lenguaje (LLM) en una variedad de casos de uso a lo largo del próximo año.
Los ejemplos típicos incluyen atención al cliente, detección de fraude, creación de contenido, análisis de datos, gestión del conocimiento y, cada vez más, desarrollo de software. Un reciente encuesta a 1.700 profesionales de TI Realizado por Centient en nombre de OutSystems, el 81% de los encuestados describieron que sus organizaciones utilizan actualmente GenAI para ayudar con la codificación y el desarrollo de software. Casi tres cuartas partes (74%) planean crear 10 o más aplicaciones en los próximos 12 meses utilizando enfoques de desarrollo impulsados por la IA.
Si bien estos casos de uso prometen aportar importantes ganancias de eficiencia y productividad a las organizaciones, también introducen nuevos riesgos de privacidad, gobernanza y seguridad. Aquí hay seis problemas de seguridad de la IA a los que los expertos de la industria dicen que los líderes de seguridad y TI deberían prestar atención en los próximos 12 meses.
Los asistentes de codificación con IA se volverán comunes, y también lo serán los riesgos
El uso de asistentes de codificación basados en IA, como GitHub Copilot, Amazon CodeWhisperer y OpenAI Codex, pasará de una adopción experimental y temprana a una adopción generalizada, especialmente entre las nuevas empresas. Los beneficios promocionados de estas herramientas incluyen una mayor productividad de los desarrolladores, automatización de tareas repetitivas, reducción de errores y tiempos de desarrollo más rápidos. Sin embargo, como ocurre con todas las nuevas tecnologías, existen ciertas las desventajas también. Desde una perspectiva de seguridad, estos incluyen respuestas de codificación automática, como código vulnerable, exposición de datos y la propagación de prácticas de codificación inseguras.
“Si bien los asistentes de código basados en IA sin duda ofrecen grandes beneficios en autocompletar, generación y reutilización de código, y en hacer que la codificación sea más accesible para un público no especializado en ingeniería, es no sin riesgos“, dice Derek Holt, director ejecutivo de Digital.ai. Lo más importante es que los modelos de IA son tan buenos como el código en el que están entrenados. Los primeros usuarios han visto errores de codificación, modelos antiseguridad y proliferación de códigos al utilizar asistentes de codificación de IA para el desarrollo. , afirma Holt, “los usuarios empresariales seguirán necesitando buscar vulnerabilidades conocidas con él. [Dynamic Application Security Testing, or DAST; and Static Application Security Testing, or SAST] y endurecer el código contra los intentos de ingeniería inversa para garantizar que los impactos negativos sean limitados y que las ganancias de productividad generen los beneficios esperados.
IA para acelerar la adopción de prácticas xOps
A medida que más organizaciones trabajan para integrar capacidades de IA en su software, se espera ver que DevSecOps, DataOps y ModelOps (o la práctica de gestionar y monitorear modelos de IA en producción) converjan hacia un enfoque de gestión de xOps más amplio e integral, explica Holt. El impulso hacia el software habilitado para IA está desdibujando cada vez más las líneas entre las aplicaciones declarativas tradicionales que siguen reglas predefinidas para lograr resultados específicos y las aplicaciones LLM y GenAI que generan dinámicamente respuestas basadas en modelos aprendidos a partir de conjuntos de datos de entrenamiento, explica Holt. Esta tendencia ejercerá nuevas presiones sobre los equipos de operaciones, soporte y control de calidad, e impulsará la adopción de xOps, señala.
“xOps es un término emergente que describe los requisitos de DevOps al crear aplicaciones que aprovechan modelos internos o de código abierto entrenados en datos propiedad de la empresa”, afirma. “Este nuevo enfoque reconoce que al entregar aplicaciones móviles o web que aprovechan los modelos de IA, es necesario integrar y sincronizar los procesos tradicionales de DevSecOps con los de DataOps, MLOps y ModelOps en un ciclo de vida integrado de principio a fin. Holt cree que este conjunto emergente de mejores prácticas será extremadamente crítico para que las empresas garanticen aplicaciones mejoradas con IA de calidad, seguras y compatibles.
Shadow AI: un problema de seguridad aún mayor
La fácil disponibilidad de una gama amplia y de rápido crecimiento de herramientas GenAI ha impulsado el uso no autorizado de las tecnologías en muchas organizaciones y ha creado un nuevo conjunto de desafíos para los equipos de seguridad ya sobrecargados. Un ejemplo es la rápida –y a menudo no controlada– proliferación uso de chatbots de IA entre los trabajadores para diversos fines. Esta tendencia ha aumentado la preocupación por la exposición accidental de datos confidenciales en muchas organizaciones.
Los equipos de seguridad pueden esperar un aumento en el uso no autorizado de tales herramientas durante el próximo año, predice Nicole Carignan, vicepresidenta de IA cibernética estratégica en Darktrace. “Veremos una explosión de herramientas que utilizan IA e IA generativa dentro de las empresas y en los dispositivos utilizados por los empleados”, lo que conducirá a una surgir a la sombra de la IAdijo Cariñena. “Si no se controla, esto plantea serias preguntas y preocupaciones con respecto a la prevención de pérdida de datos, así como problemas de cumplimiento a medida que nuevas regulaciones como la Ley europea de IA empezar a hacer efecto”, afirma. Carignan espera que los directores de información (CIO) y los directores de seguridad de la información (CISO) se vean sometidos a una presión cada vez mayor para implementar capacidades de detección, seguimiento y erradicación del uso no autorizado de herramientas de inteligencia artificial en su entorno. .
La IA aumentará, no reemplazará, las habilidades humanas
La IA se destaca en el procesamiento de grandes volúmenes de datos de amenazas e identifica patrones en esos datos. Pero, al menos durante un tiempo, sigue siendo, en el mejor de los casos, un herramienta de aumento capaz de manejar tareas repetitivas y permitir la automatización de funciones básicas de detección de amenazas. Los programas de seguridad más exitosos durante el próximo año seguirán siendo aquellos que combinan el poder de procesamiento de la IA con la creatividad humana, según Stephen Kowski, CTO de SlashNext Email Security+.
Muchas organizaciones seguirán necesitando experiencia humana para identificar y responder a ataques del mundo real que evolucionan más allá de los modelos históricos utilizados por los sistemas de IA. La caza eficaz de amenazas seguirá dependiendo de la intuición y las habilidades humanas para detectar anomalías sutiles y conectar indicadores aparentemente no relacionados, afirma. “La clave es lograr el equilibrio adecuado en el que la IA se encargue de la detección rutinaria y de gran volumen, mientras que analistas capacitados estudian nuevos patrones de ataque y determinan respuestas estratégicas”.
La capacidad de la IA para analizar rápidamente grandes conjuntos de datos aumentará la necesidad de que los trabajadores de ciberseguridad mejoren sus habilidades de análisis de datos, añade Julian Davies, vicepresidente de servicios avanzados de Bugcrowd. “La capacidad de interpretar la información generada por la IA será clave para detectar anomalías, predecir amenazas y mejorar las medidas de seguridad generales”. Las habilidades de ingeniería rápida también serán cada vez más útiles para las organizaciones que buscan extraer el máximo valor de sus inversiones en IA, añade.
Los atacantes aprovecharán la IA para explotar las vulnerabilidades del código abierto
Venky Raju, CTO de ColorTokens, espera que los actores de amenazas aprovechen las herramientas de inteligencia artificial para explotar vulnerabilidades y generar automáticamente código de explotación en software de código abierto. “Ni siquiera el software de código cerrado es seguro, ya que las herramientas de fuzzing basadas en IA pueden identificar vulnerabilidades sin acceso al código fuente original. Estos ataques de día cero son una gran preocupación para la comunidad de la ciberseguridad”, afirma Raju.
En un informe publicado a principios de este año, Huelga multitudinaria citó el ransomware basado en IA como ejemplo de cómo los atacantes aprovechan la IA para perfeccionar sus capacidades maliciosas. Los atacantes también podrían utilizar la IA para buscar objetivos, identificar vulnerabilidades del sistema, cifrar datos y adaptar y modificar fácilmente el ransomware para evadir los mecanismos de detección y remediación de endpoints.
La verificación y supervisión humanas serán esenciales
Las organizaciones seguirán luchando por confiar total e implícitamente en la IA para hacer lo correcto. A encuesta reciente de Qlik Una encuesta realizada a 4.200 ejecutivos y tomadores de decisiones de IA mostró que la mayoría de los encuestados apoyaban abrumadoramente el uso de la IA para una variedad de usos. Al mismo tiempo, el 37% de los encuestados describieron que sus altos directivos carecían de confianza en la IA, y el 42% de los mandos intermedios expresaron el mismo sentimiento. Alrededor del 21% dijo que sus clientes también desconfiaban de la IA.
“La confianza en la IA seguirá siendo un equilibrio complejo entre beneficios versus riesgos“Porque las investigaciones actuales muestran que eliminar los prejuicios y las alucinaciones puede ser contraproducente e imposible”, afirma Kowski de SlashNext. “Si bien los acuerdos industriales proporcionan algunos marcos éticos, la naturaleza subjetiva de la ética significa que diferentes organizaciones y culturas continuarán interpretando e implementando las pautas de IA de manera diferente. El enfoque práctico es implementar sistemas de verificación sólidos y mantener la supervisión humana en lugar de buscar una confiabilidad perfecta”. , dice.
Davies de Bugcrowd dice que ya existe una necesidad creciente de profesionales que puedan manejar las implicaciones éticas de la IA. Su función es garantizar la privacidad, evitar sesgos y mantener la transparencia en las decisiones basadas en IA. “La capacidad de probar los casos de uso únicos de la IA en seguridad y protección se vuelve fundamental”, dice.