Los agentes de IA pueden tener a una persona supervisándolos, pero ya no es suficiente

Todos sabemos a qué velocidad está innovando la IA. Incluso las herramientas que utilizábamos el año pasado parecen hoy completamente obsoletas en comparación con las que usamos actualmente. Al mismo tiempo, el riesgo asociado a la IA también está evolucionando: ya no se limita únicamente a los modelos, sino que se ha convertido en un riesgo relacionado con los datos y, por extensión, en un riesgo operativo. Sin embargo, hasta ahora las organizaciones no han sabido adaptar su enfoque al riesgo de la IA para hacer frente a este cambio.

Hoy en día, los agentes internos tienen más poder que algunos empleados, con permisos amplios que les permiten publicar, desplegar y modificar elementos de forma automática. Y aunque pueda haber personas supervisando el proceso, esto ya no es suficiente para garantizar la seguridad de estos agentes.

Operan a velocidad de máquina y sus errores pueden propagarse por distintos sistemas más rápido de lo que cualquier persona puede comprender, y mucho menos identificar o corregir manualmente. A primera vista, estos errores suelen parecer correctos y, antes de que nos demos cuenta, pueden generar costes colaterales derivados de transacciones perdidas, flujos de trabajo interrumpidos y todo tipo de disrupciones para el negocio. 

Está claro que tener a una persona supervisando el proceso ya no es suficiente para controlar estos agentes de IA. Para cuando se detecta un error, resulta casi imposible rastrear su recorrido a través de los sistemas, lo que deja como única opción un restablecimiento completo del sistema, que a menudo provoca aún más interrupciones y costes superiores a los del error original.

Desarrollamos un botón de deshacer para los errores humanos y ha llegado el momento de empezar a utilizar un equivalente para la IA, pasando de procesos de restauración orientados al sistema, a procesos orientados a los cambios. 

El cambio de riesgo que permanece oculto 

Según los últimos datos, McKinsey ha constatado que más del 60% de las organizaciones están experimentando actualmente con agentes de IA. Y «experimentar» es precisamente la palabra clave. La mayoría de las organizaciones que utilizan esta tecnología lo hacen sin comprender plenamente el impacto que estos agentes pueden tener en el resto de sus operaciones.

Ahora, el 97% de los agentes cuenta con privilegios excesivos que podrían provocar el caos. Una sola alucinación basada en datos erróneos podría llevar a que un agente borrase accidentalmente toda una base de datos de producción y sus copias de seguridad en cuestión de segundos. Y no se trata de una exageración, puesto que ya ha ocurrido.

Este cambio en el riesgo no se produjo de la noche a la mañana. Cuando las organizaciones apenas comenzaban a experimentar con los grandes modelos de lenguaje (LLM), contar con una persona supervisando el proceso podría ser suficiente para garantizar que los resultados incorrectos fueran filtrados. Pero ya no.

Estos agentes no solo operan a una velocidad que ninguna mente humana podría siquiera procesar, sino que ahora superan en número a los empleados encargados de gobernarlos. Se estima que, en una empresa media, las identidades no humanas ya superan a los empleados humanos en una proporción de 82 a 1. Este cambio no requiere únicamente actualizar las medidas de seguridad: exige replantear por completo las reglas del juego.

Cero humanos, cero confianza  

Y no se trata solo de lo que estos agentes pueden hacer, sino también de a qué pueden acceder. Los agentes de IA, especialmente aquellos con privilegios sin restricciones, pueden acceder a todos los datos del ecosistema de una organización, incluidos los datos no estructurados que la mayoría suele olvidar.

Innumerables historiales de chat, archivos mal clasificados y documentos históricos o redundantes están ahora al alcance de los agentes. Es posible que estos datos ya contasen con medidas de gobernanza y control, pero no fueron diseñadas para los flujos de trabajo de la IA. 

Las arquitecturas tradicionales como Zero Trust se diseñaron para usuarios humanos que utilizan dispositivos cuyo acceso puede gobernarse dentro de perímetros definidos, no para agentes de IA que interactúan directamente con los datos a velocidad de máquina. Estos agentes pueden sortear por completo las medidas de gobernanza centradas en endpoints e identidades. Y eso sin mencionar los innumerables agentes de IA en la sombra difíciles de rastrear y controlar por las empresas. 

Está claro que este enfoque de seguridad basado en sistemas debe evolucionar y volverse más granular. En lugar de añadir capas de seguridad sobre los datos, estas deben integrarse en los propios datos mediante su clasificación y enmascaramiento. De este modo, las políticas se aplican antes incluso de que un agente de IA tenga tiempo de actuar, algo que no resulta precisamente sencillo. 

Poner el foco en los detalles de la IA 

Lo mismo ocurre con los procesos generales de recuperación. Confiar en la combinación de supervisión humana y restauraciones a escala de todo el sistema no es sostenible en la era de la IA agéntica. Estas restauraciones amplias son costosas y a menudo provocan daños colaterales que superan el coste del error original. ¿Por qué? Porque carecen de precisión. 

A medida que los agentes de IA se integran cada vez más en las operaciones empresariales, las organizaciones deben avanzar hacia un proceso de recuperación orientado a los cambios. Mediante la atribución de los cambios a objetos concretos o a modificaciones a nivel de registro, y teniendo en cuenta sus dependencias, es posible identificar exactamente qué ha modificado el agente y revertir únicamente esas acciones. Se trata, en definitiva, de seguir restaurando, pero con mayor precisión: deshacer únicamente aquello que necesita ser modificado. 

Como todos sabemos, estos errores seguirán produciéndose a medida que los agentes de IA aprendan. Si una organización todavía no ha tenido que enfrentarse a una restauración completa como consecuencia de un error cometido por un agente, no se trata de una posibilidad, es cuestión de tiempo que tenga que hacerlo. 

Las organizaciones deben adelantarse a esta situación antes de que se produzca un error, no después. Porque, como ya hemos visto en incidentes que han acaparado titulares, los agentes no cometen errores como los humanos: no se limitan a enviar un email por error; pueden paralizar las operaciones de toda una organización.

Esto no significa que debamos abandonar por completo la supervisión humana. Las personas deben seguir manteniendo el control, pero, para corregir eficazmente los problemas causados por los agentes, necesitan contar con mecanismos de recuperación precisos.. 

No se trata solo de minimizar los costes operativos, sino también de proporcionarles la confianza necesaria para utilizar con éxito la IA agéntica. Con una recuperación precisa, un error de la IA no tiene por qué convertirse en un desastre para toda la empresa; puede ser simplemente una corrección puntual que permita volver a la normalidad.

Por Rick Vanover, Vicepresidente de Estrategia de producto en Veeam Software