Microsoft presenta ‘Guardian Agents’ para mejorar la seguridad de los agentes de IA

La seguridad de los agentes de IA es una cuestión candente y pendiente. Microsoft sigue advirtiendo de los riesgos y ha presentado nuevas funciones de seguridad para proteger a las empresas de esta creciente amenaza.

La novedad más destacada es ‘Guardian Agents’, una nueva función diseñada para supervisar los agentes de IA que utiliza una empresa. Guardian Agents forma parte de Project Perception, un sistema de seguridad presentado el pasado junio y que ahora se amplía. Basado en agentes de IA, coordina tres clases diferentes de ellos en un ciclo continuo: agentes del equipo rojo que detectan vulnerabilidades antes que los atacantes, agentes del equipo azul que investigan y evalúan qué riesgos son relevantes, y agentes del equipo verde que refuerzan las defensas en todo el entorno.

Seguridad de los agentes de IA frente a las amenazas ‘internas’

Guardian Agents y el Project Perception son la respuesta de Microsoft a la llegada de potentes modelos de hacking como el Mythos y Fable de Anthropic o el Daybreak, el sistema de escaneo de vulnerabilidades de seguridad de OpenAI. El producto se diseñó partiendo de la premisa de que los ciberdelincuentes provendrían de fuera de la empresa. Sin embargo, últimamente, el CEO de Microsoft, Satya Nadella, ha advertido que el enemigo de la IA podrían ser los mismos agentes que las empresas han desplegado y por los que pagan, al igual que un empleado humano deshonesto, también conocido como una «amenaza interna».

A principios de este mes, en su blog personal, Nadella advirtió que es hora de dejar de confiar en los proveedores de modelos de IA, incluso si ofrecen garantías de seguridad en sus productos basados en agentes. Su objetivo es que las empresas implementen sistemas independientes, no controlados por los laboratorios de IA, para supervisar y controlar los agentes que estos laboratorios lanzan.

«Estamos desplegando estos complejos sistemas y modelos de inteligencia artificial, con acceso a nuestros datos más sensibles y la capacidad de tomar medidas cruciales en nuestro nombre», escribió. «Sencillamente, no podemos delegar la responsabilidad de lo que la inteligencia hace por nosotros. Las garantías de un proveedor de modelos no nos eximen de esa responsabilidad. En otras palabras, necesitamos separar el suministro de inteligencia de la autoridad que la controla».

Al anunciar Guardian Agents, el jefe del negocio de seguridad de Microsoft, Hayete Gallot, fue aún más directo. «Lamentablemente, no se puede confiar en los modelos de vanguardia, independientemente de su origen… No se debe a que sean maliciosos o fáciles de hackear, sino a su imprevisibilidad. Han sido entrenados para realizar tareas, no para seguir normas o criterios organizacionales».

El ejecutivo explica que la supervisión y la seguridad de estos agentes deben ser continuas: «Necesitamos comprender en tiempo real qué hacen los agentes y qué riesgos generan esas acciones, y debemos ajustar su capacidad de actuación en consecuencia». Para gestionar y controlar a estos informantes, necesitaremos agentes guardianes —un término consolidado en el sector— que supervisen y moderen cada acción de cada agente, antes de que se produzca, las 24 horas del día, los 7 días de la semana.

¿Seguridad o negocio?

La solución de Microsoft resulta sorprendente y, a la vez, interesada. Microsoft mantiene una estrecha relación con OpenAI y Anthropic, empresas en las que ha invertido. OpenAI es, además, uno de sus mayores clientes en la nube, y Microsoft cuenta con su propio laboratorio de IA para el desarrollo de modelos. Por lo tanto, Microsoft está sembrando desconfianza en contra de algunos de sus propios intereses comerciales. O no…

El interés propio radica en que Microsoft quiere que para mejorar la seguridad de los agentes de IA las empresas le compren sus propias soluciones frente a las que ofrecen Anthropic y OpenAI. Pero, dejando de lado los intereses contrapuestos, su lógica es sólida. El software que supervisa el comportamiento de los agentes debería ser independiente de los proveedores de estos, del mismo modo que los auditores deberían ser independientes de las organizaciones que auditan. O como lo expresa Nadella: «Necesitamos separar el suministro de inteligencia de la autoridad que la controla».

Microsoft está aprovechando esta oportunidad de negocio de diversas maneras. Además de Guardian Agents, ha incorporado una función de detección de agentes a su producto Microsoft Defender, capaz de identificar hasta 60 tipos de agentes que los empleados utilizan en el entorno laboral, como Claude Code, Codex y OpenClaw.

También ha añadido funciones que limitan el acceso de los agentes a los datos y sistemas, y ajustan dinámicamente sus permisos en función de la tarea. Esto incluye la necesidad de aprobación humana si un agente parece estar tomando decisiones arriesgadas. Esta idea de que los agentes son personas con información privilegiada y poco fiables también se está extendiendo por todo el sector.

Mucho por hacer para asegurar los agentes de IA

Hay que recordar que Microsoft fue miembro fundador de la plataforma Open Agent Safety Platform promovida por NVIDIA y que amplía la plataforma Open Secure AI Alliance, una iniciativa que nace con el objetivo de mejorar la ciberseguridad global en la era de la IA.

Esta plataforma aísla a los agentes en entornos seguros y puede supervisar y detener su comportamiento mediante hardware, funcionando como un interruptor de emergencia. Esta iniciativa promete un control integral del conjunto de agentes. Permite la gobernanza y el control completos del software que ejecutan, las capas de hardware y computación que impulsan su funcionamiento y los sistemas robóticos que realizan tareas en el mundo físico. Las organizaciones pueden implementar los elementos de la plataforma según sus necesidades específicas.

Los agentes de IA (o IA agéntica) son la principal tendencia tecnológica dentro de la propia revolución de la era de la inteligencia artificial, con un potencial impresionante, pero con unos obstáculos para una implementación segura y controlada que son también de enormes dimensiones. Las empresas compiten por crear agentes de IA cada vez más autónomos capaces de realizar tareas complejas, pero cada vez hay más indicios de que estos sistemas también pueden aprender a eludir las normas, explotar las lagunas y coordinarse entre sí de maneras que los desarrolladores no anticiparon ni pretendieron. Y todo ello fuera del control humano.