NVIDIA lanza una plataforma de seguridad para evitar que los agentes de IA se salten los límites

NVIDIA ha lanzado una plataforma de software abierta que tiene como fin evitar que los agentes de IA se salten los límites que se les impongan. En medio de una oleada de incidentes y problemas de seguiridad, con ataques de agentes de IA que se saltan protecciones e ignoran sus limitaciones para atacar sistemas de empresas y gobiernos, NVIDIA Open Agent Safety Platform llega para reforzar la seguridad de la IA, desde las pruebas de agentes hasta su implementación.

Además, la plataforma de NVIDIA ofrece una gobernanza y un control de stack completo, que abarca tanto el software como los sistemas de hardware, computación y robótica en los que se ejecutan los agentes. Con su lanzamiento, la compañía ofrece a las empresas herramientas abiertas y personalizables con las que ejercer más control sobre los agentes que se ejecutan durante periodos de tiempo prolongados, para evitar que los agentes se salten los controles de seguridad en la capa de aplicación para completar la tarea asignada, el fallo que ha llevado a los mayores problemas de seguridad y ataques de agentes conocidos en los últimos días.

La nueva plataforma permite la gobernanza y control de toda la pila de software en el que se ejecutan los agentes, así como de todas las capas de hardware y computación que impulsan su trabajo. También de los sistemas robóticos que ejecutan tareas en el mundo físico. Además, las empresas pueden implementar elementos de la Plataforma de Seguridad de Agentes Abierta de NVIDIA en función de sus necesidades concretas.

Open Agent Safety Platform incluye el software de tiempo de ejecución NVIDIA OpenShell, que establece límites para los agentes que se ejecutan en CPU. A medida que los agentes asumen más trabajo en más sistemas, las empresas necesitan un límite que se pueda aplicar fuera del modelo y del entorno de ejecución del agentes, y OpenShell ofrece un límite de tiempo de ejecución seguro para controlar cómo realizan tareas los agentes de IA autónomos, tanto en modelos abiertos como cerrados.

OpenShell ofrece esta protección con una sobrecarga baja en NVIDIA Vera, CPU diseñada específicamente por NVIDIA para la IA agéntica. OpenShell y Vera, cuando trabajan en combinación, permiten que los agentes funcionen de manera segura mientras hacen su trabajo. Al ser software open source, OpenShell también puede ampliarse para funcioanr con plataformas de computación de terceros.

NVIDIA Open Agent Safety Platform, disponible a través de GitHub, incoropora NVIDIA Sentry, un mecanismo de vigilancia fuera de banda que se ejecuta en las DPU NVIDIA BlueField-4 para supervisar de manera continua el comportamiento de los agentes. Sentry ofrece una aplicación de seguridad integrada en hardware, lo que lleva a que si un agente de IA intenta salirse de su límite de software, Sentry lo ponen en cuarentena y lo detiene en un tiempo estimado de varios milisegundos.

Al ejecutarse en las DPU BlueField-4, Sentry supervisa de forma continua la actividad de los agentes y aplica las políticas de seguridad de forma independiente en el hardware. Combina detección de amenazas y gobernanza. Además, aplica medidas de seguridad de los agentes basadas en hardware, y protege el acceso a los datos desde un dominio de confianza aislado y fuera de banda que responde en tiempo real y es invisible tanto para agentes como para atacantes.

Jensen Huang, CEO y Fundador de NVIDIA, ha destacado que «el extraordinario potencial de la IA para la sociedad solo se hará realidad si resolvemos la cuestión de la seguridad de la IA. A medida que seguimos descubriendo las fronteras de las capacidades de la IA, debemos acelerar el avance en las fronteras de la seguridad de la IA. La seguridad y la protección requieren una ingeniería integral. La plataforma NVIDIA Open Agent Safety Platform reúne a la industria, a los investigadores y a las organizaciones del sector público para compartir las mejores prácticas, armonizar los métodos de evaluación y fomentar la cooperación internacional. Juntos, podemos elevar el listón de la seguridad global de la IA».