NVIDIA lanza la Open Agent Safety Platform para controlar los agentes de IA maliciosos

NVIDIA ha anunciado el lanzamiento de la Open Agent Safety Platform, una plataforma de software abierta y un sistema de referencia diseñada para reforzar la seguridad de la IA, desde las pruebas de agentes hasta su implementación, con gobernanza y control integrales en el software y los sistemas de hardware, computación y robótica que ejecutan los agentes.

Los recientes incidentes de seguridad han puesto de manifiesto la necesidad de dotar a las organizaciones de herramientas abiertas y personalizables que permitan un mayor control sobre los agentes que se ejecutan durante largos periodos. El patrón es similar en todos los incidentes: el agente de IA eludió los controles de seguridad en la capa de aplicación para completar la tarea asignada.

Es imperativo aumentar la seguridad y control de los agentes, como señala Jensen Huang, fundador y director ejecutivo de NVIDIA:

«El extraordinario potencial de la IA para la sociedad solo se materializará si resolvemos el problema de la seguridad de la IA… A medida que seguimos explorando las capacidades de la IA, debemos acelerar el descubrimiento en la frontera de la seguridad de la IA. La seguridad requiere una ingeniería integral. La plataforma NVIDIA Open Agent Safety Platform reúne a la industria, investigadores y organizaciones del sector público para compartir las mejores prácticas, armonizar los métodos de evaluación y fomentar la cooperación internacional. Juntos, podemos elevar el nivel de seguridad de la IA a nivel mundial».

Open Agent Safety Platform

Esta iniciativa promete un control integral del conjunto de agentes. Permite la gobernanza y el control completos del software que ejecutan, las capas de hardware y computación que impulsan su funcionamiento y los sistemas robóticos que realizan tareas en el mundo físico. Las organizaciones pueden implementar los elementos de la plataforma según sus necesidades específicas.

Incluye el software de ejecución segura NVIDIA OpenShell, que establece límites para los agentes que se ejecutan en las CPU. A medida que los agentes asumen más tareas en más sistemas, las empresas necesitan un límite que se pueda aplicar fuera del modelo y del entorno del agente. OpenShell , ahora ampliamente disponible, proporciona un límite de ejecución segura para controlar cómo los agentes de IA autónomos ejecutan tareas en modelos abiertos y cerrados.

OpenShell ofrece esta protección con una sobrecarga mínima en NVIDIA Vera , la primera CPU diseñada específicamente para IA agencial. Juntos, OpenShell y Vera permiten que los agentes operen de forma segura y completen su trabajo lo más rápido posible. Al ser software de código abierto, OpenShell también puede extenderse para funcionar con plataformas informáticas de terceros, incluidas las de ARM e Intel .

El diseño del sistema de referencia de la plataforma Open Agent Safety Platform incluye NVIDIA Sentry, un sistema de vigilancia fuera de banda que se ejecuta en las DPU NVIDIA BlueField 4 para supervisar continuamente el comportamiento de los agentes. Sentry proporciona seguridad integrada en el chip, lo que significa que si un agente de IA intenta salirse de su límite de software, Sentry lo pone en cuarentena y lo detiene en milisegundos, aseguran desde el gigante verde.

NVIDIA Open Agent Safety Platform, que incluye OpenShell y las habilidades, está disponible a través de la página de recursos para desarrolladores de NVIDIA y GitHub y llega respaldada por decenas de organizaciones. Las contribuciones al ecosistema, como la plataforma NVIDIA Open Agent Safety Platform, respaldan la misión de la Open Secure AI Alliance, una iniciativa que nace con el objetivo de mejorar la ciberseguridad global y que además de NVIDIA incluye entre sus 27 miembros fundadores a importantes organizaciones como HPE, Red Hat, Microsoft, SpaceX, IBM, Dell o la misma Fundación Linux.

Los socios fundadores de la alianza están intensificando sus esfuerzos para contribuir con diversas capacidades como la Open Agent Safety Platform que acaba de lanzar NVIDIA.