NVIDIA amplía Agent Toolkit con las librerías de Omniverse y mejora sus herramientas basadas en agentes

NVIDIA ha aprovechado la celebración de la feria Siggraph para anunciar que ha incorporado las librerías NVIDIA Omniverse a Agent Toolkit, que suma una colección de componentes software que aportan a los agentes de IA las herramientas y habilidades que necesitan para añadir capacidades de IA física a las aplicaciones existentes, así como a preparar contenido 3D para la simulación.

La preparación de contenido 3D para simulación  de robots, fábricas o sistemas autónomos, que deben probarse y entrenarse antes de entrar en funcionamiento en el mundo real, necesita más elementos aparte de imágenes realistas, ya que los activos deben contar con la estructura, los materiales, la escala, los sensores y las propiedades físicas adecuadas.

Gracias a las librerías de NVIDIA Omniverse integradas en NVIDIA Agent Toolkit, los agentes de IA cuentan con las herramientas y funciones necesarias para la creación de flujo de trabajo, inspección de escenas, localización de problemas y preparación de activos. De esta forma, los desarrolladores pueden pasar con más rapidez del contenido 3D a entornos preparados para la simulación.

En estas librerías de Omniverse hay elementos de desarrolladores de software como SideFX o PTC, que se ocupan de la simulación de sensores, física y validación de activos preparados para que los agentes los utilicen. Con esto se facilita la incorporación de la IA basada en agentes a aplicaciones y flujos de trabajo de desarrolladores y artistas técnicos para la preparación de contenidos 3D.

NVIDIA Agent Toolkit facilita a desarrolladores de software la creación de agentes de Ia que conectan herramientas, capacidades y fuentes de datos. Las librerías de Omniverse amplían los agentes a flujos de trabajo de Ia física y en 3D con herramientas que se pueden utilizar para simular sensores, física acelerada por GPU y validación de activos listos para simulación en aplicaciones existentes.

Las nuevas librerías de Omniverse, como ovrtx, ovphysx y las capacidades CAD-to-SimReady, están disponibles a través de GitHub, lo que da a los agentes de IA herramientas para crear flujos de trabajo para inspeccionar escenas, probar cambios y preparar activos 3D para simulación.

Entre las principales funciones de las librerías está la simulación de sensores NVIDIA RTX. Para ello, ovrtx facilita a las aplicación la generación de datos de cámaras, lidar, radares y otros sensores a partir de escenas 3D. De esta forma, desarrolladores y agentes de Ia pueden probar cómo pueden percibir entornos virtuales los sistemas de IA física.

Con respecto al comportamiento físico, ovphysx emplea física acelerada por GPU para dar un comportamiento realista a las escenas 3D con propiedades como colisioens, masa, fricción y movimiento. Así, los equipos de desarrollo pueden probar cómo interactúan los objetos y los sistemas en la simulación.

Las funciones de CAD-to-SimReady facilitan la conversión de datos de diseño asistido por ordenador (CAD) en activos SimReady basados en OpenUSD. Así, el contenido 3D cuenta con las propiedades necesarias para la simulación física con IA y las pruebas virtuales.

Los superagentes de IA llegan al escritorio

NVIDIA ha mostrado en Siggraph el superiordenador de sobremesa DGX Station, pensado para la era de la IA, y que puede configurarse en solo tres pasos gracias a NVIDIA Agent Toolkit. Esto hace que el sistema pueda entrar en funcionamiento en una media hora.

En DGX Station, NVIDIA reune a NemoClaw, al modelo ambierto Nemotron 3 Ultra, las librerías Omniverse como herramientas y capacidades accesibles para los agentes, y un entorno de ejecución seguro en un sistema local, sin necesidad de conexión a Internet. Además, este equpo puede conectarse con otros idénticos para dar servicios a varios usuarios, más agentes y modelos más potentes al mismo tiempo.

La pila completa, compuesta por modelo, agente y herramientas, ofrece una plataforma para crear y ejecutar superagentes específicos de cada dominio, personalizados con los datos y conocimientos de los usuarios. Además de los componentes mencionados, DGX Station integra el entorno de ejecución seguro open source OpenShell, con el que se mantiene a los agentes en un entorno aislado y se les regula de acuerdo con políticas definidas sobre cómo interactúan con las herramientas, sistemas y datos.

El equipo incorpora un chip de escritorio NVIDIA GB300 Grace blackwell ultra, con hasta 20 petaflops de potencia de computaicón de IA FP4 y 748 GB de memoria para ejecución de modelos de gran tamaño. NVIDIA ConnectX-8 SuperNIC ofrece hasta 800 GB/s de ancho de banda en la DGX Station, lo que ofrecce conectividad de red rápida y eficiente, y admite la conexión de hasta dos DGX Station para ampliar la capacidad y rendimiento de los modelos.

NVIDIA, además, ha anunciado un plan para integrar las librerías de NVIDIA Omniverse en Blender, lo que ofrece a los agentes NemoClaw herramientas de simulación de sensores RTX y de física que pueden invocar para preparar escenas 3D para flujos de trabajo de IA física.

En la DGX Station, diseñadores e ingenieros pueden ejecutar los componentes básicos de ese flujo de trabajo, como un modelo Frontier, un entorno de pruebas abierto, un entorno de ejecución seguro y herramientas 3D, en un solo dispositivo, con todo conectado y desplegable a través de un plan de implementación abierto. Los modelos Frontier pueden orquestar NemoClaw como un subagente especializado, delegando el trabajo del dominio a un agente que se ejecuta en local en la DGX Station, con acceso directo a las herramientas de Omniverse y a Blender.

Detección de contenido en vídeo falso con Synthetic Video Detector

En Siggraph, NVIDIA ha anunciado la puesta en marcha del servicio Synthetic Video Detector de NVIDIA NIM, como parte de la plataforma NVIDIA AI for Media, para incorporar una señal de detección asistida por IA a los flujos de trabajo de los medios de comunicación.

El microservicio NIM analiza vídeo fotograma a fotograma para generar una puntuación de clasificaicón que indica si contiene contenido «sintético». Entonces, los equipos pueden utilizar la puntuación para priorizar los clips a revisar, marcar o identificar secuencias dudosas, así como para destinarlas a un análisis más profundo.

En las pruebas llevadas a cabo por NVIDIA, el modelo que emplea el microservicio consiguió hasta un 92% de precisión de detección en vídeo sin comprimir, un 87% en vídeo con compresión del 15% y del 82% en vídeo con una compresión del 50%. Este microservicio se pueden implementar en el punto más cercano posible a donde se captura, almacenan o distribuyten vídeosm ya sea en entornos locales, periféricos, híbridos o aislados autorizados.

Inspección y acción en escenas con herramientas conectadas a MCP

Con las herramientas conectadas al Protocolo de Contexto de Modelos (MCP), los profesionales pueden pedir a un agente que inspeccione una escena en busca de texturas que faltan o inconsistencias de color. También que prepare variantes de exportación, genere playblasts para diarios de rodaje o valide un plano según las normas del flujo de trabajo, mientras las decisioens creativas siguen en manos humanas.

NVIDIA Agent Toolkit también es compatible con la integración de MCP, lo que incluye un cliente MCP para conectarse a servidores MCP remotos, así como un servidor MCP para publicar herramientas en cualquier cliente MCP.

Avances en investigación en gráficos para simulación e IA física

NVIDIA, tal como ha mostrado en Siggraph, no se centra solo en la creación de mundos que parezcan reales, sino también en generarlos con comportamiento realista y respuesta en tiempo real. Esto es la base de los sistemas en tiempo real que generan mundos virtuales e impulsan el entrenamiento de máquinas en el mundo real. El objetivo de la compañía en este campo es habilitar el desarrollo de mundos generados por IA basados en 3D, que se rigen por las leyes de la física y que dirigen los creadores. 

Prueba de ellos es el modelo de movimiento en tiempo real MotionBricks, entrenado con más de 350.000 clips de movimiento y que funciona a la velocidad de un motor de videojuegos, y que permite dirigir y conectar los movimientos de los personajes. El mismo modelo que controla al personaje animado en pantalla controla un robot humanoide Unitree G1, con gráficos por ordenador y simulación para acelerar el desarrollo de la IA física.

GPC es un marco para entrenar controladores generativos con movimientos humanos a gran escala, con habilidades motoras transferibles que se aplican a tareas nuevas. ARtiFixer se ocupa de crear mundos virutales en los que probar movimientos, y transforma capturas 3D desordenadas del mundo real en escenas virtuales limpias y completas. También incluye un método para predecir la iluminación global fotorrealista directamente a partir de la geometría de una escena.

Para que los mundos virtuales se comporten como en el mundo real, un solucionador da vida a materiales de simulación compleja, como nieve, arena y sólidos elásticos, en el motor físico NVIDIA Newton. Por otro lado, el proceso VideoNeuMat ofrece a los creadores materiales reutilizables y reiluminables que pueden sacar de modelos de vídeo generativos; y el modelo de difusión autorregresivo Ardy permite dirigir el movimiento de los personajes 3D en tiempo real a partir de una indicación de texto.

NVIDIA Cosmos 3 Edge ya disponible

Ya disponible de manera general, NVIDIA Cosmos 3 Edge, la ampliación de la familia de modelos Cosmos 3 de la compañía, permite que los sistemas de IA física comprendan lo que sucede en un momento dado, razonar sobre lo que podría suceder a continuación y actuar con rapidez para generar un impacto. Todo sin sacrifiocar la capacidad del modelo a cambio de la eficiencia en la implementación.

Se trata de un omnimodelo de 4.000 millones de parámetros, optimizado para un despliegue eficiente en cuanto a memoria y un rendimiento elevado en los sistemas Jetson, RTX Pro y DGX, así como en las GPU GeForce RTX. Es la ampliación de NVIDIA Cosmos 3, que es capaz de comprender y generar texto, imágenes, vídeo, sonido ambiental y acciones. Su arquitectura «misture of transformers» permite hacer análisis de visión en tiempo real con base física y acciones robóticas directamente en el dispositivo.

Cosmos 3 Edge ofrece IA física en el edge, y permite a los desarrolladores entrenarlo con datos propios de robots y sensores con el superordenador de IA de sobremesa DGX Station para crear modelos especializados de acción en el mundo real.

En vehículos autónomos, Cosmos 3 Edge permite comprender escenas viales, razonamiento sobre tráfico, predicción de intensión de los objetos y destilación de modelos de políticas en hardware con recursos limitados. Puede emplearse como base de aprendizaje para destilar modelos de políticas automovilísticas. En infraestructuras inteligentes, Cosmos 3 Ege ofrece inferencia en tiempo real en Jetson Thor para agentes de visión que razonan a partir de transmisiones de vídeo en directo con fines como la supervisión del tráfico, la seguridad pública, la logística o la inspección industrial.