Red Hat AI Factory con NVIDIA, una plataforma preparada para el despliegue de IA a escala

Red Hat ha desarrollado con NVIDIA la plataforma Red Hat AI Factory con NVIDIA, ya disponible, que combina Red Hat AI Enterprise y NVIDIA AI Enterprise para ofrecer una solución de IA de extremo a extremo optimizada para organizaciones que despliegan IA a escala.

Esta plataforma permite a los equipos de operaciones de TI optimizar la gestión de la infraestructura tradicional, además de atender las demandas cambiantes del stack de IA. Red Hat AI Factory con NVIDIA supone un avance hacia la IA de producción, y ofrece una plataforma de software para fábricas de IA, que se ejecuta en una infraestructura de computación acelerada que impulsa un mayor rendimiento para los modelos y las GPUs de NVIDIA que impulsan el stack de inferencia.

La plataforma es compatible con la infraestructura de fábrica de IA de los principales fabricantes de sistemas, como Cisco, Dell Technologies, Lenovo y Supermicro. De esta manera, los administradores de TI y los equipos de operaciones pueden escalar y mantener los despliegues de IA con rigor operativo y con la misma previsibilidad que cualquier otra carga de trabajo de la empresa.

Red Hat AI Factory con NVIDIA integra la experiencia en colaboración de código abierto, ingeniería y soporte de Red Hat y NVIDIA para ofrece una base escalable para los despliegues de IA en cualquier entorno, ya sea en local, la nube o el edge. Incluye capacidades esenciales para la inferencia de IA de alto rendimiento, el ajuste de modelos, la personalización, y el despliegue y gestión de agentes, con enfoque en la seguridad.

Esto se traduce, gracias al mantenimiento del control de la arquitectura, en una reducción del tiempo para conserguir valor, ya que la solución facilita el avance de la IA de producción con flujos de trabajo optimizados y acceso instantáneo a modelos preconfigurados. Entre ellos, a los de al familia IBM Granite, NVIDIA Nemotron y los modelos abiertos NVIDIA Cosmos. Además, permite una mayor alineación de los mdoelos con datos empresariales utilizando NVIDIA NeMo.

También optimiza el uso de la infraestructura y potencia el rendimiento de la inferencia con un stack de servicio unificado y de alto rendimiento. Red Hat AI Factory con NVIDIA ofrece capacidades de observabilidad integradas, además de aprovechar las capacidades de inferencia de Red Hat AI impulsadas por vLLM, NVIDIA TensorRT-LLM y NVIDIA Dynamo para cumplir con objetivos de nivel de servicio de IA. Así las empresas pueden reducir el coste total de propiedad para la IA.

La orquestación inteligente de GPU que permite la plataforma, por otro lado, habilita el acceso a demanda a los recursos de GPU a través de la orquestación inteligente y la infraestructura agrupada, con puntos de control automáticos para proteger los trabajos de larga duración, y permite mantener costes de cómputo más predecibles en entornos dinámicos.

Chris Wright, CTO y Vicepresidente de Ingeniería global de Red Hat, ha destacado que «el paso de la experimentación de IA a la producción a escala industrial y en toda la empresa requiere un cambio fundamental en cómo gestionamos el stack de computación de IA. Estamos acelerando el camino para desplegar IA y pasar rápidamente a la producción utilizando Red Hat AI Factory con NVIDIA. Con una base estable y de alto rendimiento impulsada por nuestra reconocida propuesta de nube híbrida, estamos permitiendo a nuestros clientes tomar las riendas de su estrategia de IA y escalar con el mismo rigor que aplican a sus plataformas de core IT«.

Justin Boitano, Vicepresidente de Plataformas de Enterprise IA de NVIDIA, ha comentado que «las empresas están construyendo fábricas de IA que convierten los datos en inteligencia a escala durante la inferencia, lo que requiere infraestructura y software de nivel de producción que abarquen la nube híbrida. Red Hat AI Factory con NVIDIA proporciona la base de software que ayuda a las organizaciones a mantener el ritmo de la rápida innovación en infraestructura mientras construyen y despliegan de forma fiable la próxima generación de aplicaciones de IA agéntica«.