Red Hat AI 3, más agilidad para flujos de trabajo de IA y más funciones de inferencia

Red Hat ha anunciado una nueva versión de su plataforma de IA para empresas, Red Hat AI 3. La plataforma, que integra las últimas novedades de AI Inference Server, Enterprise Linux AI (RHEL AI) y OpenShift AI. La plataforma ofrecer más simplicidad en la inferencia de IA de alto rendimiento a gran escala, lo que facilita el paso de las cargas de trabajo desde las pruebas de concepto hasta la producción. También mejora la colaboración en torno a las aplicaciones habilitadas por la IA.

Además, Red Hat AI 3 permite escalar y distribuir con más agilidad las cargas de trabajo de IA en entornos híbridos y de varias proveedores, además de mejorar la colaboración entre equipos en cargas de trabajo de IA de última generación, como los agentes, en la misma plataforma común. Red Hat AI 3 soporta cualquier modelo en cualquier acelerador de hardware, desde centros de datos a la nube pública y entornos de Ia soberana.

La nueva versión de la plataforma ha evolucionado hacia una oferta de inferencia escalable y rentable, con base en los proyectos vLLM y llm-d, así como en las capacidades de optimización de modelos de Red Hat, con el objetivo de ofrecer un servicio de LLMs de calidad de producción.

Red Hat OpenShift AI 3.0 presenta la disponibilidad general de llm-d, que permite la inferencia distribuida inteligente, para lo que aprovecha el valor de orquestación de Kubernetes y en rendimiento de vLLM, combinado con tecnologías de código abierto, como Kubernetes Gateway API Inference Extension, la biblioteca de transferencia de datos de baja latencia NVIDIA Dynamo (NIXL) y la biblioteca de comunicación DeepEP Mixture of Experts (MoE).

Gracias a esto, las organizaciones pueden reducir costes y mejorar los tiempos de respuesta a través de una programación de modelos inteligente y optimizada para la inferencia, con un servicio desagregado. También pueden aportar simplicidad operativa y fiabilidad a través de «Rutas bien iluminadas» prescriptivas que agilizan el despliegue de modelos a gran escala en Kubernetes. Además, gracias a su soporte multiplataforma para desplegar la inferencia de LLM en diversos aceleradores de hardware, aportan más flexibilidad.

llm-d está basado en vLLM, y lo transforma en un sistema de servicio distribuido, consistente y escalable. Está integrado de manera estrecha con Kubernetes y diseñado para hacer posible que el rendimiento sea predecible, que haya un ROI medible y una planificación de infraestructura eficaz. Estas mejoras se ocupan de solventar los desafíos generados por la gestión de cargas de trabajo de LLM y de servir modelos masivos, como los modelos Mixture-of-Experts (MoE).

Red Hat AI 3, mejoras en productividad y eficiencia

Entre las nuevas funciones de la plataforma desarrolladas para permitir mejoras en productividad y eficiencia están las capacidades de Modelo como Servicio (MaaS), basadas en inferencia distribuida. Permiten a los equipos de TI actuar como sus propios proveedores de MaaS, sirviendo modelos comunes de manera centralizada. Ofrece acceso a demanda a desarrolladores y aplicaciones de IA, lo que mejora la gestión de costes y da soporte a casos de uso que no pueden ejecutarse en servicios públicos de IA por preocupaciones de privacidad o datos.

El Hub de IA permite a los ingenieros de plataforma explorar, desplegar y gestionar activos fundacionales de IA. Ofrece un hub central con un catálogo curado de modelos, entre los que hay de IA generativa validados y optimizados, así como un registro para gestionar el ciclo de vida de los modelos y un entorno de despliegue para configurar y monitorizar los activos de IA que se ejecutan en OpenShift AI.

Gen AI studio ofrece un entorno a los ingenieros de IA para interactuar con modelos y prototipar aplicaciones de IA generativa. Cuenta con una función de punto final de activos de Ia, que permite descubrir y consumir modelos disponibles y servidores MCP, diseñados para agilizar la interacción de los modelos con herramientas externas. El playground integrado ofrece un entorno interactivo e independiente de sesiones para experimentar con modelos, probar prompts y ajustar parámetros para casos de uso como el chat y la generación aumentada por recuperación (RAG).

Además, ofrece nuevos modelos validados y optimizados por Red Hat para simplificar el desarrollo. Entre ellos hay modelos populares de código abierto, como gpt-oss de OpenAI, DeepSeek-R1; y otros especializados, como Whisper, para convertir voz a texto, y Voxtral Mini, para agentes habilitados por voz.

La compañía ha añadido una capa de API unificada basada en Llama Stack que se encarga de facilitar el desarrollo alinéandolo con estándares de la industria, como los protocolos de interfaz LLM compatibles con OpenAI. Además, ha adoptado el Protocolo de Contexto de Modelo (MCP), un estándar que agiliza la manera en que los modelos de Ia interactúan con herramientas externas.

Red Hat AI 3 incorpora un nuevo kit de herramientas para personalización de modelos modular y extensible. Este kit está desarrollado a partir de la función existente de InstructLab, y ofrece librerías Python especializadas que ofrecen a los desarrolladores más flexibilidad y control.

El kit de herramientas está impulsado por proyectos open source, como Docling, para el proceso de datos. Esto acelera la ingesta de documentos no estructurados y su paso a un formato legible para la IA. Además, incluye un marco flexible para la generación de datos sintéticos y un hub de entrenamiento para el ajuste fino de LLM. En cuanto al hub de evaluación, ayuda a los ingenieros de IA a monitorizar y validar los resultados, para que puedan aprovechar sus datos propietarios para mejorar la precisión y relevancia de los resultados de IA que obtienen.