Red Hat y AMD amplían su alianza estratégica

Red Hat y AMD han anunciado una colaboración estratégica para impulsar las capacidades de IA y optimizar la infraestructura virtualizada. Con esta alianza consolidada, los dos gigantes ampliarán las opciones de los clientes en la nube híbrida, desde la implementación de modelos de IA optimizados y eficientes hasta la modernización más rentable de las máquinas virtuales tradicionales.

Red Hat está celebrando esta semana su Red Hat Summit y ya hemos vistos grandes presentaciones como la del Red Hat Enterprise Linux 10 y el Red Hat AI Inference Server. Estos grandes eventos también son propicios para reforzar alianzas como la que vemos en este artículo y que se motiva por el aumento de la demanda y la diversidad de las cargas de trabajo que ha traído todo lo relacionado con la IA.

Las organizaciones deben contar con la capacidad y los recursos necesarios para satisfacer estas crecientes necesidades, dicen desde el gigante del Open Source. Sin embargo, el centro de datos promedio se dedica principalmente a sistemas de TI tradicionales, lo que deja poco espacio para soportar cargas de trabajo intensivas como la IA. Para responder a esta necesidad, Red Hat y AMD combinan la potencia de las soluciones de código abierto líderes en la industria con el completo portfolio de arquitecturas de computación de alto rendimiento de AMD.

Red Hat y AMD

Las compañías están combinando el ecosistema de Red Hat AI con la cartera de procesadores basados ??en x86 y arquitecturas de GPU de AMD para respaldar entornos optimizados, rentables y listos para producción para cargas de trabajo habilitadas para IA.

Las aceleradoras AMD Instinct ahora están totalmente habilitadas en el Red Hat OpenShift AI , lo que proporciona a los clientes la potencia de procesamiento de alto rendimiento necesaria para las implementaciones de IA en la nube híbrida sin requisitos de recursos extremos. Además, al utilizar las GPU AMD Instinct MI300X con Red Hat Enterprise Linux AI, Red Hat y AMD realizaron pruebas en Microsoft Azure ND MI300X v5 para demostrar con éxito la inferencia de IA para escalar modelos de lenguaje pequeños (SLM), así como modelos de lenguaje grandes (LLM) implementados en varias GPU en una sola máquina virtual (VM), lo que reduce la necesidad de implementar en varias VM y los costos de rendimiento.

Para impulsar aún más la aceleración del rendimiento y las capacidades de ajuste, Red Hat y AMD colaboran en la comunidad vLLM upstream para fomentar una inferencia de IA más eficiente. Con esta activación upstream, Red Hat y AMD buscan ofrecer:

• Rendimiento mejorado en las GPU de AMD: al incorporar la biblioteca del kernel de AMD y optimizar varios componentes como el kernel Triton y FP8, Red Hat y AMD están mejorando el rendimiento de inferencia para modelos densos y cuantificados, lo que permite una ejecución más rápida y eficiente de vLLM en los aceleradores AMD Instinct MI300X.
• Compatibilidad mejorada con múltiples GPU: mejorar la comunicación colectiva y optimizar las cargas de trabajo de múltiples GPU abre la puerta a implementaciones de IA más escalables y energéticamente eficientes, lo que es particularmente beneficioso para las cargas de trabajo que requieren computación distribuida en múltiples GPU, lo que reduce los cuellos de botella y mejora el rendimiento general.
• Participación ampliada en el ecosistema vLLM: la colaboración cruzada entre Red Hat, AMD y otros líderes de la industria como IBM ayuda a acelerar el desarrollo ascendente para impulsar mejoras continuas tanto para el proyecto vLLM como para la optimización de la GPU de AMD, lo que beneficia aún más a los usuarios de vLLM que confían en el hardware de AMD para la inferencia y el entrenamiento de IA.

Gracias a esta colaboración en la comunidad vLLM, las GPU AMD Instinct serán compatibles con Red Hat AI Inference Server (la distribución empresarial de vLLM de Red Hat que ha presentado esta semana) de forma inmediata para ofrecer un servidor de inferencia de IA potente, fiable y escalable. Como principal colaborador comercial de vLLM, Red Hat se compromete a garantizar la compatibilidad al implementar vLLM en el hardware preferido de la organización, que incluye las GPU AMD Instinct.