AMD presenta las aceleradoras de IA, Instinct MI350

AMD ha celebrado el evento ‘Avanzando con IA’ destacando el lanzamiento de sus nuevas aceleradoras Instinct MI350. Estas GPUs están basadas en la arquitectura CDNA 4 y serán fabricadas por TSMC en su nodo de proceso de 3 nm. Su destino preferente serán los sistemas de alto rendimiento HPC para inteligencia artificial donde competirán con las soluciones de NVIDIA.

Las nuevas aceleradoras de IA de AMD cuentan con 185.000 millones de transistores y se comercializarán en dos versiones, Instinct MI350X y la de rendimiento superior, Instinct MI355X. Estarán disponibles en configuraciones de refrigeración líquida y por aire, son compatibles con los últimos tipos de datos de IA de FP6 y FP4 y están equipados con una enorme capacidad de memoria HBM3e.

AMD también ha presentado ROCm 7, una nueva revisión de su conocida plataforma de código abierto para IA, HPC y computación heterogénea.

AMD asegura que la serie ofrece 20 PFLOP de computación FP4/FP6, lo que supone una mejora de rendimiento de cuatro veces entre generaciones. En cuanto a la memoria HBM3e, se obtienen velocidades de transferencia de datos más rápidas con una capacidad estratosféricas en ambas versiones de 288 Gbytes. Los chips también están equipados con UBB8, un nuevo estándar para implementación de soluciones aceleradoras de IA, que permite un despliegue más rápido en nodos refrigerados por aire o líquido.

Rendimiento de las Instinct MI350

Las métricas compartidas por AMD dicen que estas soluciones ofrecen 8 TB/s de ancho de banda de memoria agregado, 79 TFLOPs de FP64, 5 PFLOPs de FP16, 10 PFLOPs de FP8 y 20 PFLOPs de cómputo FP6/FP4. Estas cifras corresponden a la configuración tope de gama, Instinct MI355X, de 1.400 vatios. Cabe destacar que ambas versiones utilizan la misma matriz, pero el 355X tiene un consumo TDP más alto.

Comparada con la serie anterior MI300, AMD asegura que ofrecen un aumento de hasta 35 veces en el rendimiento de inferencia con Llama 3.1 405B (rendimiento), lo cual es un aumento enorme. La plataforma completa del nuevo ecosistema ofrecerá hasta 8 GPU de la serie MI355 con 2,3 TB de memoria HBM3e, 64 TB/s de ancho de banda total, 0,63 PFLOP de FP64, 81 PFLOP de FP8 y 161 PFLOP de rendimiento computacional FP6/FP4.

Un rack completo con refrigeración líquida albergará entre 96 y 128 GPUs de la serie Instinct MI350 con hasta 36 TB de memoria HBM3e, 2,6 exaflops de cómputo FP4 y 1,3 exaflops de cómputo FP8. El rack usará CPUs Turin EPYC de la compañía basadas en la arquitectura de núcleo Zen 5 junto con la solución de interconexión Pollara 400.

Comparado con su principal competencia, las Blackwell GB200 de NVIDIA, los datos de AMD muestran un aumento de rendimiento entre el 20 y el 30% en Llama y pueden generar hasta un 40% más de tokens. Además, las soluciones de AMD son sensiblemente más económicas que las de NVIDIA  lo que contribuirá a los objetivos de AMD en cuanto a precio/beneficio.

AMD dice que las Instinct MI350 ya están disponibles para sus socios desde esta semana para una disponibilidad esperable a partir del tercer trimestre de 2025. La compañía también ha presentado la siguiente generación, MI400, ya en desarrollo y con lanzamiento previsto en 2026.

La compañía de Sunnyvale ha aprovechado para dar algunos detalles sobre las Instinct MI400, que se integrarán en la plataforma rack AMD Helios, y ha confirmado que esta nueva generación va a ser una auténtica bestia, ya que un rack Helios contará con un ancho de banda de hasta 260 TB/s, una potencia en FP4 y FP8 de 2,9 EFLOPs 7 1,4 EFLOPs (exaFLOPS), y tendrá una capacidad total de memoria de 31 TB con un ancho de banda de 1,4 PB/s.

Su lanzamiento se espera para 2026, y en 2027 veremos el lanzamiento de un rack para IA de nueva generación con las CPUs AMD EPYC Verano de próxima generación, que estarán basadas en una nueva arquitectura. Este rack estará equipado con las nuevas aceleradoras Instinct MI500 y con una solución NIC (network interface card) Vulcano de Pensando.