AMD presenta la aceleradora para IA, Instinct MI350P

AMD ha anunciado el lanzamiento de una nueva aceleradora de IA, Instinct MI350P, una GPU que destaca por su conexión PCI-Express ofreciendo a las empresas la posibilidad de ampliar sus capacidades de computación de IA sin necesidad de invertir en una infraestructura costosa.

La Instinct MI350P es, de hecho, el primer diseño de aceleradoras PCIe de AMD en años y competirá directamente contra la H200 NVL de NVIDIA. Enfocada para IA agencial, es una tarjeta con diseño de doble ranura compatible con servidores estándar refrigerados por aire. Están diseñadas para implementar la inferencia en las propias instalaciones del cliente, dentro de la infraestructura de alimentación, refrigeración y rack de su centro de datos actual.

Instinct MI350P

Las aceleradoras de IA mediante GPUs se han convertido en el motor principal que impulsa los nuevos centros de datos para inteligencia artificial. AMD tiene en catálogo una amplia oferta, Este tipo de tarjetas completan la cartera de computación de IA de AMD, ofreciendo una variedad de opciones para empresas a medida que avanzan en su curva de adopción de IA.

La nueva Instinct cuenta con 128 unidades de cómputo (CU) y 144 GB de memoria HBM3E, y está diseñado para ser una solución de actualización sencilla para servidores refrigerados por aire. Viene en un formato de tarjeta de doble ranura de 10,5″ con un sistema de refrigeración sin ventilador diseñado para un consumo de energía de 600 W (la tarjeta está diseñada para ser refrigerada por los ventiladores del chasis en un servidor montado en rack). Sin embargo, la tarjeta se puede configurar para funcionar con un consumo de energía inferior de 450 W para mantener la compatibilidad con chasis con limitaciones térmicas o de potencia.

Las especificaciones de la tarjeta son exactamente la mitad de las que ofrecen las GPU de gama alta MI350X y MI355X AI de AMD. La MI350P funciona con la arquitectura CDNA4 de AMD y está fabricada con el proceso FinFET de 3 nm y 6 nm de TSMC. La GPU cuenta con 8192 núcleos, 128 unidades de cómputo (CU), 512 núcleos Matrix y una velocidad de reloj máxima de 2,2 GHz. La GPU está acompañada de 144 GB de memoria HBM3E con un ancho de banda de 4 TB/s y una caché de último nivel de 128 MB.

Al igual que las MI350X y MI355X, la MI350P ofrece compatibilidad nativa con MXFP6 y MXFP4 de menor precisión para acelerar los LLM. Se pueden combinar hasta ocho tarjetas Instinct MI350P en un solo sistema, lo que permite a los centros de datos escalar el rendimiento según la cantidad de tarjetas utilizadas. La MI350P está diseñada para cargas de trabajo de IA pequeñas, medianas y grandes relacionadas con la inferencia y las canalizaciones RAG. AMD afirma que la GPU es la tarjeta PCIe empresarial más rápida , con un rendimiento estimado de 2299 TFLOPs y 4600 TFLOPs pico utilizando MXFP4.

La introducción del MI350P finalmente le brinda a AMD un competidor digno para el acelerador de IA PCIe más rápido de NVIDIA, actualmente el H200 NVL. El MI350P se basa en una arquitectura más reciente y supera al H200 NVL en velocidad, con un rendimiento de cómputo teórico un 20% superior en FP64, un 43% superior en FP16 y un 39% superior en FP8.

NVIDIA no ha anunciado una versión PCIe de sus últimas GPU Blackwell B200 con memoria HBM, por lo que, por ahora, AMD contará con el acelerador de IA más avanzado compatible con PCIe. Aún está por verse la acogida que tendrá la nueva tarjeta de AMD, dado el dominio de Nvidia en el mercado con CUDA. Sin embargo, AMD está trabajando para mejorar su plataforma de software ROCm