AMD presenta Threadripper Halo Station para IA local

AMD ha presentado en el IFA la Threadripper Halo Station, una máquina que competirá directamente con las DGX Station de NVIDIA, ofreciendo las capacidades de IA más potentes del mundo en un formato de escritorio.

La demanda de computadoras para desarrollo y ejecución de IA local se está multiplicando rápidamente. Ofrece a los desarrolladores una alternativa convincente al procesamiento en la nube, con un control más directo sobre las cargas de trabajo, incluyendo dónde se procesan los datos y cómo se implementan los modelos. La cuestión es que a medida que éstos se vuelven más complejos y los agentes siguen aumentando su popularidad, la necesidad de hardware potente crece exponencialmente.

Esta demanda requiere soluciones y AMD ha anunciado su sistema de IA local más potente hasta la fecha. La compañía la promociona como la «Estación de trabajo de IA personal definitiva» o como describió Jack Huynh, vicepresidente sénior y director general de Computación y Gráficos de AMD, «una nueva categoría de estaciones de trabajo destinada a brindar procesamiento de clase supercomputadora a usuarios individuales y desarrolladores».

Cómo es la Threadripper Halo Station

La nueva máquina de AMD es una estación de trabajo con refrigeración líquida diseñada para ejecutar localmente LLM con más de un billón de parámetros. El sistema combina procesadores Ryzen Threadripper PRO 9995WX de 96 núcleos con hasta cuatro aceleradores Instinct MI350P. AMD presentó una versión de dos tarjetas en la feria alemana, mientras que un modelo completamente configurado con cuatro aceleradores proporcionaría 576 GB de memoria HBM3E.

Cada tarjeta Instinct MI350P incluye 144 GB de memoria HBM3E y ofrece un ancho de banda de memoria de 4 TB/s. El sistema de dos tarjetas presentado en la IFA contaba con 288 GB de memoria HBM3E, por lo que la versión de cuatro tarjetas proporcionaría esos 576 GB. Esta capacidad de memoria es fundamental para el propósito de la Halo Station. Los modelos grandes requieren una memoria de alto ancho de banda considerable para almacenar pesos y procesar datos de manera eficiente. AMD afirmó que el ancho de banda de 4 TB/s de la MI350P es 14 veces superior al de cualquier variante LPDDR5X.

El sistema también requiere una importante cantidad de energía y refrigeración. Cada acelerador MI350P puede consumir hasta 600 vatios de la potencia total de la placa. AMD indicó que las tarjetas cuentan con refrigeración líquida independiente, y el procesador Threadripper tiene su propio sistema de refrigeración, también líquida. El Threadripper PRO 9995WX, cuyo nombre en clave es Shimada Peak, se basa en la arquitectura Zen 5 de AMD. Cuenta con 96 núcleos, 192 hilos y una frecuencia turbo de hasta 5,4 GHz. El procesador admite hasta 2 TB de memoria del sistema DDR5.

La Threadripper Halo Station estará disponible en 2027 y competirá directamente con las «supercomputadoras» basadas en la plataforma DGX Station de NVIDIA. Una alternativa necesaria que cuenta con la ventaja de incluir componentes fáciles de adquirir y replicar, lo que brinda a los usuarios la opción de combinar o reemplazar los componentes internos según sus necesidades.

AMD no ha detallado las opciones de almacenamiento, conectividad o chasis de la Halo Station, ni si planea vender el sistema directamente o a través de fabricantes de estaciones de trabajo e integradores de sistemas. Tampoco ha facilitado precio, pero -al igual que las máquinas de NVIDIA- será elevado. Una inversión de futuro que por otra parte ahorrará grandes sumas en suscripciones a servicios de IA en la nube.