Arm AGI: una CPU para IA histórica con potencial de cambiar la industria

Arm AGI es una CPU para IA que destaca por ser el primer producto de silicio de producción diseñado y vendido por la fundación británica en toda su historia. Y es importante. Uno de los modelos de negocio más emblemáticos del sector tecnológico está explorando nuevos territorios, tentado por la promesa de una IA de alto margen.

ARM arrancó su camino hace cuatro décadas impulsada por un pequeño equipo con una gran visión: hacer accesible para todos la computación de alto rendimiento y bajo consumo. Con el tiempo se ha convertido en la arquitectura informática más usada del mundo, líder absoluto en movilidad, aumentando presencia en PCs y también en servidores y centros de datos. Si hasta ahora era conocida por sus licencias de propiedad intelectual y diseños de referencia, la llegada de un chip propio marca distancia con esa estrategia.

La importancia creciente de la CPU en IA agencial

Más allá de lo que supone para ARM, esta chip fabricado por TSMC con tecnología de 3 nm, diseñado para centros de datos de IA y enfocado directamente a cargas de trabajo de IA automatizada, muestra la importancia creciente de la CPU en infraestructuras para inteligencia artificial.

Durante los últimos años, todas las conversaciones sobre centros de datos han comenzado y terminado con las aceleradoras basadas en GPU. Clústeres de entrenamiento, racks de inferencia y planes de desarrollo de aceleradores. La concepción general, potenciada por el marketing, era que «todo lo de la IA era cuestión de GPUs» y que la CPU era un procesador anfitrión, un coste necesario para el sistema, no la razón de ser del sistema.

La introducción de la CPU AGI de Arm es importante por razones que van mucho más allá del lanzamiento de un solo producto. Los agentes de IA están cambiando estructuralmente la relación CPU/GPU en la infraestructura de los centros de datos y la industria apenas está empezando a comprender lo que esto significa, sugieren algunos ingenieros.

Las arquitecturas de la era del entrenamiento asumían que las GPU dominarían todas las fases de la IA. Para el entrenamiento puro de modelos y la inferencia por lotes de alto rendimiento, esta suposición es válida. Pero las cargas de trabajo con agentes han introducido un perfil de computación completamente diferente.

Cuando un agente llama a una herramienta, consulta una base de datos, espera la aprobación humana o coordina subagentes, la GPU se asigna pero no está activa. La CPU se encarga del trabajo. Un estudio de Georgia Tech e Intel, que analizó cinco cargas de trabajo representativas de agentes, reveló que el procesamiento de herramientas en la CPU representa hasta el 90,6 % de la latencia total.

Los datos de producción confirman esta tendencia. Anyscale documentó que, en los flujos de trabajo de IA reales, las etapas que consumen muchos recursos de CPU y GPU suelen agruparse, lo que provoca que las GPU permanezcan inactivas durante las tareas que requieren mucha CPU. Al separar estas etapas, lograron reducir en ocho veces los requisitos de GPU para la misma carga de trabajo.

AMD también ha declarado públicamente que la demanda de CPU está superando las expectativas, impulsada específicamente por las aplicaciones de IA con agentes. Intel ha reconocido que calculó mal la trayectoria de la demanda y está reasignando la capacidad de producción de obleas de los procesadores para clientes a los servidores. 

Arm AGI, características

Aprovechando este punto de inflexión en la demanda, ARM está realizando la mayor apuesta estratégica de su historia. El procesador Arm AGI es el primer producto de una nueva línea de chips para centros de datos, con generaciones posteriores ya comprometidas.

Las especificaciones son impresionantes. Hasta 136 núcleos Neoverse V3 funcionando a hasta 3,7 GHz en un diseño de doble chip. Caché L2 dedicada de 2 MB por núcleo. Ancho de banda de memoria de 6 GB/s por núcleo con una latencia inferior a 100 ns, compatible con DDR5-8800 y con una capacidad de memoria de hasta 6 TB por chip. 96 líneas PCIe Gen6, CXL 3.0 para expansión de memoria y enlaces de extensión AMBA CHI. Todo ello con un TDP de 300 vatios, fabricado por TSMC en 3 nm.

Cada núcleo ejecuta un hilo dedicado sin SMT ni limitación de rendimiento bajo carga sostenida. Esto es importante para cargas de trabajo interactivas, donde el objetivo de diseño es un rendimiento determinista y predecible por tarea en miles de operaciones paralelas, no un pico de rendimiento en un solo hilo.

La arquitectura a escala de rack es donde la cosa se pone especialmente interesante para los centros de datos. El servidor de referencia es un diseño de 1OU y 2 nodos que integra 272 núcleos por blade. Treinta blades en un rack estándar de 36 kW con refrigeración por aire ofrecen 8160 núcleos. Arm se ha asociado con Supermicro para crear una configuración de 200 kW con refrigeración líquida que alberga 336 CPU AGI, con más de 45 000 núcleos.

En estas configuraciones, Arm afirma que el rendimiento por rack es más del doble que el de los sistemas x86 más recientes, gracias a la combinación de ventajas arquitectónicas: un ancho de banda de memoria líder en su clase que mantiene el rendimiento bajo carga sostenida, un alto rendimiento de Neoverse V3 de un solo hilo y más hilos utilizables que realizan más trabajo por hilo.

ARM también está aportando el diseño del servidor de referencia 1OU, el firmware y las herramientas de diagnóstico al Open Compute Project bajo el estándar DC-MHS. La compañía no solo vende un chip, sino que busca impulsar un ecosistema de plataforma abierta.

Clientes

La lista de clientes es muy amplia. Meta es el socio principal y codesarrollador, que implementa la CPU AGI junto con su acelerador MTIA personalizado, con un compromiso de hoja de ruta para varias generaciones. Pero hay otros muchos más.

Entre los socios de implementación confirmados se incluyen Cerebras, Cloudflare, F5, OpenAI, Positron, Rebellions, SAP y SK Telecom. Los sistemas OEM de ASRock Rack, Lenovo y Supermicro ya están disponibles para pedidos. Además, más de 50 empresas del ecosistema, como AWS, Broadcom, Google, Marvell, Micron, Microsoft, Nvidia, Samsung, SK Hynix y TSMC, han emitido comunicados de apoyo.

OpenAI ofreció una cita particularmente reveladora, describiendo la CPU AGI como un componente que «fortalece la capa de orquestación que coordina las cargas de trabajo de IA a gran escala». Ese es precisamente el perfil de uso para el que se diseñó este chip. La IA agencial está creando una nueva categoría de demanda donde las CPU son el elemento de computación principal, no un complemento.

Tendremos que espera a los resultados de la validación por terceros, pero la Arm AGI, apunta muy bien para motorizar las nuevas generaciones de centros de datos.