Akamai AI Grid Intelligent Orchestration, para inferencia distribuida en el edge

Akamai Technologies ha presentado su implementación del diseño de referencia NVIDIA AI Grid, con la intención de llevar al sector de fábricas de IA aisladas a una red unificada y distribuida para la inferencia de IA. Para ello, Akamai ha integrado la infraestructura de IA de NVIDIA en la infraestructura de Akamai y ha aprovechado la orquestación inteligente de cargas de trabajo en toda su red.

Esta medida es un paso en la evolución de Akamai Inference Cloud, para lo que está implementando miles de GPU NVIDIA RTX Pro 6000 Blackwell Server Edition, lo que da lugar a una plataforma que permite a las empresas ejecutar IA física y agencial con la capacidad de respuesta de la computación local y la escala de la web global. Vista previa (abre en una nueva pestaña)

En el núcleo de AI Grid hay un coordinador inteligente que actúa como intermediario en tiempo real para las peticiones de IA. Con la experiencia de Akamai en la optimización del rendimiento de las aplicaciones a la IA, este plano de control sensible a la carga de trabajo optimiza la tokenómica, ya qye mejora el coste por token, el tiempo hasta el primer token y el rendimiento.

Con base en NVIDIA AI Enterprise y gracias a la arquitectura NVIDIA Blackwell y las DPU NVIDIA BlueField para redes y seguriad aceleradas por hardware, Akamai puede gestionar acuerdos de nivel de servicio en ubicaciones periféricas y centrales. En el edge, con más de 4.400 ubicaciones, ofrece tiempos de respuesta rápidos praa la IA física y los agentes autónomos, y aprovechará el almacenamiento en caché semántico y las capacidad sin servidor, como Akamai Functions y EdgeWorkers, para ofrecer afinidad de modelos y un rendimiento estable en el punto de contacto con el usuarios.

Con Akamai Cloud IaaS y clústeres de GPU dedicados, la infraestructura central de la nube pública permite la portabilidad y el ahorro de costes para cargas de trabajo a gran escala, mientras que los pods equipados con GPU NVIDIA RTX Pro 6000 blackwell permiten un entrenamiento posterior de alta resistencia y una inferencia multimodal.

La primera ola de infraestructura de IA se caracterízó por grandes clústeres de GPU en unas pocas ubicaciones centralizadas y optimizadas para el entrenamiento. Pero a medida que la inferencia se va convirtiendo en la carga de trabajo dominante, y las empresas de todos los sectores se centran en crear agentes de IA, ese modelo centralizado se enfrenta a las mismas limitaciones de ampliación que encontraron las generaciones anteriores de infraestructura de Internet con la distribución de medios, los juegos online, las transacicones financieras y las aplicaciones de microservicios complejos.

Akamai está solulcionando cada uno de estos desafíos con el mismo enfoque básico: redes distribuidas, orquestación inteligente y sistemas diseñados específicamente para reunir el contenido y el contexto lo más cerca posible del punto de contacto digital. El resultado ha sido una mejora de la experiencia del usuarios y un mayor ROI para las empresas que han adoptado el modelo. Akamai Inference Cloud aplica esa misma arquitectura probada a las fábricas de IA, lo que permite la próxima ola de escalado y crecimiento a través de la distribución de la computación densa desde el núcleo hasta el edge.

Adam Karon, Director de operaciones y director general del Cloud Technology Group de Akamai, ha subrayado que «las fábricas de IA se han diseñado específicamente para el entrenamiento y las cargas de trabajo de modelos de vanguardia, y la infraestructura centralizada seguirá ofreciendo la mejor tokenómica para esos casos de uso. Pero el vídeo en tiempo real, la IA física y las experiencias personalizadas altamente concurrentes exigen una inferencia en el punto de contacto, no un viaje de ida y vuelta a un clúster centralizado. Nuestra orquestación inteligente AI Grid ofrece a las fábricas de IA una forma de escalar la inferencia hacia el exterior, aprovechando la misma arquitectura distribuida que revolucionó la entrega de contenido para enrutar las cargas de trabajo de IA a través de 4.400 ubicaciones, al coste adecuado y en el momento adecuado«.

Chris Penrose, vicepresidente global de Desarrollo Empresarial y Telco en NVIDIA, ha comentado que «las nuevas aplicaciones nativas de IA exigen una latencia predecible y una mayor rentabilidad a escala planetaria. Al poner en marcha NVIDIA AI Grid, Akamai está creando el tejido conectivo para la IA generativa, agencial y física, trasladando la inteligencia directamente a los datos para dar paso a la próxima ola de aplicaciones en tiempo real«.