ASUS UGen300, el primer acelerador de IA en formato USB

El ASUS UGen300 es un acelerador de IA realmente innovador, ya que usa un formato compacto y externo conectable mediante el estándar USB, con el que permite llevar el rendimiento de inferencia directamente a cualquier dispositivo.

El desarrollo de modelos de lenguaje y clientes de inteligencia artificial no cesa y no solo se juega en los gigantescos centros de datos y los servicios Cloud. Las computadoras para desarrollo local se acumulan y llegan al mercado en cualquier tipo de formato. El ASUS UGen300 es otra muestra novedosa.

Este acelerador de IA es solo un poco más grande que un pendrive USB típico, con dimensiones de 105 x 50 x 18 mm e incorpora el procesador de IA Hailo-10H, que ofrece 40 TOPS de potencia dedicada para admitir modelos de lenguaje grandes como LLM, VLM y otros.

El UGen300 incluye 8 GB de memoria dedicada LPDDR4 y se conecta a otros dispositivos mediante una interfaz USB tipo C, consumiendo tan solo 2,5 vatios de potencia en cargas de trabajo típicas. Su práctico diseño plug-and-play garantiza la compatibilidad multiplataforma con sistemas operativos Windows, Linux y Android. También es compatible con los principales marcos de IA como TensorFlow, PyTorch y ONNX, listos para usar.

«Al integrar el Hailo-10H en un dispositivo USB común, ASUS pone todo el potencial de la IA y la IA generativa al alcance de todos», explica Max Glover, director de Hailo. «Nos entusiasma ver cómo nuestra comunidad de desarrolladores utilizará este acelerador plug-and-play para ampliar los límites de la IA en dispositivos. Así es precisamente como Hailo concibe el futuro de la IA: accesible, asequible y diseñada para que cualquiera pueda crear con ella».

Rendimiento de IA de última generación en tamaño minúsculo

El acelerador de IA USB ASUS UGen300 incorpora un procesador de IA Hailo-10H que ofrece un rendimiento dedicado de 40 TOPS de IA y está optimizado para cargas de trabajo de IA generativa, incluyendo inferencia LLM y tareas de visión-lenguaje. Complementa la CPU y las NPU del dispositivo anfitrión y proporciona aceleración de IA para liberar recursos del sistema, lo que permite la inferencia de IA generativa en el dispositivo sin depender de la computación en la nube.

En comparación con la IA basada en la nube, los usuarios de UGen300 no pagan suscripción mensual, experimentan latencia cero y disfrutan de una gran fiabilidad y privacidad. UGen300 puede ejecutar aplicaciones de IA de última generación exigentes, como generación de texto, resumen de vídeo, activación de eventos, conversión de voz a acción y percepción en tiempo real. Su diseño de bajo consumo utiliza tan solo 2,5 vatios para ofrecer una IA eficiente y de alto rendimiento en el borde de la red.

UGen300 cuenta con el respaldo de un ecosistema optimizado diseñado para acelerar el desarrollo de IA. La próxima herramienta UGen Utility permitirá una validación rápida mediante más de 100 modelos preentrenados para un inicio sencillo. Los usuarios también pueden conectarse a la comunidad de desarrolladores de Hailo para acceder a tutoriales, diseños de referencia e información compartida que les ayudará a crear e implementar aplicaciones de IA en el borde con mayor rapidez.