Conecta con nosotros

Noticias

GEEKOM implementa DeepSeek V4 Flash en cuatro mini PC GEEKOM A9 Mega

Publicado el

GEEKOM implementa DeepSeek V4 Flash en cuatro mini PC GEEKOM A9 Mega

GEEKOM, especializada en el desarrollo de mini PCs de alto rendimiento, ha creado un clúster para IA de cuatro unidades tras implementar DeepSeek V4 Flash en cuatro equipos GEEKOM A9 Mega.

Gracias a esto, en vez de depender de un servidor de centro de datos, el clúster conecta cuando equipos mini PC A9 Mega a través de USB4, como una plataforma distribuida.

Cada uno de los mini PCs de GEEKOM integra el procesador AMD Ryzen AI Max+ 395, que cuenta con 16 núcleos de CPU Zen 5. Además, cada equipo lleva un chip gráfico Radeon 8060S y memoria unificada. Todo ello en una carcasa de diseño compacto.

En cuanto al software, lleva preinstalada la distribución de Linux Ubuntu, que junto con el software ROCm de AMD y DwarfStar, se encargan de distribuir un modelo DeepSeek V4 Flash optimizado entre las máquinas que componen el clúster.

Una API compatible con OpenAI se encarga de conectar las aplicaciones y los agentes de IA. Su conexión a través de USB4, por otro lado, elimina la necesidad de utilizar un conmutador de alta velocidad o un rack de servidor propietario.

Este clúster de GEEKOM permite que las empresas puedan utilizar IA avanzada mientras mantienen toda su información confidencial bajo su control. Esto quiere decir que las instrucciones, los documentos, el código fuente, las credenciales de usuario y los resultados intermedios pueden permanecer en u infraestructura local, en vez de enviarse a una nube pública.

Entre otras cosas, este clúster permite por ello que las empresas puedan crear asistentes de conocimiento privados e inteligentes, capaces de buscar y analizar políticas, manuales, contratos e informes. Es decir, de trabajar con documentación interna y sensible de forma segura.

Asimismo, el clúster también es capaz de revisar documentos, analizar código fuente, realizar tareas de generación aumentada a través de recuperación local, efectuar investigación en distintas fuentes y automatizar, de manera controlada, los flujos de trabajo.

Para trabajar con sistemas de agentes, el clúster puede procesar herramientas, políticas, memoria, registros, código e información recuperada antes de actuar. Ha funcionado en contextos de hasta 250.000 tokens, lo que hace que pueda manejar con comodidad documentación extensa, bases de código de gran tamaño y tareas complejas de varios pasos.

En trabajos de concurrencia simple, el sistema funcionó con unos 14,61 tokens por segundo, y un tiempo P95 para el primer token de unos 0,42 segundos en pruebas con 32 y 128 tokens. En el caso del trabajo con peticiones largas, el sistema ofrece más capacidad y una aceleración mas potente.

Las empresas interesadas en la plataforma pueden comenzar con uno o dos sistemas de GEEKOM, para ampliarlos después a cuatro en función de su necesidades. Cada mini PC A9 Mega puede funcionar de manera independiente o contribuir a la inferencia distribuida.

Categorías relacionadas:

Redactora de tecnología con más de 15 años de experiencia, salté del papel a la Red y ya no me muevo de ella. Inquieta y curiosa por naturaleza, siempre estoy al día de lo que pasa en el sector.

Lo más leído