AMD GAIA, un proyecto de código abierto para ejecutar LLM en PCs

AMD GAIA es un nuevo proyecto de código abierto que pretende facilitar la ejecución de modelos de lenguaje grande (LLM) en computadoras personales. El objetivo es permitir la ejecución de estos modelos de inteligencia artificial de manera local y privada.

AMD GAIA está diseñado para ejecutar varios modelos LLM en PCs con Windows y ofrece optimizaciones de rendimiento adicionales para máquinas equipadas con los procesadores de la compañía Ryzen AI, usando en conjunto su gráfica integrada Radeon y la unidad de procesamiento neuronal que incluye y que ofrece una potencia de 50 TOPS.

AMD GAIA, LLM locales

El proyecto utiliza el SDK Lemonade, un desarrollo de código abierto para la inferencia con lenguajes grandes. Estos modelos pueden adaptarse a diferentes propósitos, incluyendo tareas de resumen y razonamiento complejo. Gaia funciona mediante un agente de Generación Aumentada por Recuperación (RAG). El RAG combina un LLM con una base de conocimientos, lo que le permite proporcionar una experiencia de IA interactiva al usuario final, junto con respuestas más precisas y contextualizadas.

El RAG actualmente incorpora cuatro agentes de Gaia: Simple Prompt Completion, un agente diseñado para interacciones directas con modelos para pruebas y evaluación; Chaty, la parte de chatbot de un LLM que interactúa con el usuario; Clip, un agente con búsqueda en YouTube y funcionalidad de preguntas y respuestas; y Joker, un generador de chistes que añade un toque humorístico al asistente.

El nuevo proyecto de código abierto de AMD funciona proporcionando tareas específicas de LLM a través del SDK de Lemonade y distribuyéndolas en múltiples entornos de ejecución. Supuestamente, Lemonade «expone un servicio web LLM que se comunica con la aplicación GAIA mediante una API Rest compatible con OpenAI». Gaia actúa como un agente basado en IA que recupera y procesa datos. También vectoriza contenido externo y lo almacena en un índice vectorial local. En otras palabras, Gaia puede mejorar las consultas de los usuarios antes de que el LLM las procese, mejorando la precisión y la relevancia de las respuestas.

El nuevo chatbot de IA cuenta con dos instaladores: uno estándar, compatible con cualquier PC con Windows (independientemente de si tiene hardware AMD) y otro híbrido, optimizado para PCx con los procesadores de la firma, Ryzen AI. Este último permite a Gaia ejecutar cálculos en la unidad de procesamiento neuronal ( NPU ) y los gráficos integrados de una CPU Ryzen AI para un mejor rendimiento.

El AMD GAIA es el competidor más reciente en el nuevo abanico de aplicaciones LLM localizadas, como LM Studio y ChatRTX. Ejecutar LLM localmente ofrece ventajas significativas sobre las soluciones en la nube, como una mayor seguridad, menor latencia y, en algunos casos, mejor rendimiento dependiendo del hardware del sistema. Como ventaja adicional, decir que la ejecución de modelos de lenguaje grandes de manera local no requiere conexión a Internet.