Conecta con nosotros

Noticias

OVHcloud ya tiene su propia familia de LLMs: Olala

Publicado el

OVHcloud

OVHcloud ya cuenta con su propia familia de modelos grandes de lenguaje, a la que ha llamado Olala. El primero de ellos, Olala mini 7A1B, es un modelo de tipo compacto, que se lanzará oficialmente esta semana en el evento OVHcloud AI Summit del próximo 19 de noviembre. En él, la compañía presentará además todas sus novedades en nube e IA para sus clientes.

Olala mini se basa en la arquitectura de 7.000 millones de parámetros, o 7B, y cuenta con 1.000 millones de parámetros activos repartidos por 256 expertos por capa. También con antención híbrida, que combina Differential-TPA y Mamba-3, en formato BF16.

El modelo emplea únicamente una parte de su capacidad para elaborar cada respuesta, lo que hace que sea más rápido y utilice menos memoria. Además, hace que el modelo pueda funcionar en una GPU con solo 8 GB de memoria, y que alcance los 160 tokens por segundo en una RTX A4500.

Incluso puede funcionar sin GPU, con un procesador convencional, a 50 tokens por segundo. En la actualidad, su ventana de contexto llega a los 32.000 tokens. Olala mini estará disponible como modelo open source a través de Hugging Face, con la licencia Apache 2.0.

Olala mini se ha entrenado en tres superordenadores públicos europeos: Jupiter, MeluXima y Jean Zay, equipadas con GPUs GH200, A100 y H100. El soporte recibido de estos superequipos equivale a 7 millones de euros en horas de computación, y ha sido decisivo para poder lanzar la gama Olala. Gracias a la existencia de estos superordenadores públicos, además, la compañía ha podido poner en marcha un equipo dedicado en exclusiva a la IA, y crear un laboratorio de IA agéntica, OVHai LLM.

La publicación de Olaia mini incluye sus pesos, su modelo base preentrenado, su informe técnico y su documentación de cumplimiento de la Ley de IA de la UE. Qwant ya lo ha adoptado para su función de respuesta rápida, y ha conseguido ya ventajas notables: responde un 20% más rápido y los costes de su ejecución suponen la tercera parte de los del modelo utilizado hasta ahora

Su versión 1.1 llegará hacia finales de este año. Ampliará su ventana de contexto hasta los 128.000 tokens, además de mejorar su rendimiento en razonamiento matemático. Con la versión 2.0, cuando OVHai anuncie su disponibilidad, el laboratorio tiene intención de desarrollar modelos especializados en tres áreas. La primera es la IA agéntica para empresas, y en este sentido, OVH espera que Olala impulse OVHai Workspace, que contará con una versión cifrada que necesitará modelos capaces de ejecutarse en una estación de trabajo en local.

La segunda área en la que intervendrá Olala será la de DevOps en la nube, con versiones personalizadas y adaptadas a desarrollarodes, arquitectos de desarrollo y equipos de operaciones, que se encarguen de asegurar la continuidad de servicios. La tercera, por último, será la ciberseguridad, y contribuirá a cubrir aspectos de la misma tanto defensivos como proactivos. Olala  2.0 superará los 100.000 millones de parámetros.

Octave Klaba, CEO de OVHcloud, ha destacado que «la IA es estratégica para OVH. Además de ofrecer servicios de IA a nuestros clientes, debemos ser capaces de crear modelos para nuestras propias necesidades internas y para las de nuestros clientes. No podemos limitarnos a confiar en la generosidad de determinados laboratorios para que compartan sus modelos de lenguaje grande (LLM) como código abierto en los próximos años. Los conocimientos técnicos sobre el entrenamiento de modelos se han generalizado, y el coste de dicho entrenamiento se ha reducido a una vigésima parte en tres años. Ahora se puede crear modelos de lenguaje grande (LLM) y, al mismo tiempo, rentabilizar esta actividad».

Redactora de tecnología con más de 15 años de experiencia, salté del papel a la Red y ya no me muevo de ella. Inquieta y curiosa por naturaleza, siempre estoy al día de lo que pasa en el sector.

Lo más leído