Conecta con nosotros

Noticias

Runway, el co-creador de Stable Diffusion, lanza la primera IA generativa para vídeollamada Gen-1

Publicado el

Después de estar tras el proceso de creación de la herramienta generativa de imagen por inteligencia artificial, Stable Diffusion, la startup Runway da un paso más y anuncia la creación de Gen-1. Se trata de una potente y eficiente aplicación capaz de modificar vídeos y películas ya creadas y transformarlas en otros completamente nuevos valiéndose únicamente de entradas de texto.

Se ve que Runway no ha sido capaz de contener su espíritu innovador y creativo, pues solo hace un año que ayudó a dar a luz a Stable Diffusion. Pero entre aquella herramienta y la nueva Gen-1 aparecen dos claras diferencias; la primera es que Stable Diffusion era de código abierto, mientras que la segunda se prevé que por el momento solo estén en manos de un segmento reducido. La otra variante es que Stable Diffusion creaba imágenes con IA  y Gen-1 será capaz de transformar vídeos existentes en otros completamente nuevos a través de una imagen de referencia, un mensaje de texto o prompts a partir de sus capacidades algorítmicas.

Así funciona Gen-1

Para lanzar Stable Diffusion se inspiró en otros generadores de imágenes como Midjourney o DALL-E, pero ahora se convierten en pioneros en este sentido. A través de una cinta de demostración publicada en la web de Runway se aprecia que su software será capaz de convertir los clips de personas en meros títeres de plastilina, e incluso una serie de libros apilados en un paisaje urbano. Para el CEO de la compañía, Cristóbal Valenzuela, “2023 será el año del vídeo”.

Gen-1 se ejecuta en la nube, en el sitio web de Runway, por lo que al no ser de código abierto solo tendrán acceso a él determinados usuarios, existiendo una importante lista de espera en un documento de Google Docs. La intención de Valenzuela es poner la nueva herramienta en manos de profesionales creativos y generar largometrajes completos que a posteriori se verán online.

Gen-1 tendrá cinco posibles ámbitos de uso:

  • Estilización: Transferir el estilo de una imagen a un vídeo.
  • Guión gráfico: Convertir maquetas en renders estilizados y animados.
  • Máscara: Por medio de prompts simples será capaz de transformar elementos de un vídeo.
  • Renderizado: Añadir texturas y efectos a renders que no los poseen.
  • Personalización: Adaptación del modelo para producir resultados más complejos.

Un laborioso proceso

Y es que Gen-1 es el resultado de muchos y arduos años de trabajo por parte de Runway hasta que han dado con este elemento revolucionario. No obstante, desde la creación de la empresa en Nueva York en el 2018, Runway no ha dejado de proporcionar herramientas para TikTokers, Youtubers y estudios de cine y televisión. Sin ir más lejos, los creadores de ‘The Late Show’ con Stephen Colbert utilizaron el software de Runaway para editar los gráficos del programa, o la película ‘Everything Everywhere All at Once’, que usó su tecnología para crear efectos visuales en determinadas escenas.

Hablamos de Gen-1 en 2023, pero es que ya en 2021, Runway colaboró con investigadores de la Universidad de Munich para idear la primera versión de Stable Diffusion junto  a Stability AI, la startup anglosajona que pagó los costes informáticos. Un año más tarde, consiguieron convertir el proyecto en un fenómeno global.

Resulta curioso, pero los vínculos existentes entre ambas compañías ya no existen. Algunas como Getty han denunciado a Stability AI por tomar imágenes suyas sin permiso.

Gen-1 sigue los pasos iniciados con anterioridad por otros modelos de IA de texto a vídeo como Make-a-Video de Meta y Phenaki de Google, que son capaces de producir videoclips desde cero. También presenta claras similitudes con Dreamix, una herramienta de IA generativa de Google que crea vídeos a partir de otros ya existentes aplicándole estilos concretos, aunque no con tanta calidad como Gen-1. No obstante, a diferencia de sus principales competidores, Google y Meta, Runway ha creado su modelo pensando en los clientes con el objetivo de producir una comunidad de creadores de vídeos.

Otros proyectos de IA

Al eficiente y económico sistema de efectos visuales Gen-1 se le suma una herramienta basada en inteligencia artificial llamada Soundify. Con ella, Runway quiere revolucionar el sector del audio. Se encargará de tomar una entrada de vídeo, analizar de qué se trata y qué sucede y posteriormente crear el audio correspondiente.

Por consiguiente, nos damos cuenta que la inteligencia artificial generativa ha llegado para quedarse y que sus modelos cada vez son más potentes, complejos y moldeables, por lo que no entenderán de límites en ciertos sectores como el cine.

Lo más leído