NVIDIA Instant NeRF: Inteligencia artificial para convertir fotos en escenas 3D

NVIDIA Hopper fue, sin duda, el plato fuerte de la GTC de este año, pero hay que reconocer que NVIDIA Instant NeRF también ha sido una grata sorpresa. Se trata de un modelo de red neural de renderizado que, en resumen, es capaz de transformar imágenes en 2D, como fotografías, por ejemplo, en escenas tridimensionales totalmente realistas.

Interesante, ¿verdad? Detengámonos un momento a valorar lo que esto supone, y para ello nada mejor que partir de lo que vemos en el vídeo que encontraréis al final del artículo. Al inicio del mismo vemos cuatro imágenes en 2D que han sido capturadas con una cámara Polaroid, una de las cámaras clásicas dentro del mundo de la fotografía. Esas imágenes se han utilizado para «alimentar» el sistema NVIDIA Instant NeRF.

Pues bien, con solo esas cuatro imágenes este sistema es capaz de crear una escena tridimensional totalmente realista, y en cuestión de segundos. El resultado es increíble, y lo mejor es que es extremadamente rápido, ya que el proceso de creación de la escena solo lleva unos segundos, como hemos dicho, y el de entrenamiento de la red neural se completa en unos minutos.

¿Cómo funciona exactamente NVIDIA Instant NeRF?

Ya sabemos que se utiliza una red neural y que por tanto la inteligencia artificial juega un papel clave. También hemos visto que es necesario alimentar al sistema con imágenes 2D tomadas desde diferentes perspectivas, ya que de esa manera obtiene la información que necesita para generar la escena 3D, ¿pero cómo se completa el proceso? NVIDIA ha confirmado que Instant NeRF utiliza renderización inversa.

A través de la renderización inversa, y gracias al apoyo de la inteligencia artificial, el sistema puede determinar cómo se comporta la luz en el mundo real, y lo utiliza para crear una escena 3D partiendo de unas pocas imágenes en 2D. Esta es la idea clave que NVIDIA ha aplicado a Instant NeRF. David Luebke, vicepresidente de investigación  gráfica de NVIDIA, ha dado una explicación comparativa bastante interesante en este sentido:

«Si las representaciones 3D clásicas, como las mallas poligonales, son similares a las imágenes vectoriales, los NeRF son como imágenes de mapas de bits: capturan de una forma densa la manera en la que la luz irradia desde un objeto, o dentro de una escena. Instant NeRF podría ser tan importante para el mundo del 3D como las cámaras digitales y el formato JPEG lo fueron para la fotografía 2D, gracias a su capacidad para crear escenas 3D en segundos que podremos compartir casi al instante».

Esta tecnología podría tener un enorme impacto en el sector tecnológico en general, y también en el metaverso, ya que gracias a ella podríamos crear avatares altamente realistas en cuestión de segundos y con solo unas pocas fotografías. También sería posible crear escenas realistas para dar forma a mundos virtuales, o reconstruir escenas para crear mapas digitales en 3D. También se podría emplear esta tecnología para entrenar a robots y a sistemas de conducción autónoma a entender mejor la forma y el tamaño real de los objetos.

NVIDIA también ha confirmado que Instant NeRF fue desarrollado utilizando NVIDIA CUDA Toolkit y la librería Tiny CUDA Neural Networks. Es una red neuronal ligera, así que se puede entrenar y ejecutar en una sola GPU NVIDIA, aunque obviamente funciona mucho mejor en soluciones gráficas equipadas con núcleos tensor.