Los teléfonos inteligentes pronto podrían generar hologramas 3D fotorrealistas, gracias en parte a un modelo de IA desarrollado por investigadores del MIT. El sistema de IA desarrollado por el equipo del MIT determina la mejor forma de generar hologramas a partir de una serie de imágenes de entrada.
Investigadores del MIT han diseñado recientemente modelos de IA que permiten la generación de hologramas 3D fotorrealistas. La tecnología podría tener aplicaciones para auriculares VR y AR, y los hologramas incluso pueden ser generados por un teléfono inteligente.
A diferencia de las pantallas 3D y VR tradicionales, que simplemente producen la ilusión de profundidad y que pueden causar náuseas y dolores de cabeza, las personas pueden ver las pantallas holográficas sin causar fatiga visual. Un obstáculo importante para la creación de medios holográficos es el manejo de los datos necesarios para generar realmente el holograma. Cada holograma se compone de una gran cantidad de datos, necesarios para crear la “profundidad” que tiene el holograma. Debido a esto, la generación holográfica generalmente requiere una gran cantidad de poder de cómputo. Para hacer que la tecnología holográfica sea más práctica, el equipo del MIT aplicó redes neuronales convolucionales profundas al problema, creando una red capaz de generar rápidamente hologramas basados en imágenes de entrada.
El enfoque típico para generar hologramas esencialmente generó muchos fragmentos de hologramas y luego usó simulaciones físicas para combinar los fragmentos en una representación completa de un objeto o imagen. Esto difiere del enfoque típico utilizado para generar hologramas. En el método tradicional, las imágenes se cortan y se utilizan una serie de tablas de búsqueda para unir los fragmentos del holograma, ya que las tablas de búsqueda marcan los límites de los diferentes fragmentos del holograma. El proceso de definición de los límites de los fragmentos holográficos con tablas de visualización requiere bastante tiempo y requiere mucha potencia de procesamiento.
Según IEEE Spectrum, El equipo del MIT diseñó otro método para generar hologramas. Usando el poder de las redes de aprendizaje profundo, pudieron dividir imágenes en fragmentos que podrían volver a compilarse en hologramas utilizando muchos menos “rebanadas”. Las nuevas técnicas aprovechan la capacidad de las redes neuronales convolucionales para analizar imágenes y separarlas en fragmentos discretos. Este nuevo método de análisis y fragmentación de imágenes reduce en gran medida el número total de operaciones que debe realizar un sistema.
Para diseñar su generador holográfico impulsado por IA, el equipo de investigación comenzó construyendo una base de datos compuesta por alrededor de 4000 imágenes generadas por computadora, con un holograma 3D correspondiente asignado a cada una de estas imágenes. La red neuronal convolucional se entrenó en este conjunto de datos, aprendiendo cómo se vinculaba cada una de las imágenes con su holograma y la mejor manera de usar las funciones para generar los hologramas. Cuando al sistema de IA se le proporcionaron datos ocultos con información de profundidad, podría generar nuevos hologramas a partir de estos datos. La información de profundidad se proporciona mediante el uso de sensores lidar de pantallas multicámara y se presenta como una imagen generada por computadora. Algunos iPhone nuevos tienen estos componentes, lo que significa que podrían generar los hologramas si se conectan al tipo correcto de pantalla.
El nuevo sistema de hologramas impulsado por IA necesita mucha menos memoria que los métodos clásicos. El sistema puede generar hologramas 3D a 60 fotogramas por segundo a todo color con una resolución de 1920 x 1080 utilizando alrededor de 620 kilobytes de memoria mientras se ejecuta en una sola GPU comúnmente disponible. Los investigadores pudieron ejecutar sus sistemas en un iPhone 11 produciendo alrededor de 1 holograma por segundo, mientras que un Google Edge TPU el sistema podía generar 2 hologramas por segundo. Esto sugiere que el sistema podría adaptarse a teléfonos inteligentes, dispositivos AR y dispositivos VR en general. El sistema también podría tener aplicaciones para la impresión 3D volumétrica o en el diseño de microscopios holográficos.
En el futuro, las mejoras en la tecnología podrían introducir hardware y software de seguimiento ocular, lo que permitiría escalar dinámicamente la resolución de los hologramas a medida que el usuario mira a lugares específicos.