Investigadores del Instituto de Ingenieros Eléctricos y Electrónicos (IEEE) han desarrollado un método para aumentar la autenticidad de las instalaciones de realidad aumentada basadas en proyecciones de bajo costo, a través de lentes especiales que hacen que las imágenes 3D proyectadas entren y salgan de foco en el mismo manera que lo harían si los objetos fueran reales, superando un obstáculo crítico de percepción para el uso práctico de los sistemas de proyección en entornos controlados.
El sistema IEEE recrea planos de profundidad para imágenes CGI y reales proyectadas que se superpondrán en las habitaciones. En este caso, se superponen tres conejitos de Stanford CGI en el mismo plano de profundidad que tres objetos del mundo real, y su borrosidad se controla según el lugar en el que mira y se enfoca el espectador. Los proyectores 3D pueden colocar material de archivo en superficies fijas, superficies en movimiento o incluso geometría compleja, lo que ofrece una amplia cobertura que es difícil de recrear bajo las severas limitaciones de procesamiento de los sistemas AR como HoloLens. Fuente: https://www.youtube.com/watch?v=I8DGTQnxm38
El sistema utiliza lentes sintonizables eléctricamente (ETL) integradas en las gafas del espectador (que en cualquier caso son necesarias para separar los dos flujos de imágenes en una experiencia 3D integrada y convincente), y que se comunican con el sistema de proyección, que luego cambia automáticamente el nivel de borrosidad de la imagen proyectada vista por el espectador.
Las lentes ETL brindan información sobre la atención focal del usuario y establecen el nivel de desenfoque por plano para la representación de la geometría proyectada. El desarrollo del sistema se describe en un video adjunto, incrustado al final de este artículo.
Él papeltitulado Multifocal Stereoscopic Projection Mapping, ofrece un nuevo nivel de usabilidad en un campo que se ha visto limitado por su falta de integración con la forma en que los usuarios enfocan diferentes objetos, y que promete superar los problemas que tales sistemas han tenido con el conflicto de convergencia-acomodación. (VACACIONES): un síndrome en el que la distancia percibida entre un objeto no coincide con su distancia lógica de enfoque, lo que hace que el objeto ‘flote’ de una manera nítida poco convincente donde debería estar desenfocado en el contexto de su ubicación.
En entornos AR, como HoloLens de Microsoft, se utiliza la representación foveada para concentrar la potencia de procesamiento, la representación de detalles y el enfoque en función de dónde mira y se enfoca el usuario que usa el dispositivo. Sin embargo, los sistemas de realidad aumentada portátiles, como la función HoloLens, tienen una carga de hardware integrada mucho mayor, ya que en realidad tienen que entregar la imagen 3D al espectador.
La ventaja de la realidad aumentada proyectada
Por el contrario, las gafas habilitadas para ETL simplemente envían información focal como una variable adicional a canalizaciones CGI remotas, lo que puede cambiar el enfoque de las imágenes proyectadas más rápido que el viaje de ida y vuelta que la información focal tiene que hacer en un dispositivo AR portátil (es decir, la información de enfoque > enviado al procesador remoto > renderizado > enviado de vuelta al usuario), mejorando la latencia, que es en sí misma una posible causa de desorientación del espectador en sistemas AR.
En efecto, la representación foveada se usa tanto para acomodar los recursos disponibles limitados como para proporcionar una experiencia focal auténtica para el usuario, con grandes áreas de imágenes superpuestas difíciles de lograr en los sistemas de estilo HoloLens, y una «representación de buzón» limitada y bordes inestables una queja consistente.
De SIGGRAPH 98: una visión de la realidad aumentada en un entorno de oficina, citado en el nuevo documento. Fuente: https://www.youtube.com/watch?v=I8DGTQnxm38 y https://web.media.mit.edu/~raskar/UNC/Office/
El documento observa una serie de ventajas conocidas que tiene el mapeo de proyección estereoscópica (PM) sobre las implementaciones más modernas de realidad aumentada, que se basan en equipos pesados e intensos que se usan en el cuerpo, como señalan los autores*:
En primer lugar, el campo de visión (FOV) se puede hacer lo más amplio posible aumentando la cantidad de proyectores para cubrir todo el entorno. En segundo lugar, los anteojos con obturador activo que se utilizan normalmente son mucho más livianos y, por lo tanto, su carga física es menor que la de los HMD. En tercer lugar, varios usuarios pueden compartir la misma experiencia de realidad aumentada si sus puntos de vista están lo suficientemente cerca entre sí. Gracias a estas ventajas, los investigadores han descubierto que la PM estereoscópica es adecuada para una amplia gama de aplicaciones, incluidas, entre otras, guías de museosplanificación de la arquitectura, diseño de producto, entrenamiento médico, interfaces que cambian de formay teleconferencias.
Microsoft Research ideó una implementación de este tipo en 2012, antes de que la empresa se concentrara en AR en el dispositivo en los últimos años:
Los investigadores del IEEE sostienen que el nuevo sistema de entrada de enfoque es el primero en abordar VAC mediante el control de planos multifoco, y también es el primero en resolver este problema de una manera genérica y ampliamente aplicable, sin necesidad de equipos de proyección costosos y especializados.
La canalización de renderizado centrada en el enfoque ideada por los investigadores incorpora información focal recibida de las gafas ETL del espectador al comienzo del proceso de renderizado, en lugar de requerir que la computadora base renderice y luego desenfoque. Según la implementación, esto puede ahorrar más recursos de procesamiento y mejorar la latencia a medida que la mirada focal del espectador se pasea por los elementos virtuales.
Se informa que la técnica funciona bien en una variedad de superficies de proyección posibles, incluidas superficies planas, no planas (es decir, geometría curva o compleja, como maniquíes sobre los que se pueden imponer imágenes médicas de rayos X) y superficies móviles.
Un maniquí de realidad mixta que usa proyección 3D, diseñado para un entorno de educación médica, citado en el artículo. Fuente: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23
Los sistemas de proyección de este tipo requieren entornos oscuros, como la configuración de un museo, y el sistema ETL reduce el ángulo de visión disponible para el espectador, aunque los investigadores afirman que la tendencia hacia mayores tamaños de apertura para los equipos ETL mitigará esta limitación con el tiempo. Aunque los autores también señalan que el sistema requiere un proyector de alta velocidad para proporcionar suficientes fotogramas para separarlos en dos flujos, han utilizado un proyector disponible comercialmente para su implementación.
*Mi conversión de citas en línea a hipervínculos.