Un grupo de investigadores logró algo que hará nuestra realidad aún más distópica: eliminar objetos de escenas en vivo, en 3D, y sin ningún tipo de retraso, incluso con la cámara en movimiento.
Esto se llama realidad disminuida (DR), algo así como lo opuesto a la realidad aumentada. En vez de añadir cosas al mundo real, las borra, y lo hace de forma creíble.
Antes, quitar objetos en 3D tomaba mucha potencia y generaba imágenes con errores o demoras. Pero ahora lo han conseguido hacer en tiempo real.
El equipo de la Universidad Técnica de Graz, junto con investigadores japoneses, logró que una cámara muestre una habitación sin ciertos objetos, como si nunca hubieran estado allí.
“Es como un Photoshop en 3D y en vivo”, dice uno de los investigadores, Shohei Mori. Puedes quitar cosas feas de tus videos de vacaciones. Pero esto va mucho más allá.
Aplicaciones
Por ejemplo, en la industria del cine, se podrían hacer previsualizaciones rápidas en locaciones que aún no están listas. O entrenar vehiculos autónomos simulando obstáculos que en realidad no están.
También se puede usar en medicina. Durante una cirugía, podrías ocultar elementos molestos del video para que los estudiantes se concentren en lo importante.
La tecnología se llama InpaintFusion. Usa edición en 2D como base y luego la traslada al espacio 3D. El usuario señala qué quiere borrar, y el sistema rellena el fondo de forma creíble.
Empieza con un fotograma clave y recopila píxeles similares de alrededor para reconstruir lo que habría detrás del objeto eliminado.
Para que el truco funcione desde cualquier ángulo, combinan color y profundidad en la imagen. Así, incluso si te mueves con la cámara, el fondo se ve bien.
Lograron aplicar esta técnica a imágenes volumétricas, lo que mejora cómo percibimos la distancia entre objetos. Eso hace que todo se sienta más real.
Dos trucos
El reto más grande fue que todo ocurriera en tiempo real. Para eso usaron dos trucos: patch matching y multithreading.
Con patch matching, el sistema busca al azar los píxeles más parecidos para rellenar el hueco. No tienen que ser perfectos, solo lo bastante buenos para engañar al ojo.
Y con multithreading, el procesamiento se reparte en varios núcleos del procesador. Así, mientras el sistema calcula el fondo, tú puedes seguir viendo la escena sin trabas.
“El siguiente paso es crear herramientas para que cualquiera pueda usar esto”, dice Mori. También quieren generar modelos 3D rápidamente desde pocas fotos. Así la realidad disminuida se volvería aún más poderosa.
