Vr está a punto de cambiar para siempre el cine: he aquí cómo

Hollywood está hablando de la realidad virtual. En la conferencia de Oculus Conectar el mes pasado, todo un grupo de ex-alumnos de Hollywood habló de la tecnología y su aplicación en el cine.

Mientras tanto, los pesos pesados ​​de la industria están empezando a opinar. James Cameron lo odia. David Attenborough está haciendo un documental sobre él. La reciente (excelente) Interestelar película tuvo una experiencia VR promoverlo.

La realidad virtual es una nueva forma de comunicarse con el espectador, y muchas personas con experiencia en el cine tradicional de encontrar las posibilidades muy interesantes. La realidad virtual, en lugar de limitarse a proporcionar una ventana a un nuevo mundo, permite a los directores a tomar el control de todo el mundo alrededor del espectador.

¿Qué se puede hacer con una cámara VR?

No se necesita mucha imaginación para conseguir excitado con la idea de cámaras VR. Realizadores, literalmente, podría traer al público cara a cara con sus personajes, y sumérgelas en espectaculares mundos, extraño. Fotógrafos pudieron capturar escenas enteros, congelados en el tiempo, a ser leído por cualquier persona, en cualquier parte del mundo.

Documentalistas podrían llevar al público a lugares que de otra manera no serían capaces de visitar. Podrían enviar una cámara VR hasta el fondo del océano y que los espectadores de pie en medio del salón de baile hundidos del Titanic. documentales sobre la naturaleza podrían manipular el tiempo y el espacio, poniendo a los usuarios entre las hormigas del tamaño de perros, o la construcción de secuencias de lapso de tiempo de inmersión. NASA podría montar una cámara VR en un vehículo en Marte y permitir que millones de personas de pie en el planeta rojo.

También hay, por supuesto, las aplicaciones más mundanas:

El vídeo en directo VR también podría ser muy convincente. juegos deportivos podrían ser remotamente asistieron, cámaras VR darían todos los asientos del lado de la cancha. Incluso el turismo podría ser virtual.

Los usuarios podrían alquilar un simple robot de telepresencia (tal vez un Segway con una cámara VR sentado en el manillar), y el piloto de la vuelta, en cualquier parte del mundo. El Segway podría transmitir sus servicios de video en vivo de vuelta, permitiendo a los turistas a prácticamente “teletransporte” a sí mismos a través del planeta para explorar cualquier lugar. Parece seguro decir que es VR va a cambiar el mundo.¿Por qué la tecnología de realidad virtual dejará su mente en 5 años¿Por qué la tecnología de realidad virtual dejará su mente en 5 añosEl futuro de la realidad virtual incluye la cabeza, el ojo y el seguimiento de expresión, toque simulado, y mucho más. Estas sorprendentes tecnologías estarán disponibles para usted en 5 años o menos.Lee mas

VR cine tiene muchos retos sin embargo. ¿Cómo pueden los directores de mover la cámara mientras se mantiene al espectador cómodo? ¿Cómo se cortan directores de cine sin desorientar al espectador? ¿Cómo se aseguran de que el espectador está mirando en la dirección correcta para coger importantes eventos de la trama? ¿Los primeros planos incluso tienen sentido?

Tal vez los mayores problemas, sin embargo, son los más prácticos: ¿cómo grabar contenidos de realidad virtual? VR representar el contenido en vivo para los juegos es computacionalmente intensivas, pero conceptualmente sencillo. Grabación de la vida real, por el contrario, plantea serios desafíos.

cámara panorámica

La solución más simple (y el único ampliamente utilizado en el momento) es simple captura de vídeo panorámica. En este esquema, una bola de cámaras convencionales se utilizan para grabar vídeo en todas las direcciones, y los resultados se cose junto con el software para crear una esfera perfecta de vídeo. Estos son muy parecidos a los paisajes que take con su teléfono, pero grabada simultáneamente en formato de vídeo. El resultado del proceso es como la siguiente:5 Consejos para tomar fotos panorámicas con el teléfono inteligente5 Consejos para tomar fotos panorámicas con el teléfono inteligenteLas imágenes panorámicas de paisajes impresionantes, casi siempre se ven maravillosos, pero pueden ser extremadamente difícil de crear. El uso de un teléfono inteligente, hay varias técnicas y trucos que se pueden emplear para obtener los mejores resultados.Lee mas

Esto es sencillo y barato. Usted puede pre-ordenar una cámara panorámica por alrededor de $ 700, pero tiene sus limitaciones. El más importante es la falta de profundidad: los paisajes se prestan a una esfera infinitamente grande, por lo que el paralaje entre sus ojos es cero, incluso para las partes de la imagen que realmente debe tener profundidad, como una persona de pie junto a ti.

A pesar de este inconveniente, la experiencia proporcionada por vídeo panorámico sigue siendo sorprendentemente fresca, especialmente para el contenido que se lleva a cabo a una distancia (aérea fotografía es un buen ejemplo). Hace aproximadamente una semana, he construido una aplicación Oculus Rift, que muestra una cabina virtual dentro del video de arriba, y los resultados son convincentes: se siente como montar en un submarino rodeado de las tortugas marinas del tamaño de pequeños edificios.

Pensar en este tipo de contenido de la RV como como un teatro personal súper IMAX en la cual estáis suspendidas en el medio de una gran pantalla esférica. El sentido de lugar proporcionado por vídeo esférica ya es algo que es imposible con las herramientas cinematográficas tradicionales. A pesar de sus limitaciones, esto es probablemente lo que la mayoría de vídeo VR se va a parecer en el futuro inmediato. El documental de Richard Attenborough ( “La conquista del aire“) se está rodando en este formato.

Cámara panorámica estéreo

Digamos que un director no está contento con la limitación de panorámicas monoscópicas. Una extensión obvia de la tecnología es traer de lado a lado de la tecnología 3D. Para ello, el hardware necesita dos cámaras paralelas una frente a la dirección, compensado por alrededor de 6,3 cm. A continuación, la cámara utiliza el software para unir entre sí dos panoramic images: una para el ojo izquierdo y otra para el derecho. La diferencia entre ellos crea la ilusión de profundidad. Productos que apoyan esta experiencia están disponibles, aunque son caros ($ 995, más el costo de diez cámaras GoPro).Antaño de la Diversión: Cómo hacer imágenes en 3D Para visualizar con sin gafasAntaño de la Diversión: Cómo hacer imágenes en 3D Para visualizar con sin gafasLo creas o no, que en realidad no necesita gafas 3D para experimentar de forma convincente imágenes realistas en 3D (o películas). Sólo tiene que hacer usted mismo ir “bizco”. En esencia, nos fijamos en dos imágenes, y por intencionalmente ...Lee mas

En un esfuerzo por hacer este tipo de contenido de más de corriente, Samsung ha anunciado recientemente “Proyecto Futuro”, una cámara panorámica estéreo VR para el auricular para teléfonos móviles Oculus-Samsung Gear VR. El prototipo actual tiene el factor de forma de un pequeño disco, y utiliza 17 cámaras de alta definición, y hace un gigapixel por segundo de datos.

A 30 fps, que se resuelve a marcos panorámicas que son alrededor de 15 megapíxeles por ojo, o alrededor de 50.000 píxeles por ojo por grado visual. La información de precios sigue siendo un misterio, y Samsung hace hincapié en que esto no es un proyecto acabado. Se puede ver su video de presentación a continuación.

panorámicas estéreo son claramente una experiencia mejor que sus hermanos monoscópicas - buscar grandes cosas grandes, cosas pequeñas parecen pequeños, los objetos tienen profundidad y posición, y se siente mucho más como estar allí. Dicho esto, la experiencia está todavía lejos de ser perfecto. Como John Carmack describe en su principal Oculus Connect, panorámicas estéreo tienen un montón de problemas.

“... panorámicas estereoscópicas, ya sea fija o vídeos, son absolutamente un truco. Existe - sabemos lo que es correcto y esto no está bien. Lo que terminan haciendo es que tienes rebanadas tomadas de varias cámaras, por lo recto que es el equipo de música adecuada para un para-sabia y luego aquí es adecuado para esto. Pero eso significa que si usted está buscando en lo que era el adecuado para los ojos más de aquí, pero usted está mirando por el rabillo del ojo por aquí, definitivamente no es correcto. No es la disparidad adecuado para los ojos.

Y entonces, incluso peor si se gira la cabeza como esto [la cabeza rollos], se hace todo tipo de mal, porque está configurado sólo para los ojos hacia el frente. Así que esto era una cosa interesante. Tenemos el material en el que, básicamente, sabemos de alguna manera esto puede ser envenenado, esto puede ser una mala experiencia si la gente que pasa mucho tiempo encorvado sobre. [...]

Estos son problemas técnicos que podría, tal vez, ser resueltas por un mejor hardware. Sin embargo, hay un problema más profundo: lo que sucede cuando se mueve la cabeza? Los panoramas para ambos ojos todavía se representan en el infinito: físicamente mover la cabeza dará lugar a la sensación nauseabunda que el mundo se mueve contigo, sobre todo si hay objetos cercanos a usted. No hay manera fácil de averiguar lo que una imagen estereoscópica se vería desde un nuevo punto de vista.

A pesar de estas limitaciones, las experiencias panorámicas estéreo siguen siendo convincente. La plataforma engranaje VR se centrará en este tipo de experiencias, ya que se pueden crear con el hardware moderno y se muestran sin gravar las capacidades de renderización del hardware. panorámicas estéreo probablemente serán el estándar de oro para la producción de contenidos VR, al menos para los próximos años.

Cámaras de profundidad

Una alternativa a la captura de dos imágenes lado a lado (como con las películas tradicionales 3D) es capturar lo que se conoce como imágenes de profundidad: una sola imagen capturada desde una sola perspectiva, que contiene un canal de color adicional que almacena la distancia de la lente del píxel en cuestión.

Si usted tiene que, el software puede simular cámaras virtuales que ve la imagen desde nuevas perspectivas, asegurándose de tener siempre una nueva imagen, correcta de cada ojo. Es posible generar imágenes panorámicas de profundidad que permiten el movimiento natural de la cabeza y la rotación de una manera que no es posible con panorámicas estéreo. Hay algunas tecnologías que se pueden utilizar para capturar estas imágenes de profundidad.

Tiempo de vuelo

La versión de esta tecnología que es probable que estés más familiarizado es la que se utiliza en el Kinect. El Kinect V2 (la versión incluida con la Xbox One) se basa en lo que se conoce como una cámara de tiempo de vuelo.

La teoría aquí es sencillo: las cámaras de tiempo de vuelo son cámaras infrarrojas que son capaces de grabar no sólo donde la luz es sorprendente el sensor, pero cuando Llama la atención la luz del sensor, con una precisión de unos pocos microsegundos. A esto se une una cámara de vídeo en color y una luz estroboscópica de infrarrojos. Al inicio de cada trama, los destellos de luz estroboscópica de IR, iluminando la escena muy brevemente. Cronometrando el tiempo que tarda cada píxel para observar el flash, la cámara puede deducir a partir de la velocidad de la luz a qué distancia está cada píxel de la cámara.

Esta tecnología es enormemente poderosa. Los hackers han hecho algunas cosas increíbles con eso. Mediante el uso de varios Kinects en una configuración de superposición, puede ser posible crear un panorama de una escena, con un valor de profundidad precisa para cada píxel, lo que podría traducirse en la realidad virtual para crear una experiencia de inmersión con la profundidad correcta.5 Microsoft Xbox Kinect Hacks Eso va a volar tu mente5 Microsoft Xbox Kinect Hacks Eso va a volar tu menteLee mas

Para tener una idea de la clase de los resultados de este enfoque produce, echa un vistazo a este video que muestra la salida de la cámara simplemente profundidad del Kinect V2.

Esta es una imagen de profundidad de alta calidad - un montón de detalles, bordes limpios, y no demasiado ruido. Hay, sin embargo, algunas limitaciones: el mayor inconveniente es que el Kinect en este ejemplo es la grabación de una escena de interior con las condiciones de iluminación cuidadosamente controladas.

Vídeo: THE RUBY PLAYBUTTON / YouTube 50 Mil Sub Reward Unbox

En los escenarios del mundo real (y especialmente al aire libre) la interferencia IR ambiente de la luz solar directa e indirecta y fuentes de luz incandescentes puede degradar la precisión. También hay un problema más fundamental, que es que el tiempo de las cámaras de vuelo depende de iluminación activa. Eso pone algunos límites estrictos sobre qué tan lejos pueden ver. Asimismo, no frente bien a superficies transparentes y reflectantes. Y, debido a que la resolución de profundidad está limitada por la exactitud de la temporización, cámaras de tiempo de vuelo no son muy útiles para el registro de objetos pequeños, por lo que jugar con la escala imposible.

El campo de luz

Una tecnología diferente para la captura de imágenes de profundidad se conoce como ‘Campo de luz` fotografía.La cámara Lytro Light Field: Snap feliz o foto truco?La cámara Lytro Light Field: Snap feliz o foto truco?Descrito por un empleado como "el primer cambio importante en fotografía ya que la fotografía fue inventada", La cámara de campo de luz Lytro es sin duda un dispositivo revolucionario. La cámara sacude las cosas mediante la sustitución de gran parte de la pesada ...Lee mas

He aquí cómo funciona: en la fotografía convencional, el objetivo de la cámara enfoca la luz entrante en un sensor. Cada elemento del sensor registra la cantidad de luz que llega a él. cámaras de campo claro, use un sensor especial, en el que cada “pixel” es en realidad una lente pequeña, con muchos sensores debajo de ella. Esto permite que la cámara pueda medir no sólo la cantidad de luz está golpeando cada píxel, sino también el ángulo de la luz está llegando a.

Esto es útil por varias razones. La aplicación más simple es que, cambiando la forma se muestrea esta gran ‘campo de luz`, los usuarios finales pueden reorientar una fotografía después de que haya sido tomada. La aplicación que es interesante para VR, es que las cámaras de campo de luz son también, por cierto, las cámaras de profundidad! El ángulo de la luz entrante de un objeto es una función de cuán lejos está el objeto de la lente, con respecto al tamaño de la abertura. Lejos objetos producen luz que es casi perpendicular a la lente. Los objetos muy cercanos producen luz que es casi paralelo. A partir de esto, es posible (con mucha precisión) determinar el mapa de profundidad de una imagen.

Se puede ver algunos resultados de una cámara de campo de luz temprana vídeo a continuación, y lo que la imagen se ve como reproyectados desde un ángulo diferente.

Debido a que es un proceso pasivo, el límite del rango y la precisión espacial es definido por la resolución y el tamaño de la abertura, y nada más. Esto significa que mediante el uso de lentes de aumento, es posible tomar imágenes de profundidad de campo de luz de casi cualquier objeto en cualquier escala en todas las condiciones. Para obtener un ejemplo de lo que es posible con grandes campos de luz, más precisos, ver este video, que utiliza varios fotogramas de una cámara de campo de luz de mano para simular un campo de luz mucho mayor. Genera un poco de geometría 3D bastante convincente de ella.

cámaras de campo de luz son una tecnología mucho menos maduro que el tiempo de vuelo de las cámaras (sólo hay una cámara de campo de luz en el mercado de consumo en este momento, y no soporta captura de vídeo). Dicho esto, con más tiempo de desarrollo, cámaras de campo de luz deben ofrecer una mucho más robusta experiencia de vídeo de profundidad en el largo plazo.

Tratar con Disocclusion

Hay un gran problema con los videos de profundidad que vale la pena mencionar: movimiento de la cabeza. Sí, es posible volver a proyectar vídeos de profundidad a nuevas perspectivas, y todos los píxeles terminan donde deben estar. Profundidad de vídeo no va a hacer que se enferme. Por desgracia, lo hacen introducir un nuevo problema: disocclusion.

Al mover la cabeza en una manera tal que usted está buscando en una parte del mundo no visible en la imagen original o panorama, se obtiene un artefacto visual desagradable: una sombra. Para tener una idea de lo que estoy hablando, ver este video:

En ese video, un programador hackeado el Kinect para hacer un video profundidad de lo que se está viendo en el espacio. Al mover la cámara virtual, que proyectar de nuevo la escena desde varios puntos de vista.

Es una primera generación de Kinect, por lo que la señal de video es un poco glitchy, pero los resultados son bastante impresionantes. La desventaja más grande, lo que hace evidente a medida que comienza a girar la cámara, es la sombra de la escena. La porción de la pared detrás de su cuerpo tiene un enorme agujero, en forma de persona de corte fuera de él: la parte que la cámara no puede ver y que no tiene datos para. Estas sombras negras van a aparecer en profundidad panoramas tan pronto como su cabeza comienza a moverse. Entonces, ¿cómo hacer cámaras VR trato con estos agujeros? Bueno, hay algunas aproximaciones a este problema:

más Cámaras

La solución más sencilla es en realidad sólo grabar el material alrededor de las esquinas y detrás de las superficies de oclusión. Para ello, se agrega más cámaras - mucho más. Con el fin de permitir que la gente se mueva la cabeza hasta, por ejemplo, de un metro de cualquier dirección, la cámara necesita ser ampliado para crear una esfera de 2 metros de ancho tachonado de cámaras de profundidad alta FOV, por lo que el software puede sintetizar cualquier punto de vista dentro de la esfera.

Vídeo: Sara Paula Gómez Arias - Cuán lejos voy (De "Moana")

Este es el enfoque más robusto, pero también el menos práctico. Una esfera de dos metro de cámaras no es una buena cámara estable, portátil, que es una instalación y un costoso. Esto podría ser práctico para algunos de alta gama producciones de Hollywood, pero ciertamente no para la mayoría de aplicaciones del mundo real. Se puede ver un prototipo de esta idea a continuación, implementado en forma de una aplicación de teleconferencia en vivo en 3D:

Vídeo: Laura Pausini - En Cambio No (Official Music Video)

reconstrucción de la escena

Otro enfoque, si el creador de vídeo está grabando principalmente unos objetos dinámicos en un entorno estático, es utilizar una cámara de profundidad para mapear el entorno antes de empezar el rodaje, y utilizar estos datos para llenar los huecos en las imágenes grabadas. Esto puede hacerse automáticamente utilizando una técnica llamada SLAM (simultánea de colocación y mapeado), que se une de forma automática muchas imágenes de profundidad para crear un mapa completo en 3D de una escena. Los resultados se ven algo como esto:

Esto funciona bastante bien, pero no es apropiado para todas las situaciones. No es difícil imaginar tratando de filmar una escena en un lugar público ocupado, donde gran parte del fondo se compone de personas que se mueven alrededor y ocluyen entre sí. La captura de una sola versión estática de esa escena para llenar los agujeros, simplemente no es posible. Por otra parte, para el documental, video en vivo, o fines de noticias, no va a ser práctica para mapear de forma exhaustiva el entorno de antemano.

Simplemente inventar cosas

La última aproximación al problema es recurrir a la respuesta habitual en los casos en que no tiene suficientes datos: mentiras absolutas.

La idea aquí es que, en la vida real, el espectador no va a ser levantarse y tratar de caminar alrededor de la escena. Van a estar sentados, y lo que realmente necesita el software para corregir las pequeñas variaciones es en pose, causadas por el espectador que se inclina y el cambio en su asiento - los disocclusions simplemente no será tan grande. Eso significa que los datos utilizados para rellenar los huecos en realidad no tienen que ser exactas, sólo tiene que mirar plausible. Aquellos de ustedes que han jugado con el contenido consciente de relleno de imagen de Photoshop (o su competidores) Saben dónde va esto.Snapheal para Mac: La imagen Super héroe sanador [Sorteo]Snapheal para Mac: La imagen Super héroe sanador [Sorteo]Snapheal para Mac ($ 14,99) está aquí para salvar sus fotografías, y lo hace un buen trabajo de ella. Esta semana, vamos a estar regalando 25 copias de Snapheal para Mac valor de $ 375 en total. Si...Lee mas

Como resultado, los investigadores han llegado con algunos bastante buenos algoritmos para rellenar agujeros en flujos de vídeo en directo en tiempo real. Se puede extraer algunos ejemplos a continuación:

Imagínese una imagen de profundidad en descomposición en capas, restando sacarlos uno a la vez para ver donde posiblemente podrían producirse sombras, y luego usar este tipo de algoritmos en la pintura para generar imágenes plausibles para rellenar los agujeros.

Esto es un poco más difícil que la simple 2D en la pintura, ya que el algoritmo también necesita recuperar los valores de profundidad razonables para los agujeros, pero muchas de las mismas técnicas se pueden utilizar. Estos enfoques no funcionan perfectamente en todas las situaciones, pero siempre y cuando esos artefactos son menos intrusivos que los agujeros negros grandes en el mundo, que todavía cuenta como una victoria.

¿Cuánto tiempo hasta que haya terminado?

Con las cámaras de VR, incluso más que otras cosas, perfecto es enemigo de lo bueno.

Incluso con la mejor tecnología del dinero puede comprar y material de archivo planeado cuidadosamente para minimizar los errores de oclusión, los resultados seguirían siendo imperfecta. reflejos especulares, por ejemplo, son puntos de brillo que aparecen en superficies brillantes, que varían en posición dependiendo de la posición de la cabeza, ya que dependen de ser de luz reflejada en un ángulo muy específico.

reflejos especulares registrados en incluso el mejor vídeo VR aparecerán como al horno-en manchas blancas en la superficie, y no ve bien los objetos cercanos durante el movimiento de la cabeza. Eso es una limitación que va a ser difícil moverse. Por otra parte, rellenando los errores de oclusión en escenas complicadas con una gran cantidad de objetos en movimiento es difícil - haciendo a la perfección es imposible, y será por mucho tiempo.

Va a ser años y tal vez incluso décadas antes de que las cámaras de VR pueden proporcionar una experiencia perfecta de la misma manera que en 2D tradicional película de lata. Ese es el sacrificio que hacen con el fin de experimentar un medio fundamentalmente más potente.

Con todo lo dicho, un poco de materia realmente fresca se viene abajo el tubo de un futuro próximo. Todos y cada opción mencionada en este artículo puede crear experiencias realmente valiosas. anuncio de “Proyecto Futuro” de Samsung es una señal prometedora de lo que vendrá.

El Oculus Rift tiene previsto su lanzamiento en algún momento de 2015, y las cifras de ventas en los millones de unidades no se parecen como un tramo. Si la realidad virtual se quita la forma en que parece que podría, una enorme cantidad de progreso tecnológico que va a pasar, rápido.

La demanda de contenido impulsará cámaras VR que lo mejor y más pequeños y económicos para satisfacer la demanda. Es probable que no pasarán muchos años antes de que un dispositivo que cuesta menos que un nuevo teléfono y cabe en la palma de su mano va a proporcionar una cómoda grabación convincente, VR de cualquier cosa - y que va a ser muy, muy fresco.

¿Qué haría usted con su propia cámara VR? ¿Qué tipo de contenido es lo que más emocionados por? Háganos saber en los comentarios!