Cinco preguntas sobre “hololens proyecto” de microsoft

Miércoles por la mañana, Microsoft mostró un proyecto que han estado trabajando durante siete años, un casco de realidad aumentada llamado HoloLens proyecto.

La visión es ambiciosa: quieren cambiar fundamentalmente la forma en que las personas interactúan con las computadoras, mediante la construcción de un par de gafas que pueden mezclarse de manera fluida contenido virtual y real juntos en el espacio físico del usuario. Esto es como tecnología de realidad virtual, pero fundamentalmente más potente. Por otra parte, quieren hacer todo el procesamiento a nivel local en las gafas - sin equipo, sin teléfono, sin cables. Es más, están lanzando una versión especial de Windows sólo para el nuevo hardware. Esta es la siguiente etapa en la evolución tecnológica para todos aquellos juegos AR que ha instalado en su teléfono que una vez y no se ha tocado desde entonces.¿Por qué la tecnología de realidad virtual dejará su mente en 5 años¿Por qué la tecnología de realidad virtual dejará su mente en 5 añosEl futuro de la realidad virtual incluye la cabeza, el ojo y el seguimiento de expresión, toque simulado, y mucho más. Estas sorprendentes tecnologías estarán disponibles para usted en 5 años o menos.Lee mas

Su marco de tiempo es aún más ambiciosa que sus objetivos: quieren enviar kits de desarrollo de esta primavera, y el producto de consumo “durante el período de tiempo de Windows 10”. Aquí está el terreno de juego.

Todo esto suena muy bien, pero tengo que admitir a un grado bastante alto de escepticismo.

Las tecnologías de Microsoft está utilizando tienen graves problemas, fundamentales, y hasta ahora Microsoft ha sido muy hermético sobre cómo (o si) los han resuelto. Si no los han resuelto, entonces su meta de envío dentro de un año es muy preocupante. Lo último que VR y AR necesidad es una gran compañía naviera otro producto a medias, como el Kinect. Recuerde que la demo Proyecto Natal a partir de 2009?

Sin más preámbulos, aquí están las cinco cosas más importantes que me gustaría saber sobre los HoloLens.

Esta es una pantalla de campo de luz?

Para entender esto, tenemos que mirar un poco más en 3D, y cómo funciona. Con el fin de conseguir la sensación de un mundo 3D real, tangible, nuestro cerebro integrar una gran cantidad de diferentes tipos de información. Obtenemos claves de profundidad sobre el mundo en tres formas principales:

• estéreo profundidad - la disparidad entre lo que ambos ven nuestros ojos. Fingiendo esto es cómo funcionan las películas en 3D
• paralaje de movimiento - movimientos sutiles de la cabeza y el torso nos dan señales de profundidad adicionales para los objetos que están más lejos
• enfoque óptico - cuando nos concentramos en algo, las lentes de los ojos se deforman físicamente hasta que entre en Focus de campo cercano objetos requieren más distorsión de la lente, que proporciona información detallada acerca de lo que estamos viendo

enfoque óptico es fácil de comprobar por ti mismo: cerca de un ojo y mantenga el pulgar para arriba delante de una pared de la habitación. A continuación, cambiar su enfoque de la uña del pulgar a la superficie detrás de él. Al mirar más allá de su pulgar, el dedo pulgar se desplazará fuera de foco debido a que el cristalino del ojo es ahora menos deformada y no puede recoger correctamente la luz que viene de él.

auriculares de realidad virtual como el Oculus Rift proporcionan las dos primeras señales extremadamente precisa, pero no el último, lo que da sorprendentemente bien: nuestros ojos defecto para relajarse por completo, ya que la óptica se enfocan las imágenes como a través de la luz viniera de una distancia infinita. La falta de la señal óptica de enfoque no es realista, pero por lo general no es una distracción. Usted todavía puede tener experiencias muy interesantes juegos sin ello.5 Oculus Rift Juegos experiencias que Blow Away5 Oculus Rift Juegos experiencias que Blow AwayAhora que la segunda generación del kit de desarrollo de Oculus Rift está fuera y en las manos de los desarrolladores de todo el mundo, vamos a ver algunas de las mejores cosas que se dio en el Rift hasta el momento.Lee mas

En realidad aumentada, el problema es diferente, ya que hay que mezclar la luz de objetos reales y virtuales. La luz del mundo real, naturalmente, se centrará en una variedad de profundidades. El contenido virtual, sin embargo, será todo ser enfocada a una distancia fija, artificial, dictada por la óptica - probablemente en el infinito. objetos virtuales no se verá como son realmente parte de la escena. Van a estar fuera de foco cuando se mira a las cosas reales a la misma profundidad y viceversa. No será posible mover el ojo de manera fluida a través de la escena mientras se mantiene en el foco, como lo hace normalmente. Las señales de profundidad en conflicto serán confuso en el mejor y en el peor repugnante.

Con el fin de solucionar este problema, se necesita algo que se llama una pantalla de campo de luz. pantallas de campo de luz son pantallas que utilizan una gran variedad de lentes diminutos para mostrar la luz enfocada en muchas profundidades simultáneamente. Esto permite al usuario centrarse de forma natural en la pantalla, y (para la realidad aumentada) resuelve el problema descrito anteriormente.

Hay, sin embargo un problema: displays campo de luz esencialmente mapa una sola pantalla en 2D en un campo de luz en tres dimensiones, lo que significa que cada “pixel profundidad” que el usuario percibe (y existe a una profundidad focal en particular en la escena) es en realidad un conjunto de luz de píxeles a la pantalla original. El más fino de la profundidad que queremos reflejar, más resolución que tiene que darse por vencido.

En general, los campos de luz tienen aproximadamente una ocho veces Resolución disminución con el fin de dar precisión la profundidad adecuada. Los mejores microdisplays disponibles tienen una resolución de alrededor de 1080p. Suponiendo una micropantalla de gama alta conducción cada ojo, que haría que la resolución real de los auriculares de Microsoft sólo alrededor de 500 x 500 píxeles por ojo, menos aún que el Oculus Rift DK1. Si la pantalla tiene un alto campo de visión, los objetos virtuales serán manchas incomprensibles de píxeles. Si no lo hace, la inmersión se verá afectada de forma proporcional. En realidad nunca llega a ver a través de la lente (sólo informáticos recreaciones de lo que el usuario está viendo), así que no tenemos idea de lo que la experiencia del usuario es en realidad.

Es posible que Microsoft ha llegado con alguna solución novedosa a este problema, para permitir el uso de una pantalla de campo de luz sin la resolución de compensación. Sin embargo, Microsoft ha sido muy cauteloso acerca de su tecnología de visualización, lo que me hace sospechar que no lo han hecho. Esta es la mejor explicación que tenemos hasta ahora (desde el WIRED manifestación).

Para crear imágenes HoloLens proyecto, las partículas de luz rebotan millones de veces en el llamado motor de luz del dispositivo. A continuación, los fotones entran en las gafas de dos lentes, en el que rebotan entre las capas de vidrio azul, verde y rojo antes de que alcancen la parte posterior del ojo.

Este tipo de descripción de la tecnología podría significar prácticamente cualquier cosa (aunque, para ser justos con Microsoft, el hardware impresionó con cable, aunque el artículo era la luz de los detalles).

No sabremos más seguro hasta que Microsoft comienza a liberar las especificaciones técnicas, probablemente meses a partir de ahora. En una nota adicional de buscarle la viajera, ¿es realmente necesario para ahogar el proyecto en esta comercialización tanto la jerga? El procesador dedicado que están usando para el seguimiento de la cabeza se llama un “procesador holográfico” y las imágenes se llama “hologramas”, por ninguna razón en particular. El producto es fundamentalmente lo suficientemente fría que en realidad no es necesario dorar así.

Es el seguimiento lo suficientemente bueno?

El auricular Proyecto HoloLens tiene una cámara de alta profundidad de campo de visión montado en él (como el Kinect), que se utiliza para averiguar dónde está el auricular se encuentra en el espacio (al tratar de la imagen de profundidad que está viendo con su modelo del mundo para alinear, composited a partir de imágenes de profundidad últimos). Aquí está la demostración en vivo de los auriculares en acción.

El seguimiento es impresionante teniendo en cuenta que no utiliza marcadores u otros trucos, pero incluso en ese video (en condiciones muy controladas), se puede ver una cierta cantidad de oscilación: el seguimiento no es completamente estable. Eso es lo que se espera: este tipo de seguimiento de adentro hacia afuera es extremadamente duro.

Sin embargo, la gran lección de la varios prototipos Oculus Rift es que la precisión del seguimiento importa mucho. seguimiento de nerviosismo es simplemente molesto cuando hace unos objetos en un mundo real en gran medida estable, pero en escenas como la demo de Marte que demostraron en su video concepto, en el que casi todo lo que se está viendo es virtual, seguimiento imprecisa podría conducir a una falta de “ presencia”en la escena virtual, o incluso la enfermedad simulador. Microsoft puede conseguir el seguimiento hasta la norma establecida por Oculus (submilimétrica seguimiento de precisión y menos de 20 ms de latencia total) para la fecha de envío al final de este año?MÍRANOS probar el Oculus Rift Crescent Bay En el CES 2015MÍRANOS probar el Oculus Rift Crescent Bay En el CES 2015El Oculus Rift Media Luna Bay es un nuevo prototipo de la marca que muestra algunas mejoras interesantes en la tecnología de realidad virtual. Tratamos a cabo en el CES 2015.Lee mas

Aquí está Michael Abrash, investigador VR que ha trabajado tanto para la válvula y Oculus, hablando del problema

[Debido a que siempre hay un retraso en la generación de imágenes virtuales, [...] que es muy difícil conseguir imágenes reales y virtuales se registren con suficiente atención por lo que el ojo no se da cuenta. Por ejemplo, suponga que tiene una verdadera lata de Coca-Cola que desea convertir en una lata de Pepsi AR dibujando un logotipo de Pepsi sobre el logotipo de Coca-Cola. Si se tarda decenas de milisegundos para volver a dibujar el logotipo de Pepsi, cada vez que gire la cabeza el efecto será que el logotipo de Pepsi aparecerá para cambiar un par de grados con respecto a la lata, y parte del logotipo de Coca-Cola se convertirá entonces el visible- logotipo de Pepsi cerrarse de nuevo al lugar correcto cuando deja de moverse. Esto claramente no es lo suficientemente bueno para AR duro

¿Puede la pantalla Dibujar Negro?

Otra cuestión junto profundidad focal y el seguimiento tiene que ver con el dibujo de colores oscuros. La adición de más luz a una escena es relativamente simple, el uso de divisores de haz. Tomando la luz hacia fuera es mucho más difícil. ¿Cómo se oscurece selectivamente partes del mundo real? La colocación de una pantalla LCD transparente de manera selectiva no se corte, ya que no siempre puede estar en el enfoque correcto para bloquear lo que estás viendo. Las herramientas ópticas para resolver este problema, a menos que Microsoft les ha inventado en secreto, simplemente no existen.

Esto es importante, ya que para muchas de las aplicaciones de Microsoft está mostrando (como ver Netflix en su pared), el auricular realmente necesita la capacidad de eliminar la luz que viene de la pared, o de lo contrario su película siempre tendrá un patrón de estuco visibles recubrió con ella: que va a ser imposible para las imágenes para bloquear los objetos reales en la escena, haciendo que el uso de los auriculares depende en gran medida de las condiciones de iluminación ambientales. Volver a Michael Abrash:

[S] o el momento nada de eso ha surgido en la industria de AR o la literatura, y a menos que y hasta que lo haga, AR duro, en el sentido de SF que todos sabemos y el amor, no puede suceder, excepto en penumbra.

Que la RA no significa que está fuera de la mesa, sólo que por un tiempo todavía será AR suave, basado en la mezcla de aditivos [...] vez más, pensar translúcido como “Cazafantasmas.” Imágenes virtuales de alta intensidad sin áreas oscuras también trabajan, sobre todo con la ayuda de oscurecimiento global o regional - que simplemente no se verá como parte del mundo real.

¿Qué pasa con la oclusión?

“Oclusión” es el término para lo que ocurre cuando un objeto pasa por delante de la otra y hace que deje de ver lo que hay detrás de él. Con el fin de escenografía virtual a sentirse como una parte tangible del mundo, es importante que los objetos reales para ocluir objetos virtuales: si mantiene su mano en frente de una pieza de imágenes virtuales, que no debería ser capaz de ver a través Tu mano. Debido a la utilización de una cámara de profundidad en el auricular, esto es realmente posible. Sin embargo, ver la demostración en vivo de nuevo:

Por lo general, controlan cuidadosamente los ángulos de la cámara para evitar que los objetos reales que pasan frente a los virtuales. Sin embargo, cuando el demostrador interactúa con el menú de Windows, se puede ver que la mano no ocluye en absoluto. Si esto está fuera del alcance de su tecnología, que es una muy mala señal para la viabilidad de su producto de consumo.

Y hablando de que la interfaz de usuario ...

Esta es realmente la interfaz de usuario final?

La interfaz de usuario se muestra fuera por Microsoft en sus vídeos de demostración parece que funciona mediante el uso de una combinación de la mirada y de la mano de seguimiento para controlar un cursor en la escena virtual, mientras que el uso de controles de voz para seleccionar entre diferentes opciones. Esto tiene dos grandes inconvenientes: que te hace ver como el niño pequeño en el resplandor que habla con su dedo, pero lo más importante, sino que también representa un paradigma de diseño fundamentalmente defectuoso.

Históricamente, las mejores interfaces de usuario han sido los que traen intuiciones físicas sobre el mundo en el mundo virtual. El ratón trajo clic, arrastrar y ventanas. interfaz táctil trajo golpe para desplazarse y pellizcar para ampliar. Las dos eran crítico en la fabricación de computadoras más accesibles y útiles para la población en general - porque eran fundamentalmente más intuitiva, que los anteriores.

VR y AR le dará mucha más libertad como diseñador: se puede colocar en cualquier parte de elementos de la interfaz de un espacio 3D, y tienen los usuarios interactúan con ellos de forma natural, como si fueran objetos físicos. Un gran número de metáforas obvias sugeridas por sí mismas. Toque un elemento de interfaz de usuario virtual para seleccionarlo. Pellizcar para que lo recoja y lo mueve. Deslice hacia fuera de la forma de almacenar de forma temporal. Aplastarlo para eliminarlo. Se puede imaginar la construcción de una interfaz de usuario que es tan absolutamente intuitiva que no requiere explicación. Algo que su abuela puede recoger al instante, porque está construido sobre una base de intuiciones físicas básicas que todo el mundo se acumula durante toda la vida de interactuar con el mundo. Tome un minuto, y escuchar a esta persona inteligente describen lo que podrían ser las interfaces de inmersión.

En otras palabras, parece obvio (para mí) de que una interfaz de usuario de inmersión debe ser al menos tan intuitivo como las interfaces táctiles por primera vez por el iPhone para pantallas multitáctiles 2D. La construcción de una interfaz de alrededor de la manipulación de un “ratón” VR es un paso hacia atrás, y expone a cualquiera de profundas deficiencias tecnológicas en su tecnología de seguimiento de la mano o un malentendido fundamental de lo que es interesante acerca de este nuevo medio. De cualquier manera, es una muy mala señal para este producto sea más que una, fracaso colosal Kinect escala.

Con suerte, Microsoft tiene tiempo para obtener información sobre esto y hacer un mejor trabajo. A modo de ejemplo, he aquí una interfaz diseñada por uno aficionado para el Oculus Rift DK2 y el movimiento de salto. Una interfaz de usuario de inmersión diseñado por una empresa grande debe ser al menos tan bueno.

Una muestra de lo que vendrá

En general, soy muy escéptico del Proyecto HoloLens en su conjunto. Estoy muy contenta de que una empresa con recursos de Microsoft está investigando este problema, pero me preocupa que ellos están tratando de correr un producto sin resolver algunas cuestiones técnicas subyacentes críticos, o clavar un buen paradigma de interfaz de usuario. El HoloLens es un signo de lo que vendrá, pero eso no quiere decir que el producto en sí va a proporcionar una buena experiencia para los consumidores.