Saltar al contenido

HMD de MARS-Aprendizaje de la aplicación complementaria del HMD de MARS

marzo 16, 2020

HMD de MARS; El equipo de diseño espacial, que forma parte del grupo de herramientas de autoría de Unity Labs, está trabajando actualmente en una aplicación complementaria de pantalla montada en la cabeza (HMD) para el Proyecto MARS, una extensión de Unity que da a los creadores el poder de construir experiencias de realidad mixta y aumentada que interactúan inteligentemente con el mundo real. La aplicación complementaria HMD actúa como un puente entre el editor y el mundo real de HMD de MARS. https://www.researchgate.net/figure/Figura-59-Utilizadores-com-as-MARS-smartphone-como-HMD-e-tablet-Android_fig17_308804117

HMD de MARS  un desarrollo de aplicación

Si bien la experiencia del editor es el principal entorno de autoría para MARS, tanto las aplicaciones para móviles como las que acompañan a HMD ofrecen soluciones en el dispositivo que extienden la autoría más allá de un simple ratón y un teclado.

En la aplicación complementaria de HMD, puede capturar rápidamente entornos del mundo real para luego importarlos al Editor para la simulación, realizar la edición de contenido, la creación de cajas grises, las condiciones de autoría y las consultas. Aprovecha el trabajo tanto del Editor XR como del XR Interacción Toolkit, que proporcionan componentes reutilizables que le permiten construir experiencias interactivas e inmersivas de forma rápida y sencilla. https://nokiaphones.hmdglobal.com/es_es/support/care-center-locator

Este post comparte la visión del proceso de diseño para mostrar el pensamiento que hay detrás de nuestro trabajo: crear conexiones significativas entre bits y átomos para ayudar a producir mejores interfaces para la realidad aumentada (AR).

Principios de diseño espacial – HMD de MARS

Cuando se diseña para las pantallas, las representaciones digitales suelen estar estrechamente unidas a la herramienta de diseño. Sin embargo, cuando se diseña para RA, la brecha entre la cosa real y su representación puede ser engañosa.

Vivimos en un mundo impredecible, y nuestros espacios virtuales necesitan adaptarse y responder a los contextos que habitan. Por eso, estamos a favor de trabajar en 3D, a escala 1:1, y en el dispositivo durante todo el proceso de diseño. En nuestras mentes, esta es la única manera de saber realmente cómo los usuarios van a experimentar la aplicación completa.

Restricciones como un campo de visión limitado, el plano de recorte cercano, y los niveles de brillo/contraste pueden influir drásticamente en el proceso de toma de decisiones, por lo que obtener feedback rápidamente es de suma importancia.

El campo de visión limitado de los HMDs de AR impone muchos desafíos de diseño que hemos tenido que abordar directamente. Por ejemplo, en MARS, cuando se está creando para condiciones particulares en el ambiente, los fósforos pueden poblar todo alrededor del usuario, incluso en otra habitación.

una forma muy activa HMD de MARS

Sólo mediante la creación de un prototipo en el dispositivo con un gran mapa espacial comprendimos lo crítico que sería superar este gran rango y tener una versión «mini-mundo» del espacio. Ser capaz de ver todos los objetos de su escena desde múltiples ángulos a través del mini-mundo le da una mejor sensación del espacio y reduce los momentos de oclusión.

El creador está en el centro de cómo diseñamos para la computación espacial, y exploramos las prácticas de estructurar el espacio como una serie de capas que rodean el cuerpo humano. Nuestra ropa, objetos y límites interiores/exteriores son capas que influyen en cómo pensamos sobre la organización potencial del espacio. Estas capas se traducen en cómo percibimos el espacio, lo cual se basa en gran medida en nuestra relación con la escala.

La comprensión de la escala dentro del proceso de diseño es un tema denso. ¿Cómo responden y se adaptan los elementos de la interfaz de usuario espacial a estas capas variables que rodean al usuario? ¿Cuánto espacio se necesita para realizar una tarea determinada? ¿Cuál es el método correcto de manipulación a una escala determinada? La aplicación complementaria de HMD favorecerá la funcionalidad MARS que es inherentemente espacial y requiere manipulación 3D o se beneficia de la yuxtaposición de información contextual del mundo real.

Diseño de flujos de trabajo – HMD de MARS

Los flujos de trabajo tradicionales para el diseño, ya sea para pantallas u objetos físicos, no satisfacen las necesidades del desarrollo actual de la RX. Más que otros medios digitales, la RX exige visualizaciones precisas, una iteración más rápida y alguna forma de tener en cuenta los entornos siempre cambiantes.

El equipo espacial trató de llenar los vacíos de los procesos tradicionales personalizando y diseñando nuestros propios flujos de trabajo para comprender mejor las complejidades de la creación de experiencias de RX. Aquí están algunos de los flujos de trabajo que intentamos – y lo que aprendimos como resultado.

Prototipos en papel

El diseño espacial requiere una comprensión de la escala, no sólo para los objetos y espacios, sino también para el movimiento corporal a fin de evitar la fatiga. Los prototipos de papel uno a uno brillan como un medio para probar el movimiento y la ergonomía.

Por ejemplo, diseñamos y probamos una bandeja virtual que caería o se levantaría basándose en el movimiento de inclinación de la cabeza del usuario. Este prototipo físico de una bandeja de modelo de papel se colgaba alrededor del cuello, directamente debajo de la barbilla. Durante un día de trabajo normal, ponemos en la bandeja herramientas de uso frecuente, como un teléfono, gafas, bolígrafos, etc. Después de llevar el prototipo de papel durante una hora, el movimiento del cuello asociado a la interacción de invocación era bastante cansado, al igual que los frecuentes movimientos de los brazos para acceder a las herramientas cerca de la región del cuello.

Por lo tanto, elegimos no seguir adelante con esta propuesta de diseño. Cuando se diseña para la realidad mixta, la construcción de prototipos de papel rápido y sucio puede ahorrarle tiempo y ayudarle a pensar en el espacio.

Simulando AR en VR

Los flujos de usuarios para la realidad mixta son difíciles de revisar de manera efectiva usando herramientas tradicionales 2D como presentaciones y maquetas animadas. En lugar de crear storyboards en 2D, construimos prototipos en RV usando Tvori. Tvori permitió una rápida iteración mientras editaba y animaba las interacciones.

Utilizamos la función de línea de tiempo para fotogramas clave de cámaras, elementos potenciales de interfaz de usuario, objetos virtuales y dispositivos de entrada.

Usando la RV, fuimos capaces de cambiar la escala de nuestro mundo constantemente. Pudimos experimentar el mundo de primera mano a escala humana, mientras que simultáneamente miniaturizamos la escena para permitir una edición más fácil. Cuando presentábamos los flujos a otros en el equipo, podían simplemente ponerse los auriculares de RV, establecer la escala a 1:1, y borrar la línea de tiempo.

Para comprender mejor la escala y proporción adecuadas de los elementos virtuales, se introdujo un típico campo de visión de los auriculares AR «área segura» como una forma eficiente de simular rápidamente la RA en la RV. El rectángulo que obstruye el ángulo de visión humano es muy práctico: como diseñadores espaciales, esta limitación influye en lo inmersivo de nuestras experiencias, no sólo en términos de lo que vemos, sino también de cómo nos movemos (es decir, gestos con la mano).

Mapeo de flujo de usuarios y de entradas

A lo largo del proceso de diseño, mantuvimos dos documentos vivos, uno para el mapeo de entrada y el otro para el flujo de usuarios. El documento de flujo de usuarios se actualizaba continuamente como la fuente de la verdad.

Aquí, determinamos tanto cómo y dónde un usuario llevaría a cabo una determinada tarea. ¿Se realiza una tarea dentro de un espacio de trabajo particular – nuestra palabra para piezas individuales de la interfaz de usuario de XR – o en el mundo real, o la tarea puede ser realizada en ambos?

También empleamos un ejercicio de mapeo de entrada para entender mejor las acciones que se realizan en la aplicación y su correspondiente frecuencia. Puede describirse simplemente como la realización de los siguientes pasos:

  • Enumerar todas las acciones conocidas y clasificarlas en función de su prioridad.
  • Anote la frecuencia con la que se realizará cada acción.
  • Decida el tipo de interacción.

A medida que la complejidad aumentaba, tuvimos que mejorar la fidelidad de nuestro prototipo. Utilizando la vista de «mapa mental», pudimos entender mejor las entradas superpuestas y cómo ajustarlas en consecuencia. Esta comprensión es cada vez más importante con dispositivos de entrada como el controlador Magic Leap One, donde el número de entradas puede ser limitado.

Al requerir estados de vuelo para acciones particulares, pudimos distribuir las entradas evitando conflictos. Para acciones genéricas, decidimos usar el parachoques para un menú contextual y el toque inicial para invocar el menú de la paleta principal. Además, para hacer frente a la fatiga, evitamos cualquier entrada que requiriera un disparador o una pulsación de parachoques en combinación con el panel táctil.

Rápida iteración en el dispositivo

Usando Unity, ensamblamos modelos 3D, diseños de interfaz de usuario y guiones de controladores para llevar rápidamente los diseños al Salto Mágico. El objetivo era obtener retroalimentación de las rápidas iteraciones de los prototipos de interacción, sin preocuparse por escribir un código perfecto al principio del proceso.

Además de construir nuestros propios prototipos, nos inspiramos en las numerosas aplicaciones desarrolladas por la comunidad de RX en general, y a menudo las utilizamos como referencia para transmitir comportamientos de interacción particulares.

La mayoría de las interacciones se basan en números «mágicos» como los tiempos, umbrales y distancias. El primer paso después de construir un prototipo fue ajustar esos valores para que coincidieran con la sensación que imaginábamos para la interacción.

En el Editor de la Unidad, podíamos ajustar los valores en el Modo de Juego, pero también queríamos ser capaces de ajustar los valores en una construcción de tiempo de ejecución. Para ayudar con esto, construimos un sencillo menú de ajustes reutilizables dentro de la aplicación. Cualquier prototipo de script podría utilizar una sola línea de código para añadir un deslizador de valores o una casilla de verificación para ajustar esos números mágicos.

El siguiente paso era obtener retroalimentación e iteración. Aquí hay algunos consejos que nos resultaron útiles cuando alguien más está probando una interacción:

  • Decir lo menos posible al principio. Si es realmente necesario, puedes decirle a un usuario lo que debe intentar hacer, y tal vez explicar brevemente cómo. Recuerda que no vienes con el software, así que tienes que observar cómo interactúan sin tu influencia.
  • Busca señales de advertencia como confusión, frustración o sorpresa, y luego pregúntale al usuario qué esperaba que sucediera (en comparación con lo que realmente sucedió).
  • Si el usuario tiene problemas para explicar su reacción, puedes transmitir o grabar la vista del auricular para que pueda demostrar y hacer gestos hacia los objetos virtuales.

Escalado de la UI

La escala de un objeto virtual es difícil de medir en el mundo real, y debería responder a la distancia de visión de los usuarios. No podemos usar la escala del mundo real como única referencia, ya que el usuario sólo puede sentir que la interfaz de usuario es físicamente más grande debido a la visión estereoscópica y otras claves de profundidad como el movimiento de traslación del rayo. Si un usuario cierra un ojo o mira una interfaz de usuario sin ningún otro contexto, entonces no puede decir cuán grande o lejos está.

Usamos el sistema de milímetros independientes de la distancia (DMM) creado por el equipo Daydream de Google para el diseño de la RV. La idea es escalar la distancia y el tamaño proporcionalmente. Por ejemplo, 1 dmm puede referirse al tamaño de un botón de 1*1 mm colocado a 1 metro de distancia; también puede referirse al tamaño de un botón de 3*3 mm colocado a 3 metros de distancia.

Utilizando el sistema de dmm, Google proporcionó un conjunto de fuentes sugeridas y tamaños mínimos de acierto basados en rayos, como 20 dmm como el tamaño de fuente más pequeño y 64 dmm con relleno de 16 dmm como tamaño mínimo de acierto.

Cuando probamos los tamaños sugeridos con un Salto Mágico, sentimos que eran demasiado grandes, y terminamos haciendo las cosas un poco más pequeñas. Esto se debe probablemente al menor campo de visión del Salto Mágico y al controlador 6DoF, comparado con el mayor FOV y el controlador 3DoF de Daydream.

Cuando la interfaz de usuario escala proporcionalmente con la distancia, se renderiza con el mismo tamaño de píxel y cubre la misma región angular para un raycast, pero notamos que se siente muy diferente. Tendríamos curiosidad por saber de la comunidad si tienen hallazgos similares.

Diseño visual – HMD de MARS

El diseño de la interfaz de usuario espacial para la aplicación complementaria se centra en el concepto de utilizar la luz como material. La superposición de luces y sombras ayuda a crear una experiencia más táctil, y se pretende mejorar la percepción de profundidad del usuario en un AR HMD.

En última instancia, la luz es relacional, en el sentido de que sólo la percibimos por la forma en que es moldeada por otros materiales y superficies. Todos los elementos espaciales de la interfaz de usuario en la aplicación complementaria se tratan como si fueran una construcción física y considera cuidadosamente la relación entre la fuente de luz y el plano de la luz.

Este efecto se crea empleando una técnica de sombra negativa. Las pantallas montadas en la cabeza de AR utilizan un espacio de color aditivo basado en la luz. El negro se vuelve transparente, ya que es la ausencia de luz. Si un objeto negro se coloca delante de otros objetos virtuales, actúa como una máscara. Para crear la ilusión de sombras, tenemos que rodear el área de sombra más oscura con luz.

Los sistemas perceptivos humanos dependen en gran medida de las pistas proporcionadas por las sombras para inferir el movimiento y la profundidad de los objetos 3D. Si las aplicaciones de AR construidas para estos dispositivos no incorporan sombras, privamos al usuario de importantes claves de profundidad.

Además de las sombras, el uso de la textura da a los usuarios pistas para entender la escala y la posición relativa de los objetos. El anillado es un problema cuando se trata de color en las HMD basadas en la luz y a menudo ocurre cuando se usan gradientes de alto contraste.

Usando esto como una restricción, decidimos incorporar el uso de la textura en el diseño de los elementos espaciales de la interfaz de usuario, no sólo para expandir el rango de colores que podríamos usar para los gradientes, sino también como otra forma de mejorar la percepción de profundidad dentro de la experiencia de autoría de .

Mapas de textura de sombra horneada con ruido para el menú de paleta (Izquierda) y el menú contextual (Derecha)

La relación entre un elemento de interfaz espacial y una fuente de luz está diseñada para resaltar el comportamiento potencial de la interfaz. Estas modalidades visuales (junto con las de audio y físicas) ayudan a comunicar las prestaciones o proporcionan una retroalimentación de entrada al usuario.

Al igual que en nuestros espacios cotidianos, los acentos de luz crean interés visual y resaltan objetos o características específicas de un espacio. Tomando prestadas estas comodidades del mundo físico, creamos varias relaciones entre la fuente de luz y los elementos espaciales de la interfaz de usuario que se asemejan a las condiciones de iluminación empotrada, de cala y empotrada.

¿Qué es lo siguiente?

Siempre estamos buscando nuevos flujos de trabajo que nos ayuden a construir mejores experiencias. Esperamos que los aprendizajes que hemos compartido en este post les ayuden con sus propios diseños espaciales, y por favor no duden en acercarse con las técnicas que han descubierto HMD de MARS.

Como comunidad de creadores, compartir el conocimiento es crucial para dar forma a este nuevo medio y permitirnos crear cosas que nunca pensamos que fueran posibles.

Si estás interesado en usar la aplicación complementaria MARS Magic Leap en tu propio proyecto, por favor ayúdanos a entender mejor tus necesidades realizando esta breve encuesta. Esperamos tener noticia tuyas.