Aunque los consumidores se han familiarizado mucho con el reconocimiento de voz, las discusiones actuales sobre el metaverso y la realidad extendida (XR) omiten, en su mayor parte, la relevancia que el habla y el sonido pueden tener en entornos virtuales o mejorados. Después de todo, la mayoría de los humanos interactúan casi constantemente con su entorno al producir e identificar sonidos.
Esta es una gran omisión. De hecho, a medida que continúa el impulso por una experiencia de metaverso convincente, el objetivo de una inmersión genuina se hará realidad solo cuando los paisajes o elementos virtuales puedan proporcionar una cartera de todas las sensaciones que permita a los usuarios convertirse en uno con estos entornos.
Siri se ha convertido en uno de los asistentes de voz más conocidos desde que Apple introdujo la función en 2011. La tecnología se remonta a un proyecto de SRI International de 2003 que el instituto de investigación escindió como empresa independiente en 2007. Apple adquirió esta empresa en 2010 y desde entonces, Amazon.com ha presentado a Alexa y Google ha creado su Asistente de Google.
Microsoft tiene su propio reconocimiento de voz y en marzo de 2022 adquirió Nuance Communications, un proveedor de tecnologías de reconocimiento de voz e inteligencia artificial (IA). Coincidentemente, Nuance se remonta parcialmente a otra escisión de SRI International que fue adquirida en 2005 antes de convertirse en parte de Microsoft.
El sonido puede convertirse en la historia
Pero el sonido puede ser más, y los desarrolladores de películas y juegos han demostrado que el sonido puede convertirse en la historia, ya sea el tictac de un reloj o un bajo casi subliminal que hace eco del latido de un corazón, sin mencionar las explosiones y similares.
Flexound ha desarrollado una tecnología que se puede integrar en sillas de teatro o de juego, así como en cojines o incluso en muebles. El sistema permite la creación de esferas sonoras personales y permite a los usuarios sentir el sonido con su cuerpo. Mientras tanto, Sennheiser ha desarrollado un sonido envolvente que Netflix ahora usa en algunas de sus películas y escenas seleccionadas. Sennheiser también ha creado AMBEO, que ofrece sonido espacial para una amplia gama de aplicaciones, incluida la realidad virtual cinematográfica.
Además, muchas empresas ya ofrecen servicios para diseñar entornos de sonido significativos para aplicaciones especializadas, incluso si su enfoque actual no es XR o aplicaciones relacionadas con el metaverso. Estos esfuerzos van desde servicios bastante completos hasta aplicaciones bien dirigidas.
Spatial Inc, por ejemplo, está desarrollando paisajes sonoros para tiendas minoristas, entornos de hospitalidad, espacios de oficinas y museos, entre otros lugares. Mientras tanto, Sen Sound se está enfocando en diseñar sonidos más agradables y menos estresantes para hospitales y lugares de atención médica. Es fácil ver cómo tal comprensión del diseño encontrará su camino para crear aplicaciones de realidad aumentada (AR) y realidad virtual (VR) más significativas e inmersivas.
El toque revelador de los hápticos
Otro conjunto de tecnologías de interfaz que ya desempeña un papel en los juegos de alta gama ayudará a que las aplicaciones XR se vuelvan más inmersivas y, en muchos casos, más inclusivas y relevantes. Los hápticos pueden habilitar casos de uso que actualmente son difíciles de traducir de entornos reales a virtuales.
Los hápticos se dividen en sensaciones táctiles y cinestésicas. Las experiencias táctiles se relacionan principalmente con la piel, como la percepción de la textura, el tacto, la presión o la vibración. Las experiencias cinestésicas se relacionan con los músculos, tendones y articulaciones y la percepción del peso y el estiramiento, pero también con el movimiento de las partes del cuerpo. Ya existen diferentes interfaces y se desarrollarán para abordar este tipo de sensaciones.
Quizás lo más beneficioso sea la sensación de tacto en las manos. Sostener una herramienta, apretar un objeto o sentir una superficie en entornos virtuales mejorará la autenticidad de la experiencia si se agrega retroalimentación háptica. En el nivel más básico, la retroalimentación háptica permitirá el uso de presentaciones virtuales de interfaces estándar, como botones que se pueden presionar o diales que giran y brindan cierta sensación de clic.
Sostener una herramienta, apretar un objeto o sentir una superficie en entornos virtuales mejorará la autenticidad de la experiencia si se agrega retroalimentación háptica.
Varias empresas ofrecen guantes como interfaces. HaptX presenta ambos tipos de retroalimentación e incluye seguimiento de movimiento para aplicaciones en realidad virtual o para operaciones de telerrobótica. SenseGlove ofrece una solución avanzada que permite a los usuarios tener una idea del tamaño, la densidad y la resistencia de los objetos en la virtualidad. Las sensaciones en los dedos y las manos para manipular y explorar objetos en realidad virtual ofrecen beneficios evidentes.
Por lo tanto, no sorprende que el Reality Lab de Facebook esté experimentando con guantes hápticos para comprender sus posibilidades. Otras empresas están intentando conseguir sensaciones similares sin necesidad de ponerse un guante. Ultraleap es uno de ellos y utiliza ultrasonido para proyectar sensaciones hápticas en las manos.
Estos diferentes enfoques encontrarán uso en diferentes entornos y para diferentes casos de uso. El ultrasonido se puede usar más fácilmente en espacios públicos y para AR, donde la necesidad de ponerse guantes puede causar fricción en la experiencia. Mientras tanto, los guantes físicos pueden crear sensaciones más diversas y representar objetos particulares con mayor precisión.
Para crear una sensación completa de inmersión, los trajes completos pueden ofrecer sensaciones envolventes. Para volverse completamente uno con los entornos virtuales para entretenimiento, capacitación, diagnóstico y aplicaciones terapéuticas, los sistemas que pueden proporcionar sensaciones hápticas en la parte superior del cuerpo o en todo el cuerpo son adiciones bienvenidas. Uno de ellos es la gama de bHaptics de los llamados productos TactSuit, esencialmente chalecos que incorporan retroalimentación háptica dispersa por todo el cuerpo. La compañía también ofrece un guante háptico.
Teslasuit, por su parte, ofrece un conjunto de prendas hápticas: el Teslaglove y Teslasuit, que se compone de chaqueta y pantalón. Aquí las sensaciones hápticas se basan en la electroestimulación.
Entornos virtuales más inmersivos
Los investigadores también están experimentando con diferentes enfoques para crear sensaciones hápticas. Un grupo de científicos de la Universidad de Chicago dice que ha “identificado cinco sustancias químicas que pueden generar sensaciones hápticas duraderas: hormigueo (sanshool), adormecedor (lidocaína), escozor (cinamaldehído), calentamiento (capsaicina) y enfriamiento (mentol)”. Estos dispositivos hápticos incluyen una manga que rodea una sección del antebrazo y una tira que se puede aplicar debajo del auricular visual en las mejillas del usuario.
Tal vez los accesorios acoplables para los auriculares del mercado masivo, de forma similar a la forma en que los investigadores de la Universidad de Chicago usan su tira junto con los auriculares, podrían convertirse en un nicho de mercado para brindar a los usuarios sensaciones particulares. Feelreal, que comenzó como una campaña de Kickstarter, es un dispositivo que parece un escudo y se adhiere a la parte inferior de los auriculares visuales. El dispositivo puede proporcionar la sensación de una brisa fresca, calor, salpicaduras de agua y una amplia gama de olores.
Mientras tanto, la tecnología OVR ofrece un dispositivo que se puede conectar a los auriculares VR para proporcionar una amplia gama de aromas. La empresa menciona casos de uso como la meditación y el entrenamiento de respuesta para este dispositivo. Aprovechar el sentido del olfato de los usuarios de VR debería ser algo natural para los desarrolladores que buscan crear entornos virtuales más inmersivos. El CEO de OVR, Aaron Wisniewski, dice: “El metaverso sin olor sería como vivir la vida en blanco y negro”.
Dichos accesorios pueden proporcionar una amplia gama de posibilidades de interacción. Un equipo de investigación de la Universidad de Ciencias Aplicadas de Salzburgo ha desarrollado AirRes, un complemento para los auriculares Meta Quest 2. El dispositivo parece una máscara de gas que los investigadores promocionan como una interfaz de respiración. Aprovecha la respiración del usuario como información de entrada a través de una válvula de resistencia para permitir la interacción con instrumentos de viento virtuales, soplar un pastel de cumpleaños o usar una cerbatana para impulsar proyectiles, por ejemplo.
El dispositivo de resistencia también puede restringir la respiración de un usuario, simulando así entrar en una habitación llena de humo, por ejemplo.
Las aplicaciones en juegos o entrenamiento de emergencia son obvias. Algunas de las aplicaciones que presentan los investigadores apuntan al potencial del dispositivo para mejorar los entornos virtuales con nuevos niveles de autenticidad. Exhalar ligeramente en los espejos para empañarlos puede revelar números ocultos que quedaron atrás, de manera similar a la forma en que los niños se dejan mensajes entre sí en los juegos de misterio.
Tal empañamiento de superficies de vidrio o metal puede crear una sensación de interacción realista con objetos dentro de los entornos y ofrece la posibilidad de dejar mensajes para otros jugadores en ventanas virtuales o superficies metálicas para juegos, por ejemplo.
Mientras tanto, H2L Technologies ha desarrollado una muñequera que puede infligir dolor a través de pequeñas descargas eléctricas. El CEO de la compañía, Emi Tamaki, dice: “Sentir dolor nos permite convertir el mundo del metaverso en un mundo real, con mayores sentimientos de presencia e inmersión”. Aunque el dispositivo puede proporcionar una sensación de dolor, su objetivo principal es crear la sensación de resistencia y peso al interactuar con objetos en la realidad virtual.
Finalmente, las interfaces cerebrales podrían ser la máxima conectividad a mundos virtuales y paisajes aumentados. Tales conexiones con los entornos XR son actualmente especulativas, pero a medida que pasa el tiempo y avanza la neurociencia, se podrán concebir aplicaciones bastante simples y las empresas ya están explorando tecnologías relacionadas.
Reality Labs de Meta Platforms está analizando el uso de una interfaz cerebro-computadora (BCI) para gafas AR, particularmente para el uso de BCI en aplicaciones de comunicación. Otros también ven beneficios en la combinación de gafas AR e interfaces cerebrales. En marzo de 2022, Snap adquirió NextMind, un desarrollador de BCI. Presumiblemente, Snap está explorando el uso de dicha interfaz con sus gafas inteligentes AR, Snap Spectacles. Los usos potenciales de la interfaz podrían incluir juegos o dispositivos operativos, por ejemplo.
Mientras tanto, Neuralink de Elon Musk está trabajando de manera más general en el desarrollo de interfaces que permitan “un vínculo directo entre el cerebro y la tecnología cotidiana”. En 2021, la compañía publicó información sobre la capacidad de un mono macaco para mover los cursores en una pantalla y jugar el videojuego Pong solo a través de la actividad cerebral.
XR sofisticado
Actualmente, muchos desarrollos en XR y el metaverso son experimentales, y las tecnologías de interfaz son parte de dicha experimentación. Los entornos verdaderamente inmersivos requerirán interfaces avanzadas que puedan replicar representaciones auténticas del mundo real. Pero las interfaces difíciles de manejar y de usar pueden incluso evitar que los usuarios se sumerjan también en la realidad virtual.
Los costos son otra consideración, y la seguridad jugará un papel cada vez más importante. Pero las aplicaciones de realidad virtual impulsarán la búsqueda de interfaces que permitan interacciones más completas con objetos y mundos virtuales, y las interfaces avanzadas permitirán aplicaciones XR cada vez más sofisticadas.
Martin Schwirn es el autor de Small Data, Big Disruptions: How to Spot Signals of Change and Manage Uncertainty (ISBN 9781632651921). También es asesor sénior de previsión estratégica en Business Finland, donde ayuda a empresas emergentes y titulares a encontrar su posición en el mercado del mañana.
