La réalité virtuelle peut-elle couper le cordon?

N'ayons pas peur des mots: je suis visiblement excité par le nouveau casque de réalité virtuelle de Valve Valve & HTC annonce l'envoi d'un nouveau casque VR à Noël d'ici à 2015 2015 de Valve & HTC annonce le lancement d'un nouveau casque VR à partir de Noël 2015 du nouveau casque VR de Valve: le meilleur du monde vu. Oculus a-t-il une chance? Lire la suite .

Créé en partenariat avec HTC, le Vive propose un suivi parfait de votre tête et deux contrôleurs, une résolution confortable de 2160 x 1200 et un écran OLED ultra-net de 90hz. Elle sort cette année et offre des expériences de réalité virtuelle interactives qui procurent un sentiment durable de présence physique dans la scène virtuelle..

Pour avoir une idée de la qualité du suivi, regardez cette vidéo de “La galerie,” un jeu de réalité virtuelle joué sur le Vive.

Le défi de la réalité virtuelle en itinérance libre

Le Vive est fantastique. Cependant, si vous lisez les critiques des prototypes de micro-casques, vous commencez à remarquer que une plainte spécifique continue à apparaître.

Venture Beat:

“Au cours de mon essai avec le prototype, je portais une ceinture pour me protéger des ficelles - et maintenant que j'y réfléchis, il a fallu que quelqu'un me promène avec moi pour m'assurer que je ne trébuche pas. mou que j'ai créé comme je me suis déplacé autour de la salle.”

PC MAG:

“Parce que c'est une expérience de déplacement entièrement interactive, vous devez nettoyer les meubles du centre de la pièce et essayer de ne pas trébucher sur le câble menant au PC..”

Gizmodo:

“Et c’est probablement le principal point faible de votre HTC Vive. C'est comme La matrice dans ce qui semble réel mais aussi dans le fait que vous êtes connecté à un PC avec un câble qui sort de l’arrière de votre tête. Cela limitera parfois votre libre circulation et constitue parfois (mais pas souvent, selon mon expérience) un risque de chute. Ce n'est pas un très gros problème mais notable quand même.”

Cela est dû en partie au fait que le casque est un prototype avec cinq câbles (la version grand public ne devrait en comporter qu’un, un cordon combiné USB et HDMI reliant le casque au PC). Cependant, le problème semble être fondamental pour les casques filaires qui vous permettent de marcher librement. Regardez-nous essayer l'Oculus Rift Crescent Bay au CES 2015 Regardez-nous essayer le Oculus Rift Crescent Bay au CES 2015 L'Oculus Rift Crescent Bay est un tout nouveau prototype cela montre des améliorations intéressantes dans la technologie de la réalité virtuelle. Nous essayons à la CES 2015. Lire la suite. Les cordes sont un danger de trébucher et aussi une sorte de déception. Ils vous empêchent de sortir votre appareil de réalité virtuelle de la pièce et encore moins de la maison..

Cela deviendra plus problématique à mesure que nous commencerons à utiliser VR comme interface de base pour nos systèmes d'exploitation..

Nous n'avons pas eu de PC pendant très longtemps avant de vouloir une version mobile de l'expérience (ordinateurs portables, smartphones et tablettes). La réalité virtuelle sera la même, en particulier au moment où nous commençons à intégrer des fonctionnalités de réalité augmentée telles que Microsoft HoloLens 8 Utilisations réelles de Microsoft HoloLens 8 Utilisations réelles de Microsoft HoloLens Les HoloLens de Microsoft sont cool, mais que ferez-vous réellement c'est pour? Nous courons les possibilités les plus excitantes. Lire la suite .

Malheureusement, il s'avère que débrancher les casques de réalité virtuelle des PC est un défi technologique majeur que nous ne savons toujours pas résoudre. Cependant, deux technologies prometteuses pourraient aider à résoudre le problème..

Solution n ° 1: PC en streaming

Une approche évidente du programme consiste à utiliser votre PC pour restituer le monde virtuel, puis diffuser les images rendues vers le casque via WiFi (comme Steamlink, qui diffuse les jeux de votre PC vers votre téléviseur). Le problème avec cette approche est la latence. En réalité virtuelle, vous souhaitez minimiser le délai entre le déplacement et la visualisation de ce mouvement à l'écran. Il est généralement convenu que le sweet spot est inférieur à 20 millisecondes..

Le streaming vidéo moderne peut descendre à moins d’une milliseconde de latence, ce qui est un bon début. Malheureusement, un flux vidéo non compressé de 1440p à 90hz représente près de 8 gigabits par seconde de données. Les routeurs WiFi grand public peuvent gérer environ 100 mégabits. Même les routeurs industriels les plus sophistiqués atteignent environ 800 mégabits, soit huit fois moins que nécessaire. Pour résoudre ce problème, vous devez compresser les images avant de les envoyer. Le processus de compression et de décompression ajoute environ 80 ms de latence, ce qui volonté te rendre malade.

Il existe plusieurs solutions possibles à ce problème:

Améliorations de la bande passante

Une approche consiste à essayer d'augmenter la quantité de bande passante disponible. Les réseaux 5G, qui devraient être disponibles dans cinq ans, pourraient permettre des vitesses d’environ un terabit par seconde, ce qui pourrait prendre en charge des HMD 8K futuristes sans compression. À plus court terme, Li-Fi (une technologie Internet basée sur des LED à impulsions rapides) pourrait permettre des vitesses de transfert de 10 Go / s à des latences très basses, ce qui permettrait des versions sans fil des casques VR de génération actuelle dans les prochaines années, bien que la technologie ne soit pas encore disponible pour les consommateurs.

C’est probablement la meilleure solution au problème, mais elle ne sera pas disponible pour les consommateurs avant au moins un an ou deux, cela peut coûter cher et la résolution sera probablement en retard sur les casques filaires les plus sophistiqués jusqu’à ce que les réseaux 5G appropriés arrivent.

Déformation locale

Une option plus complexe serait d’accepter la latence de 80 ms et d’essayer de la corriger après coup en renvoyant l’ancienne image à la nouvelle position de la tête. Cela produit toujours un certain retard d’entrée, mais pas le genre de mouvement de tête nauséabond.

L'approche standard de ce type de problème est la temporisation asynchrone, qui collecte les données du PC et les distorsion à l'aide d'un petit processeur graphique sur le casque pour afficher l'ancienne image sous un nouvel angle, ce qui permet au casque de se mettre à jour de manière fluide, malgré la latence élevée..

À première vue, cela ressemble à une balle magique. Malheureusement, il y a de grandes prises. Pour citer Michael Antonov, chercheur à l’Oculus,

“Le judder positionnel est l'un des artefacts les plus évidents avec une distorsion temporelle liée uniquement à l'orientation. Lorsque vous déplacez votre tête, seule la composante rotationnelle supplémentaire est reflétée dans les images générées par ATW, tandis que tout mouvement de translation en tête depuis le rendu du cadre est ignoré. Cela signifie que lorsque vous bougez votre tête d'un côté à l'autre, ou même que vous faites simplement pivoter votre tête, ce qui traduit vos yeux, vous verrez apparaître de nombreux désordres d'images sur des objets proches de vous.

[…]

Un moyen possible de résoudre les problèmes de position consiste à appliquer une déformation de position complète, qui applique à la fois les corrections de translation et d’orientation à la trame restituée. Le gauchissement positionnel doit prendre en compte la profondeur du cadre de rendu d'origine, en déplaçant les parties de l'image de différentes quantités. Cependant, un tel déplacement génère des artefacts de désocclusion aux bords des objets, où sont découvertes des zones de l’espace ne contenant pas de données dans le cadre original..”

Il existe plusieurs techniques permettant de constituer des données pour combler les trous créés par le décalage temporel de position, mais elles laissent toutes des artefacts, et celles qui laissent le moins d'artefacts sont les plus onéreuses. Le problème est similaire à celui rencontré par ceux qui tentent d’afficher de la vidéo de profondeur VR. VR est sur le point de changer le tournage pour toujours: voici comment VR est sur le point de changer le tournage pour toujours: voici comment la réalité virtuelle est un nouveau moyen de communiquer avec votre spectateur et de nombreuses personnes avec une formation dans le cinéma traditionnel, trouvez les possibilités excitantes. Lire la suite .

Afin de résoudre ce problème à la perfection, les développeurs doivent trouver un moyen de transmettre des données supplémentaires pour combler les lacunes. Quelques approches possibles:

• Rend séparément les objets de champ lointain et de champ proche et diffuse les deux images
• Effectuer le rendu d'un champ lumineux pouvant être projeté à nouveau par grands décalages de tête sans désocclusion
• Développer des modèles extrêmement sophistiqués de mouvement de la tête et utiliser la prédiction pour minimiser les erreurs de désocclusion

On ne sait pas quelle est la meilleure solution ici. Aucune des approches que nous connaissons n'est parfaite et certaines d'entre elles nécessitent davantage de recherche. Déterminer si une nouvelle projection est une bonne idée se résume à ce que nous pouvons minimiser les artefacts. C'est une possibilité prometteuse, mais il y a beaucoup de questions en suspens.

Solution n ° 2: rendu local

Une stratégie complètement différente consiste à oublier le PC et à effectuer le rendu localement sur le casque. Voici comment fonctionnent les HoloLens de Microsoft et Gear VR de Samsung. HoloLens Five Questions sur le "Projet HoloLens" de Microsoft Cinq questions sur le "Project HoloLens" de Microsoft Le nouveau micro-casque de réalité augmentée de Microsoft est très excitant - mais peuvent-ils résoudre les problèmes fondamentaux de la RA? En savoir plus, mais le Gear VR présente un certain nombre de limitations sérieuses. Son processeur graphique mobile peut gérer quelques expériences de réalité virtuelle modestes (avec une optimisation intensive), mais à peine. La gestion de la chaleur est un problème, la résolution et le taux de rafraîchissement n'atteignent pas le niveau requis pour la présence sur la scène et le micro-casque n'a pas de suivi de position. Une partie de ceci est dû aux limitations de la technologie mobile et s'améliorera bientôt, portée par le flot de la loi de Moore..

Cependant, certains de ces problèmes résultent de l'ingénierie d'un smartphone qui n'était pas conçu pour la réalité virtuelle. Si vous construisiez un casque VR mobile à partir de zéro, vous pourriez faire beaucoup de choses différemment. Les concepteurs pourraient avoir deux GPU mobiles haut de gamme, un écran de rafraîchissement très élevé et une grosse batterie. Ils pourraient également étaler les composants pour une meilleure répartition du poids et une meilleure gestion de la chaleur. Le facteur de forme qui en résulte pourrait ressembler beaucoup au Sony Morpheus.

Ou, si les ingénieurs voulaient devenir ambitieux, ils pourraient créer quelque chose de plus semblable à un mini-PC: un petit bloc portable de computronium contenant un ou plusieurs processeurs graphiques pour ordinateur portable, un ventilateur et une grosse batterie. Cet appareil aurait un facteur de forme similaire à celui d’un Walkman et piloterait un HMD via un seul câble.

Le GPU phare de NVIDIA actuel, le GTX 980, utilisé en interne par Oculus, n’est que d’environ 40% plus rapide que son équivalent mobile, le 980M, et minuscule. Il est probablement possible d'en installer deux dans un sac banane, avec suffisamment de place pour le reste des tripes d'un petit ordinateur portable..

Remarque à l'intention des développeurs de matériel informatique: n'autorisez en aucun cas la presse à décrire votre produit comme un "sac à main".

Ce facteur de forme serait plus volumineux qu'un casque autonome, pour ne pas mentionner cher - le calcul au dos de l'enveloppe suggère un prix d'environ 2500 $. Il est possible que les consommateurs modernes ne soient pas intéressés par des produits trop lourds. Cependant, c’est le seul moyen pour un casque de VR mobile d’offrir des performances concurrentielles par rapport à PC VR, et j’imagine que les joueurs assidus et les autres joueurs irréductibles s’y plieront. Il y a une longue histoire de nerds à la pointe de la technologie en acceptant de porter des produits qui les rendent ridicules..

À l'heure actuelle, les micro-casques mobiles sont incapables de fournir un suivi de position, ce qui provoque un sentiment nauséabond que le monde est attaché à votre torse lorsque vous essayez de bouger. Cependant, ce problème pourrait bientôt être résolu. À court terme, Valve's “phare” La technologie de suivi de position est une excellente solution: les projecteurs laser sont stupides, ce qui signifie qu’ils peuvent être carrelés de manière à couvrir de grands espaces et servir de nombreux appareils à la fois. En conséquence, au cours des prochaines années, le suivi des phares pourrait devenir un service peu coûteux offert par les particuliers et les entreprises, à l’instar du WiFi actuel, vous permettant d’utiliser du matériel de RV mobile dans la plupart des espaces intérieurs..

À long terme, à mesure que les caméras de profondeur améliorent la résolution et le niveau de bruit, il devrait être possible de les utiliser pour le suivi de position, avec suffisamment de précision pour donner une impression de présence VR. Cela permettra de créer des produits VR autonomes adaptés à une utilisation en extérieur et en réalité augmentée..

L'avenir de la VR mobile

À long terme, les casques d'écoute mobiles sont le point de départ de la technologie de réalité virtuelle.

Nous pouvons faire le calcul de la loi de Moore en déterminant combien de doublons nous sont nécessaires pour pouvoir rendre des mondes virtuels photoréalistes sur des appareils mobiles. Les PC haut de gamme sont peut-être cinq fois plus nombreux (une autre génération de consoles) pour pouvoir offrir des expériences de jeu photoréalistes en 1080p. Pour la réalité virtuelle, nous avons besoin d'un doublé pour la 3D et de trois autres pour un rendu au taux de 8K par œil nécessaire pour éliminer le flou et l'effet de porte d'écran. Pour prendre en compte la plate-forme mobile, il nous faut environ quatre autres doublons pour rattraper les PC haut de gamme..

Si vous additionnez tous les doublons et multipliez par les dix-huit mois dictés par la loi de Moore, vous obtenez environ vingt ans (2035), moment où personne ne pourra faire la différence entre une scène de réalité virtuelle restituée sur un smartphone et une réalité virtuelle. un rendu sur un PC de jeu haut de gamme. À ce stade, il n'y aura aucune raison de réutiliser un casque piloté par PC.

Jusqu'à ce que ce jour arrive, je suppose que nous verrons les casques VR câblés et sans fil VR pilotés par PC pendant un certain temps. Les casques sans fil seront plus pratiques, mais les casques filaires offriront une meilleure résolution, du moins jusqu'à la maturité complète des réseaux 5G..

De l'autre côté de la fracture, les micro-casques mobiles continueront de s'améliorer et de prendre des parts de marché sur PC alors que nous progressons assez loin dans la courbe des rendements décroissants, avec de plus en plus de personnes prêtes à sacrifier une modeste fidélité au profit de la flexibilité. . La concurrence sera féroce et, espérons-le, bénéfique pour le consommateur. Personnellement, j'ai hâte.

Excité pour les casques sans fil? Connaissez-vous une technologie que nous avons manquée? Faites le nous savoir dans les commentaires!

Crédits d'image: Barone Firenze Via Shutterstock, “Enregistrer Isan's… ”, par Edvvc, “Phubby,” par Kevin Lin, “HTC VR,” par HTC, “Lien de vapeur,” par Valve, “la loi de Moore,” par Wikimedia

En savoir plus sur: Réalité virtuelle.