Cinq questions sur le «projet HoloLens» de Microsoft

Mercredi matin, Microsoft a présenté un projet sur lequel ils travaillaient depuis sept ans: un casque de réalité augmentée appelé Projet HoloLens.

La vision est ambitieuse: ils veulent changer fondamentalement la façon dont les gens interagissent avec les ordinateurs, en construisant une paire de lunettes pouvant mélanger de manière fluide le contenu virtuel et réel dans l'espace physique de l'utilisateur. C’est comme une technologie de réalité virtuelle Pourquoi la technologie de réalité virtuelle soufflera votre esprit dans 5 ans Pourquoi la technologie de réalité virtuelle soufflera votre esprit dans 5 ans L’avenir de la réalité virtuelle comprend un suivi de la tête, des yeux et de l’expression, un toucher simulé, et bien plus encore. Ces technologies étonnantes seront disponibles dans 5 ans ou moins. Lire la suite, mais fondamentalement plus puissant. En outre, ils souhaitent effectuer tous les traitements localement sur les lunettes - pas d'ordinateur, pas de téléphone, pas de câbles. Ils lancent même une version spéciale de Windows uniquement pour le nouveau matériel. Il s’agit de la prochaine étape de l’évolution technologique de tous ces jeux de RA. Les applications de réalité augmentée: utiles ou tout simplement exagérées? MakeUseOf teste les applications de réalité augmentée: utiles ou tout simplement exagérés? Tests MakeUseOf En 2011, les analystes ont prédit la montée en puissance des applications mobiles de réalité augmentée. La technologie naissante révolutionnera la façon dont nous interagissons avec nos appareils mobiles. Flash forward deux ans plus tard et des dizaines d’applications AR peuplent… Read More vous avez installé sur votre téléphone une fois et n’a plus touché depuis.

Leur calendrier est encore plus ambitieux que leurs objectifs: ils veulent envoyer des kits de développement ce printemps, et le produit grand public “pendant la période Windows 10”. Voici le pitch.

Tout cela a l'air génial, mais j'avoue avoir un degré de scepticisme assez élevé.

Les technologies utilisées par Microsoft présentent des défis fondamentaux et fondamentaux, et jusqu’à présent, Microsoft ne savait pas trop comment (ou si) elles les avaient résolues. S'ils ne les ont pas résolus, leur objectif d'expédition d'ici un an est très préoccupant. La dernière chose dont VR et AR ont besoin est une grande entreprise qui expédie un autre produit à moitié cuit, comme le Kinect. Rappelez-vous la démo de Project Natal à partir de 2009?

Sans plus tarder, voici les cinq choses les plus importantes que je voudrais savoir sur les HoloLens.

Est-ce un affichage de champ lumineux??

Pour comprendre celui-ci, nous devons examiner un peu plus en profondeur la 3D et son fonctionnement. Afin de donner l'impression d'un monde 3D réel et tangible, notre cerveau intègre de nombreux types d'informations. Nous obtenons des indices de profondeur sur le monde de trois manières principales:

• Profondeur stéréo - la disparité entre ce que nos deux yeux voient. Faire semblant, c'est ainsi que fonctionnent les films 3D
• Mouvement parallaxe - les mouvements subtils de notre tête et de notre torse nous donnent des indices de profondeur supplémentaires pour les objets plus éloignés
• Foyer optique - lorsque nous nous concentrons sur quelque chose, les lentilles de nos yeux se déforment physiquement jusqu'à ce que l'image soit nette; Les objets en champ proche nécessitent davantage de distorsion de l'objectif, ce qui fournit des informations de profondeur sur ce que nous examinons.

La mise au point optique est facile à vérifier par vous-même: fermez un œil et maintenez votre pouce devant un mur de la pièce. Ensuite, déplacez votre focus de votre vignette vers la surface derrière celle-ci. Lorsque vous regardez au-delà de votre pouce, votre pouce ne sera plus au point, car le cristallin de votre œil est maintenant moins déformé et ne peut pas capter correctement la lumière qui en sort..

Les casques de réalité virtuelle tels que l'Oculus Rift fournissent les deux premiers signaux avec une précision extrême, mais pas le dernier, ce qui fonctionne étonnamment bien: nos yeux ne se relâchent pas complètement, car les optiques focalisent les images comme si la lumière venait de très loin. L'absence de signal de mise au point optique est irréaliste, mais cela ne gêne généralement pas. Vous pouvez toujours avoir des expériences de jeu vraiment cool. 5 expériences de jeu Oculus Rift qui vous emporteront. 5 expériences de jeu Oculus Rift qui vous emporteront. Maintenant que la deuxième génération du kit de développement Oculus Rift est entre les mains des développeurs du monde entier, Voyons quelques-unes des meilleures choses qui ont frappé la faille jusqu'à présent. Lire plus sans elle.

En réalité augmentée, le problème est différent, car vous devez mélanger la lumière d'objets réels et virtuels. La lumière du monde réel se concentrera naturellement à différentes profondeurs. Cependant, le contenu virtuel sera tous focalisés sur une distance artificielle fixe dictée par l'optique, probablement à l'infini. Les objets virtuels ne donneront pas l'impression qu'ils font vraiment partie de la scène. Ils seront flous si vous regardez des choses réelles à la même profondeur et vice versa. Il ne sera pas possible de déplacer votre œil de façon fluide à travers la scène tout en conservant la mise au point, comme vous le faites normalement. Les signaux de profondeur contradictoires seront au mieux déroutants et au pire écoeurants..

Pour résoudre ce problème, vous avez besoin de quelque chose appelé affichage de champ lumineux. Les affichages de champ lumineux sont des affichages qui utilisent une gamme de minuscules objectifs pour afficher simultanément une lumière focalisée à plusieurs profondeurs. Cela permet à l'utilisateur de se concentrer naturellement sur l'écran et (pour la réalité augmentée) de résoudre le problème décrit ci-dessus.

Il existe toutefois un problème: les écrans de champ lumineux permettent essentiellement de mapper un seul écran 2D sur un champ lumineux tridimensionnel, ce qui signifie que “pixel de profondeur” que l’utilisateur perçoit (et existe à une profondeur focale particulière dans la scène) est en réalité constitué de la lumière provenant de nombreux pixels sur l’affichage initial. Plus la profondeur que vous souhaitez décrire est fine, plus vous devez abandonner la résolution..

En règle générale, les champs lumineux ont environ huit fois diminution de la résolution afin de donner une précision de profondeur adéquate. Les meilleurs micro-affichages disponibles ont une résolution d'environ 1080p. En supposant qu'un micro-écran haut de gamme pilotant chaque œil, la résolution réelle du micro-casque de Microsoft ne représenterait qu'environ 500 x 500 pixels par œil, soit même moins que l'Oculus Rift DK1. Si l'affichage a un champ de vision élevé, les objets virtuels seront des blobs de pixels incompréhensibles. Si ce n'est pas le cas, l'immersion en souffrira proportionnellement. Nous ne parvenons jamais à voir à travers l'objectif (juste des reconstitutions informatiques de ce que l'utilisateur voit), nous n'avons donc aucune idée de ce à quoi ressemble vraiment l'expérience utilisateur..

Il est possible que Microsoft ait mis au point une solution innovante à ce problème, permettant l'utilisation d'un écran à champ lumineux sans compromis de résolution. Cependant, Microsoft a été extrêmement discret au sujet de leur technologie d'affichage, ce qui me laisse penser qu'ils ne l'ont pas fait. Voici la meilleure explication que nous ayons jusqu'à présent (de la Câblé démo).

Pour créer les images du projet HoloLens, des particules lumineuses rebondissent des millions de fois dans le moteur dit léger de l'appareil. Puis les photons pénètrent dans les deux lentilles des lunettes, où ils ricochent entre des couches de verre bleu, vert et rouge avant d’atteindre le fond de l’œil..

Ce genre de description de la technologie pourrait signifier n'importe quoi (bien que, pour être juste envers Microsoft, le matériel a impressionné WIRED, même si l'article était clair en détails).

Nous n'en saurons pas plus avec certitude jusqu'à ce que Microsoft commence à publier des spécifications techniques, probablement dans des mois. Est-il vraiment nécessaire de noyer le projet dans ce jargon marketing? Le processeur dédié utilisé pour le suivi de la tête est appelé un “processeur holographique” et les images s'appellent “hologrammes,” sans raison particulière. Le produit est suffisamment cool pour qu'il ne soit pas nécessaire de le dorer comme ça.

Le suivi est-il suffisant??

Le micro-casque Project HoloLens est équipé d'une caméra de profondeur à champ de vision élevé (comme le Kinect), qu'il utilise pour déterminer sa position dans l'espace (en essayant d'aligner l'image de profondeur qu'il voit avec son modèle du monde, composite des images de profondeur passées). Voici leur démonstration en direct du casque en action.

Le suivi est impressionnant, car il n’utilise aucun marqueur ou autre triche, mais même dans cette vidéo (dans des conditions très contrôlées), vous pouvez voir une certaine quantité de vobulation: le suivi n’est pas complètement stable. C'est à prévoir: ce genre de suivi est extrêmement difficile.

Cependant, la grande leçon tirée des différents prototypes de l'Oculus Rift Regardez-nous essayer L'Oculus Rift Crescent Bay au CES 2015 Regardez-nous essayer L'Oculus Rift Crescent Bay Au CES 2015 L'Oculus Rift Crescent Bay est un tout nouveau prototype qui présente des améliorations intéressantes technologie de réalité virtuelle. Nous l’essayons à la CES 2015. Lire Plus, c’est que la précision du suivi compte beaucoup. Jittery tracking n’est qu’ennuyeux quand il s’agit de quelques objets dans un monde largement stable, mais dans des scènes comme la démo sur Mars, comme le montre leur vidéo conceptuelle, où presque tout ce que vous voyez est virtuel, un suivi imprécis pourrait entraîner un manque de précision. “présence” dans la scène virtuelle, ou même la maladie du simulateur. Microsoft peut-il obtenir le suivi jusqu’à la norme fixée par Oculus (précision de suivi inférieure au millimètre et latence totale inférieure à 20 ms) avant la date d’expédition prévue à la fin de l’année??

Voici Michael Abrash, un chercheur en VR qui a travaillé pour Valve et Oculus, parlant du problème

[Comme il y a toujours un délai dans la génération d'images virtuelles, […] il est très difficile d'obtenir des images virtuelles et réelles à enregistrer de manière suffisamment proche pour que l'œil ne le remarque pas. Par exemple, supposons que vous ayez une vraie canette de Coca que vous voulez transformer en une canette AR Pepsi en traçant un logo Pepsi sur le logo de Coca-Cola. S'il faut des dizaines de millisecondes pour redessiner le logo Pepsi, chaque fois que vous tournez la tête, le logo Pepsi apparaîtra se décaler de quelques degrés par rapport à la boîte de conserve et une partie du logo Coke deviendra visible. alors le logo Pepsi reviendra au bon endroit lorsque vous cesserez de bouger. Ce n'est clairement pas assez bon pour l'AR difficile

L'affichage peut-il dessiner en noir??

Outre la profondeur focale et le suivi, le problème est de dessiner des couleurs sombres. Ajouter plus de lumière à une scène est relativement simple, en utilisant des séparateurs de faisceau. Prendre la lumière est beaucoup plus difficile. Comment assombrissez-vous sélectivement des parties du monde réel? Mettre en place un écran LCD sélectivement transparent ne le coupera pas, car il ne peut pas toujours avoir la bonne mise au point pour bloquer ce que vous regardez. Les outils optiques permettant de résoudre ce problème, à moins que Microsoft ne les ait secrètement inventés, n'existent tout simplement pas.

Cela est important car, pour de nombreuses applications que Microsoft montre (comme Netflix sur votre mur), le casque a réellement besoin de la capacité de supprimer la lumière provenant du mur, sinon votre film aura toujours un motif de stuc superposé. avec elle: il sera impossible pour les images de bloquer des objets réels dans la scène, ce qui rend l'utilisation du casque fortement dépendante des conditions d'éclairage ambiant. Retour à Michael Abrash:

De nos jours, rien de ce genre n'a encore émergé dans l'industrie ou la littérature des RA, et à moins que et jusqu'à ce que cela se produise, une RA difficile, au sens SF que nous connaissons et aimons tous, ne peut se produire que dans l'obscurité..

Cela ne veut pas dire que l'AR n'est pas sur la table, mais pendant un moment, ce sera une AR douce, basée sur un mélange additif […]. Encore une fois, pensez translucide comme “chasseurs de fantômes.” Les images virtuelles à haute intensité sans zones sombres fonctionneront également, en particulier avec l’aide d’obscurcissements régionaux ou globaux - elles ne ressembleront tout simplement pas à une partie du monde réel..

Qu'en est-il de l'occlusion?

“Occlusion” est le terme qui désigne ce qui se passe quand un objet passe devant un autre et vous empêche de voir ce qu'il y a derrière. Pour que les paysages virtuels se sentent comme une partie tangible du monde, il est important que les objets réels obstruent les objets virtuels: si vous tenez la main devant une image virtuelle, vous ne devriez pas pouvoir la voir à travers. ta main. En raison de l'utilisation d'une caméra de profondeur sur le casque, c'est effectivement possible. Mais, regardez à nouveau la démonstration en direct:

En gros, ils contrôlent soigneusement les angles de caméra pour éviter que des objets réels ne passent devant des objets virtuels. Cependant, lorsque la démonstratrice interagit avec le menu Windows, vous pouvez voir que sa main ne la ferme pas du tout. Si cela dépasse la portée de leur technologie, c'est un très mauvais signe pour la viabilité de leur produit de consommation..

Et en parlant de cette interface…

Est-ce vraiment l'interface utilisateur finale??

L’interface utilisateur présentée par Microsoft dans leurs vidéos de démonstration semble fonctionner en utilisant une combinaison de suivi du regard et de la main pour contrôler un curseur dans la scène virtuelle, tout en utilisant des commandes vocales pour la sélection entre différentes options. Cela présente deux inconvénients majeurs: cela vous fait ressembler au petit enfant du Shining qui parle à son doigt, mais plus important encore, cela représente également un paradigme de conception fondamentalement défectueux..

Historiquement, les meilleures interfaces utilisateur ont été celles qui apportent des intuitions physiques sur le monde dans le monde virtuel. La souris a apporté en cliquant, en faisant glisser et les fenêtres. Interface tactile glissé pour faire défiler et pincer pour zoomer. Ces deux éléments étaient essentiels pour rendre les ordinateurs plus accessibles et utiles pour la population en général, car ils étaient fondamentalement plus intuitifs que ce qui était auparavant..

Les concepteurs VR et AR vous donnent beaucoup plus de liberté en tant que concepteur: vous pouvez placer des éléments d'interface utilisateur n'importe où sur un espace 3D et permettre aux utilisateurs d'interagir avec eux naturellement, comme s'il s'agissait d'objets physiques. Un grand nombre de métaphores évidentes se suggèrent. Touchez un élément d'interface virtuelle pour le sélectionner. Pincez pour le ramasser et le déplacer. Faites-le glisser pour le stocker temporairement. Écrase-le pour le supprimer. Vous pouvez imaginer créer une interface utilisateur tellement intuitive qu'elle ne nécessite aucune explication. Quelque chose que votre grand-mère peut instantanément comprendre, car il repose sur des intuitions physiques de base que tout le monde construit au cours d'une vie d'interaction avec le monde. Prenez une minute et écoutez cette personne intelligente décrire ce que pourraient être des interfaces immersives.

En d'autres termes, il me semble évident qu'une interface utilisateur immersive devrait être au moins aussi intuitif que les interfaces tactiles mises au point par l'iPhone pour les écrans multitouch 2D. Construire une interface autour de la manipulation d'un VR “Souris” est un pas en arrière et expose soit de profondes lacunes technologiques dans la technologie de suivi manuel, soit une incompréhension fondamentale de l’intérêt de ce nouveau support. Quoi qu’il en soit, c’est un très mauvais signe pour le fait que ce produit est plus qu’un colossal flop à l’échelle Kinect.

Espérons que Microsoft aura le temps d’obtenir des commentaires et de faire un meilleur travail. À titre d'exemple, voici une interface conçue par un amateur pour l'Oculus Rift DK2 et le Leap Motion. Une interface utilisateur immersive conçue par une grande entreprise devrait être au moins aussi bonne.

Un signe de choses à venir

Dans l'ensemble, je suis extrêmement sceptique quant au projet HoloLens dans son ensemble. Je suis très heureux qu'une société disposant des ressources de Microsoft étudie ce problème, mais je crains qu'elles n'essaient de créer un produit sans résoudre certains problèmes techniques sous-jacents critiques, ou de définir un bon paradigme d'interface utilisateur. Les HoloLens sont un signe d'avenir, mais cela ne signifie pas que le produit lui-même offrira une bonne expérience aux consommateurs..

Crédit d'image: avec la permission de Microsoft

Explorer plus sur: Réalité Augmentée, Microsoft, Réalité Virtuelle.