VR est sur le point de changer le tournage pour toujours Voici comment

Hollywood parle de réalité virtuelle. Le mois dernier, à la conférence Oculus Connect, tout un panel d'aluns d'Hollywood a parlé de la technologie et de ses applications dans la réalisation de films..

Pendant ce temps, les poids lourds de l'industrie commencent à peser. James Cameron déteste ça. David Attenborough réalise un documentaire à ce sujet. Le récent (excellent) film Interstellar a eu une expérience en réalité virtuelle..

La réalité virtuelle est une nouvelle façon de communiquer avec votre spectateur, et de nombreuses personnes ayant une expérience dans le cinéma traditionnel trouvent les possibilités excitantes. La réalité virtuelle, plutôt que de simplement ouvrir une fenêtre sur un nouveau monde, permet aux réalisateurs de prendre le contrôle du monde entier autour du spectateur.

Que pouvez-vous faire avec une caméra VR?

Il ne faut pas beaucoup d'imagination pour s'enthousiasmer pour l'idée des caméras de réalité virtuelle. Les cinéastes pourraient littéralement mettre le public en face de leurs personnages et le plonger dans des mondes spectaculaires et bizarres. Les photographes peuvent capturer des scènes entières, figées dans le temps, pour que tout le monde puisse en prendre connaissance..

Les documentaristes pourraient amener le public dans des lieux qu’ils ne pourraient jamais visiter autrement. Ils pourraient envoyer une caméra de réalité virtuelle au fond de l'océan et laisser les spectateurs se tenir au milieu de la salle de bal submergée du Titanic. Les documentaires sur la nature peuvent manipuler le temps et l’espace, plaçant les utilisateurs parmi des fourmis de la taille d’un chien ou construisant des séquences immersives. La NASA pourrait monter une caméra de réalité virtuelle sur un rover martien et permettre à des millions de personnes de se tenir debout sur la planète rouge.

Il existe également, bien sûr, des applications plus mondaines:

Les vidéos stéréoscopiques panoramiques sur les chats seront l’une des clés du succès de la réalité virtuelle des consommateurs..

- John Carmack (@ID_AA_Carmack) 6 novembre 2014

La vidéo en direct peut également être très convaincante. Les jeux sportifs pourraient être visités à distance, les caméras de surveillance virtuelle donneraient à tout le monde une place au tribunal. Même le tourisme pourrait être virtuel.

Les utilisateurs pouvaient louer un simple robot de téléprésence (peut-être un Segway avec une caméra VR installée sur le guidon) et le piloter partout dans le monde. Le Segway diffuserait sa vidéo en direct, permettant ainsi aux touristes de “téléporter” eux-mêmes à travers la planète pour explorer n'importe où. Il semble prudent de dire que la réalité virtuelle va changer le monde. Pourquoi la technologie de réalité virtuelle va-t-elle exploser en cinq ans? Pourquoi la technologie de réalité virtuelle va-t-elle exploser en cinq ans? , et beaucoup plus. Ces technologies étonnantes seront disponibles dans 5 ans ou moins. Lire la suite .

Le cinéma en réalité virtuelle présente toutefois de nombreux défis. Comment les réalisateurs peuvent-ils déplacer la caméra tout en maintenant le spectateur à l'aise? Comment les réalisateurs coupent-ils le film sans désorienter le spectateur? Comment s'assurent-ils que le spectateur regarde dans la bonne direction pour capturer les événements importants de l'intrigue? Les gros plans ont-ils un sens??

Peut-être que les plus gros problèmes, cependant, sont les problèmes pratiques: comment enregistrer du contenu pour la réalité virtuelle? Le rendu de contenu VR en direct pour les jeux est une opération informatique intensive, mais conceptuellement simple. Enregistrer la vraie vie, en revanche, pose de sérieux défis.

Caméra panoramique

La solution la plus simple (et la seule actuellement largement utilisée) est la capture vidéo panoramique simple. Dans ce schéma, une boule de caméras conventionnelles est utilisée pour enregistrer de la vidéo dans toutes les directions, et les résultats sont assemblés avec un logiciel pour créer une sphère transparente de vidéo. 5 Conseils pour prendre des photos panoramiques avec votre smartphone 5 Conseils pour prendre des photos panoramiques avec votre smartphone Les images panoramiques de paysages magnifiques ont presque toujours un aspect merveilleux, mais elles peuvent être extrêmement difficiles à créer. À l'aide d'un smartphone, vous pouvez utiliser différentes techniques et astuces pour obtenir les meilleurs résultats. En savoir plus e avec votre téléphone, mais enregistré simultanément au format vidéo. La sortie du processus ressemble à ceci:

C'est simple et pas cher. Vous pouvez pré-commander une caméra panoramique pour environ 700 $, mais elle a des limites. Le plus important est le manque de profondeur: les panoramas sont restitués sur une sphère infiniment grande, de sorte que la parallaxe entre vos yeux est nulle, même pour les parties de l'image qui devraient vraiment avoir de la profondeur, comme une personne debout à côté de vous..

Malgré cette lacune, l'expérience de la vidéo panoramique reste étonnamment cool, en particulier pour les contenus distants (la photographie aérienne en est un bon exemple). Il y a environ une semaine, j'ai créé une application Oculus Rift qui restitue un cockpit virtuel dans la vidéo ci-dessus, et les résultats sont convaincants: on se croirait dans un sous-marin entouré de tortues marines de la taille de petits bâtiments..

Pensez à ce type de contenu VR comme à un cinéma personnel super-IMAX dans lequel vous êtes suspendu au milieu d'un vaste écran sphérique. Le sentiment d'appartenance fourni par la vidéo sphérique est déjà impossible avec les outils de cinéma traditionnels. Même avec ses limites, c'est probablement ce à quoi la vidéo VR ressemblera dans un avenir immédiat. Le documentaire de Richard Attenborough (“La conquête du ciel“) est tourné dans ce format.

Caméra panoramique stéréo

Supposons qu'un réalisateur ne soit pas satisfait de la limitation des panoramas monoscopiques. Une extension évidente de la technologie consiste à intégrer la technologie 3D côte à côte. Amusement d'antan: comment créer des images 3D pour une visualisation sans lunettes Amusement d'antan: comment créer des images 3D pour une visualisation sans lunettes Croyez-le ou Non, vous n’avez pas besoin de lunettes 3D pour obtenir des images 3D (ou des films) réalistes et réalistes. Vous avez juste besoin de vous faire aller “crosseyed”. Essentiellement, vous regardez deux images et intentionnellement… Lire la suite. Pour ce faire, le matériel nécessite deux caméras parallèles orientées dans chaque direction et décalées d'environ 6,3 cm. Ensuite, l’appareil photo utilise un logiciel pour assembler deux images panoramiques: une pour l’œil gauche et une pour l’œil droit. La différence entre eux crée l'illusion de profondeur. Les produits prenant en charge cette expérience sont disponibles, mais ils sont chers (995 $, plus le coût de dix caméras GoPro).

Afin de rendre ce type de contenu plus courant, Samsung a récemment annoncé “Projet au-delà”, une caméra panoramique stéréo VR pour le casque mobile Oculus-Samsung Gear VR. Le prototype actuel a la forme d’une petite rondelle et utilise 17 caméras HD. Il génère un gigapixel par seconde de données..

À 30 ips, cela correspond à des cadres panoramiques d'environ 15 mégapixels par œil, soit environ 50 000 pixels par œil par degré de vision. L'information sur les prix reste un mystère, et Samsung souligne qu'il ne s'agit pas d'un projet fini. Vous pouvez voir leur aperçu vidéo ci-dessous.

Les panoramas stéréo sont clairement une meilleure expérience que leurs frères monoscopiques: les grandes choses semblent grandes, les petites choses semblent petites, les objets ont une profondeur et une position, et on se croirait beaucoup plus là. Cela dit, l'expérience est encore loin d'être parfaite. Comme John Carmack le décrit dans son discours d’Oculus Connect, les panoramas stéréo posent de nombreux problèmes..

“… Les panoramas stéréoscopiques, qu'ils soient fixes ou vidéo, sont absolument un hack. Nous savons ce qu'est le droit et ce n'est pas correct. En fin de compte, vous obtenez des tranches provenant de plusieurs caméras. Par conséquent, vous avez droit à la stéréo appropriée pour une parabole, puis à celle qui convient ici. Mais cela signifie que si vous regardez ce qui était bon pour les yeux ici mais que vous regardez du coin de l'œil ici, ce n'est certainement pas correct. Ce n'est pas la bonne disparité pour les yeux.

Et puis pire encore si vous tournez la tête comme ça [roule la tête], ça devient vraiment mauvais, car il est conçu pour les yeux droit devant. C'était donc une chose intéressante. Nous avons les éléments où nous savons fondamentalement que, d'une certaine manière, cela peut être empoisonné, cela peut être une très mauvaise expérience si des gens avec qui vous passez beaucoup de temps perdent leur temps. […]

Ce sont des problèmes techniques qui pourraient peut-être être résolus par un meilleur matériel. Cependant, il y a un problème plus profond: que se passe-t-il lorsque vous bougez la tête? Les panoramas des deux yeux sont toujours restitués à l'infini: bouger physiquement la tête provoquera la sensation nauséabonde que le monde bouge avec vous, en particulier s'il y a des objets proches de vous. Il n'y a pas de moyen simple de déterminer à quoi pourrait ressembler une image stéréoscopique d'un autre point de vue..

Malgré ces limitations, les expériences stéréoscopiques panoramiques restent convaincantes. La plate-forme Gear VR se concentrera sur ce type d’expérience, puisqu’elles peuvent être créées avec du matériel moderne et affichées sans surcharger les capacités de rendu du matériel. Les panoramas stéréo seront probablement la norme d'or pour la production de contenu en réalité virtuelle, du moins pour les prochaines années.

Caméras de profondeur

Une alternative à la capture de deux images côte à côte (comme avec les films 3D traditionnels) consiste à capturer ce que l'on appelle des images de profondeur: une seule image capturée à partir d'une seule perspective, qui contient un canal de couleur supplémentaire qui stocke la distance de l'objectif du pixel en question.

Si vous avez cela, le logiciel peut simuler des caméras virtuelles visualisant l'image à partir de nouvelles perspectives, en s'assurant de toujours avoir une nouvelle image correcte de chaque œil. Il est possible de générer des images de profondeur panoramique permettant un mouvement et une rotation naturels de la tête, ce qui n’est pas possible avec les panoramas stéréo. Il existe quelques technologies que vous pouvez utiliser pour capturer ces images de profondeur..

Temps de vol

La version de cette technologie que vous connaissez probablement le mieux est celle utilisée dans le Kinect. Le Kinect V2 (la version fournie avec la Xbox One) repose sur ce qu’on appelle une caméra à temps de vol..

La théorie est simple: les caméras à temps de vol sont des caméras infrarouges capables d’enregistrer non seulement la lumière qui frappe le capteur, mais également quand la lumière frappe le capteur avec une précision de quelques microsecondes. Ceci est couplé avec une caméra vidéo couleur et une lumière stroboscopique infrarouge. Au début de chaque image, le flash IR clignote, éclairant la scène très brièvement. En chronométrant le temps nécessaire à chaque pixel pour observer le flash, l'appareil photo peut déduire de la vitesse de la lumière à quelle distance se trouve chaque pixel de la caméra..

Cette technologie est extrêmement puissante. Les pirates ont fait des choses incroyables 5 Microsoft Xbox Kinect Hacks qui feront exploser votre esprit 5 Microsoft Xbox Kinect Hacks qui feront exploser votre esprit En savoir plus. En utilisant plusieurs Kinect dans une configuration qui se chevauchent, il peut être possible de créer un panorama d’une scène, avec une valeur de profondeur précise pour chaque pixel, qui pourrait être restitué en réalité virtuelle pour créer une expérience immersive avec une profondeur correcte..

Pour avoir une idée du genre de résultats que cette approche produit, regardez cette vidéo montrant la sortie de la caméra de profondeur du Kinect V2..

C'est une image de profondeur de grande qualité: beaucoup de détails, des contours nets et pas trop de bruit. Il y a cependant quelques limitations: la plus grande mise en garde est que Kinect dans cet exemple enregistre une scène d'intérieur avec des conditions d'éclairage soigneusement contrôlées..

Dans des scénarios réels (et particulièrement à l'extérieur), les interférences IR ambiantes provenant de la lumière directe et indirecte du soleil et de sources de lumière incandescente peuvent dégrader la précision. Il existe également un problème plus fondamental, à savoir que l'heure du vol des caméras dépend de l'éclairage actif. Cela fixe des limites strictes à la mesure dans laquelle ils peuvent voir. De plus, ils ne supportent pas bien les surfaces transparentes et réfléchissantes. Et, comme la résolution de la profondeur est limitée par la précision du minutage, les caméras à temps de vol ne sont pas très utiles pour enregistrer de petits objets, ce qui rend impossible la lecture à l’échelle..

Champ de lumière

Une technologie différente permettant de capturer des images en profondeur est connue sous le nom de photographie à «champ lumineux». Caméra à champ lumineux Lytro: Snap Happy Or Photo Gimmick? Caméra Lytro Light Field: Snap Happy Ou Gimmick Photo? Décrite par un employé comme "le premier changement majeur dans la photographie depuis l'invention de la photographie", la caméra à champ de lumière Lytro est certainement un appareil révolutionnaire. La caméra bouleverse les choses en remplaçant une grande partie du lourd… Lire la suite .

Voici comment cela fonctionne: en photographie classique, l'objectif de l'appareil photo focalise la lumière entrante sur un capteur. Chaque élément du capteur enregistre la quantité de lumière qui le frappe. Les caméras à champ lumineux utilisent un capteur spécial, dans lequel chaque “pixel” est en fait un objectif minuscule avec de nombreux capteurs en dessous. Cela permet à la caméra de mesurer non seulement la quantité de lumière frappant chaque pixel, mais également l'angle d'inclinaison de la lumière..

Ceci est utile pour plusieurs raisons. L’application la plus simple est que, en modifiant la manière dont ce grand «champ lumineux» est échantillonné, les utilisateurs finaux peuvent refocaliser une photo après la prise de vue. L'application intéressante pour la réalité virtuelle est que les caméras de lumière sont également des caméras de profondeur! L'angle de la lumière entrante provenant d'un objet est fonction de la distance qui le sépare de l'objectif par rapport à la taille de l'ouverture. Les objets éloignés produisent une lumière presque perpendiculaire à la lentille. Les objets très proches produisent une lumière presque parallèle. À partir de là, il est possible de déterminer (très précisément) la carte de profondeur d’une image..

Vous pouvez voir ci-dessous quelques résultats d'une caméra vidéo à champ lumineux précoce et à quoi ressemble l'image reproduite sous un angle différent.

Comme il s’agit d’un processus passif, la limite de portée et la précision spatiale sont définies par la résolution et la taille de l’ouverture, et rien d’autre. Cela signifie qu'en utilisant des objectifs grossissants, il est possible de prendre des images de profondeur de champ lumineux de pratiquement n'importe quel objet à n'importe quelle échelle et quelles que soient les conditions. Pour obtenir un exemple de ce qui est possible avec des champs lumineux plus grands et plus précis, regardez cette vidéo, qui utilise plusieurs images d'une caméra de champ lumineux portable pour simuler un champ lumineux beaucoup plus grand. Il génère une géométrie 3D assez convaincante.

Les caméras à champ lumineux sont une technologie beaucoup moins mature que les caméras à horloge (il n'y a actuellement qu'une seule caméra à champ lumineuse sur le marché grand public, et elle ne prend pas en charge la capture vidéo). Cela dit, avec un temps de développement plus long, les caméras à champ lumineux devraient offrir une expérience vidéo en profondeur beaucoup plus robuste à long terme..

Faire face à la disocclusion

Il convient de mentionner un problème majeur avec les vidéos de profondeur: le mouvement de la tête. Oui, il est possible de reprojeter des vidéos de profondeur sur de nouvelles perspectives, et tous les pixels se retrouvent là où ils devraient être. La vidéo en profondeur ne vous rendra pas malade. Malheureusement, ils introduisent un nouveau problème: la désocclusion.

Lorsque vous bougez la tête de manière à regarder une partie du monde non visible dans l'image ou le panorama d'origine, vous obtenez un artefact visuel désagréable: une ombre. Pour avoir une idée de ce dont je parle, regardez cette vidéo:

Dans cette vidéo, un programmeur a piraté le Kinect pour restituer une vidéo en profondeur de ce qu'il voit dans l'espace. En déplaçant la caméra virtuelle, il reprojecte la scène sous plusieurs angles..

C'est un Kinect de première génération, donc le flux vidéo est un peu glitch, mais les résultats sont assez impressionnants. Le plus gros inconvénient, qui devient évident quand il commence à tourner la caméra, ce sont les ombres dans la scène. La partie du mur située derrière son corps est percée d'un énorme trou en forme de personne: la partie que la caméra ne peut pas voir et pour laquelle il n'y a pas de données. Ces ombres noires vont apparaître dans les panoramas de profondeur dès que votre tête commence à bouger. Alors, comment les caméras VR traitent-elles ces trous? Eh bien, il existe quelques approches à ce problème:

Plus de caméras

La solution la plus simple consiste à simplement enregistrer les éléments autour des coins et derrière les surfaces occlusives. Pour ce faire, vous ajoutez plus de caméras - beaucoup plus. Pour permettre aux gens de bouger la tête d’un mètre dans n’importe quelle direction, la caméra doit être agrandie pour créer une sphère de 2 mètres de large parsemée de caméras de profondeur FOV, afin que le logiciel puisse synthétiser n’importe quel point de vue à l’intérieur. la sphère.

C'est l'approche la plus robuste, mais aussi la moins pratique. Une caméra de deux mètres n’est pas un bon steadicam portable, c’est une installation coûteuse. Cela pourrait être pratique pour certaines productions hollywoodiennes haut de gamme, mais certainement pas pour la plupart des applications du monde réel. Vous pouvez voir un prototype de cette idée ci-dessous, implémenté sous la forme d'une application de téléconférence 3D en direct:

Reconstruction de Scène

Une autre approche, si le créateur de la vidéo enregistre principalement quelques objets dynamiques dans un contexte statique, consiste à utiliser une caméra de profondeur pour cartographier l'environnement avant de commencer à filmer et à utiliser ces données pour combler les trous dans les images enregistrées. Cela peut être fait automatiquement en utilisant une technique appelée SLAM (Localisation et cartographie simultanées), qui fusionne automatiquement de nombreuses images de profondeur pour créer une carte 3D complète d'une scène. Les résultats ressemblent à ceci:

Cela fonctionne plutôt bien, mais ne convient pas à toutes les situations. Il n’est pas difficile d’imaginer que l’on essaie de filmer une scène dans un lieu public animé, où l’arrière-plan est constitué de personnes qui se déplacent et s’obstruent les unes les autres. Capturer une seule version statique de cette scène pour combler les trous est tout simplement impossible. En outre, à des fins documentaires, vidéo en direct ou d'actualités, il n'est pas pratique de cartographier de manière exhaustive l'environnement au préalable..

Juste inventer des choses

La dernière solution au problème consiste à recourir à la réponse habituelle dans les cas où vous ne disposez pas de suffisamment de données: des mensonges simples..

L'idée ici est que, dans la vraie vie, le spectateur ne va pas se lever et essayer de se promener dans la scène. Ils vont s'asseoir et ce que le logiciel doit vraiment corriger, ce sont de petites variations de pose, causées par l'inclinaison et le basculement du téléspectateur - les désocclusions ne seront tout simplement pas si grandes. Cela signifie que les données utilisées pour combler les trous ne doivent pas en réalité être exactes, elles doivent simplement paraître plausibles. Ceux d'entre vous qui ont joué avec le remplissage d'image sensible au contenu de Photoshop (ou ses concurrents Snapheal pour Mac: le guérisseur d'image de super-héros [Giveaway] Snapheal pour Mac: le guérisseur d'image de super-héros [le cadeau] SnapHeal pour Mac (14,99 $) est là pour sauver votre Des photographies, et tout se passe bien. Cette semaine, nous vous donnerons 25 exemplaires de Snapheal pour Mac, d'une valeur totale de 375 $.… Savoir plus où ça se passe.

En fin de compte, les chercheurs ont mis au point de très bons algorithmes pour combler les trous dans les flux vidéo en direct en temps réel. Vous pouvez consulter quelques exemples ci-dessous:

Imaginez décomposer une image de profondeur en couches, en les soustrayant une à une pour voir où des ombres pourraient éventuellement se produire, puis en utilisant ces types d'algorithmes in-painting pour générer des images plausibles afin de combler les trous..

Ceci est un peu plus difficile que la simple 2D dans la peinture, car l’algorithme doit également définir des valeurs de profondeur raisonnables pour les trous, mais de nombreuses techniques identiques peuvent être utilisées. Ces approches ne fonctionneront pas parfaitement dans toutes les situations, mais tant que ces artefacts sont moins intrusifs que les grands trous noirs du monde, cela compte quand même comme une victoire..

Combien de temps jusqu'à ce qu'ils soient faits?

Avec les caméras VR, encore plus que d’autres choses, parfait est l’ennemi du bien.

Même avec la meilleure technologie que l’argent puisse acheter et des métrages soigneusement planifiés pour minimiser les erreurs d’occlusion, les résultats resteraient imparfaits. Les points forts spéculaires, par exemple, sont des points de luminosité apparaissant sur des surfaces brillantes, dont la position varie en fonction de la position de votre tête, car ils reposent sur le fait que la lumière est réfléchie selon un angle très spécifique..

Les reflets spéculaires enregistrés dans la meilleure vidéo VR apparaîtront sous la forme de taches blanches incrustées à la surface et ne regarderont pas directement les objets proches lors du mouvement de la tête. C'est une limitation difficile à contourner. En outre, il est difficile de corriger les erreurs d'occlusion dans les scènes compliquées comportant de nombreux objets en mouvement. Il est impossible de le faire parfaitement et le sera pendant longtemps..

Il faudra des années et peut-être même des décennies avant que les caméras de réalité virtuelle puissent offrir une expérience parfaite de la même manière qu'un film 2D traditionnel. Voilà le sacrifice que vous faites pour expérimenter un média fondamentalement plus puissant..

Cela dit, il se passe des choses très intéressantes dans un avenir proche. Chaque option mentionnée dans cet article peut créer des expériences réellement précieuses. L'annonce de Samsung de “Projet au-delà” est un signe prometteur de choses à venir.

Le lancement de l'Oculus Rift est prévu pour 2015, et les chiffres de vente exprimés en millions d'unités ne semblent pas exagérés. Si la réalité virtuelle décolle comme il semblerait qu’elle le ferait, une énorme quantité de progrès technologiques va se produire, rapidement..

La demande de contenu incitera les caméras de réalité virtuelle à être de meilleure qualité, plus petites et moins chères pour répondre à la demande. Il ne faudra probablement pas beaucoup de temps avant qu'un appareil qui coûte moins cher qu'un nouveau téléphone et tient dans la paume de votre main ne fournisse un enregistrement VR convaincant et confortable - et ce sera très, très cool.

Que feriez-vous avec votre propre caméra VR? Pour quel type de contenu êtes-vous le plus excité? Faites le nous savoir dans les commentaires!

Crédits image: concept de lunettes via Shutterstock

En savoir plus sur: Réalité virtuelle, Monde virtuel.