Marcher sur Mars avec Microsoft Hololens

La semaine dernière, il me semblait que je marchais sur Mars. J'utilisais le nouvel HoloLens (illustré) de Microsoft, annoncé dans le cadre de l'introduction de Windows 10, et la démo sur Mars était l'un des rares moyens par lesquels la société avait autorisé la presse à essayer d'utiliser une version test du casque et des extensions holographiques. le système d'exploitation.

J'ai utilisé un certain nombre de casques de réalité virtuelle et de réalité augmentée au cours des dernières années et passé beaucoup de temps avec Google Glass. À certains égards, HoloLens apparaît comme une extension de ce que certains de ces produits tentent de faire. dans d'autres, c'est très différent.

"Bienvenue dans Windows Holographic", a déclaré le responsable du projet Alex Kipman (ci-dessus) lors du dévoilement du produit. Le concept mènera à des manières de jouer plus immersives, à de nouvelles façons d'apprendre, de collaborer et de créer, a-t-il déclaré.

Microsoft s'est donné beaucoup de mal pour ne pas appeler le projet réalité virtuelle ou réalité augmentée, mais a constamment utilisé le concept d'hologrammes. C'est un peu différent des hologrammes que vous pouvez voir dans les films - en fiction, vous n'avez généralement pas besoin d'un casque spécial - mais les images qu'il affiche sont en trois dimensions, donc je suppose que le nom a un sens.

Kipman a parlé des nombreuses utilisations possibles des hologrammes dans le monde réel, par exemple un ingénieur voyant les instructions superposées au-dessus d'un objet qu'il tentait de construire ou de réparer, un architecte passant en revue un dessin, un chirurgien apprenant une procédure ou simplement transformer le salon en un environnement de jeu surréaliste.

En fait, Microsoft a annoncé deux produits: l’une est une série d’API axées sur la compréhension humaine et holographique, appelée Windows Holographic, qui fera partie de Windows 10, et la seconde est un composant matériel appelé HoloLens. Microsoft souhaite clairement que les développeurs et potentiellement d’autres fabricants de matériel créent les applications et les périphériques qui en feront un véritable marché, et sont spécialement invités à contacter les développeurs travaillant sur Oculus Rift, Magic Leap et Google Glass sur Facebook pour "créer des hologrammes avec nous". Bien sûr, l’un des problèmes est qu’il existe de nombreuses plates-formes et le but de cette annonce est d’essayer de lancer le processus visant à rassembler une masse critique de développeurs derrière Windows Holographic. Au moins pour VR, Oculus semble avoir le plus de buzz en ce moment.

HoloLens est un ensemble de lentilles holographiques transparentes avec son et capteurs. Il contient les composants normaux du processeur et du processeur graphique, ainsi que ce que la société a décrit comme une troisième unité de traitement holographique (HPU) qui comprend les gestes et cartographie spatialement le monde qui nous entoure. Le dispositif fonctionne sans fil tout en traitant des téraoctets d'informations, a déclaré Kipman, mais la société n'a pas encore donné de détails matériels.

La compagnie a fait un certain nombre de démos intéressantes sur scène, mais j'étais plus intéressée à l'essayer moi-même, et Microsoft a mis en place quatre "expériences" de démonstration pour la presse dans le laboratoire où HoloLens a été créé, situé dans le sous-sol de la compagnie. centre de visiteurs.

L’un d’eux était vraiment une démonstration par Microsoft de HoloStudio, un environnement permettant de créer des hologrammes et éventuellement de les imprimer en 3D (généralement via un service 3D, car les hologrammes impliquent généralement plusieurs couleurs et sont plus élaborés que la plupart des imprimantes 3D personnelles. peut gérer). La démonstration sur scène impliquait la création d'un quad-copter personnalisé. Plus tard, une démo de groupe plus petite nous a montré comment créer une clé USB personnalisée à l'image d'un "koala de l'espace".

L’environnement ressemblait à un studio de design intéressant, dans lequel vous pouvez vous lancer assez facilement, mais qui dispose d’une profondeur considérable. Cela me prendrait probablement un peu de temps avant de l'utiliser, mais je suppose que les utilisateurs de produits tels que le logiciel 3D Studio Max d'Autodesk ou un logiciel similaire le trouveraient assez simple.

Pour les trois autres démonstrations, nous avons mis sur des versions prototypes du casque HoloLens. Plutôt que les unités rouges relativement compactes montrées sur scène, elles ressemblaient vraiment à des prototypes techniques: le matériel utilisé pour le micro-casque se trouvait dans une boîte séparée que vous portiez et les deux étaient reliés à un ordinateur. (Le matériel final semble être considérablement plus volumineux que Google Glass, mais un peu plus petit que le casque Oculus Rift et fonctionne sans fil. Ce n'est pas aussi élégant que vous le souhaitez, mais il ressemble à un produit grand public.) Le casque semble avoir un certain nombre de caméras et de capteurs à l'avant et sur les côtés. Vous le placez sur la tête (au-dessus de vos lunettes si vous les portez), le serrez bien en place, puis l'appareil semble projeter une image devant les lentilles de l'appareil tout en vous permettant de voir le monde extérieur..

Le premier de ceux-ci était HoloBuilder, un programme qui vous permet de créer, déplacer et détruire ce qui semble être des objets dans la pièce autour de vous. Cela ressemblait beaucoup à Minecraft dans la façon dont vous manipulez de petits objets, mais avec quelques différences essentielles. Vous pouvez placer des objets virtuels sur une table du monde physique ou les accrocher au mur. Cela donne vraiment l'impression que les images holographiques sont en réalité de véritables objets assis devant vous. Dans certaines parties de la démo, il semblait que vous pouviez voir des choses au-dessus d'objets du monde réel; dans d'autres cas, il semblait que vous coupiez à travers la table et voyiez des choses en dessous. Cela semblait assez cool. Je peux facilement imaginer une future version attrayante pour les fans de Minecraft.

Une autre démo a montré comment l’utiliser avec une version de Skype pour HoloLens. Dans cette démonstration, la tâche consistait à installer un interrupteur, tout en discutant du processus avec quelqu'un à l'autre bout de la conversation qui utilisait la version normale de Skype sur un ordinateur portable. À l'intérieur des HoloLens, je pouvais voir la personne qui parlait dans une fenêtre, qui pouvait flotter devant moi lorsque je regardais autour de moi ou que j'étais coincé à un endroit spécifique. À son tour, il pouvait voir ce que je voyais à travers les HoloLens. Il a donc vu les outils, l'interrupteur et l'ouverture de l'interrupteur. La visière a des microphones et des haut-parleurs, la conversation semblait donc assez standard. La personne de l’autre côté de la conversation a pu tracer des pointeurs sur l’outil qu’elle voulait utiliser et des diagrammes me montrant comment orienter le commutateur et quels fils sont allés où. Quand j'ai eu fini, ils ont rallumé le courant et l'interrupteur a fonctionné.

Maintenant, je ne suis pas sûr que nous ayons besoin de cela pour des opérations aussi simples, mais vous pouvez facilement imaginer qu'il soit utilisé dans diverses applications industrielles, du montage à la réparation, pour lesquelles vous souhaitez des instructions mains libres. L'idée n'est pas nouvelle: j'ai vu des idées similaires dans plusieurs "lunettes intelligentes" conçues pour les utilisateurs industriels, telles que les lunettes Moverio d'Epson et les lunettes M-100 de Vuzix. Mais la réalité augmentée dans les applications industrielles a beaucoup de sens, et la possibilité d’obtenir des dessins apparaît directement par-dessus ce que vous voyez semble être un bon pas en avant.

Mais la démonstration la plus intéressante était celle de la surface de Mars, en utilisant une application développée avec le laboratoire de propulsion par réaction (JPL) de la NASA à partir de données et d’images recueillies par le mobile Curiosity à la surface de la planète. L'objectif est d'utiliser HoloLens pour aider les scientifiques à contrôler le rover et à mieux comprendre le paysage martien. (JPL avait précédemment exploré le monde dans une démo utilisant Oculus Rift, bien que je ne l'aie pas encore essayé.)

Dans un premier temps, après avoir mis les lunettes, j'ai pu faire l'expérience de marcher dans la région de Dingo Gap, sur Mars. Ce qui m'a impressionné, c'est que lorsque je me promenais dans la pièce, il me semblait vraiment que je marchais sur le la surface de la planète. C'est ici que l'aspect tridimensionnel des hologrammes a vraiment pris vie.

Dans le deuxième scénario, vous pouvez explorer la zone connue sous le nom de John Klein, où vous pourriez regarder autour et même sous les objets pour avoir une idée de la dimensionnalité de la zone. À un moment donné, vous pouviez regarder à travers la visière un écran affichant les images originales en noir et blanc, mais celles-ci semblaient très statiques. Voir ce qui semblait être le paysage réel en couleur et en 3D était une expérience complètement différente. C'était comme si le monde réel était entré dans le monde artificiel dans lequel je marchais.

La dernière partie de la démo sur Mars a consisté à explorer un point de repère connu sous le nom de "Kimberley", près du Mont. Sharp, où j'ai pu collaborer avec une personne de JPL, qui utilisait également la technologie HoloLens. Il est apparu à l'écran comme un avatar doré, ressemblant un peu à un extraterrestre de science-fiction des années 1950, et a pu me parler du paysage et de ce que nous voyions. J'ai pu placer des drapeaux sur une partie du paysage afin que le rover puisse utiliser sa MastCam, qui peut prendre des photos plus détaillées, et choisir des roches pour la ChemCam de la rover, qui envoie un laser pour brûler une section de roche afin de déterminer sa composition chimique. composition.

Ce n’était qu’une démo, mais vous pouvez facilement imaginer comment une équipe de scientifiques de la NASA pourrait utiliser cette technologie pour mieux comprendre la surface de la planète et contrôler le véhicule afin de l’utiliser au mieux. Et bien sûr, vous pouvez imaginer des expériences très immersives.

Dans l’ensemble, HoloLens a été l’une des démonstrations les plus impressionnantes que j’ai vues. D'autres casques de réalité augmentée ont été assez intéressants et je vois certainement leur potentiel dans les applications industrielles. J'ai aussi vu deux jeux très immersifs dans Oculus Rift. Mais l’effet holographique - l’idée que tout apparaît en 3D et que vous pouvez réellement vous déplacer dans le monde entier - intégré à HoloLens s’avérait comme quelque chose de tout nouveau. Nous devrons attendre d’essayer la visière finale et les applications réelles pour voir si ce concept est vraiment prêt pour un marché grand public, mais c’est certainement impressionnant.