Avance rapide: le starner parle de Google verre, aide les chiens à parler

J'étais à Austin, au Texas, le mois dernier pour SXSW Interactive, où j'ai eu la chance de rencontrer un certain nombre de dirigeants de l'industrie de la technologie pour ma série de vidéos Fast Forward, notamment Chris Becherer, vice-président des produits chez Pandora.

Dans cette édition de Fast Forward, nous discutons avec Thad Starner, professeur d’informatique à Georgia Tech. Thad était le responsable technique d'un projet qui a finalement amené le monde à utiliser Google Glass, qu'il portait lors de notre conversation. Mais il est dans le secteur des vêtements portables depuis beaucoup plus longtemps et son travail est axé sur la nature même de l'interface homme-machine. Ses travaux les plus récents portent sur la création d’ordinateurs portables à lire dans l’esprit pour chiens. Consultez notre chat dans la vidéo et la transcription ci-dessous.

Dan Costa: C'est un SXSW occupé. On parle beaucoup de réalité augmentée. On parle beaucoup de réalité virtuelle. Les wearables sont toujours un sujet d'actualité. Lorsque la plupart des gens pensent aux appareils portables, ils pensent à Google Glass ou à un Fitbit que vous portez au poignet pour suivre vos pas. Que pensez-vous des wearables?

Thad Starner: Eh bien, pour moi, il s’agit de n’importe quel ordinateur, de tout appareil porté par le corps qui vous aide à accomplir une autre tâche principale. C'est un ordinateur porté sur le corps qui est conçu pour être secondaire. Cela vous aide pour une autre tâche principale, comme répondre à des questions lors d'une entrevue.

Mes notes sont sur mon iPad mini. Je dois continuer à regarder en bas pour obtenir les dernières notes et pour que votre titre soit correct. Vous avez ce droit en soi.

Oui. Tout ce que j'ai à faire, c'est de lever les yeux au ciel, de saisir quelques mots et de revenir immédiatement à la conversation. Mes anciens systèmes, je ne sais pas si vous avez regardé certaines de mes anciennes images, mais mes systèmes plus anciens avaient l'affichage juste ici. En fait, il y en a eu un en 1997 où il était même dans l'objectif. Cela a été fait par une société appelée Micro Optical à l'époque. Cela vous permet en fait d’être assez facile avec un assistant intelligent qui peut vous aider d’une seconde à l’autre. Cela change vraiment votre confiance en vous et votre capacité à faire des choses à la volée que vous risquez normalement de trébucher.

Vous étiez l'un des membres de l'équipage d'origine. On dirait que vous étiez presque en compétition pour voir qui pourrait construire le système portable le plus cool, le plus sophistiqué et le plus fonctionnel.

J'ai commencé à fabriquer mon système en 1990, mais j'ai échoué encore et encore. Ce n'est qu'en 1993 que j'ai enfin eu un système que je pouvais porter au quotidien. À l'époque, je travaillais pour une entreprise appelée BBN. Ils ont aidé à créer les premiers routeurs pour Internet. Après avoir mis l'appareil en marche, je me suis rendu compte en un mois que ce n'était pas juste une bonne recherche. C'était un bon mode de vie.

C'est ce que ces appareils sont à propos. Cela crée un style de vie tueur pour vous. Bien sûr, à l'époque, j'avais une connexion de téléphone portable pour Internet qui était mesurée en pieds, pas en débit. En d’autres termes, combien de pieds puis-je marcher avant que l’appel du téléphone cellulaire analogique ne soit interrompu et que je devais recomposer la connexion?

Finalement, je suis retourné au MIT Media Lab et j'ai commencé à recruter de plus en plus d'étudiants intéressés. Nous avons eu un petit convoi de personnes qui ont fabriqué les appareils pour leurs besoins particuliers et nous avons compris comment vivre en tant que communauté de cyborgs. Cela a changé ce que nous pensions de la technologie. Je vais vous donner un exemple: supposons que vous veniez en tant que VIP pour visiter le laboratoire. Une personne discutera avec vous de vos intérêts. Pendant ce temps, il y aura des messages échangés entre les yeux des autres membres du groupe qui essaient de planifier votre journée. "Oh, il est très intéressé par les sens augmentés. Alors, tu le prends pour le déjeuner. Je dois aller au rendez-vous chez le médecin à trois heures, donc je l'aurai à deux heures." Vous avez donc ces personnes qui tapent sur leurs claviers en s'envoyant des messages pendant que la conversation tente de planifier une journée en fonction de vos intérêts. Cela arrive assez au stade de la télépathie.

Souvent, cela ressemble beaucoup à Slack, où nous avons une communication en temps réel et différents segments qui se dessinent. Mais au lieu de le rendre basé sur un terminal et de le connecter à un ordinateur, où vous devez être devant votre ordinateur portable ou votre téléphone, c'est où que vous soyez. Vous pouvez faire deux choses à la fois. Vous pouvez avoir cette conversation et planifier le déjeuner.

Eh bien non, vous ne voulez pas faire ça. Votre QI baisse de 40 points lorsque vous essayez de le faire. Ce que vous voulez faire est de faire en sorte que l’ordinateur prenne en charge la conversation. Par exemple, nous avons un système appelé agent du souvenir qui a un petit microphone à suppression de bruit, écoute mon côté de la conversation et tout ce que je dis est transcrit et mis dans une mémoire tampon de texte. Et puis, l'ordinateur recherche en permanence les e-mails précédents, les articles précédents, les conversations précédentes qui pourraient avoir un lien avec ce dont nous parlons. Il affiche de petits rappels dans mon affichage des détails que je pourrais vouloir inclure dans cette conversation. Donc, cela soutient la conversation, me fournit des informations.

Un de mes étudiants m'a parlé de la reconnaissance vocale - comment vous souhaitez utiliser la reconnaissance vocale avec les dispositifs portables. Et j'ai dit, eh bien, si vous voulez vraiment faire cela, vous devriez - et j'ai pris mes notes pendant que nous tenons la conversation - je lui dis que vous devriez vraiment regarder le discours de Steve Whittaker sur Filochat de 1995. Je crois Il avait de très bons détails sur la manière dont 93% de la journée des gens passent en communication opportuniste. Je lui ai fourni tous ces détails. Mon élève vient de me regarder comme "comment savez-vous tout cela?" Tout va bien ici. J'en savais assez pour chercher Steve Whittaker puis l'ordinateur m'a fourni tous les détails. Avoir ce genre de support en temps réel est vraiment génial.

Nous l'avons également fait auparavant lorsque je donnais un témoignage à l'Académie nationale des sciences de Washington sur l'alimentation humaine. Je leur ai montré ce que je faisais. J'avais mes étudiants, mes étudiants diplômés, de retour à Georgia Tech. J'étais donc à Washington, mes étudiants à Georgia Tech étaient à l'écoute et j'ai également montré à tout le monde que j'avais des informations en direct sur Georgia Tech. J'ai mis en place mes notes de présentation et les notes de mes étudiants qu'ils suggéraient en temps réel.

Alors, au moment de mon témoignage, ils ont dit: "Oh, tu devrais en parler", et ils m'ont jeté une URL, "ou vous devriez en parler" et jeter des trucs en fournissant d'autres informations. Le panel qui m'interviewait a commencé à poser des questions aux étudiants, pas à moi.

J'étais juste un homme de tête pour toutes ces connaissances de ce consortium de personnes au laboratoire qui pouvaient répondre rapidement aux questions parce qu'elles étaient des experts dans le domaine. Mais ils pourraient rechercher des informations beaucoup plus rapidement que moi. Ils m'ont simplement utilisé pour parler. Ces collectifs d’intellectuels, cette capacité de faire appel à des experts, de pouvoir vous aider à tout moment, sont très puissants. D'un autre côté, si vous essayez de dire "Lire courrier électronique" tout en ayant une conversation, vous parlez comme un idiot. Les humains ne peuvent pas effectuer plusieurs tâches très bien.

Ce n'est pas multi-tâches. C'est vraiment une augmentation.

Droite.

Il semble que la nature d'être intelligent, la nature de la connaissance, la nature de l'intelligence a changé. Vous aviez l'habitude de mémoriser toutes ces choses pour avoir une conversation avec elle sans faire référence à vos notes, et ce n'est plus le paradigme. Vous devez simplement savoir quelles questions poser et être connecté à un système capable de vous fournir ces réponses.

Vous devez intérioriser un certain nombre d'informations pour pouvoir les consulter rapidement et pouvoir vous concentrer sur ces domaines. Cependant, pour de nombreux autres éléments, vous souhaitez simplement disposer des connaissances mondiales à portée de main. quand vous en avez besoin Cette idée de récupération d’information juste à temps est très puissante. Je pense que c'est ce qui se produira d'ici cinq ou dix ans. Nous allons avoir ces assistants intelligents qui peuvent nous aider seconde par seconde.

C'est l'un des avantages des ordinateurs portables. Ce que je pense définir les ordinateurs portables, c'est que c'est quelque chose où l'ordinateur devient une partie de nous. Vous avez probablement déjà utilisé des jumelles, n'est-ce pas? C'est quelque chose que vous prenez. Vous regardez quelque chose au loin. Vous ajustez la mise au point. Ils sont un peu capricieux, non? Vous devez les tenir correctement et ajuster la mise au point chaque fois que vous passez d'un sujet à un autre. Vous les mettez, de haut en bas. Vous ne pensez pas que vos jumelles font partie de vous. Mais vous portez vos lunettes et vous les utilisez toute la journée. Vous voyez à travers eux. Tu ne penses pas à eux. Vous venez de les utiliser. Donc, ce que nous avons actuellement avec la plupart de ces appareils, la plupart de ces ordinateurs, nos smartphones, nos tablettes; ils ne font pas partie de nous. Ils sont autres.

Dès que les appareils sont proches du corps, la technologie disparaît soudainement. C'est le paradoxe des ordinateurs portables. En rapprochant la technologie du corps, elle est éliminée. Je pense que c'est ce que nous allons faire à l'avenir. Nous allons voir de plus en plus de moyens pour que la technologie nous aide, nous rende plus puissants, plus indépendants, plus confiants et plus informés, fraction de seconde en seconde. Je veux voir ces assistants intelligents partir de quelque chose à qui vous parlez; à quelque chose qui fait partie de vous. Quelque chose qui vous aide d'un moment à l'autre de manière très proactive.

Je pense que l'idée de faire l'expérience du monde grâce à la technologie, par opposition à la simple utilisation de la technologie, constitue une différence cruciale.

C'est l'expérience à laquelle je travaille. Cela tient en grande partie à la vitesse d'accès. Larry Page m'a dit: "Il s'agit de réduire le temps entre l'intention et l'action." J'étais abasourdi. J'ai essayé d'exprimer l'importance de la rapidité d'accès d'un appareil. Ici, il l'a fait en une phrase. Le temps entre l'intention et l'action est crucial.

L'une des démonstrations que je fais consiste à demander à tout le monde de remplir deux tâches. Je leur demande de lever la main après avoir terminé chaque tâche. Alors, je vais dire quelque chose comme: "D'accord, quelle heure est-il?" Je lève la main car mon temps est devant moi sur mon écran et mon public achève également la tâche très rapidement. Ensuite, ma deuxième tâche consiste à répondre à une question du type "Où est le mont Pinatubo?" Je peux lever la main car poser la question m'a tout de suite répondu à l'écran. C'est aux Philippines, et en fait, j'ai une petite carte indiquant où elle se trouve actuellement sur mon écran.

Il est si difficile pour mon public d’obtenir rapidement cette information qu’il ne se donne même pas la peine de le faire. Je parle de publics techniques comme Xerox Park, Georgia Tech ou Stanford. Je suis donc ici, dans un public rempli de nerds, en train de faire une expérience avec eux et la plupart d'entre eux ne se donnent même pas la peine d'essayer d'obtenir cette information car ils savent que cela va prendre trop de temps.

Et si nous pouvions passer de quelque chose qui prend trop de temps à quelque chose d'aussi simple que de regarder l'heure. Tout à coup, vous rendez les gens beaucoup plus puissants. Si vous pouvez réduire le temps d’intention à l’action dans un délai de deux secondes ou moins, les gens le feront soudainement sans y penser. Ça fait partie d'eux. Une fois que cela dépasse deux secondes, le utilisation va exponentiellement vers le bas et les gens pensent comme un "autre".

Avant de commencer à enregistrer, nous parlions de saints patrons. Et nous essayions de comprendre ce que saint Stanislas était le saint patron de. J'ai une tablette connectée à Internet dans la main. Je voulais l'information. Mais je ne me suis pas donné la peine d'ouvrir Google, de le saisir et de le rechercher parce que cela m'importait peu. Mais juste en ayant cette conversation, il est apparu sur votre écran.

Je veux dire que je l'ai ici. Je viens de demander. C'est plus explicite. J'ai simplement dit: "Saint Stanislas était le saint patron de?" - la réponse est la Pologne - et est ensuite apparu quelques secondes plus tard. C'est assez puissant. Cela réduit le genre de réticence à essayer de trouver des informations à ce sujet dans le monde. C'est bien pour moi en tant que professeur, car cela me donne l'air plus intelligent que moi.

C'est quelque chose qui s'est passé quand j'étais étudiant au MIT. Je suivais un cours de Justine Cassell, et c’était à propos de geste . Au cours d'une révision avant l'examen final, elle a demandé: "Quelle était l'importance de Deixis?" J'avais toutes mes notes de cours sur mon ordinateur et je pouvais y accéder très rapidement avec ce clavier. C'était avant que la reconnaissance vocale soit devenue très bonne. Ce que je ferais serait de construire mes phrases de manière à pouvoir trouver la réponse à temps pour terminer une phrase.

Alors j'ai levé la main pour répondre à la question. Elle m'a appelé. J'ai dit: "Au début du cours, nous avons dit que l'importance de la deixis était euh, euh, euh, euh, " parce que j'ai commis une erreur. J'ai laissé tomber mon clavier. Je suis passé dans le mauvais mode des E-Mac. J'ai dit: "Je vais devoir vous revenir. Je me suis trompé de mode."

Toute la classe a éclaté de rire. Ils avaient passé tout ce temps avec moi et n'avaient pas réalisé que je le faisais tous les jours. Un professeur qui suivait le cours avec moi se pencha et dit: "Maintenant, j'en veux un. Tu fais ça tout le temps, n'est-ce pas? Tu peux obtenir des informations si rapidement. On dirait que cela fait partie de toi." Oui, c'est exactement la raison pour laquelle je le fais.

C’était étonnant de constater que ces professeurs et étudiants avec qui je travaillais depuis des années n’étaient tout simplement pas conscients de l’aide apportée par cet appareil. La première fois que j'ai donné une conférence professionnelle, l'un des étudiants les plus âgés est venu me dire: "C'est le meilleur discours que j'ai jamais entendu, mais pourquoi portiez-vous votre ordinateur?"

Elle ne savait pas que si la plupart des gens avaient des fiches de 3 sur 5, je les ai ici. Avoir ce genre d'assistance fait de moi un meilleur orateur. À l'époque, c'était époustouflant de pouvoir utiliser votre machine de cette façon.

Alors, faisons un petit pivot. Nous avons beaucoup parlé de wearables humains. Vous travaillez avec des chiens maintenant. Explique le travail que tu fais.

Le projet s'appelle FIDO, Faciliter les interactions pour les chiens ayant un métier. Oui, c'est un acronyme, mais c'est un joli. L'idée est qu'il y a tous ces chiens de travail là-bas. Chiens d'alerte allergique ou d'alerte médicale, recherche et sauvetage, détection de bombe, inspection de la CST pour la contrebande ou l'agriculture. Ces chiens font beaucoup de travail, mais ils ont beaucoup de mal à communiquer ce qu'ils ressentent et ce qu'ils pensent à leurs maîtres.

Il y a quelques années, l'un de nos formateurs a organisé une démonstration. Elle est diabétique et l’une de ces personnes peut s’évanouir de manque de sucre dans le sang. Elle a un chien dressé pour réagir à cette situation d'alerte. Le chien va chercher la personne la plus proche, l'attrape et essaie de la lui amener car elle va s'évanouir bientôt.

Avant de s'évanouir, ça va chercher de l'aide?

Oui. Il peut réellement sentir que le changement dans la chimie du corps de odeur et obtenir de l'aide. Cela s'est passé à la porte de sécurité de l'aéroport d'Atlanta et le chien a fait ce pour quoi il avait été entraîné: monter sur un agent de sécurité de la TSA. L'agent de sécurité pensait que le chien était amical, mais notre entraîneur a déclaré: "Je vais m'évanouir dans une seconde. Je dois m'asseoir." Vous pouvez imaginer que ce serait beaucoup mieux si le chien pouvait parler.

Nous avons donc fabriqué un gilet où le chien se rend et communique les alertes en tirant le gilet. Lorsque le capteur est activé et dit: "Suivez-moi s'il vous plaît. Mon propriétaire a besoin de votre aide." Bien sûr, la première fois que vous testez cela, les gens pensent qu’ils sont pris pour des blagues ou ne le croient tout simplement pas. Est-ce que ce chien vient de me parler?

C'est un enregistrement audio d'une voix humaine qui dit réellement cette phrase?

Oui. Nous devons entraîner le chien à le faire deux fois parce que la première fois, les humains n'y croient pas.

Est-ce que la deuxième fois, le chien dit: "Non, vraiment! Je le pense vraiment cette fois?"

Non, il suffit de répéter la même chose et cela semble fonctionner. Nous sommes toujours en train de le tester. Nous devons faire des essais sur des gens sans méfiance chez Georgia Tech et voir ce qu’ils disent. Si cela vous arrive, vous savez que cela fait partie de nos tests. Un de nos chiens assistants en formation viendra faire cette démonstration.

Ce chien doit apprendre de nouveaux tours avant 14 heures cet après-midi?

En fait, nous pensions au départ que nous aurions du mal à amener le chien à SXSW et nous allons donc nous entraîner beaucoup pour pouvoir montrer ce que nous voulons.

L'idée que ces chiens ont toutes ces perceptions qu'ils peuvent nous exprimer est assez nouvelle. Notre gilet FIDO a été pressé, et la police de Georgia Tech nous a appelé pour savoir si les gilets pouvaient être utilisés pour les chiens renifleurs de bombes. Nous avons été surpris d’apprendre qu’ils ont des chiens renifleurs de bombes. Nous leur avons expliqué que les chiens sont habitués à balayer les sites sportifs avant que les gens ne rentrent. "Nous sommes comme" Oh. Parlez-nous de la bombe reniflant. "Nous sommes intéressés pour apprendre plus .

Il s'avère que les chiens sont entraînés à la poudre à canon et au C4, mais aussi aux bombes à peroxyde, qui ont une odeur très différente. Les bombes à peroxyde sont également très instables. Si vous en avez un, vous ne voulez pas que le chien ou son maître soit à proximité. La poudre à canon ou C4 sont très stables et ce n'est pas un problème. La police de Georgia Tech souhaitait que les chiens aient leur veste avec deux petits jouets à tirer. Si le chien sent poudre à canon , ils tirent le pistolet à poudre et il géolocaliser eux et il montre l'emplacement du chien sur l'affichage de l'agent où le chien est. Ensuite, ils savent qu’il ya une bombe ici, mais c’est une bombe stable et qu’ils peuvent simplement ordonner au chien de rester là et d’aboyer contre la bombe jusqu’à ce qu’ils puissent la trouver rapidement.

Si le chien tire de l'autre côté du gilet, c'est une bombe à base de peroxyde. Nous savons que c'est instable et ensuite vous rappelez le chien pour le mettre à l'écart et ensuite vous envoyez un type différent d'unité de déminage.

Même chose pour la recherche et le sauvetage… et ces chiens d'agriculture de la TSA pour ce qu'ils sentent dans les bagages des gens. Vous pouvez et même faire cela pour l'inspection des champs des agriculteurs. Il y a des choses comme la pourriture de la patate douce où vous ne pouvez pas dire de l'extérieur qu'il y a un problème. C'est une nouvelle chose en Caroline du Nord qui ravage leurs récoltes. Les chiens peuvent le sentir. Vous pouvez envoyer les chiens et les avoir afin qu'ils puissent fouiller les champs jusqu'à ce qu'ils le trouvent. S'ils le trouvent, ils alertent. Vous voyez où ils sont. Va là-bas. Vous pouvez voir où ils se trouvent, déterrer les racines, confirmer qu'il est en train de pourrir, puis vous débarrasser de cette partie du champ et recommencer.

Il s'avère qu'une fois que nous commençons à utiliser ces chiens pour faire ces choses, plus de gens sortent du bois, de nouvelles applications sont découvertes. Les chiens qui reniflent les truffes, par exemple.

C'est ce que je pensais.

C'est l'un de mes favoris. Nous avons un amateur qui veut jouer avec nous à ce sujet.

Puis-je emprunter le chien pour le week-end?

Exactement.

Ce que j’aime, c’est que vous donniez aux humains l’accès aux perceptions du chien, qui sont à bien des égards supérieures aux humains, et que vous utilisiez simplement la technologie pour leur permettre de communiquer ces perceptions.

Leur odorat est 100 fois meilleur que tout ce que nous faisons par voie électronique. Ils ont un très bon sens de l'audition. Leur vue n'est pas aussi bonne que la nôtre mais ils perçoivent différemment. Si nous leur permettons simplement de mieux communiquer, nous pourrions en apprendre beaucoup plus sur ce qu’ils sont capables de faire et sur la façon dont ils pourraient mieux faire leur travail. Bien sûr, les chiens pensent que c'est très amusant. Ceci est tout jouer pour eux.

Passons maintenant au retour haptique, à l'apprentissage haptique et à certains systèmes que vous avez créés là-bas. Est-il vrai que vous pouvez apprendre à quelqu'un à jouer du piano sans jouer réellement piano ?

C'est assez fou. Nous appelons cette chose l'apprentissage par rétroaction passive haptique passive. C'est l'un des super pouvoirs que les ordinateurs portables peuvent vous donner. L'idée que cela puisse vous apprendre une tâche mécanique complexe ou une tâche manuelle complexe sans votre attention. C'est un peu surprenant. Nous l'avons fait avec le piano plusieurs fois.

Supposons que vous vouliez apprendre "l'Ode à la joie" de Beethoven. C'est l'un des plus simples que nous utilisons pour nos démonstrations. Nous vous avons mis un gant, et le gant a de petits moteurs de vibration à chaque doigt. Vous mettez votre casque Bluetooth, et il lit simplement la chanson encore et encore pendant que vous et moi discutons ou lisez un courrier électronique, ou que vous conduisez, peu importe. Vous l'ignorez et la chanson est lue encore et encore. Chaque note jouée frappe le doigt appartenant à cette note. Après 20 minutes, vous avez la première strophe de "Ode to Joy".

Les 20 prochaines minutes, vous avez le deuxième. Après environ une heure et trente minutes d'écoute, nous devons le décomposer en morceaux appropriés, mais après environ une heure et demie, vous avez toute la chanson. Si vous posez vos doigts sur le piano, nous marquons l’emplacement de la première note parce que autrement vous ne le sauriez pas et votre main devient possédée et elle joue simplement la chanson. C'est l'une de ces choses que si vous vous concentrez trop sur cela, vous ne pouvez pas le faire mais si je vous distrais, vous le pouvez.

Vous jouez la chanson et, j'imagine, vous reproduisez les sons dans votre tête pour essayer de frapper les mêmes notes.

Nous avons fait cela avec Chad Myers sur CNN une fois. Il n'a pas de talent musical. Nous le lui avons mis sur la main alors qu'il suivait un ouragan dans le Golfe, puis nous l'avons emmené en direct sur CNN. Vous pouviez le voir avoir ce trac. Ce type est devant 20 millions de personnes chaque jour, et pourtant il a le trac du théâtre alors qu'il pose sa main sur le piano. Vous pouviez voir qu'il ne savait même pas quelle était la chanson. Il commence juste à l'écouter. Il ne sait pas ce que ça va être mais au fur et à mesure, il reconnaît la mélodie. Soudain, son rythme s'améliore et il le répète ensuite. Il va de mieux en mieux au fur et à mesure. Vous pouviez voir cette révélation "oh ma parole" sur son visage. Après l'avoir fait moi-même à quelques reprises, je dirai que c'est une chose très étrange.

Ce que nous essayons de faire maintenant est la figure à quel point nous pouvons aller avec elle. Nous avons commencé avec une seule note, des mélodies à une main. Ensuite, mon élève, Caitlyn, a compris comment faire des accords. Notre pièce standard est maintenant la Marche turque de Mozart. Pour les musiciens, vous savez que les deux mains sont très différentes et que leurs rythmes sont très différents. C'est un élément suffisamment complexe pour que son apprentissage soit non trivial. Nous prenons des novices complets, leur jetons les gants sur les mains et après quelques séances, ils jouent ce morceau complexe. Je ne dis pas qu'ils sont de bons musiciens, mais je sais qu'ils connaissent la séquence de notes. Nous nous sommes intéressés à ensuite dans quoi d'autre nous pourrions être en mesure d'enseigner.

Une des choses que nous avons commencé à regarder était la dactylographie. Depuis que nous avons compris comment faire des accords, nous avons essayé de faire du braille. Le braille implique ces six doigts, donc ce sont les points, ou ces huit doigts si vous faites la forme allongée. La plupart des gens ne se donnent pas la peine d'apprendre le braille à mesure qu'ils vieillissent, à mesure qu'ils perdent la vue. C'est aussi une vraie crise avec les étudiants. Environ 40% d'entre eux n'apprennent jamais le braille, du moins pas assez pour communiquer avec leur utilisation. Apprendre le braille pour un élève aveugle est l’un des principaux indicateurs des progrès futurs de l’éducation et de la réussite économique. Ces professeurs de braille qui enseignent le braille sont itinérants, émouvants. Ils vont simplement d’école à école parce qu’il n’ya pas assez de demande pour avoir un enseignant permanent dans une école donnée.

Nous avons commencé à envisager de fabriquer des gants pouvant apprendre le braille aux personnes de manière passive. La réponse était oui. En quatre heures, je peux vous donner un écouteur et ces gants. Pendant que vous faites et que vous pouvez faire ce que vous voulez, et cela vous répète: "Le renard brun rapide saute par-dessus le chien paresseux." Il fait chaque lettre à la fois et vous sentez la lettre sur vos doigts. Après environ quatre heures, je dis: "Quelle est la lettre G", et vous savez que c'est ça. Quelle est la lettre A, "vous savez que c'est cette. Non seulement vous pouvez le taper mais vous pouvez le sentir. Vous passez votre doigt sur le pépins et savoir taper la lettre. Vous allez, "Ok, maintenant, comment pourrais-je taper ça? Ok, c'est donc le G." À notre grande surprise, cela fonctionne.

Que pensez-vous qu'il se passe dans le cerveau pour permettre ce type de connexion? Parce que ce n'est pas conscient et que ce n'est pas seulement intellectuel? C'est quelque chose d'autre entre l'esprit et le corps.

Il y a beaucoup de choses que je ne sais vraiment pas. Toutefois, un de mes collègues pense que le sens du toucher est un sens humain évolutif beaucoup plus ancien, selon lequel les humains ont évolué. Presque tous les animaux ont le sens du toucher. Cela semble correspondre à l’idée que le toucher fait partie d’une partie de notre cerveau qui fonctionne très peu, à savoir un cerveau de type lézard très bas. Peut-être est-ce l'exposition qui nous conditionne vraiment à reconnaître ces modèles. Tandis que vous essayez d'apprendre quelque chose comme la langue quand vous dormez, cela ne fonctionne pas vraiment bien car l'audio est un phénomène cérébral beaucoup plus complexe. C'est pourquoi nous ne nous attendions pas à ce que l'expérience de saisie de texte fonctionne. La musique est une matière cérébrale très basse, alors que les systèmes de langage sont considérés comme des fonctions cérébrales supérieures.

Ce n'est pas associé à la langue.

Droite. Le fait d’apprendre à saisir du texte a été une surprise pour nous. Nous ne savons pas jusqu'où nous pouvons aller. Peut-on enseigner la langue des signes? Pouvons-nous enseigner la danse? Pouvons-nous aider les experts à devenir plus efficaces? L’une des choses que nous souhaitons faire est de trouver des lanceurs de baseball, d’enregistrer leurs mouvements de bras et de voir si nous pouvons leur en parler pendant leurs temps morts et d’améliorer leur cohérence.

Je ne sais pas si ce genre de choses va fonctionner. Une chose que nous avons essayée, cependant, était le code Morse. Le braille n'est qu'une séquence clé. Code Morse est le rythme.

Nous avons constaté que nous pouvons utiliser le transducteur à induction sur du verre. Taper du côté de votre tête. Maintenant, cela fonctionne normalement en faisant vibrer votre crâne et en envoyant le son directement à votre cochlée, en contournant votre tympan. C'est pourquoi je peux le porter, recevoir de petites alertes et ne rien bloquer des oreilles, mais si vous frappez avec 15 hertz, vous aurez l'impression d'être un robinet.

Nous avons commencé par un entraînement de type "Le renard brun rapide sur le chien paresseux", mais maintenant, nous tapons du côté de votre tête dans le code Morse et nous le croyons ou non encore dans 4 heures - cela semble être le temps magique pour l'alphabet La plupart de nos participants sont passés à 0 erreur… lorsque nous leur avons demandé de taper S. Nous pouvons leur montrer des tirets et des points sur du papier et ils peuvent écrire les lettres correspondantes. Nous pouvons à nouveau toucher leur tête et ils peuvent savoir quel message nous envoyons.

Donc, quatre heures et nous leur demandons de le faire pendant un jeu vidéo. Nous veillons donc à les distraire avec un jeu vidéo. Les jeux vidéo s'avèrent être la distraction la plus efficace.

Nous le savons depuis très longtemps.

C'est vrai. Nous essayons des examens d'entrée aux cycles supérieurs. Donnez-leur la compréhension en lecture, ou des problèmes de mathématiques. Il s'avère que le seul qui gêne les jeux vidéo.

C'est une chose intéressante. Plus tôt dans la journée, nous discutions avec Poppy Crum de l’audio et du mixage des sens. Il y a beaucoup de RA à ce spectacle; il y a beaucoup de réalité virtuelle. Certaines des choses les plus intéressantes se produisent non seulement dans un sens, mais dans un ensemble de sens. Donc, dans cette conversation, nous avons parlé de l’espace visuel, nous avons parlé de l’espace audio et également du physique. La sensation tactile. Lorsque vous mettez toutes ces choses ensemble, il semble vraiment que des choses vraiment intéressantes commencent à se produire.

C'est la chose entière. Ce n'est pas seulement la synthèse ou les sens. C'est aussi le fait que vous puissiez porter avec vous toute la journée. Une fois que vous avez cette sorte de proximité du corps, vous pouvez faire toutes sortes de choses avec le corps auxquelles nous n'avions pas pensé auparavant.

L’apprentissage par tapotage passif passif en est un autre exemple. La rééducation par tapotement tactile passif a également été évoquée. C'était aussi une surprise pour nous. Nous avons organisé une journée portes ouvertes pour présenter notre truc au piano et une de nos collègues du Shepherd Centre - qui fait beaucoup de travail sur les lésions de la moelle épinière - elle est venue et a dit: "Hey Thad, je veux cela pour mes patients." Je ne comprenais pas pourquoi elle voudrait que les personnes atteintes de tétraplégie pratiquent le piano. Elle a dit: "Non, vous ne comprenez pas, la tétraplégie signifie simplement que les quatre membres sont touchés. Mes patients souffrant de lésions partielles à la moelle épinière ont encore des sensations et une certaine dextérité. Je parie que si nous mettons vos gants et les entraînons au piano, qu’ils vont effectivement retrouver une sensation; améliorer leur sensation et leur dextérité."

Elle avait raison. Nous avons enseigné environ huit chansons différentes en huit semaines. Les participants recevaient les gants deux heures par jour, cinq jours par semaine, puis suivaient des cours de piano trois fois par semaine. À la fin des huit semaines, les participants qui avaient les gants ont fait beaucoup mieux. Ils avaient une amélioration significative de la sensation et de la dextérité des mains par rapport aux personnes qui venaient de prendre des leçons de piano normales.

Donc, cette idée que nous pouvons faire de la rééducation, que nous pouvons duper notre cerveau en lui consacrant de plus en plus de ressources pour expliquer ces signaux qui sortent de votre main est tout simplement étonnante. Je ne sais pas si vous avez déjà eu une jambe cassée ou un parent opéré de la hanche, mais la réadaptation prend beaucoup de temps. C'est très ennuyeux et difficile à rendre amusant. Il est difficile d'obtenir la conformité. Si je peux simplement mettre un gant et faire en sorte que la réadaptation ait lieu, et en passant, nous allons vous donner ce super pouvoir que vous allez apprendre à jouer du piano à la fin, c'est assez motivant pour un beaucoup de gens.

C'est ce que nous faisons actuellement. Nous le faisons maintenant. Nous essayons de voir si cela pourrait aider à récupérer la sensation de main après un AVC. Si cela fonctionne, il y a un million de personnes par an que nous pourrions aider. C'est très spéculatif. Nous n'avons aucune idée si ça va marcher ou pas, mais on verra.

D'accord. Passons aux questions que je pose à tous mes invités. Quelles tendances technologiques voyez-vous actuellement qui vous préoccupent le plus? Qu'est-ce qui vous empêche de dormir la nuit?

Très peu me tient éveillé la nuit. Je dors assez bien

Vous avez trois emplois.

J'ai trois emplois. Je n'ai pas le temps de dormir. Ce que vous voyez dans la presse inquiète beaucoup de gens. La réalité est bien plus ennuyeuse que ce que beaucoup de commentateurs vous amèneront à croire ou à penser que les films vont faire. Je suppose que ce qui me préoccupe le plus, c'est la chambre d'écho que les médias sociaux peuvent causer. Les gens peuvent croire à la pseudo-science. Les gens peuvent être amenés à croire des choses qui ne sont tout simplement pas vraies. Les gens commentent mon travail, et moi, c'est faux.

Je travaille beaucoup avec la communauté des sourds. Il s'avère que l'enseignement de la langue des signes à votre enfant l'aidera à acquérir les compétences linguistiques plus rapidement. Pendant très longtemps, les gens ont cru que, si vous enseigniez la langue des signes à vos enfants, cela retarderait l'apparition du langage normal. C'est précisément faux. Enseigner la langue des signes dès la naissance semble aider à améliorer les compétences linguistiques de chacun.

La plupart des enfants ne peuvent pas former les mots de manière cohérente avant l'âge de 12 mois. Ils peuvent commencer à former des signes, vous savez des choses comme du lait ou de la nourriture. Ils peuvent le faire à six mois. Faire en sorte que les enfants puissent s'exprimer, c'est ce qui leur donne court terme Mémoire. Vous apprenez la mémoire à court terme en apprenant à communiquer. Par conséquent, le fait de pouvoir signer les enfants six mois plus tôt qu'ils ne peuvent parler peut leur donner un avantage sur la mémoire et le langage en général. La recherche initiale avait 20 ans, mais ils en sont à peu près sûrs maintenant. Ainsi, ce n'est que récemment que même la communauté médicale a déclaré: "Oh, vous ne devriez pas enseigner uniquement aux enfants sourds, mais à tous les enfants la langue des signes." C'est une chose assez puissante.

Nous avons un jeu appelé Pop Sign qui permet aux parents d’enfants sourds d’apprendre la langue des signes, ou à n’importe quel parent d’apprendre la langue des signes, en jouant sur ce site de jeu captivant ou sur leur téléphone portable.

Donc, pour revenir à votre question initiale, je vois les autres situations dans lesquelles les personnes qui entrent dans les chambres résonnent, en particulier avec une connaissance rare. Il est facile de faire en sorte que les gens empruntent le mauvais chemin.

Du côté optimiste, en quoi êtes-vous le plus encouragé et le plus optimiste?

Eh bien, j'aime ce que fait Elon Musk pour essayer de nous convertir au solaire. Je suis le genre de personne à attendre que ces tuiles de toit soient disponibles pour que je puisse convertir ma maison.

Dans mon propre espace, l'informatique portable, l'assistant intelligent décolle. Voir la vie de ces personnes modifiée par la disponibilité de cet appareil ne signifie pas seulement qu'il améliore leur vie personnelle ou leur vie professionnelle, mais qu'il sauve littéralement des vies sur la table d'opération, uniquement à cause des informations que nous pouvons fournir au chirurgien à temps.

Donc, cette idée que nous allons avoir ces assistants intelligents qui peuvent nous aider, seconde après seconde. Enfin, nous arrivons au stade où ces choses deviennent utiles.

Quel gadget, service ou appareil que vous utilisez tous les jours a changé votre vie? Qu'est-ce que tu aimes le plus? Vous ne pouvez pas choisir Google Glass.

Puis-je choisir mon prototype précédent système photo ?

Je suppose que je vais permettre cela.

Le système que j'avais avant Glass était un écran Micro Optical SVB6, un clavier Twiddler et un ordinateur portable. Le matériel n’a pas changé la donne, c’est la capacité de prendre des notes pendant les conversations et de se reporter à ces notes qui a changé ma vie. Si je suis assis en face d'un lauréat du prix Nobel au déjeuner, je veux pouvoir me souvenir de cette conversation. Je veux juste connaître les cinq mots qui vont stimuler ma mémoire naturelle.

Il s'avère que le fait d'avoir ce clavier pour pouvoir taper sous la table et prendre des notes sur cette conversation a fait de moi un être humain beaucoup plus efficace et plus gracieux sur le plan social. Une des choses que mes étudiants ont été choqués de voir est qu'avant de voir quelqu'un, je leur montre mon Rolodex. Il a la dernière fois que nous avons parlé ensemble et ce dont nous avons parlé. Cela m'aide vraiment à recharger mon cerveau au sujet de nos conversations.

Supposons que je visite un vieil ami. J'ai des notes du type "Hé ouais, le fils de sa fille partait pour l'université. Elle étudiait la géologie; je voulais la mettre en contact avec ma femme. Je devrais lui demander si c'est ce qui s'est passé." Cela vous permet vraiment, non seulement dans votre carrière professionnelle, mais également d'être plus social.

Oui, nous avons beaucoup parlé de ces dispositifs qui nous rendent plus intelligents et nous font paraître plus intelligents. Cette extension de la mémoire où vous êtes soudainement connecté à davantage de votre vie parce que vous pouvez vous en rappeler davantage parce que vous pouvez accéder à davantage de celle-ci et obtenir ces rappels en temps réel, c'est une application intéressante.

Au début de l'informatique portable, nous avons fait trois choses. Nous avons fait de la réalité augmentée / alternative, des collectifs intellectuels et de la mémoire augmentée. Le collectif intellectuel est une sorte de média social. La réalité augmentée fait fureur ces jours-ci. La plupart des gens ne réalisent pas que cela s'appelait la réalité artificielle avant que nous ayons inventé le terme de réalité augmentée alternative. En fait, je peux vous dire pourquoi nous avons changé le nom.

Pourquoi fais-tu ça?

À mes débuts dans l'étude de cette réalité artificielle, il y avait un gars du nom de Myron Krueger, qui a écrit un livre merveilleux intitulé Artificial Reality 2 . Je le recommande vivement à quiconque veut comprendre la réalité augmentée. Quoi qu'il en soit, je pense que c'est Timothy Leary qui a commencé à mener des interviews dans la presse, dans lesquelles il a parlé de la réalité virtuelle et de la réalité artificielle comme de la drogue au LSD. À l'époque, j'étais étudiant en train de rédiger une proposition de subvention et je ne voulais pas qu'ils recherchent le terme de réalité artificielle et le voient affilié à LSD.

J'ai donc pensé que je devais trouver un autre terme à utiliser qui n'entraînerait pas quelque chose sur le Web qui pourrait me causer des ennuis. Nous avons donc pris cette décision consciente de l'appeler réalité augmentée. Heureusement pour moi Les autres types de Boeing envisageaient également d’utiliser la réalité augmentée pour assembler ce matériel afin de fabriquer des faisceaux électriques et des avions, et ils ont proposé le même terme. Donc, je pense en avoir eu la première version écrite, et ils ont eu la première publication dessus. Le nom de réalité augmentée est resté.

Avez-vous obtenu la subvention?

J'ai fait. C'est pourquoi je suis ici aujourd'hui. Je remercie le NDSEG, le programme de bourses d'études supérieures en sciences et en génie de la Défense nationale. Si ce n'était pas pour vous, je ne serais pas là. Je ne serais pas professeur. Cette subvention a permis à mon professeur d’embaucher un étudiant de deuxième cycle supplémentaire et de créer des ordinateurs portables. Alors merci beaucoup.

• Avance rapide: Hôte 'Note to Self' Manoush Zomorodi Avance rapide: Hôte 'Note to Self' Manoush Zomorodi
• Avance rapide: Steve Singh de SAP sur l'automatisation, Business sans frontières Avance rapide: Steve Singh de SAP sur l'automatisation, Affaires sans frontières
• Questions-réponses: comment construire des machines émotionnelles Questions-réponses: des machines émotionnelles

Si les gens veulent vous suivre et savoir sur quoi vous travaillez, comment peuvent-ils le faire en ligne?

La méthode la plus simple consiste à accéder à Google Scholar et à taper mon nom. Vous aurez accès à tous mes documents et vous n'aurez qu'à cliquer sur les plus récents. Si vous voulez voir quelque chose de plus chaque jour si vous allez dans la communauté Google+ sur l'informatique vestimentaire, c'est celle que je lance, j'essaie de mettre en avant les choses les plus cool qui soient. Au moins d'après mes recherches et nous allons commencer à passer en revue certaines des choses qui se passent en général.