Apprendre des erreurs d'Alexa

Un appareil Amazon Echo a récemment enregistré la conversation privée d'un utilisateur et l'a envoyée à l'un de ses contacts à son insu et sans son consentement. Cela soulève (encore une fois) des préoccupations concernant la sécurité et la confidentialité des haut-parleurs intelligents. Comme il est devenu évident par la suite, cependant, le comportement étrange d’Alexa ne faisait pas partie d’un sinistre complot d’espionnage; il était plutôt causé par une série d’échecs liés attribués au fonctionnement du haut-parleur intelligent.

Selon un récit fourni par Amazon: "Echo s'est réveillé à cause d'un mot en conversation de fond ressemblant à" Alexa ". La conversation suivante a ensuite été entendue comme une demande "d'envoi de message". A quel moment Alexa a-t-elle dit à haute voix "À qui?" A ce stade, la conversation en arrière-plan a été interprétée comme un nom figurant dans la liste de contacts du client. Alexa a alors demandé à voix haute: ", n'est-ce pas?" Alexa a ensuite interprété la conversation en arrière-plan comme étant "juste". Aussi improbable que cela puisse paraître, nous évaluons des options pour rendre ce cas encore moins probable."

Le scénario est un cas marginal, le genre d’incident qui se produit très rarement. Mais c’est aussi une étude intéressante sur les limites de la technologie d’intelligence artificielle qui alimente l’écho et d’autres dispositifs dits "intelligents".

Trop de dépendance au cloud

Pour comprendre les commandes vocales, les enceintes intelligentes telles que Echo et Google Home s’appuient sur des algorithmes d’apprentissage approfondi, qui nécessitent une puissance de calcul importante. Comme ils ne disposent pas des ressources informatiques pour effectuer la tâche localement, ils doivent envoyer les données aux serveurs cloud du fabricant, où les algorithmes d'intelligence artificielle transforment les données de parole en texte et traitent les commandes.

Toutefois, les haut-parleurs intelligents ne peuvent pas envoyer tout ce qu'ils entendent sur leurs serveurs de cloud, car cela obligerait le fabricant à stocker des quantités excessives de données sur leurs serveurs, ce qui serait pour la plupart inutile. Enregistrer et stocker accidentellement des conversations privées ayant lieu chez les utilisateurs poserait également un problème de confidentialité et risquerait de poser problème aux fabricants, en particulier avec les nouvelles réglementations en matière de confidentialité des données qui imposent de strictes restrictions sur la manière dont les entreprises de technologie stockent et utilisent les données.

C'est pourquoi les haut-parleurs intelligents sont conçus pour être déclenchés lorsque l'utilisateur prononce un mot de réveil tel que "Alexa" ou "Hey Google". Ce n'est qu'après avoir entendu le mot de réveil qu'ils commencent à envoyer l'entrée audio de leurs microphones dans le nuage pour analyse et traitement.

Bien que cette fonctionnalité améliore la confidentialité, elle présente ses propres défis, comme l'a souligné l'incident Alexa récent.

"Si un message - ou quelque chose qui ressemble beaucoup à cela - est envoyé au milieu d'une conversation, Alexa n'aura plus aucun contexte", déclare Joshua March, PDG de Conversocial. "À ce stade, il est extrêmement difficile d'écouter les commandes liées aux compétences que vous avez configurées (comme leur application de messagerie). Dans la plupart des cas, la confidentialité est grandement améliorée en limitant le contexte dans lequel Alexa prête attention (en tant que il ne s'agit pas d'enregistrer ou d'écouter vos conversations normales), bien que cela se soit retourné contre nous ".

Les progrès de l’informatique de pointe pourraient contribuer à atténuer ce problème. Alors que l'IA et l'apprentissage approfondi se retrouvent dans de plus en plus de périphériques et d'applications, certains fabricants de matériel ont créé des processeurs spécialisés dans l'exécution de tâches d'intelligence artificielle sans trop dépendre des ressources du cloud. Les processeurs Edge AI peuvent aider des appareils tels que Echo à mieux comprendre et traiter les conversations sans porter atteinte à la vie privée des utilisateurs en envoyant toutes les données dans le cloud.

Contexte et intention

En plus de recevoir des morceaux audio disparates et fragmentés, l'IA d'Amazon a du mal à comprendre les nuances de la conversation humaine.

"Si l'apprentissage en profondeur a énormément progressé ces dernières années, permettant aux logiciels de mieux comprendre la parole et les images, il y a encore beaucoup de limites", déclare March. "Les assistants vocaux peuvent reconnaître les mots que vous dites, mais ils ne comprennent pas nécessairement le sens ou l'intention du mot. Le monde est complexe, mais tout système d'intelligence artificielle est aujourd'hui capable de gérer cas d'utilisation spécifiques et étroits."

Par exemple, nous, les humains, avons de nombreux moyens de déterminer si une phrase est dirigée vers nous, par exemple le ton de la voix ou des indications visuelles, par exemple l'orientation vers laquelle le locuteur se tourne.

En revanche, Alexa présume que c'est le destinataire de toute phrase contenant le mot "A". C'est pourquoi les utilisateurs le déclenchent souvent accidentellement.

Une partie du problème est que nous exagérons les capacités des applications d’intelligence artificielle actuelles, en les plaçant souvent au même niveau ou au-dessus de l’esprit humain et en leur accordant une trop grande confiance. C'est pourquoi nous sommes surpris quand ils échouent de façon spectaculaire.

"Une partie du problème ici est que le terme" IA "a été commercialisé de manière si agressive que les consommateurs ont placé une quantité indéfinie de confiance dans les produits auxquels ce terme est lié", déclare Pascal Kaufmann, neuroscientifique et fondateur de Starmind. "Cette histoire montre qu'Alexa a de nombreuses capacités et une compréhension relativement limitée de comment et quand elles doivent être appliquées de manière appropriée."

Les algorithmes d'apprentissage en profondeur ont tendance à échouer lorsqu'ils sont confrontés à des paramètres différents des données et des scénarios pour lesquels ils ont été formés. "L'une des caractéristiques déterminantes de l'IA au niveau humain sera la compétence autonome et une compréhension réelle du contenu", déclare Kaufmann. "C’est un élément crucial pour véritablement considérer une IA comme" intelligente "et vitale pour son développement. La création d’assistants numériques autonomes, qui apportent une compréhension complète de la nature humaine, marquera leur transformation d’une nouveauté amusante en une véritable. outil utile."

Mais créer une IA au niveau humain, également appelée IA générale, est plus facile à dire qu'à faire. Pendant de nombreuses décennies, nous avons pensé que cela allait arriver, que nous étions consternés par les progrès technologiques qui ont montré à quel point l'esprit humain est compliqué. De nombreux experts pensent que poursuivre l'intelligence artificielle est futile.

Dans le même temps, l'IA étroite (au sens des technologies d'intelligence artificielle actuelles) présente encore de nombreuses opportunités et peut être corrigée pour éviter de répéter les erreurs. Pour être clair, l’apprentissage en profondeur et l’apprentissage automatique ne font que commencer, et des entreprises comme Amazon mettent constamment à jour leurs algorithmes d’intelligence artificielle pour traiter les cas extrêmes chaque fois qu’ils se produisent.

Ce qu'il faut faire

"C'est un domaine jeune et émergent. La compréhension du langage naturel en est encore à ses balbutiements. Nous pouvons donc faire beaucoup de choses ici", déclare Eric Moller, directeur de la technologie chez Atomic X.

Moller pense que les algorithmes d'intelligence artificielle d'analyse vocale peuvent être ajustés pour mieux comprendre l'intonation et l'inflexion. "Utiliser le mot 'Alexa' dans une phrase plus large ne sonne pas comme une invocation ou une commande. Alexa ne devrait pas se réveiller parce que vous avez dit ce nom en passant, " dit Moller. Avec suffisamment de formation, l'IA devrait être capable de distinguer les tonalités spécifiques dirigées vers le haut-parleur intelligent.

Les entreprises de technologie peuvent également former leur IA pour qu’elle soit en mesure de distinguer le moment où elle reçoit un bruit de fond, au lieu d’être traitée directement. "Le bavardage en arrière-plan a une" signature "auditive unique que les humains savent très bien capter et régler sélectivement. Rien ne nous empêche de former les modèles d'intelligence artificielle à faire de même", explique Moller.

Par mesure de précaution, les assistants d'intelligence artificielle devraient évaluer l'impact des décisions qu'ils prennent et impliquer des décisions humaines dans les cas où ils souhaitent faire quelque chose de potentiellement sensible. Les fabricants devraient prévoir davantage de mesures de protection dans leurs technologies afin d’empêcher le transfert d’informations sensibles sans le consentement explicite et clair de l’utilisateur.

"Bien qu'Amazon ait signalé que Alexa avait tenté de confirmer l'action interprétée, certaines actions doivent être gérées avec plus de soin et maintenues à un niveau supérieur de confirmation de l'intention de l'utilisateur", a déclaré Sagi Eliyahi, PDG de Tonkean. "Les humains ont les mêmes problèmes de reconnaissance vocale, parfois des requêtes mal interprétées. Contrairement à Alexa, un humain est plus susceptible de confirmer de manière absolue qu'il comprend une requête peu claire et, plus important encore, d'évaluer la probabilité d'une requête par rapport aux requêtes antérieures."

Pendant ce temps…

Tandis que les entreprises technologiques peaufinent leurs applications d'intelligence artificielle afin de réduire les erreurs, les utilisateurs devront prendre la décision finale quant à la mesure dans laquelle ils souhaitent être exposés aux erreurs potentielles que leurs périphériques alimentés par l'IA pourraient commettre.

"Ces récits montrent un conflit avec la quantité de données que les gens sont prêts à partager en dépit de la promesse de nouvelles technologies de l'IA", déclare Doug Rose, expert en science des données et auteur de plusieurs ouvrages sur l'IA et les logiciels. "Vous pourriez taquiner Siri pour sa lenteur. Mais le meilleur moyen pour elle d’obtenir une plus grande intelligence est d’envahir nos conversations privées. Une question clé au cours de la prochaine décennie est donc de savoir dans quelle mesure nous permettrons à ces agents d’IA de jeter un regard sur notre comportement." ?"

"Quelle famille placerait un assistant humain dans le salon et laisserait cette personne écouter tout type de conversation tout le temps?" dit Kaufmann, le neuroscientifique de Starmind. "Nous devrions au moins appliquer les mêmes normes aux dispositifs dits" IA "(sinon plus élevés) que nous appliquons également aux êtres humains intelligents en matière de confidentialité, de secret ou de fiabilité."