Ibm Watson aide les étudiants universitaires à apprendre le mandarin

Les universités ont parcouru un long chemin dans leurs études linguistiques, allant au-delà des cours traditionnels dans une salle de conférence et des leçons préenregistrées sans interaction. Les étudiants ont désormais accès à des technologies telles que l'intelligence artificielle (IA) et le traitement du langage naturel (PNL) dans un environnement d'apprentissage immersif. C’est ce qui se passe au Laboratoire de systèmes cognitifs et immersifs (CISL) situé sur le campus Troy, à New York, du Rensselaer Polytechnic Institute (RPI). C'est ici que l'institut s'est associé à IBM Research pour créer la technologie d'un cours d'été de six semaines au cours duquel les étudiants interagissent avec des agents d'intelligence artificielle dans des environnements comprenant des marchés de rue et des restaurants.

Le cours, intitulé "Chinois immersif assisté par l'IA", présente un système d'affichage panoramique à 360 degrés de scènes générées par ordinateur dans la salle immersive cognitive du laboratoire (CIR), également appelée "salle des situations". Les scènes virtuelles se déroulent en Chine. Les étudiants discutent avec des avatars basés sur Watson Assistant et sont corrigés de la parole et de la prononciation. Dans le CIR, les étudiants utilisent l'IA conversationnelle, la génération narrative, la connaissance du contexte spatial et les technologies de reconnaissance gestuelle et faciale.

Le CIR est un exemple de la diversité des potentiels d’IBM Watson dans plusieurs industries, en plus de l’éducation. Ces industries comprennent l'agriculture, les ressources humaines et la gestion de flotte.

Au RPI, en plus de Watson Assistant, les étudiants utilisent Watson parole, texte, parole et traducteur de langue Watson dans leurs études.

Les étudiants apprennent le mandarin en utilisant l'IA sur le campus RPI. (Crédit image: IBM Research / RPI)

Une expérience d'apprentissage active

Pour Julian Wong, un junior du RPI, l'expérience immersive de l'IA était un moyen attrayant d'apprendre le mandarin, car elle lui permettait d'apprendre plus activement. Parce que le mandarin est une langue tonale dans laquelle un changement de hauteur peut modifier le sens des mots, les avatars de l'expérience de l'IA fournissent un feedback sur le ton pour s'assurer que Wong et les autres étudiants maîtrisent bien les prononciations.

Travailler avec l'IA dans le CIR constitue un bon équilibre avec le temps passé en classe, selon Wong. "Rencontrer des gens pour parler à l'ordinateur (…) aide certainement à beaucoup d'aspects de l'apprentissage de la langue, en particulier des compétences verbales", a déclaré Wong.

Le cours de mandarin de Wong se réunit quatre fois par semaine. Les lundis et vendredis, il assiste à une classe dans une salle de classe traditionnelle avec Helen Zhou, professeure agrégée au RPI. Il y apprend un nouveau vocabulaire et se familiarise avec les phrases et les structures grammaticales. Les mardis et jeudis, la classe se réunit dans le CIR, où les étudiants discutent avec des agents virtuels. Dans un restaurant, M. Wong a expliqué que les étudiants peuvent suivre le processus complet: s'asseoir dans le restaurant, consulter un menu, commander des plats, parler à un serveur de la façon dont les plats sont préparés et payer la note. Les autres environnements incluent un jardin, un marché et un campus scolaire.

La classe de mandarin dans la classe immersive diffère d'un environnement traditionnel car elle offre une expérience multimodale de la langue et de la vidéo, selon Zhou. Elle a dit qu'un cours traditionnel serait moins immersif et interactif. "Dans la simulation dans la classe immersive, nous avons deux agents qui se disputent pour tenter de persuader les étudiants d'acheter le produit", a déclaré Zhou. "Ainsi, les étudiants comprendraient leur expérience personnelle plutôt que de regarder des vidéos ou d'écouter des conférences. Je pense qu'ils découvriraient la culture plus facilement que d'apprendre simplement avec des manuels ou en écoutant des cassettes."

Dans le CIR, les élèves répondent à des questionnaires sur les scènes avec lesquelles ils ont dialogué et lèvent la main pour donner leurs réponses. Les techniciens en vision par ordinateur des caméras de la salle capturent leurs gestes. L'assistant d'IA donne un quiz sur la scène et les étudiants doivent répondre avec une phrase en chinois.

"Si vous souhaitez sélectionner l'une des fenêtres contextuelles affichées à l'écran, vous pouvez alors tendre la main, paume ouverte, puis vous fermez la main", a expliqué Wong. "Vous sélectionnez le curseur sur lequel vous vous trouvez. Pour les petits quiz, si vous savez quelle est la bonne réponse, vous pouvez alors déplacer votre main sur les caractères que vous souhaitez sélectionner, puis fermez-la pour les sélectionner. vous permettra de savoir si vous avez raison ou pas."

L'agent virtuel comprend la plupart du temps les étudiants, à l'exception des cas où leur microphone n'est pas à portée de main. Le système dispose de différents paramètres de reconnaissance vocale qui captent les étudiants s’ils ne sont pas en prononciation. Il fournit également une rétroaction immédiate dans une conversation si aucun professeur n'est présent. Pendant leur temps libre, les étudiants de la classe de mandarin se rendent sur un site Web pour accéder à des clips vocaux.

Une caractéristique intéressante de l'expérience immersive du RPI est la prise de conscience du contexte spatial, dans laquelle plusieurs agents virtuels à l'écran peuvent déterminer avec lequel vous êtes en contact visuel. "Si vous dites quelque chose en regardant un agent, cet agent répondra et pas l'autre", a déclaré Wong.

Un étudiant utilise la technologie de reconnaissance des gestes et du visage IBM Watson dans le cadre d'un cours de mandarin au RPI. (Crédit image: IBM Research / RPI )

Comment l'expérience immersive s'est développée

L'expérience immersive du RPI a été créée lorsque des professeurs de langues et des professeurs de conception de jeux se sont rencontrés pour discuter d'une meilleure façon d'enseigner les langues. Un plan visant à développer un jeu de rôle a rapidement basculé dans une discussion sur la façon d'enseigner le mandarin à travers une simulation de scénarios réels, selon Hui Su, qui est à la fois directeur de l'expérience utilisateur cognitive chez IBM Research et directeur du CISL. IBM et le RPI ont commencé à développer le cours à la fin de 2015 et ont créé le laboratoire commun à ce moment-là. La CISL a ensuite pris forme peu après.

"Le but du laboratoire est de créer un environnement cognitif et immersif afin d'améliorer les activités de groupe et d'accroître l'intelligence du groupe dans le contexte de l'apprentissage et de la prise de décision", a déclaré Su. "Nous nous concentrons également sur la création de salles de conseil immersives cognitives (…) pour examiner les données d'une situation critique et tenter de donner un sens à l'information et de créer des décisions ou des recommandations à l'intention des décideurs."

Dans le cadre du programme d'apprentissage des langues de l'intelligence artificielle, IBM et le RPI expérimentent l'analyse des contours de hauteur. Su a décrit le fonctionnement de cette technologie. "Lorsque vous parlez d'une syllabe, lorsque vous prononcez une syllabe, la technologie sous-jacente capture la voix et génère un contour visuel de la façon dont vous prononcez cette syllabe", a déclaré Su. "Ensuite, il utilise ce contour visuel et compare ce contour visuel au contour visuel d'un locuteur natif."

Les étudiants peuvent ensuite ajuster leur prononciation pour atteindre le ton correct. Ils apprendront qu'ils doivent changer les prononciations de certaines syllabes. Grâce aux connaissances acquises en apprenant le mandarin dans la classe immersive à l'aide de la technologie Watson, ils auront plus de confiance pour converser dans la vie réelle, selon Su.

"L'idée est de fournir suffisamment de contexte culturel grâce à notre environnement immersif et à la technologie de l'IA pour permettre aux étudiants de pratiquer un exercice", a déclaré Su. "Donc, ils n'auront pas de peurs comme parler aux gens dans la vraie vie."

Un étudiant pratique le mandarin dans un environnement de restaurant virtuel en utilisant IBM Watson tech. (Crédit image: IBM Research / RPI )

Un pont entre l'industrie technologique et le monde universitaire

IBM et le RPI sont en mesure de créer un pont entre les chercheurs et les enseignants d’IBM, IBM intégrant un chercheur sur le campus, à savoir Su. Pendant ce temps, Zhou, professeur de classe au RPI, fournit également des commentaires aux concepteurs, aux utilisateurs et aux enseignants sur la manière d'améliorer l'expérience immersive en classe.

"Je dois leur donner un retour immédiat pour déboguer ou améliorer la conception afin que nous puissions offrir une classe plus naturelle aux étudiants", a déclaré Zhou. "Donc, il y a beaucoup de travail impliqué mais ça vaut le coup."

L'avenir de l'apprentissage des langues

• Le meilleur logiciel d'apprentissage linguistique pour 2019 Le meilleur logiciel d'apprentissage linguistique pour 2019
• IBM publie des outils Watson AI préprogrammés dans plusieurs industries IBM lance des outils Watson AI préprogrammés dans plusieurs secteurs
• AI parle-t-elle vraiment notre langue? AI parle-t-elle vraiment notre langue?

Ce type d’environnement immersif est précieux en raison de sa capacité à fournir un environnement apparemment réel, selon Zhou. "L'environnement immersif de l'intelligence artificielle peut non seulement améliorer la parole et l'écoute des étudiants, mais aussi la pragmatique de l'utilisation de cette langue dans des situations réelles", a déclaré Zhou. "C'est pourquoi l'IA est plus idéale pour moi en tant qu'instructeur afin que les étudiants puissent avoir une idée de l'utilisation de la langue dès le début, même pour les apprenants débutants, sans se rendre dans le pays."

Les environnements d’apprentissage multimodaux tels que ceux proposés par RPI élargiront le rôle de l’IA dans la salle de classe. Grâce à l'expérience offerte par l'IA par l'intermédiaire des agents virtuels, les étudiants seront prêts à affronter divers scénarios du monde réel dotés des compétences linguistiques nécessaires.