Avantage injuste: ne vous attendez pas à ce que je joue comme un humain

Les récents exploits de DeepMind dans le développement d’une intelligence artificielle capable de vaincre les joueurs de classe mondiale de StarCraft II ont suscité beaucoup d’agitation. Alors que DeepMind qualifiait cela de percée majeure, d’autres ont fait valoir que c’était de la triche, injuste et surhumaine.

Mais tout le débat indique que nous devons peut-être changer le contexte dans lequel nous discutons et évaluons les capacités de l'IA - et cessons de comparer son jeu avec le nôtre.

AlphaStar, le robot de DeepMind qui joue à StarCraft, utilise l'apprentissage en profondeur, un domaine populaire de l'intelligence artificielle dans lequel les programmeurs développent le comportement de leurs modèles d'intelligence artificielle en leur fournissant un nombre insensé d'exemples. AlphaStar s'est d'abord entraîné sur une base de données volumineuse de jeux de données publiées par Blizzard, jouant des millions de jeux contre lui-même pour apprendre et maîtriser les règles de StarCraft. Il a ensuite été opposé à des humains, balayant les propres joueurs amateurs de DeepMind avant de poursuivre contre des champions du monde.

Quand AlphaStar a battu TLO et MaNa, deux des meilleurs joueurs mondiaux, il y avait de quoi croire que l'industrie de l'intelligence artificielle avait franchi une étape importante. Dans un article de blog, DeepMind a appelé AlphaStar "une avancée dans notre mission consistant à créer des systèmes intelligents qui nous aideront un jour à trouver de nouvelles solutions à certains des problèmes scientifiques les plus importants et les plus fondamentaux du monde".

Mais ensuite sont venues les critiques.

Un avantage injuste

Les critiques prétendent qu'AlphaStar a plusieurs caractéristiques qui en font un adversaire injuste contre les humains.

Premièrement, AlphaStar est en pleine ébullition. Les ingénieurs de DeepMind disent qu'ils ont handicapé AlphaStar pour l'empêcher d'accomplir plus d'actions qu'un humain. Mais les joueurs humains font beaucoup de spams, ou d’actions impulsives qui n’ont aucune valeur ni aucune pensée derrière elles.

Par exemple, lorsque les joueurs veulent ordonner à leurs unités de se déplacer ou d’attaquer un ennemi, ils cliquent souvent de manière répétée sur le même emplacement ou sur une trajectoire vers la destination, car ils donnent l’impression fausse qu’un clic accélérera cette action. En réalité, les unités exécutent uniquement la commande la plus récente et ignorent les précédentes. En revanche, chaque mouvement d’AlphaStar est précis.

Les critiques soutiennent que ce décalage permet à AlphaStar de gérer le jeu de manière surhumaine. Par exemple, dans une grande bataille impliquant de nombreuses unités, AlphaStar peut donner des commandes individuelles à chacune de ses unités avec une vitesse et une précision impossibles pour ses adversaires humains. Dans une analyse des performances d'AlphaStar, Timothy B. Lee d'ArsTechnica a décrit quelques scénarios dans lesquels la rapidité et la précision d'AlphaStar lui donneraient un avantage injuste.

D'autres analystes ont souligné qu'AlphaStar recevait plus d'informations que les joueurs humains. La version du bot qui a battu MaNa et TLO avait accès à la carte entière, au lieu de voir l’espace d’un champ de bataille d’un moniteur comme un joueur humain. Mais il était toujours limité par le "brouillard de la guerre", ce qui signifie qu'il ne pouvait pas extraire d'informations des zones où il ne disposait pas d'unités actives.

D'autres encore ont critiqué les limites d'AlphaStar: il ne pouvait jouer que sous le nom de Protoss, l'une des trois courses de StarCraft et dans une seule des nombreuses cartes du jeu. Avec une nouvelle race et une nouvelle carte, AlphaStar perdrait probablement contre des adversaires humains amateurs car, du point de vue de l'IA, ce serait comme jouer à un jeu totalement différent.

Qu'est-ce que le fair-play?

DeepMind n'a toujours pas publié de détails techniques, mais certains pensent qu'au lieu de traiter les pixels bruts comme le feraient des êtres humains, AlphaStar aurait peut-être eu accès à des données de jeu brutes via des API (interfaces de programmation d'applications).

Merci! mais cela ne dit pas si le logiciel qui a vaincu les experts utilisait des pixels ou des fichiers API prépars, disponibles mais très différents.

- Gary Marcus (@GaryMarcus) 31 janvier 2019

Timothy B. Lee, de Ars, parvient à cette conclusion: "Le moyen ultime de niveler les règles du jeu serait de faire en sorte qu'AlphaStar utilise exactement la même interface utilisateur que les joueurs humains." Cela signifie que, comme un joueur regardant un écran d'ordinateur, l'IA n'aurait accès qu'aux graphismes du jeu et devrait simuler des frappes au clavier, des clics de souris et des parchemins au lieu d'interagir avec le jeu via des appels API.

Ce serait un bon point si nous nous attendions à ce que l'IA reproduise exactement le cerveau humain et les sens. Mais l'apprentissage en profondeur et les réseaux de neurones, qui sont toujours à la pointe de l'IA, ont des limites distinctes qui les empêchent de reproduire certaines des fonctions humaines les plus fondamentales.

L'apprentissage en profondeur est une intelligence artificielle étroite, ce qui signifie qu'elle est très douée pour effectuer des tâches spécifiques telles que l'étiquetage d'images ou la reconnaissance de la parole, mais elle est affreuse pour la généralisation de tâches ou le transfert de connaissances vers d'autres domaines. Plus vous élargissez le domaine du problème, plus la capacité de l'intelligence artificielle est limitée et plus elle a besoin de formation. C'est pourquoi AlphaStar ne pourra pas jouer à un autre jeu RTS, tel que Warcraft 3 ou Company of Heroes.

Il a également fallu 200 ans de jeux à AlphaStar pour maîtriser Protoss sur un seul niveau. Il en faudrait probablement autant pour apprendre à jouer à Terran ou à Zerg, les deux autres races de StarCraft. En revanche, un joueur humain pourrait rapidement transférer les connaissances acquises d’un jeu à un autre.

Nous sommes encore à des décennies (au moins) de l'IA générale, du type qui peut correspondre aux capacités cognitives de l'homme. Certains scientifiques pensent que nous ne réussirons jamais à reproduire le cerveau humain.

Mais l'IA étroite permet de traiter de grandes quantités d'informations à des vitesses très rapides. C'est pourquoi AlphaStar peut gérer la totalité de la carte de StarCraft en même temps. Les concepteurs de StarCraft auraient pu modifier le jeu pour offrir aux joueurs une vue complète de la carte du jeu, mais cela confondreait probablement les joueurs plutôt que de les aider. Les humains peuvent également avoir accès aux données brutes du jeu, mais cela ne serait d'aucune aide.

Les humains sont lents à traiter les données mais disposent de capacités de sens commun et de pensée abstraite qui leur permettent de planifier et de prendre des décisions sans informations complètes. C'est pourquoi ils préfèrent avoir une vue limitée de la carte et se concentrer sur une seule partie du champ de bataille; dans le même temps, ils ont une idée de ce qui se passe dans les autres parties du jeu et peuvent élaborer un plan de match général.

AlphaStar triche-t-il?

Compte tenu des différences entre l'IA et le cerveau humain, il est juste de dire que les critiques avaient raison: DeepMind a truqué la concurrence en faveur d'AlphaStar en la limitant à une seule carte et à une seule race. Mais le débat sur AlphaStar peut nous amener à des conclusions très importantes.

Premièrement, le but principal du jeu ne devrait pas être de vérifier si l’IA peut cliquer et faire défiler comme un humain. Au lieu de cela, nous devrions nous concentrer sur les performances de l'IA dans un jeu fournissant des informations imparfaites et nécessitant une prise de décision en temps réel. À cet égard, AlphaStar a fait un très bon travail.

• Qu'est-ce qui vous ferait faire confiance à un assistant d'IA? Comment sur un visage? Qu'est-ce qui vous ferait faire confiance à un assistant d'IA? Comment sur un visage?
• L'année du jugement éthique de l'industrie de l'IA L'année du jugement éthique de l'industrie de l'IA
• Cette IA est trop puissante pour être rendue publique. Elle est trop puissante pour être rendue publique.

Deuxièmement, StarCraft n'est peut-être pas le meilleur endroit pour tester les capacités de planification et de planification d'IA. Comme l'a souligné un analyste, "StarCraft II est un jeu qui peut être brisé par la perfection mécanique". Cela signifie que l'IA peut compenser ses faibles compétences en stratégie par sa vitesse surhumaine et sa précision chirurgicale.

Enfin, l'IA et l'intelligence humaine sont si différents qu'il serait probablement impossible de créer des conditions égales pour tous. Les moindres modifications apportées aux règles inclineraient rapidement le jeu en faveur d’une partie ou de l’autre à un degré qui rendrait la concurrence déloyale.

Nous devons rechercher des environnements et des environnements dans lesquels nous pouvons libérer et tester l'intégralité de l'IA au lieu de la ralentir avec des limitations humaines artificielles. Qu'est-ce que les humains et l'IA pourraient réaliser lorsqu'ils coopèrent au lieu de se faire concurrence?