Comment les fausses mises en garde d'Openai ont déclenché de fausses nouvelles

Le laboratoire de recherche sur l'IA à but non lucratif OpenAI a provoqué une vague de panique d'apocalypse de l'IA le mois dernier en introduisant une intelligence artificielle à la pointe de la technologie appelée GPT-2. Mais alors qu’il célébrait les réalisations de GPT-2, OpenAI a déclaré qu’il ne dévoilerait pas son modèle d’intelligence artificielle au public, craignant qu’il soit utilisé entre de mauvaises mains, GPT-2 pourrait être utilisé à des fins malveillantes telles que la génération d’articles de presse trompeurs, l’imitation de tiers et automatiser la production de faux contenu sur les médias sociaux.

Comme on pouvait s'y attendre, l'annonce d'OpenAI a créé une pléthore de nouvelles sensationnelles, mais si toute technologie avancée peut être militarisée, l'IA a encore beaucoup de chemin à parcourir avant de maîtriser la génération de texte. Même dans ce cas, il faut plus que l'IA génératrice de texte pour créer une crise de fausses informations. Dans cette optique, les avertissements d'OpenAI étaient exagérés.

IA et langage humain

Les ordinateurs ont toujours eu du mal à gérer le langage humain. Il y a tellement de complexités et de nuances dans le texte écrit qu'il est pratiquement impossible de toutes les convertir en règles logicielles classiques. Mais les progrès récents en matière d’apprentissage en profondeur et de réseaux de neurones ont ouvert la voie à une approche différente de la création de logiciels capables de gérer des tâches liées au langage.

L'apprentissage en profondeur a apporté de grandes améliorations dans des domaines tels que la traduction automatique, la synthèse de texte, la réponse à une question et la génération de langage naturel. Il permet aux ingénieurs en logiciel de créer des algorithmes qui développent leur propre comportement en analysant de nombreux exemples. Pour les tâches liées aux langues, les ingénieurs alimentent les réseaux de neurones en contenus numérisés tels que des reportages, des pages Wikipedia et des publications sur les réseaux sociaux. Les réseaux de neurones comparent soigneusement les données et notent comment certains mots en suivent d'autres dans des séquences récurrentes. Ils transforment ensuite ces modèles en équations mathématiques complexes qui les aident à résoudre des tâches liées au langage, telles que la prédiction de mots manquants dans une séquence de texte. En général, plus vous fournissez de données de formation de qualité à un modèle d’apprentissage en profondeur, plus il est en mesure de s’acquitter de sa tâche.

Selon OpenAI, GPT-2 a été formé sur 8 millions de pages Web et des milliards de mots, ce qui est bien plus que d’autres modèles similaires. Il utilise également des modèles d'IA avancés pour mieux appliquer les modèles de texte. Un exemple de sortie de GPT-2 montre que le modèle parvient à maintenir la cohérence dans des séquences de texte plus longues que ses prédécesseurs.

Mais si la technologie GPT-2 constitue une avancée dans le domaine de la génération en langage naturel, il ne s’agit pas d’une percée technologique dans la création d’une intelligence artificielle capable de comprendre le sens et le contexte du texte écrit. GPT-2 utilise encore des algorithmes pour créer des séquences de mots statistiquement similaires aux milliards d'extraits de texte qu'il a vus précédemment. Il ne comprend absolument pas ce qu'il génère.

Dans une analyse approfondie, Tiernan Ray de ZDNet indique plusieurs cas où les échantillons de sortie de GPT-2 trahissent leur nature artificielle avec des artefacts bien connus tels que la duplication de termes et le manque de logique et de cohérence des faits. "Lorsque GPT-2 aborde une écriture qui nécessite plus de développement d'idées et de logique, les fissures se creusent assez largement", note Ray.

L'apprentissage statistique peut aider les ordinateurs à générer un texte grammaticalement correct, mais une compréhension conceptuelle plus approfondie est nécessaire pour maintenir la cohérence logique et factuelle. Malheureusement, cela reste un défi que les associations actuelles d’IA n’ont pas encore surmontée. C'est pourquoi GPT-2 peut générer de beaux paragraphes de texte, mais aurait probablement du mal à générer un article long et authentique ou à imiter quelqu'un de manière convaincante et sur une longue période.

Pourquoi la fausse panique chez AI est-elle exagérée?

Le problème posé par le raisonnement OpenAI est qu’il suppose que l’intelligence artificielle peut créer une crise de fausses informations.

En 2016, un groupe d'adolescents macédoniens ont diffusé de fausses informations sur l'élection présidentielle américaine à des millions de personnes. Ironiquement, ils ne maîtrisaient même pas l'anglais. ils trouvaient leurs histoires sur le Web et assemblaient des contenus disparates. Ils ont réussi parce qu'ils ont créé des sites Web qui paraissaient suffisamment authentiques pour convaincre les visiteurs de leur faire confiance en tant que sources d'informations fiables. Des titres sensationnels, des utilisateurs de médias sociaux négligents et des algorithmes de tendance ont fait le reste.

Puis, en 2017, des acteurs malveillants ont déclenché une crise diplomatique dans la région du golfe Persique en piratant des sites d'informations qataris et des comptes de médias sociaux gouvernementaux et en publiant de fausses remarques au nom du cheikh Tamim bin Hamad Al Thani, émir du Qatar.

Comme ces histoires le montrent, le succès des campagnes de fausses nouvelles dépend de l’établissement (et de la trahison) de la confiance, et non de la création d’une grande quantité de texte anglais cohérent.

Les avertissements d'OpenAI concernant l'automatisation de la production de faux contenu à publier sur les médias sociaux sont plus justifiés, car leur ampleur et leur volume jouent un rôle plus important dans les réseaux sociaux que dans les médias traditionnels. L'hypothèse est qu'une intelligence artificielle telle que GPT-2 sera en mesure d'inonder les médias sociaux de millions de messages uniques sur un sujet spécifique, influençant les algorithmes de tendance et les discussions publiques.

Mais encore, les avertissements sont loin de la réalité. Au cours des dernières années, les sociétés de médias sociaux ont constamment développé des capacités de détection et de blocage du comportement automatisé. Ainsi, un acteur malveillant armé d’une intelligence artificielle génératrice de texte devrait relever un certain nombre de défis au-delà de la création d’un contenu unique.

Par exemple, ils auraient besoin de milliers de faux comptes de réseaux sociaux pour publier leur contenu généré par l'IA. Encore plus difficile, pour s’assurer qu’il n’y avait aucun moyen de connecter les faux comptes, ils auraient besoin d’un appareil et d’une adresse IP uniques pour chaque compte.

La situation empire: les comptes devraient être créés à des moments différents, éventuellement plus d'un an, pour réduire les similitudes. L'année dernière, une enquête du New York Times a montré que seules les dates de création de compte pouvaient aider à découvrir des comptes de bot. Ensuite, pour cacher davantage leur nature automatisée aux autres utilisateurs et aux algorithmes de contrôle, les comptes devraient adopter un comportement semblable à celui de l’homme, comme interagir avec d’autres utilisateurs et donner un ton unique à leurs messages.

Aucun de ces défis n’est impossible à surmonter, mais ils montrent que le contenu n’est qu’une partie de l’effort nécessaire pour mener une campagne de fausses nouvelles sur les médias sociaux. Et encore une fois, la confiance joue un rôle important. Quelques influenceurs de confiance dans les médias sociaux qui publient quelques fausses publications auront un impact plus important qu'un groupe de comptes inconnus générant de gros volumes de contenu.

À la défense des avertissements d'OpenAI

Les avertissements exagérés d'OpenAI ont déclenché un cycle de battage médiatique et de panique qui, paradoxalement, s'apparentait à de fausses nouvelles, suscitant les critiques de spécialistes de l'IA renommés.

Ils ont invité les journalistes à avoir rapidement accès aux résultats, avec un embargo sur la presse, afin que tout soit rendu public le même jour. À ma connaissance, aucun chercheur n'a pu voir le grand modèle, contrairement aux journalistes. Oui, ils l'ont fait exprès.

- Matt Gardner (@nlpmattg) le 19 février 2019

Chaque nouvel humain peut potentiellement être utilisé pour générer de fausses nouvelles, diffuser des théories du complot et influencer des personnes.

Faut-il arrêter de faire des bébés alors?

- Yann LeCun (@ylecun) le 19 février 2019

Je voulais juste vous mettre tous au courant, notre laboratoire a découvert une avancée incroyable dans la compréhension du langage. mais nous craignons également qu’il ne tombe entre de mauvaises mains. Nous avons donc décidé de le supprimer et de ne publier que les éléments * ACL habituels. Grand respect pour l'équipe pour son excellent travail.

- (((? () (? () 'Yoav))))) (@yoavgo) 15 février 2019

Zachary Lipton, chercheur en intelligence artificielle et rédacteur en chef de Approximately Correct, a souligné que OpenAI utilisait depuis longtemps son blog pour attirer l'attention du public sur son travail immature, et qu'il mettait souvent en évidence les aspects liés à la sécurité humaine qui n'avaient pas jambes pour se tenir sur."

Même si OpenAI mérite toutes les critiques et toute la chaleur qu’elle a reçues à la suite de ses remarques trompeuses, il convient également de s’inquiéter sincèrement des utilisations malveillantes possibles de sa technologie, même si la société a utilisé un moyen irresponsable d’éduquer le public à ce sujet.

• L'année du jugement éthique de l'industrie de l'IA L'année du jugement éthique de l'industrie de l'IA
• Avantage injuste: n'espérez pas que l'IA joue comme un humain Avantage injuste: n'espérez pas que l'IA joue comme un humain
• Cette IA prévoit la pêche en ligne avant que cela se produise Cette IA prévoie la pêche en ligne avant que cela se produise

Au cours des dernières années, nous avons vu comment les technologies d'intelligence artificielle rendues publiques sans réflexion et réflexion peuvent être personnalisées à des fins malveillantes. FakeApp, une application d’intelligence artificielle capable d’échanger des visages dans des vidéos, en est un exemple. Peu de temps après sa sortie, FakeApp a été utilisé pour créer de fausses vidéos pornographiques mettant en vedette des célébrités et des hommes politiques, suscitant l'inquiétude quant à la menace de falsification à l'aide d'IA.

La décision d'OpenAI montre qu'il est nécessaire de faire une pause et de réfléchir aux conséquences possibles de la publication de la technologie. Et nous devons avoir des discussions plus actives sur les risques des technologies de l'IA.

"Une organisation suspendant un projet en particulier ne changera rien à long terme. Mais OpenAI attire beaucoup d'attention pour tout ce qu'ils font… et je pense qu'ils devraient être applaudis pour avoir braqué les projecteurs sur cette question", a déclaré David Bau, un chercheur au laboratoire d'informatique et d'intelligence artificielle du MIT (CSAIL), a déclaré à Slate.