Comment le puzzle de Google tente de désintoxiquer Internet

Internet peut se sentir comme un lieu toxique. Les trolls descendent dans les sections de commentaires et les médias sociaux pour lancer le discours de haine et le harcèlement, transformant ainsi les discussions potentiellement éclairantes en attaques ad hominem et en groupes. Exprimer une opinion en ligne ne semble souvent pas valoir le résultat.

Les plateformes sociales massives, y compris Facebook, Twitter et YouTube, admettent qu'elles ne peuvent pas gérer ces problèmes de manière adéquate. Ils sont dans une course aux armements avec des robots, des trolls et tous les autres indésirables souhaitant passer à travers les filtres de contenu. Les humains ne sont pas physiquement capables de lire chaque commentaire sur le Web. ceux qui essayent le regrettent souvent.

Les géants de la technologie ont expérimenté diverses combinaisons de modération humaine, d'algorithmes d'intelligence artificielle et de filtres pour parcourir le déluge de contenu qui circule quotidiennement dans leurs flux. Jigsaw tente de trouver un terrain d'entente. La filiale Alphabet et l'incubateur technologique, anciennement connu sous le nom de Google Ideas, commencent à prouver que l'apprentissage par la machine (ML) transformé en outils pour les modérateurs humains peut changer notre approche du problème de toxicité d'Internet.

Perspective est une API développée par Jigsaw et l'équipe de technologie Counter Abuse de Google. Il utilise ML pour détecter les abus et le harcèlement en ligne et note les commentaires en fonction de l’impact perçu qu’ils pourraient avoir sur une conversation afin de faciliter la vie des modérateurs.

Perspective au milieu des matches de cris

La technologie open source a été annoncée pour la première fois en 2017, mais son développement a commencé quelques années plus tôt. Certains des premiers sites à expérimenter Perspective ont été des publications d'actualités telles que The New York Times et des sites tels que Wikipedia. Mais récemment, Perspective a trouvé une place sur des sites comme Reddit et la plate-forme de commentaires Disqus (utilisée sur PCMag.com.)

CJ Adams, chef de produit pour Perspective, a déclaré que le projet voulait examiner comment les voix des gens sont réduites au silence en ligne. Jigsaw voulait explorer comment des abus ciblés ou une atmosphère générale de harcèlement pouvaient créer un effet dissuasif, décourageant les gens au point où ils estimaient que cela ne valait pas la peine de consacrer leur temps à la discussion. Combien de fois avez-vous vu un tweet, un message ou un commentaire et choisi de ne pas répondre parce que combattre les trolls et devenir Mad Online ne valait pas la peine d'être aggravé?

"Il est très facile de gâcher une conversation en ligne", a déclaré Adams. "Il est facile d'intervenir, mais une personne vraiment méchante ou toxique pourrait en chasser d'autres. Peut-être 100 personnes lisent-elles un article ou lancent-elles un débat, et vous vous retrouvez souvent avec les voix les plus fortes dans la pièce, dans un Internet optimisé pour les goûts et les partages. Ainsi, vous faites taire toutes ces voix. Alors, ce qui définit le débat, c’est la voix la plus forte dans la pièce, le match qui crie."

Puzzle et Google

L'année écoulée a été difficile pour la société sœur de Jigsaw, Google, qui a dû faire face à des problèmes de sécurité des données, au refus de ses employés de participer à des projets pour le Pentagone et la Chine et à des révélations sur le traitement du harcèlement sexuel. Sans parler d'une audience controversée du Congrès au cours de laquelle le président Sundar Pichai a été grillé par les législateurs.

Chez Jigsaw, l’incubateur altruiste d’Alphabet, les choses ont été un peu moins dramatiques. L’équipe a passé son temps à examiner des formes plus techniques de censure, telles que l’empoisonnement du DNS avec son application Intra et les attaques DDoS avec Project Shield. Avec Perspective, l'objectif est plus abstrait. Plutôt que d'utiliser l'apprentissage automatique pour déterminer ce qui est ou non contre un ensemble de règles donné, le défi de Perspective est extrêmement subjectif: classifier l'impact émotionnel du langage.

Pour ce faire, vous avez besoin du traitement de langage naturel (NLP), qui décompose une phrase en un motif. L'équipe de Perspective est confrontée à des problèmes tels que le biais de confirmation, la pensée de groupe et le comportement harcelant dans un environnement où la technologie a amplifié leur portée et les a rendu plus difficiles à résoudre.



L'intelligence artificielle est «fausse et muette parfois»

Améliorer les conversations en ligne avec l'apprentissage automatique n'est pas une tâche simple. C'est encore un domaine de recherche émergent. Les algorithmes peuvent être biaisés, les systèmes d’apprentissage automatique requièrent un raffinement sans fin, et les problèmes les plus difficiles et les plus importants sont encore largement inexplorés.

Le groupe de recherche Conversation AI, qui a créé Perspective, a commencé par rencontrer des journaux, des éditeurs et d'autres sites hébergeant des conversations. Parmi les premiers sites à expérimenter cette technologie, citons le New York Times , Wikipedia, The Guardian et The Economist .

En 2017, l'équipe a ouvert la démo initiale de Perspective via un site Web public dans le cadre d'un test alpha, permettant à des personnes de saisir des millions de commentaires vils et abusifs sur le site. C’était un peu comme la tristement célèbre expérience de Tay Chatbot de Microsoft, sauf que, au lieu de tromper le robot en répondant avec des tweets racistes, Jigsaw a utilisé la virulence externalisée en tant que données de formation pour alimenter ses modèles, aidant à identifier et à catégoriser différents types d’abus en ligne.

Le test public initial ne s'est pas bien déroulé. Les "Trolls Across America" ​​de Wired, qui analysaient la toxicité dans l'ensemble du pays en se basant sur la notation de Perspective, montraient comment l'algorithme discriminait par inadvertance des groupes par race, identité de genre ou orientation sexuelle.

Adams était franc sur le fait que les premiers tests de Perspective révélaient des angles morts importants et un biais algorithmique. À l'instar de l'outil de recrutement abandonné d'Amazon, qui formait des décennies de données d'emploi erronées et développait un biais inhérent à l'égard des candidates, les premiers modèles de Perspective présentaient des défauts criants en raison des données sur lesquelles ils avaient été formés.

"Dans l'exemple des groupes fréquemment ciblés, si vous examinez la répartition des commentaires dans l'ensemble de données de formation, vous constaterez qu'il existe un nombre extrêmement réduit de commentaires incluant le mot" gay "ou" féministe "et les utilisant de manière positive. façon ", a expliqué Adams. "Les commentaires abusifs utilisent les mots comme des insultes. Ainsi, le ML, en regardant les schémas, dirait:" Hé, la présence de ce mot est un très bon prédicteur de savoir si ce sentiment est toxique ou non."

Par exemple, l'algorithme alpha pourrait avoir à tort étiqueté des déclarations telles que "Je suis un homme gay fier" ou "Je suis une féministe et transgenre" avec des scores de toxicité élevés. Mais le processus de formation transparent au public - bien que douloureux - était une leçon précieuse pour Jigsaw sur les conséquences d'un parti pris involontaire, a déclaré Adams.

Lors de la formation de modèles d'apprentissage automatique sur des sujets aussi pénibles et personnels que les abus et le harcèlement en ligne, l'existence d'un biais algorithmique montre également pourquoi l'IA seule n'est pas la solution. Des entreprises sociales telles que Facebook et YouTube ont toutes deux vanté les fonctionnalités de modération du contenu de l'IA sur leur plate-forme uniquement pour revenir en arrière face à un scandale et corriger le problème en engageant des milliers de modérateurs humains.

La tactique de Jigsaw est un hybride des deux. La perspective n'est pas que les algorithmes d'IA prennent des décisions en vase clos; L'API est intégrée aux interfaces de gestion de communauté et de modération de contenu afin de servir d'outil d'assistance aux modérateurs. Les ingénieurs de Perspective décrivent la modération du discours de haine avec et sans ML en utilisant une analogie avec une meule de foin: l'IA aide à automatiser le processus de tri, réduisant ainsi de grandes meules de foin tout en laissant le dernier mot à l'homme sur le point de savoir si un commentaire est considéré comme abusif ou harcèlement.

"C'est cette nouvelle capacité de ML", a déclaré Adams. "Les gens parlent de l'intelligence artificielle, mais ils ne parlent souvent pas de toutes les raisons pour lesquelles elle est fausse et bête parfois. Dès le début, nous savions que cela ferait beaucoup d'erreurs, alors nous avons dit: 'Ceci Cet outil est utile pour la modération humaine assistée par machine, mais il n'est pas prêt à prendre des décisions automatiquement. ' Mais il peut prendre le problème de «trouver une fausse pierre dans la botte de foin» pour trouver ce discours toxique et en faire une poignée de foin ».



Qu'est-ce qu'un score de toxicité?

L'aspect le plus controversé de la modélisation de Perspective consiste à attribuer des nombres à une variable aussi subjective que la "toxicité". Adams a tout d'abord souligné que les scores de Perspective sont une indication de la probabilité et non de la gravité. Des nombres plus élevés représentent une probabilité plus élevée que les motifs dans le texte ressemblent aux motifs dans les commentaires que les gens ont étiquetés comme toxiques.

En ce qui concerne le terme "toxique", l'équipe de perspective le définit généralement comme "un commentaire grossier, irrespectueux ou déraisonnable susceptible de vous faire quitter une discussion". Mais comment cela se manifeste peut être subtile. En 2018, Jigsaw s'est associé au Laboratoire d'intelligence artificielle de Rhodes (RAIL) pour développer des modèles de ML pouvant capter des formes plus ambiguës de propos menaçants ou haineux, tels que des propos réfractaires, condescendants ou sarcastiques qui ne sont pas ouvertement hostiles.

Jusqu'à présent, la plupart des modèles de Perspective ont été formés en demandant aux utilisateurs de classer les commentaires Internet sur une échelle allant de "très toxique" à "très saine". Les développeurs peuvent ensuite calibrer le modèle pour signaler les commentaires dépassant un certain seuil, compris entre 0, 0 et 1, 0. Un score supérieur à 0, 9 indique une forte probabilité de toxicité, et un score inférieur ou égal à 0, 5 signifie un degré de certitude algorithmique bien inférieur. Perspective utilise également ce qu'on appelle la normalisation des scores, ce qui donne aux développeurs une base de référence cohérente à partir de laquelle interpréter les scores. Adams a expliqué que selon le forum ou le site Web, les développeurs peuvent mélanger et faire correspondre des modèles. Ainsi, lorsqu'une communauté ne craint pas les blasphèmes, cet attribut peut être alourdi.

Adams m'a montré une interface de modération de démonstration intégrée à l'API Perspective. Dans le panneau d'administration, à côté des options permettant de trier les commentaires par ordre croissant, le plus récent, etc., se trouve une petite icône d'indicateur permettant de trier par toxicité. Il existe également un mécanisme de rétroaction intégré permettant au modérateur humain d'indiquer à Perspective qu'il a mal noté un commentaire et d'améliorer le modèle au fil du temps.

Il a parcouru une interface de démonstration pour modérer les commentaires de pages de Wikipédia Talk marqués par différents modèles de perspective, ainsi qu'un graphe d'histogramme indiquant quels commentaires sont susceptibles d'attaquer un auteur de page ou d'attaquer un autre intervenant.

"Nous voulons créer des outils de modération assistée par machine pour signaler les choses à un humain, mais nous ne voulons pas de définition centrale ou de quelqu'un qui dise ce qui est bon ou mauvais", a déclaré Adams. "Donc, si je trie par toxicité, vous verrez que les commentaires moyens arrivent en tête. Mais si vous vous souciez davantage des attaques ou des menaces d'identité que des mesures comme des jurons, par exemple, vous n'utiliseriez peut-être pas un modèle de toxicité générale. ingrédients que vous pouvez mélanger. Nous les proposons, et les développeurs les pondèrent."

L'expérience RAIL adopte une approche plus granulaire. Les étudiants des cycles supérieurs d’Oxford construisent un ensemble de données comprenant des dizaines de milliers de commentaires provenant de la section commentaires du journal canadien Globe and Mail et des pages de discussion de Wikipédia. Ils demandent à des "annotateurs" humains de répondre à des questions sur chaque commentaire relatif à cinq sous-attributs de "contenu malsain": généralisations hostiles ou insultantes (trolls), dédaigneuses, condescendantes ou condescendantes, sarcastiques et injustes.

En se concentrant sur ces attributs plus subtils, de nouveaux problèmes complexes ont été mis au jour, avec un biais involontaire envers des groupes spécifiques et des faux positifs avec des commentaires sarcastiques. Cela fait partie des douleurs de croissance de l'IA, alimentant des modèles de plus en plus de données pour l'aider à comprendre les significations implicites et indirectes derrière la parole humaine. L’équipe analyse et commente toujours des milliers de commentaires et prévoit de publier le jeu de données final au début de cette année.

"Ce que nous souhaitons faire, c'est que la communauté puisse commenter un ensemble de commentaires, puis leur donner une combinaison personnalisée de modèles de perspective, " a déclaré Adams.



Le banc d'essai de Reddit

Reddit est un microcosme de tout ce qui est bon et terrible avec Internet. Il existe une communauté subreddit pour chaque sujet, créneau et intérêt bizarre auquel vous pouvez penser. Jigsaw ne fonctionne pas avec Reddit au niveau de l'entreprise, mais l'un des endroits les plus intrigants dans lequel la modération de l'IA de Perspective est testée est un sous-nom appelé r / changemyview.

Étonnamment, il existe des endroits sur Internet où de véritables débats et discussions ont encore lieu. Change My View, ou CMV, n’est pas comme la plupart des autres sous-titres. L'idée est de publier un avis que vous acceptez peut être erroné ou ouvert au changement, puis d'écouter et de comprendre d'autres points de vue pour voir s'ils peuvent changer d'avis sur une question. Les sujets abordés vont de sujets banals, tels que l'ordre de visionnage des films Star Wars , à des discussions sérieuses sur des questions telles que le racisme, la politique, le contrôle des armes à feu et la religion.

Change My View est un banc d’essai intéressant pour Perspective car le subreddit dispose de son propre ensemble de règles détaillées pour démarrer et modérer des conversations qui incitent à la discussion et au débat animé. Kal Turnbull, qui passe par u / Snorrrlax sur Reddit, est le fondateur et l’un des modérateurs de r / changemyview. Turnbull a déclaré à PCMag que l'API Perspective s'accordait particulièrement bien avec la règle 2 du sous-traitant, qui interdit fondamentalement les discours grossiers ou hostiles.

"Cela semble être une règle simple, mais elle est très nuancée", a déclaré Turnbull, basé en Écosse. «Il est difficile d'automatiser cette règle sans être intelligent en termes de langage. Reddit vous donne cette chose appelée AutoModerator, où vous pouvez configurer des filtres et des mots-clés pour le marquage. Mais il y a tellement de faux positifs, et cela peut être assez difficile à attraper, car quelqu'un peut dire un mot mauvais sans insulter quelqu'un, et ils peuvent aussi insulter quelqu'un sans utiliser de mauvais mots. ”

Jigsaw a contacté Turnbull en mars 2018. La collaboration a commencé avec la règle 2, mais l'équipe a rapidement créé des modèles de perspective pour d'autres règles. Il ne s’agit pas d’une intégration complète de l’API Perspective Open Source, mais plutôt d’un robot Reddit qui permet aux modérateurs de signaler les commentaires dont la note dépasse un seuil de toxicité donné.

Depuis six ans, Turnbull et les autres mods effectuent tout cela manuellement à partir de la file d'attente de rapports AutoModerator (mots clés marqués) et d'utilisateurs. Jigsaw a utilisé des années de notes de violation des règles émanant de modérateurs, suivies via une extension de navigateur, et a construit des modèles Perspective à partir de ces données, combinés à certains des modèles de toxicité existants de Perspective. Tout au long de 2018, les mods du CMV ont formulé des commentaires sur des problèmes tels que le nombre excessif de faux positifs, et Jigsaw a peaufiné les seuils de notation tout en continuant à modéliser davantage de règles du CMV.



Jugements complexes dans le débat en ligne

(Le bot Perspective intégré à l'interface du modérateur Reddit.)

La perspective n'est pas en direct pour tous les modérateurs de règles du subreddit. Certaines des règles les plus compliquées ou abstraites vont encore au-delà de la portée de ce que ce type de ML peut comprendre.

La règle 4, par exemple, régit le système de points Delta du sous-marin, tandis que la règle B empêche les utilisateurs de se faire l'avocat du diable ou d'utiliser un message pour "abuser du savon". Une modération nuancée comme celle-là nécessite des données contextuelles et une simple compréhension humaine, afin de déterminer si une personne fait valoir un argument pour de vraies raisons ou tout simplement à la traîne.

Dans un avenir prévisible, nous aurons toujours besoin de mods humains. Ces scénarios de jugement plus complexes sont ceux dans lesquels les modérateurs CMV commencent à voir des fissures dans la modélisation de l'IA, et une automatisation plus intelligente pourrait déterminer si tout cela est évolutif.

"Je pense que la raison pour laquelle c'est si compliqué est parce que c'est une combinaison de notre jugement sur leur message d'origine et de leurs interactions tout au long de la conversation. Donc, ce n'est pas un commentaire qui déclenche un modèle", a déclaré Turnbull. "Si un argument va et vient, et à la fin est un commentaire disant" merci "ou un remerciement, nous le lâchons même si une règle a été enfreinte plus tôt dans le fil. Ou une blague légère qui dans son contexte cela peut sembler impoli - c'est une belle petite chose humaine, et c'est quelque chose que le bot ne comprend pas encore."

Change My View est le seul sous-groupe qui utilise activement les modèles Perspective ML à des fins de modération pour le moment, bien que M. Adams ait déclaré que l'équipe avait reçu des demandes d'accès de plusieurs autres. Le jeu de règles spécifique de CMV en faisait un test idéal, mais les modèles de perspective sont malléables; Les sous-revendeurs individuels peuvent personnaliser l'algorithme de scoring en fonction de leurs directives de communauté.

La prochaine étape pour Turnbull consistera à supprimer CMV de Reddit, car la communauté le dépasse, a-t-il déclaré. Au cours des six derniers mois, la nouvelle startup des modérateurs a travaillé avec Jigsaw sur un site dédié doté de fonctionnalités plus complètes que l'interface modale de Reddit et que les bots peuvent fournir.

Le projet n’est encore qu’en phase de test alpha, mais Turnbull a évoqué des fonctionnalités telles que les alertes proactives lorsqu'un utilisateur saisissait un commentaire susceptible de rompre une règle, la création de rapports intégrés pour donner plus de contexte aux modérateurs et les données historiques pour prendre des décisions. Turnbull a souligné qu'il n'était pas prévu de fermer ou de migrer le subreddit, mais il est enthousiasmé par la nouvelle expérience.

• Tous les commentaires dignes d'être imprimés

  Selon le jour de la semaine, le site Web du New York Times reçoit entre 12 000 et plus de 18 000 commentaires. Jusqu'au milieu de 2017, les sections des commentaires du document étaient modérées par un personnel de gestion de communauté à plein temps, qui lisait chaque commentaire et décidait de l'approuver ou de le refuser.

  Bassey Etim, qui était jusqu'à ce mois éditeur de la communauté du Times , a passé une dizaine d'années au guichet de la communauté et en est le rédacteur en chef depuis 2014. Au plus fort d'un jour de semaine, l'équipe peut avoir quelques modérateurs à commenter des articles d'opinion, tandis que d'autres abordé des nouvelles. Un tableur se divisait et suivait différentes responsabilités, mais l’équipe d’environ une douzaine de personnes était constamment réaffectée ou déplacée en fonction des dernières nouvelles du moment. Ils ont également transmis aux journalistes des informations tirées de leurs commentaires concernant le contenu potentiel de l'histoire.

  Finalement, il devint clair que c'était plus que 12 humains pouvaient gérer. Les sections de commentaires sur les histoires devront être fermées après avoir atteint un nombre maximal de commentaires que l'équipe pourrait modérer.

  Le groupe de développement de l'audience du journal avait déjà expérimenté l'apprentissage machine pour des approbations de commentaires simples et évidentes, mais Etim a déclaré que ce n'était pas particulièrement intelligent ou personnalisable. Le Times a annoncé pour la première fois son partenariat avec Jigsaw en septembre 2016. Depuis lors, ses rubriques de commentaires sont passées de moins de 10% de toutes les nouvelles à environ 30% aujourd'hui et ont augmenté.

  Du point de vue de Jigsaw, l’incubateur a vu l’opportunité de fournir des données anonymisées de Perspective à partir de millions de commentaires par jour, modérées par des professionnels capables d’aider à affiner le processus. En échange des données de formation ML anonymisées, Jigsaw et Times ont collaboré pour créer une plate-forme appelée Moderator, qui a été lancée en juin 2017.



Inside Moderator, l'interface de commentaire du NYT

(Courtoisie d'image du New York Times )

Le modérateur combine les modèles de Perspective avec plus de 16 millions de commentaires Times modérés et anonymisés datant de 2007.

Ce que l'équipe de communauté voit réellement dans l'interface du modérateur est un tableau de bord avec un graphique d'histogramme interactif qui visualise la répartition des commentaires au-dessus d'un certain seuil. Par exemple, ils peuvent faire glisser le curseur pour approuver automatiquement tous les commentaires avec un score de synthèse de 0 à 20%, basé sur une combinaison du potentiel d'obscénité, de toxicité et de probabilité de rejet d'un commentaire. Vous trouverez ci-dessous des boutons de modération rapide pour approuver ou rejeter un commentaire, le différer ou le baliser pour continuer à améliorer la modélisation de Perspective.

"Pour chaque section du site Web, nous avons analysé les commentaires entrants et la manière dont Perspective les étiquetait. Nous avons utilisé à la fois les modèles publics de Perspective et nos propres modèles propres au New York Times ", a déclaré Etim. "J'analyserais les commentaires de chaque section et essayerais de trouver le point de rupture où nous serions à l'aise de dire:" OK, tout ce qui dépasse cette probabilité en utilisant ces étiquettes de toxicité spécifiques, comme l'obscénité, par exemple, nous allons approuver."

L'apprentissage automatique consiste à approuver un pourcentage relativement faible de commentaires (environ 25% environ, explique Etim), car le Times travaille à déployer des commentaires sur davantage d'histoires et même à personnaliser la manière dont les modèles filtrent et approuvent les commentaires de différentes sections du site. Les modèles n'approuvent que les commentaires; le rejet est encore entièrement géré par les modérateurs humains.

Ces coupures de commentaires manuelles ont disparu. Les commentaires se terminent généralement sur une histoire, soit 24 heures après sa publication en ligne, soit le lendemain de sa publication, écrit Etim.

«Nous ne vous remplaçons pas par des machines»

La phase suivante consiste à intégrer davantage de fonctionnalités dans le système pour aider les modérateurs à hiérarchiser les commentaires à examiner en premier. L'automatisation de ce qui a toujours été un processus manuel a permis aux modérateurs de passer plus de temps à travailler de manière proactive avec les journalistes pour répondre aux commentaires. Il a créé une boucle de commentaires dans laquelle les commentaires mènent à des rapports de suivi et à des récits supplémentaires - peuvent économiser et réaffecter des ressources pour créer plus de journalisme.

"Le modérateur et Perspective ont rendu le Times beaucoup plus sensible aux préoccupations des lecteurs, car nous avons les ressources pour le faire, que ce soit en écrivant nous-mêmes ou en travaillant avec des journalistes pour les comprendre", a déclaré Etim. "L'avantage de ce projet est que nous n'avons licencié personne. Nous ne vous remplaçons pas par des machines. Nous utilisons simplement les humains que nous avons plus efficacement et prenons des décisions très difficiles."

Le document est disposé à travailler avec d'autres publications pour aider le reste de l'industrie à mettre en œuvre ce type de technologie. Il peut aider les organes de presse locaux disposant de ressources limitées à gérer des sections de commentaires sans un personnel dévoué et à utiliser des commentaires comme le fait le Times , à rechercher des pistes potentielles et à alimenter le journalisme local.

Etim a comparé la modération assistée par AI à donner à un agriculteur une charrue mécanique par opposition à une pelle. Vous pouvez faire le travail beaucoup mieux avec une charrue.

"Si Perspective peut évoluer de la bonne manière, il est à espérer qu’il pourra au moins créer un ensemble de directives qui soient reproductibles pour les petites entreprises", a-t-il déclaré. "C'est un long match, mais nous avons déjà créé une bonne partie de la fondation pour faire partie de cette expérience de lecteur. Alors peut-être que ces journaux locaux pourront à nouveau commenter et établir une petite tête de pont contre les principaux acteurs sociaux".



Crier dans les abysses

À ce stade, la plupart d'entre nous avons vu des personnes attaquées ou harcelées sur les médias sociaux pour avoir exprimé leur opinion. Personne ne veut que cela leur arrive, à l'exception des trolls qui prospèrent dans ce genre de choses. Et nous avons appris que crier sur un étranger qui n'écoutera jamais un argument rationnel n'est pas une utilisation précieuse de notre temps.

Perspective tente de contrecarrer cette dynamique, mais CJ Adams a déclaré que l'objectif plus large était de publier des données, des recherches et de nouveaux modèles UX à source ouverte afin de créer de nouvelles structures de conversation - une tâche ardue. Faire d'Internet un lieu sain qui vaut la peine de passer le temps, cela veut dire que ces systèmes vont au-delà des nouvelles sections de commentaires et des subreddits. En fin de compte, les outils d'intelligence artificielle doivent être capables de gérer les réseaux sociaux et les applications sociales gigantesques qui dominent nos interactions numériques quotidiennes.

Si l'on met de côté ce que Facebook, Twitter et d'autres géants de la société font en interne, le moyen le plus direct d'y parvenir est de faire passer la technologie des modérateurs aux utilisateurs eux-mêmes. Adams a pointé au Coral Project une idée de ce à quoi cela pourrait ressembler.

Le projet Coral a été créé à l'origine comme une collaboration entre la fondation Mozilla, le New York Times et le Washington Post. Coral construit actuellement des outils à code source libre, tels que sa plateforme Talk, pour encourager la discussion en ligne et offrir aux sites d'informations une alternative à la fermeture des sections de commentaires. Talk alimente actuellement les plates-formes de près de 50 éditeurs en ligne, notamment Post , New York Magazine, The Wall Street Journal et The Intercept.

Plus tôt ce mois-ci, Vox Media a acquis le projet Coral de la fondation Mozilla. il envisage de "l'intégrer profondément" dans Chorus, sa plateforme de gestion de contenu et de narration.

Pour le projet Coral, Perspective utilise un plug-in qui utilise la même technologie sous-jacente - la cotation de la toxicité et les seuils de toxicité fondés sur une ML - pour donner aux utilisateurs des suggestions proactives lors de la frappe, a déclaré Adams. Ainsi, lorsqu'un utilisateur écrit un commentaire contenant des phrases signalées comme abus ou harcèlement, une notification peut s'afficher: "Avant de publier ce message, veillez à vous rappeler les consignes de notre communauté" ou "La langue de ce commentaire peut violer nos directives de la communauté. Notre équipe de modération l’examinera sous peu."

"Ce petit coup de pouce peut aider les gens à prendre le temps de réfléchir, mais il ne bloque personne non plus", a déclaré Adams. "Cela n'arrête pas la discussion."

C'est un mécanisme que les plateformes de discussion et de diffusion de jeux vidéo ont intégré pour enrayer les abus et le harcèlement. Les utilisateurs de Twitter pourraient aussi clairement bénéficier d'un tel système.

Andrew Lippmann, chercheur au MIT, a évoqué une idée dans Future Issue de PCMag: il a parlé de mécanismes intégrés qui permettraient aux gens de réfléchir et de réfléchir avant de partager quelque chose en ligne, pour aider à enrayer la propagation de la désinformation. Le concept s'applique également à la discussion en ligne. Nous avons créé des systèmes de communication sans friction capables d'amplifier la portée d'une déclaration de manière exponentielle en un instant, mais parfois, une petite friction peut être une bonne chose, a déclaré Lippmann.

La perspective ne consiste pas à utiliser l'IA comme solution globale. C'est un moyen de transformer les modèles de ML en outils pour les humains afin de les aider à gérer leurs propres expériences. Mais un contrepoint est que si vous facilitez encore plus l’atténuation du bruit en ligne qu’ils n’aiment pas, Internet deviendra encore plus une chambre d’écho qu’il ne l’est déjà.

Lorsqu'on lui a demandé si des outils tels que Perspective pourraient finalement exacerber cette situation, M. Adams a déclaré qu'il pensait que les chambres d'écho en ligne existaient, car il n'existait aucun mécanisme permettant d'organiser une discussion où les gens pouvaient vraiment être en désaccord.

"La voie de la moindre résistance est" Ces gens se battent. Laissons-les simplement se mettre d'accord dans leur propre coin. Laissons les gens se mettre en silo ", a-t-il déclaré. "Vous laissez les gens crier tout le monde hors de la salle ou vous fermez la discussion. Nous voulons que Perspective crée une troisième option."

Adams a présenté un exemple de scénario. Si vous demandez à une salle de 1 000 personnes, "Combien d'entre vous lisez aujourd'hui quelque chose qui vous tient à coeur?" la plupart des internautes vont indiquer un article, un tweet, un article ou quelque chose qu'ils lisent en ligne. Mais si vous leur demandez ensuite: "Combien d'entre vous pensaient que cela valait la peine de laisser le temps de commenter ou d'avoir une discussion?" toutes les mains dans la pièce vont descendre.

«Pour beaucoup d’entre nous, cela ne vaut tout simplement pas la peine. La structure de discussion que nous avons en ce moment signifie simplement que c’est un handicap. Si vous avez une pensée raisonnable ou quelque chose que vous voulez partager, pour la plupart des gens, ils ne le font pas. ne veux pas participer ", a déclaré Adams. "Cela signifie que sur les 1 000 personnes qui pourraient se trouver dans la salle, vous n'en avez que quelques-unes représentées dans la discussion; disons, 10 personnes. Je suis profondément convaincu que nous pouvons construire une structure qui permet à cette autre 990 de revenir dans la discussion et le fait d'une manière qu'ils trouvent vaut leur temps."