L'intelligence artificielle a un problème de biais, et c'est de notre faute

En 2016, des chercheurs de l'Université de Boston et de Microsoft travaillaient sur des algorithmes d'intelligence artificielle lorsqu'ils ont découvert des tendances racistes et sexistes dans la technologie sous-jacente à certains des services les plus populaires et les plus critiques que nous utilisons quotidiennement. La révélation allait à l’encontre de la sagesse conventionnelle voulant que l’intelligence artificielle ne souffre pas des préjugés de genre, de race et de culture que nous, les humains.

Les chercheurs ont fait cette découverte en étudiant les algorithmes d’incorporation de mots, un type d’intelligence artificielle qui permet de rechercher des corrélations et des associations entre différents mots en analysant de grands corps de texte. Par exemple, un algorithme expérimenté d'intégration de mots peut comprendre que les mots pour les fleurs sont étroitement liés aux sentiments agréables. Sur un plan plus pratique, l'incorporation de mots comprend que le terme "programmation informatique" est étroitement lié à "C ++", "JavaScript" et "analyse et conception orientées objet". Intégrée à une application de numérisation de curriculum vitae, cette fonctionnalité permet aux employeurs de trouver des candidats qualifiés avec moins d'effort. Dans les moteurs de recherche, il est possible d'obtenir de meilleurs résultats en affichant un contenu sémantiquement lié au terme de recherche.

Les chercheurs de la BU et de Microsoft ont découvert que les algorithmes d’incorporation de mots présentaient des biais problématiques, tels que l’association du "programmeur informatique" avec les pronoms masculins et de la "personne au foyer" avec celle des femmes. Leurs découvertes, qu'ils ont publiées dans un article de recherche intitulé "L'homme est-il un programmeur informatique comme la femme est une femme au foyer?" C’était l’un des nombreux reportages qui ont brisé le mythe de la neutralité de l’IA et mis en lumière les biais algorithmiques, un phénomène qui atteint des dimensions critiques alors que les algorithmes sont de plus en plus impliqués dans nos décisions quotidiennes.

Les origines du biais algorithmique

L'apprentissage automatique et les algorithmes d'apprentissage en profondeur sont à la base des logiciels les plus modernes basés sur l'IA. Contrairement aux logiciels traditionnels, basés sur des règles prédéfinies et vérifiables, l'apprentissage en profondeur crée ses propres règles et apprend par l'exemple.

Par exemple, pour créer une application de reconnaissance d'images basée sur l'apprentissage en profondeur, les programmeurs "entraînent" l'algorithme en lui fournissant des données étiquetées: dans ce cas, des photos étiquetées avec le nom de l'objet qu'elles contiennent. Une fois que l'algorithme a ingéré suffisamment d'exemples, il peut dégager des modèles communs parmi des données étiquetées de manière similaire et utiliser ces informations pour classifier les échantillons non étiquetés.

Ce mécanisme permet un apprentissage en profondeur pour effectuer de nombreuses tâches pratiquement impossibles avec un logiciel à base de règles. Mais cela signifie également que les logiciels d’apprentissage en profondeur peuvent hériter de préjugés cachés ou déclarés.

"Les algorithmes d'intelligence artificielle ne sont pas intrinsèquement biaisés", déclare le professeur Venkatesh Saligrama, qui enseigne au département de génie électrique et informatique de l'université de Boston et a travaillé sur les algorithmes d'intégration des mots. "Ils ont une fonctionnalité déterministe et détectent toutes les tendances déjà présentes dans les données sur lesquelles ils s'entraînent."

Les algorithmes d’incorporation de mots testés par les chercheurs de l’Université de Boston ont été formés à partir de centaines de milliers d’articles de Google News, Wikipedia et d’autres sources en ligne dans lesquels les préjugés sociaux sont profondément ancrés. Par exemple, en raison de la culture dominante du secteur de la technologie, les noms masculins apparaissent plus souvent dans les emplois liés à la technologie, ce qui conduit les algorithmes à associer les hommes à des emplois tels que la programmation et le génie logiciel.

"Les algorithmes n'ont pas le pouvoir de l'esprit humain pour distinguer le bien du faux", ajoute Tolga Bolukbasi, doctorante en dernière année à la BU. Les humains peuvent juger de la moralité de nos actes, même lorsque nous décidons d'agir contre les normes éthiques. Mais pour les algorithmes, les données sont le facteur déterminant ultime.

Saligrama et Bolukbasi n'ont pas été les premiers à sonner l'alarme à propos de ce parti pris. Des chercheurs d'IBM, de Microsoft et de l'Université de Toronto ont souligné la nécessité de prévenir la discrimination algorithmique dans un article publié en 2011. À cette époque, le biais algorithmique était une préoccupation ésotérique et l'apprentissage en profondeur n'avait pas encore trouvé sa place dans le courant dominant. Aujourd'hui, cependant, le biais algorithmique marque déjà beaucoup de choses que nous faisons, comme lire des nouvelles, trouver des amis, faire des achats en ligne et regarder des vidéos sur Netflix et YouTube.

L'impact du biais algorithmique

En 2015, Google a dû s'excuser après que les algorithmes de son application Photos aient étiqueté deux Noirs sous le nom de gorilles, peut-être parce que son ensemble de données de formation ne comportait pas assez d'images de Noirs. En 2016, sur les 44 gagnants d'un concours de beauté jugés par AI, presque tous étaient blancs, quelques-uns étaient asiatiques et un seul avait la peau foncée. Encore une fois, la raison était que l'algorithme était principalement formé avec des photos de Blancs.

Google Photos, vous êtes tous foiré. Mon ami n'est pas un gorille. pic.twitter.com/SMkMCsNVX4

- Jackyalciné ne réagit pas beaucoup ici. DM (@jackyalcine) 29 juin 2015

Plus récemment, un test des services d’analyse faciale d’IBM et de Microsoft a révélé que les algorithmes de la société étaient pratiquement impossibles à détecter le sexe des hommes à la peau claire, mais qu’ils se trompaient souvent lorsqu’ils recevaient des images de femmes à la peau foncée.

Bien que ces incidents aient probablement causé des dommages négligeables, on ne peut pas en dire autant des algorithmes d'IA dans des domaines plus critiques, tels que les soins de santé, l'application de la loi et le recrutement. En 2016, une enquête de ProPublica a révélé que COMPAS, un logiciel basé sur l'IA qui évalue le risque de récidive chez les délinquants, était biaisé au détriment des personnes de couleur. La découverte était particulièrement inquiétante car, dans certains États, les juges utilisent COMPAS pour déterminer qui est libre et qui reste en prison.

Dans un autre cas, une étude de la plate-forme publicitaire de Google, reposant sur des algorithmes d'apprentissage en profondeur, a révélé que les hommes étaient présentés plus souvent que les femmes à des annonces pour des emplois bien rémunérés. Une étude distincte a révélé un problème similaire avec les offres d'emploi de LinkedIn. Une autre encore a montré que les algorithmes d'embauche biaisés étaient 50% plus susceptibles d'envoyer une invitation à une interview à une personne nommée Européen-Américain plutôt qu'à une personne portant un nom afro-américain.

Des domaines tels que l'approbation de prêt, la cote de crédit et les bourses font face à des menaces similaires.

Le biais algorithmique est encore plus préoccupant en raison de la manière dont il pourrait amplifier les biais sociaux. Sous l’illusion que l’IA est froide, calcul mathématique exempt de préjugés ou de préjugés, l’homme peut avoir tendance à faire confiance au jugement algorithmique sans le remettre en question.

Dans un entretien avec Wired UK, Andrew Wooff, professeur de criminologie à la Edinburgh Napier University, a déclaré que le monde policier "soumis à des pressions excessives et qui exige beaucoup de ressources" pourrait amener les forces de l'ordre à trop se fier aux décisions algorithmiques. "Je peux imaginer une situation dans laquelle un agent de police peut s'appuyer davantage sur le système que sur ses propres processus décisionnels", a-t-il déclaré. "En partie, cela pourrait être pour que vous puissiez justifier une décision lorsque quelque chose ne va pas."

Le recours à des algorithmes biaisés crée une boucle de rétroaction: nous prenons des décisions qui créent des données plus biaisées que les algorithmes analyseront et entraîneront ultérieurement.

Ce genre de chose se produit déjà sur les réseaux de médias sociaux tels que Facebook et Twitter. Les algorithmes exécutant les flux de nouvelles créent des "bulles de filtre" qui affichent un contenu conforme aux préférences et aux biais de l'utilisateur. Cela peut les rendre moins tolérants vis-à-vis des points de vue opposés et peut également polariser davantage la société en creusant un fossé entre les divisions politique et sociale.

"Les biais algorithmiques pourraient avoir un impact sur n'importe quel groupe", déclare Jenn Wortman Vaughan, chercheuse principale chez Microsoft. "Les groupes sous-représentés dans les données peuvent être particulièrement à risque."

Dans les domaines qui sont déjà connus pour leurs biais, tels que la discrimination endémique de l'industrie des technologies à l'égard des femmes, les algorithmes d'IA pourraient accentuer ces biais et entraîner une marginalisation accrue des groupes qui ne sont pas bien représentés.

La santé est un autre domaine critique, souligne Wortman. "Cela pourrait poser de graves problèmes si un algorithme d'apprentissage automatique utilisé pour le diagnostic médical est formé à partir des données d'une population et, par conséquent, ne donne pas de bons résultats pour d'autres", a-t-elle déclaré.

Les préjugés peuvent également être nocifs de manière plus subtile. "L'année dernière, j'avais l'intention d'emmener ma fille faire une coupe de cheveux et de rechercher en ligne des images de" coupes de cheveux pour enfants "afin de trouver l'inspiration", a déclaré Wortman. Mais les images retournées représentaient presque tous des enfants blancs, principalement avec des cheveux lisses, et plus surprenant, principalement des garçons, remarqua-t-elle.

Les experts appellent ce phénomène "préjudice à la représentation": lorsque la technologie renforce les stéréotypes ou diminue des groupes spécifiques. "Il est difficile de quantifier ou de mesurer l'impact exact de ce type de biais, mais cela ne veut pas dire que ce n'est pas important", a déclaré Wortman.

Supprimer les biais des algorithmes d'intelligence artificielle

Les implications de plus en plus critiques du biais de l'IA ont attiré l'attention de plusieurs organisations et organismes gouvernementaux, et des mesures positives sont en train d'être prises pour résoudre les problèmes éthiques et sociaux entourant l'utilisation de l'IA dans différents domaines.

Microsoft, dont les produits reposent largement sur des algorithmes d'intelligence artificielle, a lancé il y a trois ans un projet de recherche intitulé FATE (équité, responsabilisation, transparence et éthique de l'intelligence artificielle) visant à permettre aux utilisateurs de bénéficier des informations améliorées et de l'efficacité des services basés sur l'IA sans discrimination partialité.

Dans certains cas, comme le concours de beauté soumis à une décision de l'IA, il peut être aussi simple de rechercher et de corriger l'origine du comportement biaisé d'un algorithme d'IA que de vérifier et de modifier les photos de l'ensemble de données de formation. Mais dans d’autres cas, tels que les algorithmes d’incorporation de mots examinés par les chercheurs de l’Université de Boston, le biais est enraciné dans les données de formation de manière plus subtile.

L'équipe de la BU, à laquelle s'est joint Adam Kalai, chercheur chez Microsoft, a mis au point une méthode permettant de classer les incorporations de mots en fonction de leur catégorisation selon le sexe et d'identifier les analogies potentiellement biaisées. Mais ils n’ont pas pris la décision finale et géreraient chacune des associations suspectes avec 10 personnes sur Mechanical Turk, le marché en ligne d’Amazon pour les tâches liées aux données, qui déciderait si l’association devait être supprimée ou non.

"Nous ne voulions pas introduire nos propres préjugés dans le processus", déclare Saligrama, professeur et chercheur à la BU. "Nous venons de fournir les outils pour découvrir des associations problématiques. Les humains ont pris la décision finale."

Dans un article plus récent, Kalai et d'autres chercheurs ont proposé d'utiliser des algorithmes distincts pour classifier différents groupes de personnes au lieu d'utiliser les mêmes mesures pour tout le monde. Cette méthode peut s'avérer efficace dans les domaines où les données existantes sont déjà biaisées en faveur d'un groupe spécifique. Par exemple, les algorithmes permettant d'évaluer les candidatures féminines à un emploi de programmeur utiliseraient les critères les mieux adaptés à ce groupe plutôt que d'utiliser l'ensemble plus large de données profondément influencé par les biais existants.

Wortman de Microsoft considère l'inclusion dans le secteur de l'IA comme une étape nécessaire pour lutter contre les biais dans les algorithmes. "Si nous voulons que nos systèmes d'intelligence artificielle soient utiles à tout le monde et pas seulement à certaines données démographiques, les entreprises doivent alors engager des équipes diverses pour travailler sur l'IA", a-t-elle déclaré.

En 2006, Wortman a participé à la création de WiML (Women in Machine Learning), qui organise chaque année un atelier permettant aux femmes qui étudient et travaillent dans le secteur de l'IA de se rencontrer, de réseauter, d'échanger des idées et d'assister à des discussions avec des femmes de haut niveau dans l'industrie et le monde universitaire. Le nouvel atelier Black in AI, fondé par Timnit Gebru, un autre chercheur de Microsoft, a pour but de créer un talent plus diversifié en matière d’IA.

Bolukbasi de l'Université de Boston propose également de modifier la façon dont les algorithmes d'intelligence artificielle résolvent les problèmes. "Les algorithmes choisiront un ensemble de règles qui maximise leur objectif. Il peut exister de nombreuses façons de parvenir au même ensemble de conclusions pour des paires d'entrée-sortie données", explique-t-il. "Prenons l'exemple des tests à choix multiples pour les humains. On peut arriver à la bonne réponse avec un processus de réflexion erroné, mais néanmoins obtenir le même score. Un test de haute qualité devrait être conçu pour minimiser cet effet, ne permettant que les Connaître le sujet pour obtenir des notes correctes Rendre les algorithmes conscients des contraintes sociales peut être considéré comme un analogue de cet exemple (bien que n'étant pas exact), où l'apprentissage d'un ensemble de règles incorrect est pénalisé dans l'objectif. sujet."

L'opacité d'AI complique l'équité

Un autre défi à relever pour rendre les algorithmes d'IA plus équitables est le phénomène de la "boîte noire". Dans de nombreux cas, les entreprises protègent jalousement leurs algorithmes: par exemple, Northpointe Inc., le fabricant de COMPAS, le logiciel de prévision du crime, a refusé de divulguer son algorithme exclusif. Les seules personnes au courant du fonctionnement interne de COMPAS sont ses programmeurs, pas les juges qui l'utilisent pour se prononcer.

Outre le secret des entreprises, les algorithmes d'intelligence artificielle sont parfois si compliqués que les raisons et les mécanismes qui sous-tendent leurs décisions échappent même à leurs créateurs. Au Royaume-Uni, la police de Durham utilise le système HART d'IA pour déterminer si les suspects présentent un risque faible, moyen ou élevé de commettre de nouveaux crimes dans un délai de deux ans. Mais une revue académique de HART en 2017 a observé que "l'opacité semble difficile à éviter". Cela est dû en partie à la quantité et à la variété des données utilisées par le système, ce qui rend difficile l'analyse des raisons qui ont motivé ses décisions. "Ces détails pourraient être mis gratuitement à la disposition du public, mais ils nécessiteraient énormément de temps et d'efforts pour être parfaitement compris", indique le journal.

Plusieurs entreprises et organisations sont en train de diriger les efforts visant à apporter de la transparence à l'intelligence artificielle, notamment Google, qui a lancé GlassBox, une initiative visant à rendre le comportement des algorithmes d'apprentissage automatique plus compréhensible sans sacrifier la qualité de la sortie. La DARPA (Defense Advanced Research Projects Agency), qui supervise l'utilisation de l'IA dans l'armée, finance également un effort visant à permettre aux algorithmes d'IA d'expliquer leurs décisions.

Dans d'autres cas, le jugement humain sera essentiel pour lutter contre les préjugés. Afin d'empêcher que des biais humains existants, raciaux et sociaux, ne se glissent dans les algorithmes de HART, l'agent de police de Durham a organisé avec le personnel de son personnel des séances de sensibilisation aux préjugés inconscients. Les forces de police ont également pris des mesures pour supprimer des points de données tels que les traits raciaux, qui pourraient créer le motif de décisions biaisées.

Responsabilité humaine

Dans une perspective différente, les algorithmes d'intelligence artificielle peuvent être l'occasion de réfléchir à nos propres préjugés et préjugés. "Le monde est biaisé, les données historiques sont biaisées, il n'est donc pas surprenant que nous recevions des résultats biaisés", a déclaré à The Guardian Sandra Wachter, chercheuse en éthique des données et algorithmes à l'Université d'Oxford.

Wachter fait partie d'une équipe de recherche de l'institut Alan Turing à Londres et de l'université d'Oxford, qui a publié un document appelant à des réglementations et à des institutions pour étudier les possibilités de discrimination par des algorithmes d'IA.

Joanna Bryson, informaticienne à l'Université de Bath et co-auteur d'un document de recherche sur le biais algorithmique, a également déclaré au Guardian : "Beaucoup de gens disent que l'IA est préjudiciée. Non, cela montre que nous 'ont des préjugés et que l'IA l'apprend."

En 2016, Microsoft a lancé Tay, un bot Twitter censé apprendre des humains et engager des conversations intelligentes. Mais dans les 24 heures qui ont suivi le lancement de Tay, Microsoft a dû mettre fin à ses activités après avoir commencé à lancer des commentaires racistes, qu’il avait retenus de ses conversations avec les utilisateurs de Twitter. C’est peut-être un rappel qu’il est temps que nous, les humains, reconnaissions notre propre rôle dans l’apparition et la propagation du phénomène de biais algorithmique et prenions des mesures collectives pour en annuler les effets.

"C'est une tâche très compliquée, mais c'est une responsabilité à laquelle nous, en tant que société, ne devons pas nous soustraire", a déclaré Wachter.