Biais algorithmique

vignette|Organigramme représentant l'algorithme derrière un moteur de recommandation. Un biais algorithmique est le fait que le résultat d'un algorithme ne soit pas neutre ou équitable, pour des raisons inconscientes ou délibérées de la part de ses auteurs.

Un biais algorithmique peut se produire lorsque les données utilisées pour entraîner un algorithme d'apprentissage automatique reflètent un sous échantillon non représentatif et non exhaustif de la population générale, et donc potentiellement des caractéristiques ou des valeurs implicites des humains impliqués dans la collecte, la sélection, ou l'utilisation de ces données.. Les biais algorithmiques ont été identifiés et critiqués pour leur impact sur les résultats des moteurs de recherche., les services de réseautage social., le respect de la vie privée., et le profilage racial.. Ainsi, un biais peut être raciste, sexiste, culturel, générationnel, social ou autre..

Le biais algorithmique peut être involontaire et ne procède pas nécessairement d’une volonté délibérée des concepteurs. Par conséquent, il est important d'avoir conscience que la conception et l'usage d'un algorithme peut reproduire ou amplifier certains biais. Cette problématique pose la question du manque de rétrocontrôle des concepteurs, programmeurs et utilisateurs d'algorithmes..

Définitions

Un algorithme est biaisé lorsque son résultat n'est pas neutre, loyal ou équitable. Cette définition repose donc sur trois notions : la neutralité, la loyauté et l'équité. Les biais algorithmiques conduisent à des discriminations..

Équité algorithmique

Pour éviter que les algorithmes ne soient biaisés par absence d’équité, les chercheurs . préconisent de développer des algorithmes qui respectent des principes d'équité..

Cette approche suppose de définir l'équité. distinguent trois définitions. : l'anti-classification consiste à ne pas prendre en compte les variables susceptibles de discriminer (par exemple le genre ou la race) la parité de classification consiste à faire en sorte que la soit la même entre les différents groupes la calibration consiste à faire en sorte que

Hamilton (2016) distingue aussi l’équité individuelle et l’équité de groupe. L'équité individuelle garantit que les individus aux caractéristiques similaires soient pris en compte de la même manière tandis que l'équité de groupe garantit que les personnes de groupes différents soient prises en compte différemmentEvan Hamilton, Benchmarking Four Approaches to Fairness-Aware Machine Learning, Haverford College Computer Science, 2016.

Des mesures ont été préconisées pour quantifier l'équité d'un algorithme vis-à-vis d'individus ou de groupes..

Transparence et loyauté algorithmique L'algorithme et son responsable doivent communiquer et informer les utilisateurs sur son fonctionnement. L'algorithme doit précisément sans renforcer ou reproduire une quelconque discrimination...

Neutralité algorithmique La neutralité des algorithmes est l'idée selon laquelle les systèmes informatiques automatisés, comme les algorithmes, les réseaux de neurones et les systèmes décisionnels ne doivent pas introduire de biais ou de discrimination envers certaines personnes ou groupes de personnes .. Cela signifie qu’ils doivent fonctionner de manière impartiale et traiter toutes les personnes de manière équitable, indépendamment de leur origine ethnique, leur genre, leur orientation sexuelle, leur religion, leur race. C'est un idéal à atteindre, et cela nécessite de lutter contre les biais et les discriminations algorithmiques au moyen de techniques comme l’évaluation des biais, la diversité des données, la transparence des algorithmes et l’interprétabilité pour s’assurer que les algorithmes sont équitables et non discriminatoires.

Origines

Les biais de l'algorithme peuvent résulter de biais cognitifs du , de biais statistiques liés notamment aux données d'apprentissage ou de biais économiques. Ils affectent la justesse des décisions des machines.

Biais des data scientists

Les qui développent des algorithmes peuvent être sujets à de nombreux biais cognitifs. Parmi ceux-ci, le biais du mouton de Panurge consiste à utiliser une modélisation sans s'assurer de sa pertinence dans un contexte donné. Le biais de confirmation consiste à favoriser la vision du monde de la conceptrice sans prendre en compte les données qui ne vont pas dans son sens. Le biais social provient d’une influence extérieure au développeurGaétan Raoul, Biais dans l’IA : une cartographie nécessaire pour tenter de les corriger, LeMagIT, 9 mars 2021.. Le biais de présentation, quant à lui, se réfère au design d’une interface qui incite à faire un choix, par exemple l'acceptation des cookies sur un site internet plutôt que leur refus..

Les équipes de qui développent des algorithmes ne sont pas toujours représentatives de la population générale. Une étude de l'AI Now Institute publiée en 2019 souligne que les femmes représentent seulement 15 % du personnel de recherche en intelligence artificielle chez Facebook et 10 % chez Google..

Aux États-Unis, soulignent que la composition sociale des équipes de peut entraîner des angles morts dans la conception des systèmes algorithmiques. Elles qualifient ce phénomène de ().. Selon ces autrices, ces angles morts peuvent conduire les systèmes algorithmiques à reproduire ou amplifier certains biais lorsqu'ils sont déployés à grande échelle.

Biais statistiques

Les biais statistiques peuvent provenir des données contenues en entrée de l'algorithme ou de l'algorithme lui même. Les résultats ne fourniront donc pas une représentation exacte de la population et seront erronés.

En 2015, un algorithme d'évaluation de curriculum vitæ développé par Amazon a été retiré quand on s'est aperçu qu'il discriminait fortement les CV féminins..

Les biais peuvent aussi venir de la méthode statistique. Ils sont issus des données fournies en entrée de l’algorithmique en raison de leur qualité ou représentativité, ou du modèle prédictif. Par exemple, le biais de variable omise découle de l’absence de variables pertinentes dans un modèle pouvant rendre ce modèle inutilisable. Dans le biais d'échantillonnage, l’échantillon du test n’est pas représentatif de la réalité. Le biais de sélection se produit quand la sélection de données est erronée et que le travail s’opère avec un sous-ensemble spécifique du groupe et non un sous-ensemble aléatoire. Le biais d'endogénéité implique que les variables endogènes sont déterminées au sein du modèle et sont corrélées avec le terme d’erreur, ce qui conduit à l’estimation de paramètres biaisés. Le biais temporel apparaît lorsque le comportement de l’utilisateur change très rapidement, par exemple dans l’effet d’accoutumance à une publicité. Le biais d’évaluation met en cause le modèle évalué selon une référence inappropriée. Le biais d’agrégation implique un modèle jugé sur sa performance globale. Le biais historique consiste à répéter un biais qui était déjà présent.

Biais économiques

Les biais économiques touchent les marchés, ils sont liés aux incitations économiques émanant d’un objectif financier par une entreprise qui se développe. Un algorithme peut donc être fondé sur une stratégie commerciale constituant volontairement ou involontairement un biais. Ainsi l’optimisation du rapport coût-efficacité de la diffusion d’offres d’emploi, qui vise à minimiser les coûts de recrutement pour une entreprise, a mené à discriminer les femmes...

Les biais économiques sont en partie la conséquence des économies que l'investisseur souhaite faire dans la réalisation du projet.

Biais algorithmiques par domaine d'application

Plongements lexicaux

Les modèles de word embeddings (plongements lexicaux) peuvent reproduire les biais psychologiques humains.

étudient le modèle de plongement vectoriel et montrent que l'on retrouve des associations implicites entre des mots porteuses de préjugés. Ils proposent une méthode de mesure des préjugés inspirée du test d'association implicite..

Reconnaissance faciale

Selon , les femmes sont moins facilement reconnues par les logiciels de reconnaissance faciale d'IBM, Microsoft et Face ++. Sur portraits officiels de personnalités politiques qui leur ont été soumis, Face ++ a vu juste pour 99,3 % des hommes, mais seulement 78,7 % des femmes. Ainsi, 95,9 % des erreurs de l'entreprise concernaient des femmes...

Ces différences peuvent entraîner des erreurs telles que l’identification erronée d’un acheteur en tant que voleur à l’étalage. En 2019, une étude réalisée par le Government Accountability Office des États-Unis sur 189 algorithmes de reconnaissance faciale utilisés dans le milieu commercial a conclu que les hommes blancs avaient le plus faible taux de faux positifs, tandis que celui des femmes noires était près de dix fois supérieur.

Algorithmes de recommandation

Les algorithmes de recommandation peuvent conduire à des résultats biaisés vers certains contenus.

Par exemple, les travaux de rétro-ingénierie sur l'algorithme de recommandation de YouTube mené par Guillaume Chaslot et l'association Algotransparency montrent que l'algorithme a tendance à favoriser les contenus à caractère complotistes..

Agents conversationnels

En 2016, l'agent conversationnel Tay développé par Microsoft et déployé sur Twitter a dû être retiré après 24 heures à la suite de la tenue de propos à caractère raciste..

Justice prédictive

Dans certains états américains, la justice des libertés et de la détention appuie ses décisions de libération anticipée des détenus, sur des algorithmes d'évaluation du risque ; on appelle cela la justice prédictive. En 2016, une enquête de l'ONG ProPublica a mis en évidence que l'algorithme de la société Northpointe, bien que ses concepteurs affirment ne pas prendre directement en compte la race, avait un biais raciste ..

Lutte contre le biais algorithmique

Il existe plusieurs possibilités pour lutter contre le biais algorithmique. Selon TechCrunch, il faudrait créer des bases de données partagées et règlementées qui empêcheraient les individus de manipuler les données. En effet, en admettant que , les algorithmes ne sont pas encore assez intelligents, donc exempts de préjugés, pour se corriger eux-mêmes. En attendant qu'ils en soient capables, il faut donc que des humains, conscients de ce qu'est un préjugé, les contrôlent afin d'éviter qu'ils n'aggravent les biais potentiellement déjà présents dans les données avec lesquelles ils sont entraînés ..

L’une des principales difficultés de la lutte contre le biais algorithmique est l’opacité du fonctionnement des algorithmes.. Cette opacité peut avoir quatre origines. ; le secret intentionnellement mis en place par les entreprises qui veulent protéger leur propriété intellectuelle, l’inculture des utilisateurs et des chercheurs, mais aussi le fait qu'avec leur évolution au cours du temps certains algorithmes deviennent illisibles du fait de leur complexité et enfin le gigantisme de certains algorithmes, notamment ceux des grands services en lignes.. Si certains chercheurs ont essayé de développer des méthodes pour améliorer la transparence., d’autres, comme Shoshana Zuboff et Ruha Benjamin, affirment que les algorithmes ne peuvent pas être approchés comme des objets isolés, mais plutôt comme faisant partie de grands assemblages culturels et socio-techniques..

Audit des algorithmes et rétro ingénierie

Pour documenter les biais algorithmiques, il faut pouvoir les auditer. Pour cela, ont collecté des données et développé leur propre modèle pour être en mesure de mettre en évidence, le biais de l'algorithme d'évaluation des risques de récidive.

Théorie critique et approches ethnographiques