Utilisateur:VoidNull/Brouillon

Équité Algorithmique

Il est utile d'un point de vue légal et éthique d'être capable de garantir qu'un algorithme ne soit pas discriminatoire.

L'équité algorithmique est le principe selon lequel un algorithme de classification employant l'apprentissage automatique ne peut pas se baser sur l'appartenance d'une personne à un groupe social donné,comme le sexe, la race ou la religion, pour prendre une décision à propos de cette personne. Un algorithme équitable est donc un algorithme qui, pour une personne donnée, ne fait pas de discrimination basé sur le groupe social auquel elle appartient. Cependant, il existe de nombreuses définitions concurrentes de l'équité d'un algorithme parfois mutuellement incompatibles entre elles. Alors un des sujets de recherche actuel dans le domaine de l'équité algorithmique consiste à trouver une définition cohérente et précise de ce qu'est l'équité algorithmique.

Définitions

Parité Statistique

Prenons l'exemple d'un algorithme de classification binaire, c'est-à-dire d'un algorithme qui doit déterminer l'appartenance d'une personne à l'une ou l'autre de deux classes et appelons ces classes "positive" et "négative". Une façon de formaliser l'idée d'équité de cet algorithme est de dire qu'il faut que la différence de probabilité d'être classé positivement entre une personne d'un groupe et une personne hors du groupe soit plus petite qu'un certain seuil. Soit $X$ la population, $S\subseteq X$ l'ensemble des personnes dont nous voulons vérifier s'ils subissent de la discrimination et $D$ une distribution de $X$ représentant la probabilité qu'une personne doivent être évaluée à l'aide de l'algorithme de classification. L'algorithme de classification est représenté par une fonction $h:X\rightarrow \{0,1\}$ , où 1 représente le fait d'être classé positivement et 0 négativement. Le biais de $h$ est défini comme suit:

$\left\vert biais_{h}(X,S,D)\right\vert =Pr[h(x)=1|x\in S^{C}]-Pr[h(x)=1|x\in S]$.

Il est à noter que l'algorithme $h$ est potentiellement aléatoire et que la probabilité est mesurée sur la distribution $D$.

On dira que l'hypothèse $h$ avec distribution $D$ est juste par rapport à $S$ jusqu'à un seuil $\epsilon$ si $\left\vert biais_{h}(X,S,D)\right\vert <\epsilon$. Cette équation représente l'équité individuelle, qui est le fait de produire des résultats similaires pour des données similaires.

Équité de groupe

Une définition similaire, appelée équité de groupe, représente le fait que notre algorithme aie autant de chance de choisir une personne faisant partie du groupe visé qu'une personne n'en faisant pas partie. On dira que $h$ est équitable envers le groupe $S$ si:

${\frac {Pr[h(x)=1|x\in S]}{Pr[h(x)=1|x\not \in S]}}<1-\epsilon$.

Mesure de Lipschitz

Soit $A$ l'ensemble des résultats (dans notre cas $\{0,1\}$), $M:X\rightarrow \Delta (A)$ une fonction associant à chaque personne sa distribution statistique sur l'ensemble des résultats, c'est-à-dire quelle est la probabilité que l'algorithme le mette dans une classe donnée. Alors, on dit que $M$ est une (D,d)-application lipschitzienne si pour tout $x,y\in X$ on a:

$D(M(x),M(y))\leq d(x,y)$

où D et d sont des métriques sur les ensembles des distributions et des individus respectivement. On définit alors un algorithme équitable comme étant un algorithme pour lequel la fonction $M$ associée reliant les individus à leur distribution sur $A$ minimise une fonction objectif $L:X\times A\rightarrow \mathbb {R}$ tout en s'assurant que la fonction est une application lipschitzienne.

Effet disparate

Dans la loi anti-discrimination américaine, l'effet disparate (disparate impact) est défini dans la loi de 1964 relative aux droits civils comme étant une notion selon laquelle un employeur ne peut pas sélectionner ses employés selon un critère qui aurait un effet négatif injustifié sur les membres d'une classe protégée (protected class). Par contre, le fardeau de la preuve revient au plaignant, s'il ne prouve pas que l'employeur a utilisé un critère ayant un effet disparate, ce dernier ne pourra pas être reconnu coupable. Du point de vue d'un employeur utilisant un algorithme d'apprentissage automatique dans le cadre de ses décisions d'embauche et de sa gestion d'entreprise, il est intéressant d'être capable de garantir que l'algorithme n'a pas d'effet disparate, pour se prémunir contre des poursuites potentielles. Bien qu'il n'y ait pas de règles formelles définissant mathématiquement ce qu'est l'effet disparate, la commission américaine de l'égalité des chances en matière d'emploi (EEOC) suggère la règle des 80 pourcents, qui équivaut à l'équité de groupe avec $1-\epsilon =0.8$.

Problèmes

Problèmes avec les définitions

Certains algorithmes peuvent contenir des présuppositions implicites dont il faut tenir compte si l'on veut arriver à des résultats véritablement équitables. Prenons l'exemple d'un algorithme servant à déterminer si un étudiant est admis ou non dans une université. On voudrait éviter que notre algorithme ne discrimine envers certains groupes sociaux tout en nous assurant que les étudiants répondent aux critères d'admission, comme avoir les diplômes requis, avoir un bon dossier scolaire, etc. Mais que devrions-nous faire dans le cas où la proportion de personnes d'un certain groupe social répondant aux critères est plus faible que dans la population en général? Tout dépend des croyances que nous avons à propos du monde. Il y a deux choix de croyance qu'il est possible d'adopter dans cette situation: soit on suppose que tout le monde est égal et que les différences mesurées ne sont que des erreurs dans la mesure ou on suppose que nos mesures reflètent avec précision l'état du monde. Ces deux croyances nécessiteront deux mécanismes différents pour garantir l'équité: dans le cas d'une croyance que tout le monde est égal, on choisira une mesure d'équité de groupe, tandis que si on suppose que nos mesures reflètent la réalité, on choisira des mesures individuelles. Il est à noter que même si on reconnait qu'il y a une différence réelle entre les deux groupes, on peut quand même choisir d'utiliser le principe d'égalité si on croit que l'admission scolaire devrait servir d'égalisateur social entre les classes.

Problèmes de modélisation

Même si les définitions employées sont conformes à la vision du monde de celui qui crée l'algorithme, il est possible que l'algorithme soit discriminatoire si le problème que l'on souhaite résoudre a été incorrectement modélisé, c'est-à-dire qu'il fournit une réponse correcte à une question incorrecte. Prenons l'exemple d'une compagnie qui souhaite déterminer quel employé elle devrait embaucher. Une façon de répondre à ce problème pourrait être d'utiliser un outil d'apprentissage machine pour tenter de prévoir si la personne a une forte probabilité de rester fidèle à l'entreprise pour une longue durée ou non en se basant sur le lieu de résidence de cette personne. Ici, l'employeur a défini la notion de "bon employé" de façon étroite, c'est-à-dire qu'il tient seulement compte de la fidélité estimée de la personne et non de son rendement économique, de la qualité de ses interactions avec les clients, ou tout autre mesure pertinente. Donc ici, il est probable que le modèle de bon employé construit ne correspond pas à la réalité. Comme le lieu de résidence est souvent corrélé avec l'ethnie de la personne, l'employeur se fierait sur une mesure qui ne représente pas une solution à son vrai problème et qui pourrait exclure certains groupes de personnes.

Problèmes dans les données

Parfois le problème ne vient pas de l'algorithme, mais des données qui sont utilisées pour l'entraîner. Si on emploie des données historiques et que certains groupes ont historiquement été victimes de discrimination, ce biais sera appris par l'algorithme. De plus, ce problème peut être difficile à détecter car souvent les données utilisées pour tester le programme résultant proviennent du même ensemble de données qui a été utilisé pour l'entraîner et possèdent les mêmes biais, ce qui fait que la discrimination passe alors inaperçue. Pour remédier à cette situation, il faut s'assurer que les données d'entraînement soient exemptes de biais.

Exemples

Capture d'écran du logiciel PredPol montrant les différents crimes prédits.

Le fait de garantir qu'un algorithme de classification est équitable envers certains sous-ensembles de notre domaine devient pertinent lorsque l'algorithme est utilisé pour poser des décisions ayant un impact social important et où il est peut-être même illégal de discriminer envers certaines personnes.

• Aux États-Unis, le logiciel de prévision policière PredPol utilise les données des crimes recensés pour essayer de prédire dans quels emplacements et à quels moments auront lieu les prochains crimes, pour permettre aux policiers de mettre en place un plan d'action préventif. Il a été utilisé dans des villes comme Atlanta et Los Angeles et a permis de réduire le taux de différents types de crimes de 10% à 30%. Cependant, cette technologie ne fait pas l'unanimité. Une des raisons est que l'algorithme final peut avoir appris les biais présents dans la société si les données sur lesquels il a été entrainé étaient biaisées. Par exemple, supposons qu'avant l'arrivée de ce logiciel les policiers étaient racistes et avaient plus souvent tendance à patrouiller dans les quartiers à forte concentration de personnes noires. Alors, puisque la présence policière est plus importante dans ces quartiers, les crimes ont plus de chance d'être détecté et répertorié. Un algorithme se basant sur ces données aurait tendance à prévoir davantage de crimes dans ce quartier, ce qui encouragerait les policiers à s'y rendre et pourrait accroître le préjugé initial qu'ils avaient. Ainsi, comme l'affirme le Human Rights Data Analysis Group : "le modèle prédit approximativement où les crimes étaient déjà connus. Le modèle ne peut pas prédire des tendances de crime qui n'étaient pas déjà connues par la police. Et puisque seulement la moitié des crimes sont connus par la police, les tendances prédites sont probablement assez différentes des tendances réelles. Les algorithmes de prévision policière n'ajoutent pas d'information à ce que la police savait déjà. Par contre, ils ont le potentiel d'amplifier les écarts raciaux des effets des mesures policières." (Traduction libre)
• Il existe des logiciels permettant aux gestionnaire d'entreprises de prévoir à l'aide de l'apprentissage machine quels employés sont à risque de quitter leur organisation et ainsi intervenir avant que cela ne se produise. En effet, les entreprises ont de fortes incitatives à retenir leurs employés car les remplacer peut être très coûteux: les coûts de remplacement des employés peuvent aller jusqu'à quatre fois le salaire de cet employé. De tels outils peuvent aussi être utilisés dans le processus d'embauche pour s'assurer que l'employé choisi reste à l'intérieur de l'entreprise. Un des paramètres les plus efficaces pour prédire la rétention d'un employé est la distance qu'il doit parcourir pour se rendre de chez lui jusqu'à son travail. Cependant, il est raisonnable de supposer que le lieu de résidence et l'ethnie de la personne ne sont pas des variables indépendantes. Donc dans ce cas le lieu de résidence pourrait agir comme pour l'ethnie et provoquer des décisions discriminatoires, même involontairement.