Les algorithmes : un pêle-mêle discriminant

Notre quotidien est gouverné par des algorithmes. Ils s’immiscent dans notre vie, quels que soient notre place et notre âge dans la société. L’algorithme omnipotent nous semble paradoxalement invisible. Les résultats du sondage mené par l’IFOP pour la CNIL en janvier 2017 sont éloquents : « si 83 % des Français ont déjà entendu parler des algorithmes, ils sont plus de la moitié à ne pas savoir précisément de quoi il s’agit (52 %). Leur présence est déjà appréhendée comme massive dans la vie de tous les jours par 80 % des Français qui considèrent, à 65 %, que cette dynamique va encore s’accentuer dans les années qui viennent. »[1]

Épisode 2 : Les algorithmes : un pêle-mêle discriminant

L’étude «  Algorithmes : biais, discriminations et équité » rappelle le cas d’Amazon, qui avait mis en place un algorithme pour recruter ses futurs employés. L’algorithme utilisait des données de centaines de milliers de CV reçus au cours des dix dernières années pour attribuer aux candidats une note allant de 1 à 5 étoiles, à l’image de l’évaluation de produits. Ce mode opératoire de recrutement a été suspendu : « il attribuait de mauvaises notes en particulier aux CV contenant les mots women’s et défavorisait les diplômées de collèges américains uniquement réservés aux femmes. »

Une enquête réalisée dans le cadre du débat public par la CFE-CGC auprès de ses adhérents conforte cette crainte de voir les algorithmes comme des outils discriminants : « 72 % des répondants envisagent comme une menace la possibilité d’être recruté par des algorithmes, sur la base d’une analyse de leur profil et de sa compatibilité à un poste défini. 71 % d’entre eux affirment ainsi que la définition d’une charte éthique autour de l’usage des algorithmes constitue une réelle priorité. »

L’étude de Telecom Paris Tech relaie l’évaluation menée outre-Atlantique par ProPublica, organisation indépendante à but non lucratif, de la société Northpoint dans le cadre de l’analyse COMPAS (Correctional Offender Management Profiling for Alternative Sanctions). Après avoir étudié pendant deux ans un outil algorithmique sur le risque de récidive de délinquance, les chercheurs ont révélé des résultats inégalitaires quant au traitement des données entre les Afro-Américains et les blancs. « Les accusés blancs sont souvent prédits moins risqués qu’ils ne le sont et a contrario, les accusés noirs sont souvent prédits plus risqués qu’ils ne le sont. »

Le cas « Parcoursup » : l’opacité des algorithmes pointée du doigt

En France, dans un tout autre domaine, l’usage des algorithmes dans la sélection des étudiants a été vivement critiqué. À ce titre, la décision du Défenseur des droits en date du 18 janvier 2019 donne son avis au sujet de la plateforme Parcoursup. Elle rappelle « que le recours au critère du lycée d’origine pour départager les candidats en favorisant certains candidats ou en défavorisant d’autres en fonction du lieu géographique dans lequel l’établissement est situé peut être assimilé à une pratique discriminatoire, s’il aboutit à exclure des candidats sur ce fondement. ». De même, elle invite à « prendre les mesures nécessaires, sur le plan législatif et réglementaire, afin de rendre publiques toutes les informations relatives au traitement, y compris algorithmique, et à l’évaluation des dossiers des candidats par les commissions locales des établissements d’enseignement supérieur en amont du processus de leur affectation ». En janvier 2020, le Conseil constitutionnel a été saisi par le Conseil d’État d’une question prioritaire de constitutionnalité déposée par l’Unef, le syndicat étudiant. Dans sa décision en date du 3 avril 2020, le Conseil Constitutionnel « a estimé que le fait de ne pas dévoiler les algorithmes locaux après l’appréciation des commissions d’examen portait effectivement atteinte au droit à l’accès aux documents administratifs garanti par l’article 15 de la Déclaration des droits de l’homme. » Tout en garantissant la protection du secret des délibérations, le Conseil Constitutionnel recommande aux établissements d’enseignement supérieur « de publier leurs critères de sélection sous la forme d’un rapport une fois la procédure Parcoursup terminée, lesquels devront préciser dans quelle mesure des traitements algorithmiques ont été utilisés pour procéder à l’examen des candidatures ».

Un chaînage de la donnée complexe

Ces exemples différents montrent combien le chaînage de la donnée a énormément d’importance et n’épargne aucun domaine. Nous avons en souvenir le scandale « Cambridge Analytica », société qui a exploité des données de dizaines de millions d’utilisateurs à des fins politiques lors de la campagne présidentielle américaine de 2016. L’algorithme peut être aussi un outil économique déloyal, « le self preferencing », utilisé pour favoriser ses propres produits : la Commission européenne a condamné pour ce motif Google en 2017 à payer une amende de 2,4 milliards d’euros. La commissaire européenne à la Concurrence, Margrethe Vestager a engagé récemment une procédure contre Amazon dans le cadre d’une enquête sur cette éventuelle pratique anticoncurrentielle.

Les biais algorithmiques ne sont cependant pas tous le fruit d’une opacité intentionnelle, comme le souligne Benoit Rottembourg, pilote du projet Regalia[2], conduit par l’Institut national de recherche en sciences et technologies du numérique (Inria)[3]. « Il y a des couches de logiciels qui peuvent s’empiler d’année en année dans une entreprise ou une administration, et qui résultent en une réponse algorithmique inexplicable tant elle est noyée d’informations passées et présentes. » Mais selon lui, « l’État a un devoir d’irréprochabilité » en matière de régulation algorithmique.

[1] Sondage extrait du rapport de la CNIL, « Comment permettre à l’homme de garder la main : les enjeux éthiques des algorithmes et de l’intelligence artificielle », 2017

[2] Projet conduit par l’Inria et qui a pour ambition de construire un environnement logiciel de test et d’aide à la régulation pour faire face aux risques de biais et de déloyautés engendrés par les algorithmes des plates-formes numériques.

[3]  https://www.inria.fr/fr/pour-une-regulation-des-algorithmes