Intelligence artificielle et principe de non-discrimination

Les outils numériques, dont l’usage s’est considérablement accru avec la crise sanitaire, reposent souvent sur des algorithmes sans que le grand public en soit toujours conscient ou informé. Désormais utilisés dans une grande variété de domaines tels que l’accès aux prestations sociales, la police, la justice ou encore les ressources humaines, ces algorithmes de plus en plus sophistiqués constituent des sources de progrès, mais sont également porteurs de risques pour les droits fondamentaux.

Derrière leur apparente neutralité, des recherches ont mis à jour l’ampleur des biais qui peuvent intervenir lors de leur conception et leur déploiement. Des discriminations issues des traitements algorithmiques ont ainsi été relevées en Europe.

En matière de recrutement, des biais sexistes ont par exemple été repérés dans plusieurs algorithmes utilisés pour trier des CV : ils tendaient à écarter systématiquement les candidatures de femmes. Ces dérives ont été observées dans d’autres secteurs. Par exemple dans le cadre de la lutte contre la fraude aux prestations sociales, des algorithmes notamment de data mining ont ainsi conduit à concentrer les contrôles sur certaines personnes en raison de leur lieu de résidence et de leur situation de famille.

Face au risque d’automatisation des discriminations, le Défenseur des droits relevait dans ses rapports, Algorithmes : prévenir l’automatisation des discriminations de 2020 et Technologies biométriques : l’impératif respect des droits fondamentaux de 2021, que les avancées permises par ces technologies ne sauraient s’effectuer au détriment d’une partie de la population, ni au prix d’une surveillance généralisée.

A l’heure où se dessine une réglementation inédite qui fait l’objet d’intenses débats au Parlement européen, la Défenseure des droits a souhaité rappeler une exigence fondamentale : le droit de la non-discrimination doit être respecté en toutes circonstances et l’accès aux droits rester garanti pour toutes et tous.

Pour cela, le Défenseur des droits publie aujourd’hui un avis intitulé « Pour une IA européenne protectrice et garante du principe de non-discrimination » réalisé conjointement avec Equinet, le réseau européen des organismes de promotion de l’égalité, dont il est membre.

Les recommandations émises dans cet avis s’inscrivent dans la continuité des travaux antérieurs de l’institution en soulignant la priorité de lutter contre les discriminations algorithmiques et insistent sur le rôle que pourraient jouer les organismes de promotion de l’égalité européens dans ce cadre.

Recommandations

Parmi les garanties qui doivent être apportées par le Règlement, l’avis recommande :

1. Faire du principe de non-discrimination une préoccupation centrale dans toute réglementation européenne dédiée à l'IA.
2. Établir dans tous les pays européens des mécanismes de plainte et de recours accessibles et efficaces pour les personnes concernées en cas de violation des principes d'égalité et de non-discrimination ou d’autres droits fondamentaux lorsqu’une telle violation résulte de l’utilisation de systèmes d'IA.
3. Appliquer une approche fondée sur les droits fondamentaux pour définir les notions de « préjudice » et de « risque », et non une approche tirée des régimes de sécurité des produits.  
4. Exiger des analyses d'impact sur l'égalité ex ante et ex post à intervalles réguliers durant l'ensemble du cycle de vie des systèmes d'IA.
5. Assigner des "obligations d'égalité" contraignantes et opposables à tous les concepteurs et utilisateurs d'IA.
6. Rendre la différenciation des risques possible uniquement après une analyse obligatoire de l'impact sur le principe de non-discrimination et les autres droits humains.
7. Rendre effective l’exécution des dispositions du futur règlement sur l’IA en obligeant les nouvelles autorités de surveillance nationales à consulter les organismes de promotion de l’égalité ainsi que les autres institutions compétentes en matière de droits fondamentaux

Rendre obligatoire la mise en place et le financement adéquat de mécanismes de coopération qui permette aux différents organismes impliqués dans l’application du règlement sur l’IA de se coordonner au niveau européen comme national. 

Référence

Communiqué de presse de la Défenseure des droits du 21 juin 2022.