Les algorithmes entraînés sur des données historiques ont tendance à reproduire les schémas présents dans ces données, y compris les discriminations. Le biais algorithmique désigne cette tendance d'un système IA à produire des résultats systématiquement défavorables à certains groupes de personnes (femmes, minorités, seniors…).
L'exemple le plus célèbre est celui d'Amazon. Entre 2014 et 2018, l'entreprise a utilisé un algorithme pour trier les CV des candidats. Entraîné sur des données issues d’une dizaine d’années de recrutement chez le géant du e-commerce, majoritairement masculins dans les postes techniques, l'outil a « appris » à pénaliser les candidatures féminines. Amazon a donc fini par abandonner son outil. Plusieurs secteurs souffrent de ce biais algorithmique :
- Le crédit bancaire : l’algorithme de scoring peut refuser un prêt à des personnes résidant dans certains quartiers, non pas à cause de leur solvabilité, mais parce que le code postal est statistiquement corrélé à un risque de défaut plus élevé ;
- L'assurance : les modèles de tarification peuvent reproduire des discriminations historiques si les données d'entraînement reflètent des pratiques passées inégalitaires ;
- Les assistants IA : ChatGPT, Claude et les autres LLM peuvent véhiculer des stéréotypes de genre ou d'origine. Une étude de l'UNESCO (2024) a montré que ces modèles associent quatre fois plus souvent les femmes aux tâches domestiques qu'aux postes de direction.
Les biais ne viennent pas d'une volonté de discriminer (car l’IA n’a pas de « volonté » au sens propre). Ils proviennent plutôt :
- Des données d'entraînement, qui reflètent les discriminations passées ;
- Des choix de conception (quelles variables inclure ou exclure) ;
- Et parfois des biais cognitifs des développeurs eux-mêmes.
En Europe, le règlement sur l'IA (AI Act, février 2025) classe les outils de recrutement et d'évaluation de crédit dans la catégorie « haut risque ». Les entreprises qui les utilisent doivent documenter leur fonctionnement, tester l'absence de discrimination et maintenir une supervision humaine. Le non-respect de ces obligations peut entraîner des amendes allant jusqu'à 35 millions d'euros ou 7 % du chiffre d'affaires mondial.
💡 Le conseil Moon
Si vous utilisez un outil IA pour trier des CV ou noter des candidats, posez trois questions à l’éditeur de la solution : sur quelles données l'algorithme a-t-il été entraîné ? Quels sont les tests de biais qui ont été réalisés ? Même avec toutes les garanties techniques, ne laissez jamais un algorithme prendre une décision importante sans un fact-checking humain.
