Un fabricant mondial a déployé une plateforme d’IA de notation des risques fournisseurs entraînée sur un vaste jeu de données d’événements de risque fournisseurs historiques. La plateforme attribuait des niveaux de risque qui déterminaient la profondeur de la diligence raisonnable, les exigences contractuelles et l’intensité de la surveillance. Son discours commercial mettait en avant l’objectivité : des évaluations fondées sur les données, exemptes de biais humains. En douze mois, l’équipe TPRM a remarqué que les fournisseurs de certaines régions et de certains secteurs obtenaient systématiquement une note de risque élevé malgré des dossiers de conformité irréprochables et une solide posture de sécurité. L’analyse des données d’entraînement a révélé le mécanisme : le jeu de données historique surreprésentait les fournisseurs ayant fait l’objet d’une diligence raisonnable approfondie ; comme une évaluation approfondie produit davantage de constats documentés, ces fournisseurs paraissaient plus risqués dans les données d’entraînement. Les populations historiquement soumises à une évaluation approfondie présentaient des caractéristiques géographiques et sectorielles précises. Le modèle avait appris la corrélation entre ces caractéristiques et la fréquence des constats sans apprendre que cette fréquence résultait de l’intensité de l’évaluation et non d’un risque intrinsèque. Le modèle reproduisait fidèlement une boucle de rétroaction : l’évaluation approfondie produisait des constats, les constats servaient à l’entraînement comme signal de risque, et le risque déclenchait une évaluation approfondie.
Que sont réellement les biais de l’IA dans les décisions de risque ?
Les biais de l’IA dans les décisions de risque désignent la distorsion systématique des évaluations de risque produites par l’IA, causée par des biais encodés dans les données d’entraînement, par des choix de conception du modèle ou par des boucles de rétroaction créées lorsque les résultats de l’IA influencent les futures données d’entraînement. Dans le contexte du TPRM, les modèles d’IA de notation des risques sont particulièrement exposés aux biais des données d’entraînement, car les données d’événements de risque, qui constituent le signal d’entraînement, sont elles-mêmes le produit de processus d’évaluation qui ont pu appliquer une évaluation plus approfondie à certaines catégories de fournisseurs, produisant davantage de constats documentés pour ces catégories indépendamment de leur risque intrinsèque.
Le mécanisme de biais par boucle de rétroaction est le problème central. Lorsque les notes de risque de l’IA déterminent l’intensité de la diligence raisonnable et que les résultats de cette diligence alimentent l’entraînement futur du modèle, un biais circulaire apparaît : les fournisseurs auxquels est attribuée une note de risque élevé font l’objet d’une évaluation approfondie, qui produit davantage de constats, ce qui renforce leur classement à risque élevé dans les versions futures du modèle. Les fournisseurs notés à faible risque font l’objet d’une évaluation plus légère, qui produit moins de constats, ce qui renforce leur classement à faible risque. Le modèle apprend que les fournisseurs à risque élevé ont davantage de constats, mais ces constats résultent de l’intensité d’évaluation déclenchée par la note, et non de caractéristiques intrinsèques des fournisseurs.
Le biais des variables indirectes constitue un second mécanisme. Les modèles de risque d’IA qui apprennent à partir de données historiques identifient les variables corrélées aux événements de risque passés. La région géographique, la taille de l’entreprise et le secteur d’activité peuvent être corrélés aux schémas historiques d’intensité d’évaluation : le programme d’évaluation a historiquement évalué certaines catégories de manière plus approfondie. Le modèle apprend ces caractéristiques comme prédicteurs de risque sans distinguer les véritables facteurs de risque des simples corrélats de l’intensité d’évaluation. Un fournisseur issu d’une région historiquement très évaluée obtient une note de risque élevé quelle que soit sa posture de sécurité réelle.
L’illusion d’objectivité amplifie le problème de gouvernance des risques. Les notes de risque d’IA présentées comme objectives, parce que produites par un algorithme plutôt que par un jugement humain, font l’objet d’un examen moins critique que les évaluations humaines. Un évaluateur humain qui attribue à un fournisseur un risque élevé en raison de sa situation géographique peut être contesté sur son raisonnement. Un modèle d’IA qui attribue le même risque élevé au même fournisseur sur la base de la même corrélation historique est souvent suivi sans discussion, précisément en raison de son objectivité revendiquée. Le discours sur l’objectivité protège l’IA de la remise en cause qui serait de mise pour toute décision de risque fondée sur un raisonnement circulaire.
La dimension de conformité et d’équité s’applique lorsque les notes de risque produites par l’IA influencent des relations commerciales dans des juridictions qui imposent des exigences de non-discrimination aux évaluations commerciales. Un modèle d’IA de notation des risques qui attribue systématiquement des notes de risque plus élevées aux fournisseurs de certains pays ou de certaines régions peut créer une exposition juridique dans les juridictions où la discrimination fondée sur le pays d’origine dans les relations commerciales est réglementée. L’objectivité revendiquée par le modèle n’offre aucune protection juridique si le résultat systématique est discriminatoire.
Pourquoi c’est important
Les biais de l’IA dans les décisions de risque sont importants pour le TPRM, car la notation des risques fournisseurs par l’IA détermine de plus en plus des décisions significatives sur les relations avec les fournisseurs : profondeur de la diligence raisonnable, clauses contractuelles, intensité de la surveillance et hiérarchisation des fournisseurs. Si les notes de risque de l’IA classent systématiquement mal certaines catégories de fournisseurs en raison de boucles de rétroaction dans les données d’entraînement, ces fournisseurs reçoivent un traitement inadapté : des frictions de diligence raisonnable excessives pour les fournisseurs à note élevée dont le profil de risque réel est sain, et un examen insuffisant pour les fournisseurs à note faible dont l’évaluation historique légère a pu passer à côté de risques réels.
Là où la plupart des équipes se trompent
La défaillance la plus constante consiste à considérer l’objectivité d’une note de risque produite par l’IA comme équivalente à son exactitude. L’objectivité signifie que la note est produite de manière constante par un algorithme. L’exactitude signifie que la note prédit correctement le risque réel. Des données d’entraînement biaisées produisent des notes objectives systématiquement inexactes pour les catégories de fournisseurs dont l’intensité d’évaluation historique s’est écartée du risque réel.
- Objectivité de l’IA assimilée à son exactitude
- Biais par boucle de rétroaction non identifié lors du développement du modèle ou de la revue des données d’entraînement
- Intensité d’évaluation dans les données d’entraînement non évaluée : une évaluation plus approfondie a-t-elle été appliquée à certaines catégories ?
- Tests contrefactuels non réalisés : des fournisseurs de risque similaire mais aux caractéristiques différentes obtiendraient-ils des notes similaires ?
- Absence de capacité de dérogation humaine : les professionnels du risque ne peuvent pas contester les notes de l’IA
À quoi ressemblent les bonnes pratiques
Les évaluations matures de la notation des risques par l’IA comprennent des tests de biais contrefactuels, qui vérifient que des fournisseurs aux profils de risque objectivement similaires obtiennent des notes similaires quelles que soient les caractéristiques qui ne devraient pas influer sur le risque, ainsi qu’une analyse de l’intensité d’évaluation dans les données d’entraînement, qui détermine si la fréquence des constats est corrélée à l’intensité de l’évaluation plutôt qu’au risque intrinsèque.
- Tests de biais contrefactuels : comparaison de fournisseurs de risque similaire appartenant à différents groupes de caractéristiques
- Analyse de l’intensité d’évaluation dans les données d’entraînement : corrélation entre fréquence des constats et intensité de l’évaluation
- Identification des boucles de rétroaction : l’intensité d’évaluation induite par les notes de l’IA est-elle réinjectée dans les données d’entraînement ?
- Capacité de dérogation humaine : les professionnels du risque peuvent contester et modifier les notes de l’IA
- Étalonnage des notes par rapport aux incidents réellement survenus, et pas seulement à la fréquence historique des constats
Outils
Équité de l’IA : IBM AI Fairness 360, Fairlearn pour l’évaluation de l’impact disproportionné dans la notation des risques
Les cadres de test d’équité évaluent les modèles de notation d’IA pour détecter un impact disproportionné systématique entre des groupes définis, en déterminant si les fournisseurs de certaines régions ou de certains secteurs obtiennent des notes différentes de ce que prédirait leur profil de risque objectif. Pour les professionnels du TPRM, demander si le modèle d’IA de notation des risques a été évalué pour détecter un impact disproportionné selon la géographie et le secteur des fournisseurs constitue une question précise d’évaluation des biais.
Enjeux de gouvernance
La difficulté de gouvernance liée aux biais de l’IA dans les décisions de risque tient au discours sur l’objectivité, qui met les notes produites par l’IA à l’abri de tout examen. Les comités des risques apprécient les notes de l’IA précisément parce qu’elles paraissent objectives : introduire une évaluation des biais et une dérogation humaine peut être perçu comme une remise en cause de la valeur de l’IA. La solution de gouvernance consiste à recadrer le débat : la question n’est pas de savoir si l’IA est objective, mais si elle est exacte. L’évaluation des biais est une validation de l’exactitude.
- Réaliser des tests de biais contrefactuels : fournisseurs objectivement similaires dans différents groupes de caractéristiques
- Évaluer la corrélation des données d’entraînement avec l’intensité d’évaluation
- Mettre en place une capacité de dérogation humaine aux notes de risque de l’IA
- Surveiller la distribution des notes selon les groupes de caractéristiques des fournisseurs pour repérer les disparités systématiques
- Étalonner les notes par rapport aux taux d’incidents réels, et pas seulement à la fréquence historique des constats
Si vous êtes une petite équipe
Pour tout modèle d’IA de notation des risques, réalisez un test contrefactuel simple : identifiez cinq paires de fournisseurs, situés dans des régions ou des secteurs différents mais aux profils de risque objectifs par ailleurs similaires. Comparez leurs notes de risque d’IA. Des écarts de note importants entre fournisseurs objectivement similaires sont un indicateur de biais. Ce test ne nécessite aucun outil sophistiqué, seulement une sélection appropriée des paires de fournisseurs et une comparaison des notes. Si le modèle ne peut pas expliquer l’écart par de véritables facteurs de risque plutôt que par des caractéristiques régionales ou sectorielles, vous avez identifié un biais par boucle de rétroaction qui mérite d’être examiné.
- Sélectionner des paires de fournisseurs aux profils de risque objectifs similaires dans différents groupes de caractéristiques
- Comparer les notes de risque de l’IA et examiner les écarts importants
- Interroger sur l’analyse de l’intensité d’évaluation dans les données d’entraînement
- Mettre en place une dérogation humaine permettant aux professionnels du risque de contester les notes
Ce qu’il faut exiger
Demandez directement :
« Votre modèle d’IA de notation des risques a-t-il été testé pour détecter des biais systématiques entre groupes de caractéristiques des fournisseurs, plus précisément pour savoir si les fournisseurs de certaines régions ou de certains secteurs obtiennent des notes différentes de ce que prédirait leur profil de risque objectif, et les données d’entraînement ont-elles été évaluées pour détecter des boucles de rétroaction liées à l’intensité d’évaluation ? »
Preuves attendues
- Résultats des tests de biais contrefactuels
- Analyse de l’intensité d’évaluation dans les données d’entraînement
- Évaluation de l’impact disproportionné entre groupes de fournisseurs
- Confirmation de la capacité de dérogation humaine
Il faut interroger un fournisseur qui affirme l’objectivité de son IA sur l’exactitude de celle-ci selon les groupes de caractéristiques. L’objectivité confirme la constance. L’exactitude selon les groupes confirme que cette constance reflète un risque réel plutôt que des schémas d’évaluation historiques.
Comment le prouver
- Registres des tests de biais contrefactuels
- Analyse de la composition des données d’entraînement
- Évaluation de l’impact disproportionné
- Documentation du processus de dérogation humaine
À retenir
Des notes de risque objectives. Données d’entraînement : les évaluations historiques. Une évaluation plus approfondie de certaines catégories de fournisseurs : davantage de constats. Davantage de constats : appris comme un risque plus élevé. Un risque plus élevé : une évaluation plus approfondie. La boucle de rétroaction est bouclée. Le modèle est objectif : il applique de manière constante ce qu’il a appris. Ce qu’il a appris, c’est la corrélation entre l’intensité de l’évaluation et la fréquence des constats, et non entre les caractéristiques intrinsèques des fournisseurs et le risque réel. L’objectivité est une propriété du processus. L’exactitude est une exigence d’étalonnage. Les tests contrefactuels révèlent l’écart : des fournisseurs objectivement similaires obtiennent des notes différentes en raison de caractéristiques qui prédisent l’intensité d’évaluation historique plutôt que le risque réel. La note de risque de l’IA ne vaut que ce que valent les données d’entraînement dont elle est issue. Si ces données encodent une boucle de rétroaction, la note encode la boucle.