Subjectivité de la notation des risques

L’équipe TPRM d’une société de services financiers a mené un exercice de fiabilité inter-évaluateurs : deux évaluateurs ont noté de manière indépendante le même fournisseur selon la méthode standard d’évaluation des risques de l’organisation, avec le même dossier de preuves. Le premier évaluateur a attribué au fournisseur un score de 34 sur 100 (risque faible). Le second a attribué au même fournisseur un score de 67 sur 100 (risque modéré à élevé). Les deux évaluateurs ont utilisé la même grille de notation, évalué les mêmes preuves et appliqué la même formule de pondération. La divergence provenait de l’interprétation de preuves ambiguës et des contrôles compensatoires. Le fournisseur n’avait pas de MFA sur les comptes de service et proposait la segmentation réseau et la surveillance comme contrôles compensatoires. L’évaluateur 1 a accordé un poids important aux contrôles compensatoires, ramenant l’impact du constat sur le contrôle d’accès à un niveau mineur. L’évaluateur 2 a jugé la segmentation réseau insuffisante pour compenser l’absence de MFA et a maintenu un impact important pour ce constat. Un écart de trente-trois points pour le même fournisseur, avec les mêmes preuves et la même méthode. Aucun des deux scores n’était faux au regard des règles de la méthode. Les deux étaient des interprétations valables. L’organisation n’avait aucun mécanisme pour déterminer lequel était le plus exact. Elle utilisait la même méthode depuis trois ans sans savoir qu’elle produisait un tel écart entre évaluateurs.

Qu’est-ce que la subjectivité de la notation des risques, réellement ?

La subjectivité de la notation des risques est la variation des résultats d’évaluation due aux différences d’interprétation des évaluateurs concernant les preuves, les contrôles compensatoires et les critères de notation, au sein d’une méthode d’évaluation des risques définie. Ce n’est pas un défaut de la structure de la méthode : la structure peut être parfaitement cohérente et bien définie. C’est une propriété de toute méthode d’évaluation qui exige une interprétation humaine de données ambiguës, c’est-à-dire de toute méthode qui évalue des questions de sécurité complexes à partir de preuves qui ne sont jamais parfaitement complètes ni dépourvues d’ambiguïté.

Le problème de l’interprétation des contrôles compensatoires est la principale source de subjectivité de la notation dans le TPRM. Les contrôles compensatoires sont des mesures de sécurité alternatives proposées à la place d’un contrôle exigé par le cadre d’évaluation mais non mis en œuvre par le fournisseur. Savoir si un contrôle compensatoire donné réduit adéquatement le risque créé par le contrôle manquant est un jugement qui dépend de la compréhension par l’évaluateur du modèle de menace, de l’efficacité réelle du contrôle alternatif et des facteurs contextuels qui rendent un contrôle compensatoire plus ou moins adéquat. Deux évaluateurs aux parcours différents, l’un issu de la sécurité réseau et l’autre de la sécurité des identités, peuvent parvenir à des conclusions réellement différentes sur la question de savoir si la segmentation réseau compense adéquatement l’absence de MFA sur les comptes de service.

Le problème de l’interprétation de la qualité des preuves aggrave celui des contrôles compensatoires. Une preuve qui confirme l’existence d’un contrôle (un document de politique, une capture d’écran de configuration, une attestation tierce) doit être interprétée pour en apprécier la qualité et la pertinence au regard de la question de risque posée. Un évaluateur qui a vu de nombreux documents de politique de faible qualité jamais mis en œuvre peut accorder moins de poids à la documentation de politique qu’un évaluateur qui considère la documentation comme une preuve significative de l’intention du programme. Le même document, évalué par deux évaluateurs ayant une expérience différente de l’écart entre documentation et mise en œuvre, peut produire des constats différents.

• Variation dans l’interprétation des contrôles compensatoires : évaluateurs aux parcours différents en sécurité parvenant à des conclusions différentes sur l’adéquation des contrôles compensatoires
• Variation dans l’interprétation de la qualité des preuves : pondérations différentes de la documentation et des preuves techniques
• Différences de calibrage des seuils : évaluateurs calibrant différemment ce qui est satisfaisant, partiellement satisfaisant et insatisfaisant
• Aucun test de fiabilité inter-évaluateurs : organisations ignorant la variation de notation que produit leur méthode
• Précision des scores laissant croire à une fausse exactitude : des scores numériques suggérant une précision que la subjectivité de l’interprétation ne permet pas

Pourquoi c’est important

La subjectivité de la notation des risques est importante pour le TPRM parce que les scores de risque orientent des décisions lourdes de conséquences : approbation ou refus du fournisseur, mesures d’atténuation des risques exigées, intensité de la surveillance et exigences contractuelles. Un score de risque qui varie de trente-trois points selon l’évaluateur qui a mené l’évaluation produit des décisions aussi variables que les évaluateurs. Les fournisseurs évalués par hasard par un évaluateur plus indulgent sont mieux traités que des fournisseurs équivalents évalués par un évaluateur plus strict. Des décisions d’évaluation qui semblent reposer sur une méthode objective sont en réalité fortement influencées par l’évaluateur.

Le problème de comparabilité au sein du portefeuille est la conséquence opérationnelle de la subjectivité de la notation à grande échelle. Les programmes TPRM qui gèrent des centaines de relations fournisseurs doivent comparer les scores de risque des fournisseurs pour prioriser les ressources de remédiation, de surveillance et de réévaluation. Si les scores de différents fournisseurs ont été produits par différents évaluateurs aux tendances d’interprétation différentes, ils peuvent ne pas être comparables : un score de 45 attribué par un évaluateur peut ne pas représenter le même niveau de risque qu’un score de 45 attribué par un autre. Une analyse des risques à l’échelle du portefeuille fondée sur des scores non comparables produit une priorisation erronée.

Là où la plupart des équipes se trompent

La défaillance la plus constante consiste à ne pas tester la fiabilité inter-évaluateurs avant de considérer les scores comme comparables et exploitables. La plupart des programmes TPRM élaborent une méthode de notation et la déploient sans mesurer la variation qu’elle produit d’un évaluateur à l’autre. La variation existe et influence les décisions avant que quiconque en ait connaissance.

• Aucun test de fiabilité inter-évaluateurs de la méthode de notation
• Critères d’adéquation des contrôles compensatoires non définis : laissés au jugement de l’évaluateur
• Critères de qualité des preuves non précisés : documentation et preuves techniques pondérées selon l’expérience de l’évaluateur
• Variation des scores non détectée : différents évaluateurs produisent des scores différents pour le même fournisseur sans comparaison
• Décisions de portefeuille fondées sur des scores non comparables

À quoi ressemblent les bonnes pratiques

Les programmes de notation des risques matures définissent des critères qui réduisent la liberté d’interprétation, en précisant ce qui constitue des contrôles compensatoires adéquats pour des lacunes de contrôle précises et quels seuils de qualité des preuves sont requis pour les différents niveaux de notation, et mènent régulièrement des tests de fiabilité inter-évaluateurs pour mesurer et corriger la variation de notation.

• Critères de contrôles compensatoires définis : critères précis indiquant quels contrôles compensatoires sont adéquats pour quelles lacunes de contrôle
• Seuils de qualité des preuves précisés : types de preuves requis pour chaque niveau de notation
• Tests de fiabilité inter-évaluateurs : tests réguliers de la variation de notation d’un évaluateur à l’autre
• Séances de calibrage des scores : évaluateurs examinant ensemble les mêmes cas pour harmoniser leurs normes d’interprétation
• Notation automatisée lorsque c’est possible : réduire la liberté d’interprétation en automatisant les décisions qui peuvent reposer sur des règles

Outils

Plateformes TPRM avec notation automatisée : BitSight, SecurityScorecard, RiskRecon

Les plateformes de notation de sécurité fournissent des scores de risque automatisés, calculés par algorithme à partir de signaux externes observables, ce qui réduit l’interprétation des évaluateurs en remplaçant le jugement humain par des algorithmes définis pour des types de signaux précis. Pour les praticiens TPRM, intégrer des composantes de notation automatisée en complément de l’évaluation par questionnaire réduit la subjectivité globale de la notation pour les signaux que les outils automatisés peuvent mesurer.

GRC avec calibrage de la notation : Archer, MetricStream

Les plateformes GRC dotées de fonctions de calibrage de la notation favorisent l’harmonisation des évaluateurs grâce à des grilles de notation partagées, des bibliothèques de cas de calibrage et le suivi de la fiabilité inter-évaluateurs. Pour les praticiens TPRM, utiliser des plateformes qui prennent en charge le calibrage des évaluateurs et suivent la variation de notation fournit l’infrastructure organisationnelle nécessaire pour maîtriser la subjectivité.

Enjeux de gouvernance

Le défi de gouvernance de la subjectivité de la notation des risques est qu’il est impossible de l’éliminer entièrement : toute évaluation de questions de sécurité complexes exige un jugement humain, et le jugement humain varie. L’objectif de gouvernance est de ramener la variation à un niveau acceptable grâce à la précision des critères, à la formation des évaluateurs, à des exercices de calibrage et à des composantes de notation automatisées, non pas de l’éliminer, mais de la maîtriser afin que les décisions soient suffisamment cohérentes pour être défendables.

• Mener chaque année des tests de fiabilité inter-évaluateurs : tester la variation de notation et la suivre dans le temps
• Définir des critères d’adéquation pour les contrôles compensatoires les plus couramment proposés
• Organiser des séances de calibrage au cours desquelles les évaluateurs notent le même fournisseur de manière indépendante puis comparent
• Documenter les décisions d’interprétation : comment des preuves précises ont été interprétées et pourquoi
• Utiliser la notation automatisée pour les signaux objectifs : réduire l’interprétation subjective là où une notation fondée sur des règles est possible

Si vous êtes une petite équipe

Menez un test de fiabilité inter-évaluateurs avec votre équipe d’évaluation. Prenez une évaluation achevée avec son dossier de preuves et faites-la noter de manière indépendante par deux évaluateurs, sans qu’ils voient le travail l’un de l’autre. Comparez les scores. Si l’écart dépasse dix points sur une échelle de cent points, votre méthode produit plus de variation que ce qui est acceptable pour une prise de décision cohérente. Identifiez les questions précises sur lesquelles les scores ont le plus divergé et élaborez des critères plus précis pour ces questions.

• Mener un test de fiabilité inter-évaluateurs avec deux évaluateurs sur la même évaluation achevée
• Identifier les questions présentant la plus grande divergence de scores : elles nécessitent des critères plus précis
• Définir des critères d’adéquation pour les contrôles compensatoires les plus courants
• Organiser des séances de calibrage trimestrielles pour les évaluateurs

Ce qu’il faut exiger

Demandez directement :

« Pour tout contrôle compensatoire que vous proposez à la place de contrôles exigés par notre cadre d’évaluation, en particulier [nommer la lacune de contrôle et le contrôle compensatoire proposé], pouvez-vous fournir des preuves techniques de la mise en œuvre du contrôle compensatoire et expliquer précisément comment il réduit le risque créé par le contrôle manquant ? »

Preuves attendues

• Preuves techniques de la mise en œuvre des contrôles compensatoires
• Explication précise de la manière dont le contrôle compensatoire réduit le risque lié au contrôle manquant
• Toute validation indépendante de l’efficacité des contrôles compensatoires

Des évaluateurs en désaccord sur l’adéquation d’un contrôle compensatoire n’ont pas forcément tort tous les deux. Ils ont besoin d’un critère défini de ce que signifie l’adéquation dans ce contexte. Définissez le critère. Appliquez-le de manière cohérente. Le score qui en résulte est plus défendable que celui qui reflète le jugement d’un seul évaluateur.

Comment le prouver

• Traces des tests de fiabilité inter-évaluateurs
• Documentation des critères d’adéquation des contrôles compensatoires
• Traces des séances de calibrage des évaluateurs
• Suivi de la variation des scores dans le temps

À retenir

Le score de 34 et le score de 67 sont deux interprétations valables des mêmes preuves selon la même méthode. La méthode est cohérente. La marge d’interprétation qu’elle laisse est assez large pour que deux évaluateurs parviennent à des conclusions différentes sur l’adéquation de la segmentation réseau comme contrôle compensatoire de l’absence de MFA sur les comptes de service. Le chiffre suggère la précision. La méthode ne la fournit pas. Tester la fiabilité inter-évaluateurs avant de s’appuyer sur les scores pour des décisions lourdes de conséquences est l’étape de gouvernance qui révèle le degré de précision que la méthode offre réellement. Définissez les critères des contrôles compensatoires. Calibrez les évaluateurs. Testez la variation. Le score issu d’une équipe calibrée est plus défendable que celui qui reflète la tendance d’interprétation d’un évaluateur un mardi chargé.