A equipe de TPRM de uma empresa de serviços financeiros realizou um exercício de confiabilidade entre avaliadores: dois avaliadores pontuaram de forma independente o mesmo fornecedor usando a metodologia padrão de avaliação de riscos da organização, com o mesmo pacote de evidências. O primeiro avaliador atribuiu ao fornecedor 34 de 100 (risco baixo). O segundo atribuiu ao mesmo fornecedor 67 de 100 (risco moderado a alto). Ambos os avaliadores usaram a mesma rubrica de pontuação, avaliaram as mesmas evidências e aplicaram a mesma fórmula de ponderação. A divergência veio da interpretação de evidências ambíguas e de controles compensatórios. O fornecedor não tinha MFA nas contas de serviço e ofereceu segmentação de rede e monitoramento como controles compensatórios. O avaliador 1 deu peso significativo aos controles compensatórios, reduzindo o impacto do achado de controle de acesso para menor. O avaliador 2 considerou a segmentação de rede um controle compensatório inadequado para a falta de MFA e manteve o achado de controle de acesso com impacto significativo. Uma diferença de trinta e três pontos para o mesmo fornecedor com as mesmas evidências, ambos usando a mesma metodologia. Nenhuma das pontuações estava errada segundo as regras da metodologia. Ambas eram interpretações válidas. A organização não tinha nenhum mecanismo para identificar qual era mais precisa. Ela vinha usando a mesma metodologia havia três anos sem saber que ela produzia essa amplitude de variação entre avaliadores.
O que é, de fato, a subjetividade na pontuação de riscos?
A subjetividade na pontuação de riscos é a variação nos resultados das avaliações decorrente de diferenças na interpretação, pelos avaliadores, das evidências, dos controles compensatórios e dos critérios de pontuação dentro de uma metodologia definida de avaliação de riscos. Não é uma falha da estrutura da metodologia: a estrutura pode ser totalmente consistente e bem definida. É uma propriedade de qualquer metodologia de avaliação que exige interpretação humana de dados ambíguos, ou seja, de qualquer metodologia que avalie questões complexas de segurança a partir de evidências que nunca são perfeitamente completas ou inequívocas.
O problema da interpretação dos controles compensatórios é a fonte mais significativa de subjetividade na pontuação em TPRM. Os controles compensatórios são medidas de segurança alternativas oferecidas no lugar de um controle especificado pelo modelo de avaliação, mas não implementado pelo fornecedor. Se um controle compensatório específico reduz adequadamente o risco criado pelo controle ausente é um julgamento que depende da compreensão do avaliador sobre o modelo de ameaças, da eficácia real do controle alternativo e dos fatores específicos do contexto que tornam um controle compensatório mais ou menos adequado. Dois avaliadores com formações diferentes, um com experiência em segurança de redes e outro em segurança de identidades, podem chegar a conclusões genuinamente diferentes sobre se a segmentação de rede compensa adequadamente a falta de MFA nas contas de serviço.
O problema da interpretação da qualidade das evidências agrava a questão dos controles compensatórios. As evidências que confirmam a existência de um controle (um documento de política, uma captura de tela de configuração, uma atestação de terceiros) exigem interpretação para avaliar sua qualidade e sua pertinência para a questão de risco específica. Um avaliador que já viu muitos documentos de política de baixa qualidade que não são implementados pode desconsiderar a documentação de políticas com mais peso do que um avaliador que trata a documentação como evidência significativa da intenção do programa. O mesmo documento, avaliado por dois avaliadores com experiências diferentes da distância entre documentação e implementação, pode produzir achados diferentes.
- Variação na interpretação dos controles compensatórios: avaliadores com diferentes formações em segurança chegam a conclusões diferentes sobre a adequação dos controles compensatórios
- Variação na interpretação da qualidade das evidências: ponderações diferentes de documentação versus evidência técnica
- Diferenças na calibração dos limites: avaliadores calibram de forma diferente o que conta como satisfatório, parcialmente satisfatório e insatisfatório
- Nenhum teste de confiabilidade entre avaliadores: organizações que desconhecem a variação de pontuação que sua metodologia produz
- Precisão da pontuação que sugere falsa exatidão: pontuações numéricas sugerindo uma precisão que a subjetividade interpretativa não sustenta
Por que isso importa
A subjetividade na pontuação de riscos é importante para TPRM porque as pontuações de risco orientam decisões relevantes: aprovação ou rejeição de fornecedores, medidas obrigatórias de mitigação de riscos, intensidade do monitoramento e requisitos contratuais. Uma pontuação de risco que varia trinta e três pontos dependendo de qual avaliador conduziu a avaliação produz decisões tão variáveis quanto os avaliadores. Os fornecedores que por acaso são avaliados por um avaliador mais tolerante recebem tratamento melhor do que fornecedores equivalentes avaliados por um mais rigoroso. Decisões de avaliação que parecem basear-se em uma metodologia objetiva são substancialmente influenciadas pelo avaliador específico.
O problema da comparabilidade do portfólio é a consequência operacional da subjetividade da pontuação em escala. Os programas de TPRM que gerenciam centenas de relacionamentos com fornecedores precisam comparar pontuações de risco entre fornecedores para priorizar os recursos de remediação, monitoramento e reavaliação. Se as pontuações de diferentes fornecedores foram produzidas por avaliadores diferentes com tendências interpretativas diferentes, as pontuações podem não ser comparáveis: uma pontuação de 45 de um avaliador pode não representar o mesmo nível de risco que uma pontuação de 45 de outro avaliador. Uma análise de riscos em nível de portfólio baseada em pontuações não comparáveis produz uma priorização incorreta.
Onde a maioria das equipes erra
A falha mais recorrente é não testar a confiabilidade entre avaliadores antes de tratar as pontuações como comparáveis e acionáveis. A maioria dos programas de TPRM desenvolve uma metodologia de pontuação e a implanta sem medir a variação que essa metodologia produz entre avaliadores. A variação existe e influencia as decisões antes que alguém saiba que ela existe.
- Nenhum teste de confiabilidade entre avaliadores da metodologia de pontuação
- Critérios de adequação dos controles compensatórios não definidos: deixados ao julgamento do avaliador
- Critérios de qualidade das evidências não especificados: documentação versus evidência técnica ponderadas conforme a experiência do avaliador
- Variação de pontuação não detectada: avaliadores diferentes produzindo pontuações diferentes para o mesmo fornecedor sem comparação
- Decisões de portfólio baseadas em pontuações não comparáveis
Como é uma boa prática
Programas maduros de pontuação de riscos definem critérios que reduzem a liberdade interpretativa, especificando o que conta como controles compensatórios adequados para lacunas de controle específicas e quais limites de qualidade das evidências são exigidos para os diferentes níveis de pontuação, e realizam testes periódicos de confiabilidade entre avaliadores para medir e tratar a variação de pontuação.
- Critérios de controles compensatórios definidos: critérios específicos sobre quais controles compensatórios são adequados para lacunas de controle específicas
- Limites de qualidade das evidências especificados: quais tipos de evidência são exigidos para cada nível de pontuação
- Teste de confiabilidade entre avaliadores: testes periódicos da variação de pontuação entre avaliadores
- Sessões de calibração de pontuação: avaliadores revisam juntos os mesmos casos para alinhar os padrões de interpretação
- Pontuação automatizada quando viável: reduzir a liberdade interpretativa automatizando as decisões que podem se basear em regras
Ferramentas
Plataformas TPRM com pontuação automatizada: BitSight, SecurityScorecard, RiskRecon
As plataformas de classificação de segurança fornecem pontuações de risco automatizadas, derivadas por algoritmos com base em sinais externos observáveis, reduzindo a interpretação do avaliador ao substituir o julgamento humano por algoritmos definidos para tipos específicos de sinais. Para profissionais de TPRM, incorporar componentes de pontuação automatizada junto com a avaliação baseada em questionários reduz a subjetividade geral da pontuação para os sinais que as ferramentas automatizadas conseguem medir.
GRC com calibração de pontuação: Archer, MetricStream
As plataformas GRC com recursos de calibração de pontuação apoiam o alinhamento dos avaliadores por meio de rubricas de pontuação compartilhadas, bibliotecas de casos de calibração e acompanhamento da confiabilidade entre avaliadores. Para profissionais de TPRM, usar plataformas que apoiam a calibração dos avaliadores e acompanham a variação de pontuação fornece a infraestrutura organizacional para gerenciar a subjetividade.
Desafios de governança
O desafio de governança na subjetividade da pontuação de riscos é que eliminá-la completamente não é possível: qualquer avaliação de questões complexas de segurança exige julgamento humano, e o julgamento humano varia. O objetivo de governança é reduzir a variação a um nível aceitável por meio da especificação de critérios, do treinamento dos avaliadores, de exercícios de calibração e de componentes de pontuação automatizada, não eliminando-a, mas gerenciando-a para que as decisões sejam suficientemente consistentes para serem defensáveis.
- Realizar testes anuais de confiabilidade entre avaliadores: testar a variação de pontuação e acompanhá-la ao longo do tempo
- Definir critérios de adequação para os controles compensatórios oferecidos com mais frequência
- Realizar sessões de calibração em que os avaliadores pontuam o mesmo fornecedor de forma independente e comparam os resultados
- Documentar as decisões interpretativas: como evidências específicas foram interpretadas e por quê
- Usar pontuação automatizada para sinais objetivos: reduzir a interpretação subjetiva onde a pontuação baseada em regras for viável
Se você faz parte de uma equipe pequena
Realize um teste de confiabilidade entre avaliadores com a sua equipe de avaliação. Pegue uma avaliação concluída com o seu pacote de evidências e peça a dois avaliadores que a pontuem de forma independente, sem ver o trabalho um do outro. Compare as pontuações. Se a diferença for superior a dez pontos em uma escala de cem pontos, a sua metodologia está produzindo mais variação do que é aceitável para uma tomada de decisão consistente. Identifique as perguntas específicas em que as pontuações mais divergiram e desenvolva critérios mais específicos para essas perguntas.
- Realizar um teste de confiabilidade entre avaliadores com dois avaliadores sobre a mesma avaliação concluída
- Identificar as perguntas com maior divergência de pontuação: elas precisam de critérios mais específicos
- Definir critérios de adequação para os controles compensatórios mais comuns
- Realizar sessões trimestrais de calibração para os avaliadores
O que exigir
Pergunte diretamente:
“Para quaisquer controles compensatórios que vocês estejam oferecendo no lugar de controles exigidos pelo nosso modelo de avaliação, especificamente [indique a lacuna de controle e o controle compensatório oferecido], vocês podem fornecer evidência técnica da implementação do controle compensatório e explicar especificamente como ele reduz o risco criado pelo controle ausente?”
O que esperar como evidência
- Evidência técnica da implementação do controle compensatório
- Explicação específica de como o controle compensatório reduz o risco do controle ausente
- Qualquer validação independente da eficácia dos controles compensatórios
Avaliadores que discordam sobre a adequação de um controle compensatório não estão necessariamente ambos errados. Eles precisam de um critério definido para o que significa adequação nesse contexto. Defina o critério. Aplique-o de forma consistente. A pontuação resultante é mais defensável do que a pontuação que reflete o julgamento de um único avaliador.
Como comprovar
- Registros dos testes de confiabilidade entre avaliadores
- Documentação dos critérios de adequação dos controles compensatórios
- Registros das sessões de calibração dos avaliadores
- Acompanhamento da variação de pontuação ao longo do tempo
Principal conclusão
A pontuação de 34 e a pontuação de 67 são ambas interpretações válidas das mesmas evidências segundo a mesma metodologia. A metodologia é consistente. O espaço de interpretação dentro da metodologia é amplo o suficiente para que dois avaliadores cheguem a conclusões diferentes sobre a adequação da segmentação de rede como controle compensatório para a falta de MFA nas contas de serviço. O número sugere precisão. A metodologia não a entrega. Testar a confiabilidade entre avaliadores antes de confiar nas pontuações para decisões relevantes é a etapa de governança que revela quanta precisão a metodologia realmente oferece. Defina os critérios de controles compensatórios. Calibre os avaliadores. Teste a variação. A pontuação que resulta de uma equipe calibrada é mais defensável do que a pontuação que reflete a tendência interpretativa de um avaliador em uma terça-feira atarefada.