O fornecedor de planejamento de recursos empresariais de uma empresa industrial havia implantado diversos recursos de IA em sua plataforma ao longo dos dois anos anteriores. Os recursos de IA do fornecedor estavam bem documentados nos materiais do produto: detecção de anomalias em fluxos de dados de produção, recomendações de manutenção preditiva, otimização de estoque e previsão de demanda. A avaliação de TPRM da empresa industrial havia analisado a segurança dos produtos de IA do fornecedor, revisando as práticas de dados de treinamento, a documentação dos modelos e a segurança de API de cada um dos recursos de IA divulgados. A avaliação foi minuciosa quanto aos casos de uso de IA divulgados. O que a avaliação não havia revelado era o programa interno de IA do fornecedor: um conjunto de modelos que o fornecedor usava operacionalmente para gerenciar o relacionamento com seus clientes, e não para alimentar recursos do produto. Esses modelos incluíam um modelo de pontuação de saúde do cliente que analisava os padrões de uso, o histórico de chamados de suporte e o comportamento de renovação contratual da empresa para prever a probabilidade de cancelamento; um modelo de valor do ciclo de vida que classificava os clientes em níveis que influenciavam a alocação dos recursos de suporte; e um modelo de adoção de produtos que identificava quais recursos cada cliente provavelmente compraria e direcionava as atividades de marketing e vendas de acordo. Os dados operacionais da empresa industrial (seus padrões de uso, interações de suporte e histórico contratual) estavam sendo usados como dados de treinamento e de inferência do programa interno de IA do fornecedor. A empresa nunca havia sido informada desses casos de uso, nunca havia consentido esse uso de seus dados operacionais e não tinha visibilidade de como esses modelos afetavam o serviço que recebia.
O que é, de fato, a transparência no uso de IA por fornecedores?
A transparência no uso de IA por fornecedores é a estrutura de divulgação e responsabilização que abrange todas as formas pelas quais um fornecedor usa IA de modo que afete o cliente empresarial, incluindo tanto os recursos de produto baseados em IA comercializados para o cliente quanto os sistemas internos de IA que usam os dados do cliente para fins operacionais do fornecedor, como pontuação de clientes, classificação por valor do ciclo de vida, previsão de cancelamento, roteamento de suporte e inteligência de vendas. A transparência plena de IA exige a divulgação das duas dimensões: o que a IA faz pelo cliente e o que a IA faz a respeito do cliente.
O problema da opacidade dos programas internos de IA é a principal lacuna de transparência. Os fornecedores usam cada vez mais IA internamente para gerenciar o relacionamento com seus clientes e otimizar suas operações, atividades comerciais inteiramente legítimas. O problema da opacidade surge quando os dados operacionais do cliente (seus padrões de uso, interações de suporte, histórico de comunicação e comportamento contratual) são usados como dados de treinamento ou de inferência desses modelos internos sem o conhecimento ou o consentimento do cliente. Normalmente, o cliente consentiu que o fornecedor tratasse seus dados com a finalidade de prestar o serviço. Normalmente, não consentiu que seus dados fossem usados para construir modelos que o classificam como cliente e influenciam o serviço que recebe.
O risco de serviço diferenciado é a consequência específica. Sistemas de classificação de clientes baseados em IA que alocam recursos de suporte, priorizam solicitações de recursos e direcionam atividades de sucesso do cliente com base no valor do ciclo de vida previsto ou na probabilidade de cancelamento criam uma qualidade de serviço diferenciada: clientes classificados como de alto valor recebem tratamento diferente dos clientes classificados como de baixo valor. O cliente empresarial que desconhece esse sistema de classificação não consegue avaliar se está sendo tratado de forma equitativa nem se a classificação é precisa. Uma empresa industrial classificada como de baixo valor do ciclo de vida porque seus padrões de uso sugerem que ela pode não renovar pode receber respostas de suporte mais lentas, menor prioridade para solicitações de recursos e menos engajamento de sucesso do cliente, sem nenhuma transparência sobre o motivo.
A dimensão de GDPR e regulatória se aplica quando há dados pessoais envolvidos. Se os dados operacionais que os fornecedores usam em IA interna incluem dados pessoais (endereços de e-mail de funcionários em chamados de suporte, nomes em logs de uso, identificadores pessoais em trilhas de auditoria), o uso desses dados para modelagem de IA interna exige uma base legal nos termos do GDPR. Tratar dados pessoais com a finalidade de prestar um serviço não autoriza automaticamente o tratamento desses dados pessoais para construir modelos de classificação de clientes. Fornecedores que não avaliaram a base legal para o uso, por sua IA interna, dos dados operacionais dos clientes podem estar criando exposição regulatória tanto para si mesmos quanto para a empresa.
Por que isso importa
A transparência no uso de IA por fornecedores é importante para TPRM porque os dados da empresa (seus padrões de uso, histórico de suporte e comportamento operacional) podem ser usados por sistemas de IA do fornecedor de maneiras que afetam o serviço que a empresa recebe, os preços que lhe são oferecidos e as decisões estratégicas que o fornecedor toma sobre o relacionamento. A empresa que desconhece esses usos não consegue avaliar sua justiça, precisão ou impacto na relação comercial.
Onde a maioria das equipes erra
A falha mais recorrente é limitar a avaliação de transparência de IA aos recursos do produto, ou seja, à IA que o fornecedor divulga e comercializa. Os sistemas internos de IA que usam dados da empresa para fins operacionais do fornecedor normalmente não são divulgados na documentação do produto e normalmente não são cobertos pelas avaliações padrão de fornecedores de IA.
- Avaliação de IA limitada aos recursos de produto divulgados
- Programa interno de IA que usa dados da empresa não divulgado nem avaliado
- Risco de serviço diferenciado decorrente da classificação de clientes não avaliado
- Base legal para o uso de dados de clientes em IA interna não avaliada
- Contrato de tratamento de dados que não cobre o uso de dados operacionais em IA interna
Como é uma boa prática
Avaliações maduras de transparência de IA pedem aos fornecedores que divulguem todos os sistemas de IA que tratam dados da empresa, e não apenas os recursos do produto, e exigem compromissos contratuais sobre os usos permitidos dos dados operacionais da empresa para treinamento e inferência de modelos internos de IA.
- Pedir a divulgação de todos os sistemas de IA que tratam dados operacionais da empresa
- Exigir restrições ao uso em IA interna no contrato de tratamento de dados
- Perguntar sobre sistemas de classificação de clientes e seu efeito na prestação do serviço
- Avaliar a base legal para o uso de dados operacionais em IA interna
- Exigir notificação de novos usos internos de IA com dados da empresa
Ferramentas
Transparência de IA: estruturas de conformidade com a Lei de IA da UE, NIST AI RMF
A Lei de IA da UE introduz requisitos de transparência para sistemas de IA usados em relações comerciais que possam afetar pessoas e empresas. Para profissionais de TPRM sujeitos à conformidade com a Lei de IA da UE, entender quais sistemas internos de IA dos fornecedores se qualificam como sistemas de IA nos termos da Lei, e se atendem aos requisitos de transparência da Lei, oferece uma estrutura regulatória para os requisitos de divulgação de IA.
Desafios de governança
O desafio de governança da transparência de IA dos fornecedores é a sensibilidade comercial da divulgação de programas internos de IA. Os fornecedores podem resistir a divulgar seus modelos internos de pontuação e classificação de clientes, alegando sensibilidade comercial. A solução de governança é exigir a divulgação dos usos dos dados, e não dos detalhes dos modelos: a empresa tem o direito de saber que seus dados operacionais estão sendo usados para IA interna, mesmo que a arquitetura do modelo seja comercialmente sensível.
- Exigir a divulgação de todos os usos de dados da empresa para treinamento e inferência de IA
- Incluir restrições ao uso em IA interna no DPA
- Perguntar especificamente sobre sistemas de pontuação, classificação e roteamento de clientes
- Exigir notificação de novos usos internos de IA
- Avaliar a base legal para dados pessoais contidos em dados operacionais usados em IA interna
Se você faz parte de uma equipe pequena
Acrescente uma pergunta a toda avaliação de fornecedores de IA: além dos recursos de IA do seu produto, vocês usam internamente algum sistema de IA que trate nossos dados operacionais, incluindo nossos padrões de uso, chamados de suporte, histórico contratual ou registros de comunicação, para finalidades como pontuação de clientes, modelagem de valor do ciclo de vida, previsão de cancelamento ou roteamento de suporte? E nosso consentimento é exigido para esses usos? Essa pergunta revela o programa interno de IA que as avaliações de recursos do produto deixam passar.
- Perguntar sobre sistemas internos de IA que tratam dados operacionais da empresa
- Perguntar especificamente sobre pontuação, classificação e roteamento de clientes
- Perguntar se o consentimento da empresa é exigido para usos internos de IA
- Incluir restrições ao uso em IA interna no DPA
O que exigir
Pergunte diretamente:
"Além dos recursos de IA do seu produto, vocês usam internamente algum sistema de IA que trate nossos dados operacionais, incluindo padrões de uso, histórico de suporte ou comportamento contratual, para finalidades como pontuação de clientes, previsão de cancelamento ou roteamento de suporte? E esses usos estão cobertos pelo nosso contrato de tratamento de dados?"
O que esperar como evidência
- Divulgação de sistemas internos de IA quanto aos usos de dados da empresa
- Cobertura dos usos internos de IA no contrato de tratamento de dados
- Divulgação de classificação e roteamento de clientes
- Base legal para o uso de dados operacionais em IA interna
Um fornecedor que confirma a transparência de IA do produto deve ser questionado sobre a transparência de IA interna. A IA do produto é o que o fornecedor divulga. A IA interna é o que o fornecedor usa. Ambas usam dados da empresa. Apenas uma costuma ser avaliada.
Como comprovar
- Registros da avaliação de divulgação de IA interna
- Cobertura dos usos internos de IA no DPA
- Avaliação da base legal para dados operacionais em IA interna
- Registros de divulgação de classificação de clientes
Principal conclusão
Recursos de IA do produto: divulgados, avaliados, protegidos. IA interna (pontuação de saúde do cliente, classificação por valor do ciclo de vida, roteamento de suporte): não divulgada, não avaliada, usando os dados operacionais da empresa. A empresa sabia o que a IA fazia por ela. Não sabia o que a IA fazia a respeito dela. Transparência de IA é o quadro completo: o que a IA do fornecedor faz pelo cliente e o que faz a respeito do cliente. Ambas usam dados da empresa. Ambas afetam a relação comercial. Ambas exigem divulgação. O DPA que cobre os recursos do produto também deve cobrir o programa interno de IA. A avaliação que analisa a IA do produto também deve perguntar sobre a IA operacional.