Une entreprise avait approuvé un outil d’IA d’engagement commercial permettant à son équipe commerciale de générer des e-mails de prospection personnalisés, des séquences de relance et des projets de proposition. L’outil avait été évalué selon le processus standard d’examen de sécurité : les contrôles de sécurité du fournisseur, ses pratiques de traitement des données et la gestion des accès des utilisateurs avaient tous été évalués. L’évaluation s’était concentrée sur la manière dont l’outil traitait les données que les utilisateurs y saisissaient. Elle n’avait pas pleinement évalué les données que l’outil collectait de manière autonome auprès de sources externes pour générer ses e-mails. Lorsqu’un analyste a testé l’outil pour générer un e-mail de prospection à froid destiné à un prospect nommément désigné, l’e-mail obtenu contenait des références personnalisées aux activités professionnelles récentes du prospect, à ses positions publiées sur des sujets sectoriels précis et à son parcours professionnel, des informations que l’analyste n’avait pas fournies à l’outil. L’outil avait récupéré ces informations de manière autonome sur LinkedIn, sur le site web de l’entreprise du prospect, dans des publications sectorielles et dans des sources d’actualité. L’e-mail était efficace et bien personnalisé. Il était aussi le produit d’une recherche autonome de prospects menée par l’IA, qui avait collecté et traité des informations personnelles sur le prospect à son insu, sans son consentement et sans aucune mention, dans la communication obtenue, du recours à l’IA pour se renseigner sur lui. L’équipe juridique de l’entreprise n’avait pas évalué les implications, au regard du GDPR, d’un outil d’IA traitant des données personnelles de prospects collectées auprès de sources publiques dans le cadre d’une démarche de prospection commerciale.
Que sont les scénarios d’usage abusif de l’IA, au fond ?
Dans le contexte de l’entreprise, les scénarios d’usage abusif de l’IA sont des situations dans lesquelles des outils d’IA approuvés et déployés à des fins commerciales légitimes sont utilisés, ou agissent d’eux-mêmes de manière autonome, d’une façon qui crée un risque juridique, éthique ou réputationnel non évalué lors du processus d’approbation. Ces scénarios naissent de capacités de l’IA qui dépassent leur fonction principale déclarée, d’actions autonomes de l’IA que les utilisateurs ne comprennent pas entièrement, et de contextes métier dans lesquels les résultats générés par l’IA créent des obligations juridiques que l’évaluation préalable à l’approbation n’a pas identifiées.
La dimension de la collecte autonome de données est le risque spécifique du scénario présenté. Les outils d’IA qui collectent et traitent de manière autonome des données personnelles issues de sources externes dans le cadre de leur fonction prévue (personnalisation, enrichissement du contexte, recherche de prospects) créent des activités de traitement de données susceptibles d’avoir des implications au regard du GDPR qui ne ressortent pas des fonctionnalités apparentes de l’outil. Un outil décrit comme un assistant de rédaction d’e-mails peut être en réalité un sous-traitant automatisé de données personnelles qui traite à grande échelle des informations personnelles accessibles au public dans le cadre de son fonctionnement principal. La description fonctionnelle et la réalité du traitement des données peuvent être très différentes.
La lacune en matière de consentement et de transparence en constitue la dimension juridique. Le GDPR et des réglementations similaires exigent que les personnes dont les données personnelles sont traitées soient informées de ce traitement ; le droit à l’information s’applique aux données collectées auprès d’autres sources que la personne elle-même. Un outil d’IA qui collecte des données personnelles de prospects sur LinkedIn et les intègre à des démarches commerciales personnalisées sans informer le prospect que ses données ont été traitées peut enfreindre les exigences de transparence du GDPR, selon la base juridique applicable et l’interprétation de l’exception de recherche.
Pourquoi c’est important
les scénarios d'usage abusif de l'IA sont importants pour la TPRM parce que les outils d'IA de fournisseurs approuvés pour des fonctions légitimes peuvent disposer de capacités (collecte autonome de données, prise de décision automatisée, traitement à grande échelle) qui créent des risques juridiques et éthiques invisibles dans l'évaluation de sécurité, laquelle s'est concentrée sur la manière dont l'outil traite les données fournies par les utilisateurs.
- Évaluation de sécurité centrée sur les données fournies par l’utilisateur : collecte autonome de données non évaluée
- Implications de la recherche de prospects par l’IA au regard du GDPR non évaluées
- Capacités autonomes de l’IA au-delà de la fonction principale déclarée non identifiées
- Base juridique du traitement des données personnelles par l’outil d’IA non évaluée
- Exigences de transparence applicables à la recherche de prospects par l’IA non traitées
À quoi ressemblent les bonnes pratiques
Les évaluations matures des outils d’IA examinent non seulement la manière dont les outils traitent les données fournies par les utilisateurs, mais aussi les données qu’ils collectent et traitent de manière autonome, en vérifiant spécifiquement si cette collecte autonome crée des obligations au titre du GDPR que l’évaluation préalable à l’approbation devrait traiter.
- Évaluation de la collecte autonome de données : quelles données externes l’outil collecte-t-il sans intervention de l’utilisateur ?
- Évaluation de la base juridique au titre du GDPR pour tout traitement de données, y compris la collecte de données externes
- Évaluation des exigences de transparence pour la collecte de données par l’IA
- Documentation des limites des capacités : ce que fait l’outil à l’insu possible des utilisateurs
- Intégration de l’examen juridique pour les outils d’IA à traitement autonome de données
Outils
Évaluation de la protection de la vie privée : module de gouvernance de l’IA de OneTrust, TrustArc pour l’évaluation de la protection de la vie privée dans l’IA
Les plateformes d’évaluation de la protection de la vie privée permettent d’évaluer les outils d’IA au regard du GDPR et des exigences de protection de la vie privée, y compris la base juridique des activités de collecte autonome de données. Pour les praticiens de la TPRM, demander si la collecte autonome de données de l’outil d’IA du fournisseur a été évaluée au regard de la base juridique et des obligations de transparence du GDPR constitue une question précise d’évaluation de la protection de la vie privée.
Enjeux de gouvernance
Le défi de gouvernance posé par les scénarios d’usage abusif de l’IA est qu’ils découlent souvent de capacités qui sont des fonctionnalités et non des défauts : la recherche autonome qui rend l’IA commerciale efficace est précisément la capacité qui crée le risque juridique. La solution de gouvernance consiste à exiger des fournisseurs qu’ils divulguent intégralement toutes leurs capacités de traitement autonome de données, y compris les données collectées auprès de sources externes, dans le cadre de l’évaluation de l’outil.
- Exiger la divulgation complète des capacités autonomes lors de l’évaluation des outils d’IA
- Évaluer la base juridique au titre du GDPR pour tout traitement de données, y compris la collecte de données externes
- Intégrer l’examen juridique au processus d’approbation des outils d’IA
- Évaluer les obligations de transparence liées à la collecte de données par l’IA
- Tester les capacités de l’outil d’IA au-delà de la description de sa fonction principale
Si vous êtes une petite équipe
Pour tout outil d’IA utilisé dans des processus en contact avec des clients ou des prospects, posez une question que les évaluations de sécurité omettent généralement : quelles données externes cet outil collecte-t-il ou récupère-t-il de manière autonome sans que je les lui fournisse, et quelles sont les implications de cette collecte au regard du GDPR ? Posez-la à votre fournisseur et à votre équipe juridique. La réponse du fournisseur révèle la capacité. Celle de l’équipe juridique révèle l’obligation.
- Demander quelles données externes l’outil collecte ou récupère de manière autonome
- Évaluer avec l’équipe juridique les implications de la collecte autonome de données au regard du GDPR
- Exiger la divulgation complète des capacités autonomes lors de l’évaluation du fournisseur
- Évaluer les obligations de transparence liées à la collecte de données par l’IA
Ce qu’il faut exiger
Demandez directement :
« Votre outil d’IA collecte-t-il de manière autonome des données personnelles sur des prospects ou des clients auprès de sources externes dans le cadre de son fonctionnement ? Si oui, quelle est la base juridique de ce traitement au titre du GDPR, et comment les utilisateurs doivent-ils informer de cette collecte les personnes dont les données sont traitées ? »
Preuves attendues
- Divulgation des capacités de collecte autonome de données
- Base juridique au titre du GDPR pour le traitement de données externes
- Recommandations aux utilisateurs sur les exigences de transparence
- Évaluation de la protection de la vie privée couvrant la collecte autonome de données
Un fournisseur qui confirme l’approbation de l’outil doit être interrogé sur la collecte autonome de données. L’évaluation de sécurité couvre la manière dont l’outil traite les données des utilisateurs. L’évaluation de la protection de la vie privée couvre la manière dont il traite les données qu’il collecte de manière autonome. Les deux sont nécessaires.
Comment le prouver
- Évaluation de la divulgation des capacités autonomes
- Évaluation de la base juridique au titre du GDPR
- Dossiers d’intégration de l’examen juridique
- Documentation des exigences de transparence
À retenir
Outil commercial d’IA approuvé. E-mail personnalisé généré. Récupérés par l’outil : profil LinkedIn, articles récents, parcours professionnel, positions publiées, de manière autonome, sans intervention de l’utilisateur ni information du prospect. L’évaluation de sécurité couvrait le traitement des données fournies par l’utilisateur. La recherche autonome de prospects et ses implications au regard du GDPR n’avaient pas été évaluées. Les capacités autonomes de l’IA qui dépassent les fonctions principales déclarées créent des risques juridiques et éthiques que l’évaluation de sécurité superficielle ne voit pas. La divulgation complète des capacités, l’évaluation de la base juridique au titre du GDPR et l’évaluation des exigences de transparence sont les évaluations complémentaires qui couvrent ce que l’évaluation de sécurité seule n’atteint pas.