تكاملات الذكاء الاصطناعي مع الأطراف الثالثة

تطورت مجموعة برمجيات المؤسسة لدى شركة لتوزيع التقنية على مدى ست سنوات لتصبح تهيئة مؤسسية معتادة: Salesforce CRM مع Einstein AI، وHubSpot لأتمتة التسويق مع توليد المحتوى بالذكاء الاصطناعي، وWorkday للموارد البشرية مع فرز المتقدمين للوظائف بالذكاء الاصطناعي، وServiceNow لعمليات تقنية المعلومات مع AIOps، وMicrosoft 365 Copilot عبر أدوات الإنتاجية. لم يكن أي من ذلك غير معتاد لشركة بحجمها ومستوى تطورها. أما غير المعتاد فكان ما اكتُشف خلال تمرين روتيني لجرد أنظمة الذكاء الاصطناعي أطلقه عمل الفريق القانوني على الجاهزية لقانون الذكاء الاصطناعي الأوروبي: أن الشركة لم تقيّم قط أيًا من قدرات الذكاء الاصطناعي المدمجة هذه بوصفها أنظمة ذكاء اصطناعي. فقد جرى شراء كل منصة عبر عملية شراء البرمجيات كخدمة: مراجعة أمنية للمنصة، وتوقيع DPA، ومراجعة SOC 2، ومنح الموافقة. وعوملت قدرات الذكاء الاصطناعي في كل منصة بوصفها ميزات لمنتج البرمجيات كخدمة الذي جرى تقييمه بدلًا من اعتبارها أنظمة ذكاء اصطناعي تتطلب تقييمًا منفصلًا. وحدد تمرين جرد الذكاء الاصطناعي أحد عشر نظام ذكاء اصطناعي متمايزًا قيد الاستخدام الفعلي في بيئة الإنتاج عبر مجموعة البرمجيات كخدمة لدى المؤسسة، وهي أنظمة كانت تتخذ قرارات أو تؤثر فيها بشأن العملاء المحتملين في المبيعات، والتفاعل التسويقي، والمتقدمين للوظائف، وحوادث تقنية المعلومات، وإنتاجية الموظفين. وانطوى عدد من هذه الأنظمة على قرارات تحمل آثارًا محتملة للتصنيف عالي الخطورة بموجب قانون الذكاء الاصطناعي الأوروبي. ولم يُقيَّم أي منها من حيث الامتثال لقانون الذكاء الاصطناعي الأوروبي، أو ممارسات بيانات التدريب، أو التحيز والإنصاف، أو متطلبات حوكمة الذكاء الاصطناعي المحددة التي اعتمدتها الشركة.

ما مخاطر تكامل الذكاء الاصطناعي مع الأطراف الثالثة حقًا؟

مخاطر تكامل الذكاء الاصطناعي مع الأطراف الثالثة هي المخاطر الأمنية ومخاطر الامتثال والحوكمة والتشغيل التي تنشأ عندما تدمج منصات البرمجيات كخدمة المؤسسية قدرات ذكاء اصطناعي، أي ميزات مدعومة بنماذج تعلم آلي أو نماذج لغوية كبيرة أو أتمتة قائمة على الذكاء الاصطناعي، في منتجاتها. وقد تعالج هذه القدرات المدمجة أكثر البيانات التشغيلية حساسية لدى المؤسسة، وتتخذ قرارات جوهرية أو تؤثر فيها بشأن الموظفين أو العملاء أو الشركاء، وتحمل التزامات امتثال تنظيمي محددة تختلف عن التزامات الامتثال الخاصة بمنصة البرمجيات كخدمة نفسها. والخطر ليس في أن ميزات الذكاء الاصطناعي خبيثة، فهي ميزات منتج مشروعة. بل الخطر في أنها تُقيَّم عبر إطار لتقييم البرمجيات كخدمة غير مصمم لتحديد المخاطر الخاصة بالذكاء الاصطناعي.

الفجوة بين تقييم البرمجيات كخدمة وتقييم الذكاء الاصطناعي هي المشكلة الجوهرية. فعمليات شراء البرمجيات كخدمة في المؤسسات تقيّم الضوابط الأمنية وممارسات التعامل مع البيانات وشهادات الامتثال والحمايات التعاقدية للبيانات التي تعالجها منصة البرمجيات كخدمة. وهذه التقييمات مناسبة لمخاطر منصة البرمجيات كخدمة. لكنها لا تتناول الأبعاد الخاصة بالذكاء الاصطناعي في ميزات الذكاء الاصطناعي المدمجة: منشأ بيانات التدريب، ودقة النموذج وإنصافه، وقابلية تفسير القرارات الجوهرية، والتصنيف عالي الخطورة وفق قانون الذكاء الاصطناعي الأوروبي، والطرق المحددة التي تغيّر بها الأتمتة القائمة على الذكاء الاصطناعي ملف مخاطر البيانات التي تعالجها منصة البرمجيات كخدمة.

تُضخّم مشكلة التفعيل الافتراضي فجوة الحوكمة. فكثير من ميزات الذكاء الاصطناعي المدمجة في برمجيات المؤسسات كخدمة تكون مفعّلة افتراضيًا بدلًا من أن تتطلب تفعيلًا صريحًا، مثل تصنيف العملاء المحتملين في Salesforce، واقتراحات المحتوى في HubSpot، وترتيب المتقدمين للوظائف في Workday. والمؤسسة التي تشتري منصة برمجيات كخدمة وتقبل الإعدادات الافتراضية قد تنشر قدرات ذكاء اصطناعي تعالج بيانات حساسة وتؤثر في قرارات جوهرية دون أي قرار محدد بتبني تلك القدرات. فموافقة شراء البرمجيات كخدمة تغطي المنصة. أما قدرات الذكاء الاصطناعي داخلها فتُورث افتراضيًا.

مشكلة اتساع تعرض البيانات هي الخطر الأمني المحدد. فميزات الذكاء الاصطناعي المدمجة كثيرًا ما تتطلب الوصول إلى بيانات تتجاوز ما تتطلبه الوظائف الأساسية للبرمجيات كخدمة؛ إذ يمكن لميزات الذكاء الاصطناعي التي تُدرَّب على بيانات من مختلف منصات البرمجيات كخدمة لدى المؤسسة أو تستنير بها أن توسّع سطح تعرض البيانات للنظام الخلفي للذكاء الاصطناعي في المنصة. فـSalesforce Einstein المدرَّب على بيانات CRM لدى المؤسسة، والذكاء الاصطناعي في HubSpot الذي يعالج بيانات التفاعل من قاعدة العملاء بأكملها، وMicrosoft Copilot الذي يصل إلى المستندات عبر بيئة Microsoft 365، يُنشئ كل منها تعرضًا للبيانات أمام الأنظمة الخلفية للذكاء الاصطناعي في المنصات المعنية قد يتجاوز تعرض البيانات في منصة البرمجيات كخدمة الأساسية.

لماذا يهم هذا

تكتسب عمليات تكامل الذكاء الاصطناعي مع الأطراف الثالثة أهميتها في TPRM لأن أكثر أنظمة الذكاء الاصطناعي أثرًا في مجموعة برمجيات المؤسسة كثيرًا ما تكون مدمجة في منصات البرمجيات كخدمة المعتادة بدلًا من نشرها منتجات ذكاء اصطناعي مستقلة. فالذكاء الاصطناعي الذي يؤثر في قرارات التوظيف، ويصنّف العملاء المحتملين، ويولّد مراسلات العملاء، ويدير عمليات تقنية المعلومات، هو الذكاء الاصطناعي الذي يغفله تقييم البرمجيات كخدمة بشكل متكرر.

أين تخطئ معظم الفرق

الإخفاق الأكثر تكرارًا هو التعامل مع ميزات الذكاء الاصطناعي المدمجة بوصفها ميزات لمنصة برمجيات كخدمة جرى تقييمها بدلًا من اعتبارها أنظمة ذكاء اصطناعي تتطلب تقييمًا منفصلًا. فتقييم البرمجيات كخدمة يغطي المنصة. أما الذكاء الاصطناعي المدمج فيتطلب حوكمة خاصة بالذكاء الاصطناعي.

• تقييم الذكاء الاصطناعي المدمج بوصفه ميزات للبرمجيات كخدمة لا بوصفه أنظمة ذكاء اصطناعي
• عدم مراجعة التفعيل الافتراضي للذكاء الاصطناعي قبل شراء البرمجيات كخدمة
• جرد الذكاء الاصطناعي غير مكتمل، فالذكاء الاصطناعي المدمج غير مشمول
• عدم تطبيق تقييم المخاطر العالية وفق قانون الذكاء الاصطناعي الأوروبي على الذكاء الاصطناعي المدمج في حالات الاستخدام الخاضعة للتنظيم
• عدم تقييم اتساع تعرض البيانات الناتج عن ميزات الذكاء الاصطناعي

كيف تبدو الممارسة الجيدة

تتضمن برامج تقييم الذكاء الاصطناعي لدى الأطراف الثالثة الناضجة خطوة لاكتشاف الذكاء الاصطناعي المدمج في كل عملية شراء للبرمجيات كخدمة، تحدد ميزات الذكاء الاصطناعي المضمنة في المنصة وما إذا كان أي منها سيُفعَّل افتراضيًا، وتطبّق تقييمًا حوكميًا خاصًا بالذكاء الاصطناعي على أي ميزة ذكاء اصطناعي تعالج بيانات حساسة أو تؤثر في قرارات ذات أثر جوهري.

• اكتشاف الذكاء الاصطناعي المدمج عند شراء البرمجيات كخدمة: ما ميزات الذكاء الاصطناعي الموجودة وأيها مفعّل افتراضيًا
• تقييم خاص بالذكاء الاصطناعي لميزات الذكاء الاصطناعي ذات الأثر الجوهري: بيانات التدريب والإنصاف وقابلية التفسير وقانون الذكاء الاصطناعي الأوروبي
• جرد للذكاء الاصطناعي يشمل الذكاء الاصطناعي المدمج، لا أنظمة الذكاء الاصطناعي المستقلة فحسب
• مراجعة ميزات الذكاء الاصطناعي الافتراضية قبل تفعيل البرمجيات كخدمة
• تقييم تعرض البيانات للأنظمة الخلفية لميزات الذكاء الاصطناعي

الأدوات

Salesforce Einstein AI: وثائق جرد ميزات الذكاء الاصطناعي ونطاق الوصول إلى البيانات

توفر Salesforce وثائق عن وصول Einstein AI إلى البيانات وممارسات التدريب ونطاق ميزات الذكاء الاصطناعي. وبالنسبة إلى ممارسي TPRM، فإن طلب وثائق نموذج Einstein AI إلى جانب المراجعة الأمنية المعيارية لـSalesforce يوفر التقييم الخاص بالذكاء الاصطناعي الذي لا توفره مراجعة البرمجيات كخدمة وحدها.

Microsoft Copilot: Microsoft Purview لحوكمة البيانات عبر نطاق Copilot

يوفر Microsoft Purview ضوابط حوكمة البيانات لبيانات Microsoft 365 التي يصل إليها Copilot. وبالنسبة إلى ممارسي TPRM، فإن تقييم نطاق وصول Copilot إلى البيانات مقارنة بسياسة تصنيف البيانات في المؤسسة يوفر تقييمًا محددًا لتعرض البيانات للذكاء الاصطناعي.

تحديات الحوكمة

يتمثل التحدي الحوكمي في عمليات تكامل الذكاء الاصطناعي مع الأطراف الثالثة في الحجم الهائل للذكاء الاصطناعي المدمج في مجموعة البرمجيات كخدمة الحديثة لدى المؤسسات. فتطبيق مراجعة حوكمة ذكاء اصطناعي كاملة على كل ميزة مدمجة في كل منصة برمجيات كخدمة أمر غير عملي. ويكمن الحل الحوكمي في التقييم المتدرج حسب المخاطر: مراجعة حوكمة ذكاء اصطناعي كاملة لميزات الذكاء الاصطناعي التي تتخذ قرارات جوهرية أو تؤثر فيها بشأن الأفراد أو التي تعالج بيانات عالية الحساسية، ومراجعة مختصرة للميزات الأقل خطورة.

• إضافة اكتشاف الذكاء الاصطناعي المدمج إلى قائمة التحقق لشراء البرمجيات كخدمة
• إجراء جرد للذكاء الاصطناعي يشمل الذكاء الاصطناعي المدمج في البرمجيات كخدمة
• تطبيق تقييم الذكاء الاصطناعي المتدرج حسب المخاطر: مراجعة كاملة للذكاء الاصطناعي المؤثر في القرارات الجوهرية
• مراجعة التفعيل الافتراضي لميزات الذكاء الاصطناعي قبل تفعيل البرمجيات كخدمة
• تقييم آثار المخاطر العالية وفق قانون الذكاء الاصطناعي الأوروبي على الذكاء الاصطناعي المدمج في الموارد البشرية والائتمان وغيرها من المجالات الخاضعة للتنظيم

إذا كنت فريقًا صغيرًا

أجرِ جردًا للذكاء الاصطناعي المدمج خلال يوم واحد عبر أعلى خمس منصات برمجيات كخدمة خطورة لديك. ولكل منصة، أجب عن ثلاثة أسئلة: ما ميزات الذكاء الاصطناعي المضمنة في اشتراكك، وأيها مفعّل افتراضيًا، وأيها يعالج بيانات حساسة أو يؤثر في قرارات تخص الموظفين أو العملاء؟ سيكشف ذلك الجرد الذكاء الاصطناعي الذي نُشر دون تقييم خاص بالذكاء الاصطناعي. وحدد أولويات التقييم بناءً على حساسية البيانات المعالَجة وأثر القرارات المتأثرة.

• جرد ميزات الذكاء الاصطناعي المدمجة عبر أهم خمس منصات برمجيات كخدمة
• تحديد الميزات المفعّلة افتراضيًا
• تحديد أولويات التقييم حسب حساسية البيانات وأثر القرار
• تطبيق حوكمة خاصة بالذكاء الاصطناعي على الذكاء الاصطناعي المدمج ذي الأولوية العالية

ما الذي ينبغي اشتراطه

اسأل مباشرةً:

«هل يمكنكم تقديم جرد لجميع ميزات الذكاء الاصطناعي المضمنة في منصتكم، مع تحديد الميزات المفعّلة افتراضيًا، والبيانات التي تصل إليها كل ميزة، وبالنسبة إلى أي ميزة ذكاء اصطناعي تؤثر في القرارات المتعلقة بالأفراد، ما وثائق بيانات التدريب وتقييم الإنصاف التي يمكنكم تقديمها؟»

ما تتوقعه دليلًا

• جرد ميزات الذكاء الاصطناعي مع نطاق الوصول إلى البيانات
• الإفصاح عن ميزات الذكاء الاصطناعي المفعّلة افتراضيًا
• وثائق بيانات التدريب لميزات الذكاء الاصطناعي ذات الأثر الجوهري
• تقييم الإنصاف لميزات الذكاء الاصطناعي التي تؤثر في الأفراد

ينبغي مطالبة مورد البرمجيات كخدمة الذي يؤكد إجراء تقييم أمني بتقديم جرد ميزات الذكاء الاصطناعي. فالتقييم الأمني يغطي المنصة. أما جرد ميزات الذكاء الاصطناعي فيكشف ما تحتويه المنصة من ذكاء اصطناعي والبيانات التي يعالجها.

كيف تُثبت ذلك

• سجلات جرد الذكاء الاصطناعي المدمج
• تقييم خاص بالذكاء الاصطناعي للذكاء الاصطناعي المدمج ذي الأثر الجوهري
• سجلات مراجعة الميزات الافتراضية
• تقييم قانون الذكاء الاصطناعي الأوروبي لحالات استخدام الذكاء الاصطناعي المدمج الخاضعة للتنظيم

الخلاصة الرئيسية

أحد عشر نظام ذكاء اصطناعي. لم يُقيَّم أي منها بوصفه ذكاءً اصطناعيًا. Salesforce Einstein يصنّف العملاء المحتملين. والذكاء الاصطناعي في HubSpot يولّد رسائل البريد الإلكتروني. والذكاء الاصطناعي في Workday يرتّب المتقدمين للوظائف. وServiceNow AIOps يتخذ قرارات تحديد أولويات الحوادث. وMicrosoft Copilot يعمل عبر بيئة أدوات الإنتاجية. جميعها خضعت لتقييم البرمجيات كخدمة. ولم يخضع أي منها لتقييم الذكاء الاصطناعي. غطى شراء البرمجيات كخدمة المنصة. أما فجوة حوكمة الذكاء الاصطناعي فهي الأنظمة الأحد عشر داخلها. واكتشاف الذكاء الاصطناعي المدمج هو الخطوة الأولى. وتقييم الذكاء الاصطناعي المتدرج حسب المخاطر هو الإطار الحوكمي. فالذكاء الاصطناعي الذي يؤثر في أكثر القرارات جوهرية كثيرًا ما يكون مدمجًا في أكثر منصات البرمجيات كخدمة اعتيادية. اكتشفه. قيّمه. أخضعه للحوكمة.