نشرت شركة تصنيع عالمية منصة ذكاء اصطناعي لتقييم مخاطر المورّدين دُرِّبت على مجموعة بيانات كبيرة من أحداث مخاطر المورّدين التاريخية. وكانت المنصة تُسند مستويات مخاطر تحدد عمق العناية الواجبة والمتطلبات التعاقدية وكثافة المراقبة. وركّز تسويقها على الموضوعية: تقييمات قائمة على البيانات وخالية من التحيز البشري. وعلى مدى اثني عشر شهرًا، لاحظ فريق TPRM أن المورّدين من مناطق وقطاعات معينة حصلوا باستمرار على تقييمات عالية المخاطر رغم سجلات امتثالهم النظيفة ووضعهم الأمني القوي. وكشف تحليل بيانات التدريب عن الآلية: كانت مجموعة البيانات التاريخية تُفرط في تمثيل المورّدين الذين خضعوا لعناية واجبة مكثفة، فلأن التقييم المكثف أنتج مزيدًا من النتائج الموثقة، بدا أولئك المورّدون أعلى خطورة في بيانات التدريب. وكانت للفئات التي خضعت تاريخيًا لتقييم مكثف خصائص جغرافية وقطاعية محددة. وقد تعلّم النموذج الارتباط بين تلك الخصائص وتكرار النتائج دون أن يتعلم أن تكرار النتائج كان نتاجًا لكثافة التقييم لا للخطر المتأصل. كان النموذج يعيد إنتاج حلقة تغذية راجعة بأمانة: التقييم المكثف أنتج نتائج، والنتائج دُرِّبت بوصفها خطرًا، والخطر استدعى تقييمًا مكثفًا.
ما التحيز في قرارات المخاطر بالذكاء الاصطناعي حقًا؟
التحيز في قرارات المخاطر بالذكاء الاصطناعي هو التشويه المنهجي لتقييمات المخاطر التي يولّدها الذكاء الاصطناعي، الناجم عن تحيزات مُرمَّزة في بيانات التدريب أو خيارات تصميم النموذج أو حلقات التغذية الراجعة التي تنشأ حين تؤثر مخرجات الذكاء الاصطناعي في بيانات التدريب المستقبلية. وفي سياق TPRM، تكون نماذج تقييم المخاطر بالذكاء الاصطناعي عرضة تحديدًا لتحيز بيانات التدريب لأن بيانات أحداث المخاطر، أي إشارة التدريب، هي نفسها نتاج عمليات تقييم مخاطر ربما طبّقت تقييمًا أكثر كثافة على فئات محددة من المورّدين، فأنتجت مزيدًا من النتائج الموثقة لتلك الفئات بصرف النظر عن الخطر المتأصل.
آلية التحيز الناجم عن حلقة التغذية الراجعة هي المشكلة المحددة. فعندما تحدد درجات المخاطر بالذكاء الاصطناعي كثافة العناية الواجبة، وتعود نتائج العناية الواجبة لتغذي تدريب النماذج مستقبلًا، ينشأ تحيز دائري: المورّدون الذين يُسنَد إليهم درجات عالية المخاطر يخضعون لتقييم مكثف، فينتج عنه مزيد من النتائج، مما يعزز تصنيفهم عالي المخاطر في إصدارات النموذج المستقبلية. والمورّدون الذين يُسنَد إليهم درجات منخفضة المخاطر يخضعون لتقييم أخف، فينتج عنه نتائج أقل، مما يعزز تصنيفهم منخفض المخاطر. ويتعلم النموذج أن المورّدين عالي المخاطر لديهم نتائج أكثر، لكن هذه النتائج نتاج لكثافة التقييم التي استدعتها الدرجة، لا لخصائص متأصلة في المورّد.
يمثل بُعد التحيز الناجم عن المتغيرات البديلة آلية ثانية. فنماذج المخاطر بالذكاء الاصطناعي التي تتعلم من البيانات التاريخية تحدد المتغيرات المرتبطة بأحداث المخاطر التاريخية. وقد ترتبط المنطقة الجغرافية وحجم الشركة وقطاع الصناعة بأنماط كثافة التقييم التاريخية، إذ قيّم برنامج التقييم تاريخيًا فئات معينة بكثافة أكبر. ويتعلم النموذج تلك الخصائص بوصفها مؤشرات تنبؤية للخطر دون أن يميّز بين عوامل الخطر الحقيقية والعوامل المرتبطة بكثافة التقييم. فيحصل المورّد من منطقة خضعت تاريخيًا لتقييم مكثف على درجة عالية المخاطر بصرف النظر عن وضعه الأمني الفعلي.
يُضخّم وهم الموضوعية مشكلة حوكمة المخاطر. فدرجات المخاطر بالذكاء الاصطناعي المقدَّمة على أنها موضوعية، لأنها نتاج خوارزمية لا حكم بشري، تخضع لتدقيق نقدي أقل من تقييمات المخاطر البشرية. فمُقيِّم المخاطر البشري الذي يمنح مورّدًا درجة عالية المخاطر بسبب موقعه الجغرافي يمكن الطعن في منطقه. أما نموذج الذكاء الاصطناعي الذي يمنح المورّد نفسه درجة عالية المخاطر بسبب الارتباط التاريخي نفسه فكثيرًا ما يُسلَّم بحكمه تحديدًا بسبب موضوعيته المزعومة. وتحمي سردية الموضوعية الذكاء الاصطناعي من الطعن الذي سيكون مناسبًا لأي قرار مخاطر قائم على استدلال دائري.
ينطبق بُعد الامتثال والإنصاف حيثما تؤثر تقييمات المخاطر بالذكاء الاصطناعي في العلاقات التجارية في ولايات قضائية تفرض متطلبات لعدم التمييز في التقييمات التجارية. فنموذج تقييم المخاطر بالذكاء الاصطناعي الذي يُسند بصورة منهجية درجات مخاطر أعلى للمورّدين من بلدان أو مناطق محددة قد يُنشئ تعرّضًا قانونيًا في الولايات القضائية التي يُنظَّم فيها التمييز على أساس بلد المنشأ في العلاقات التجارية. ولا يوفر ادعاء الموضوعية للنموذج حماية قانونية إذا كانت النتيجة المنهجية تمييزية.
لماذا يهم هذا
يهم التحيز في قرارات المخاطر بالذكاء الاصطناعي TPRM لأن تقييم مخاطر المورّدين المدعوم بالذكاء الاصطناعي بات يوجّه بشكل متزايد قرارات جوهرية بشأن العلاقات مع المورّدين: عمق العناية الواجبة، والشروط التعاقدية، وكثافة المراقبة، وتصنيف المورّدين في مستويات. فإذا كانت درجات المخاطر بالذكاء الاصطناعي تُخطئ بصورة منهجية في تصنيف فئات معينة من المورّدين بسبب حلقات التغذية الراجعة في بيانات التدريب، فإن أولئك المورّدين يلقون معاملة غير مناسبة: احتكاك مفرط في العناية الواجبة للمورّدين ذوي الدرجات العالية الذين تكون ملفات مخاطرهم الفعلية نظيفة، وتدقيق غير كافٍ للمورّدين ذوي الدرجات المنخفضة الذين ربما أغفل التقييم التاريخي الخفيف مخاطر حقيقية لديهم.
أين تخطئ معظم الفرق
الإخفاق الأكثر تكرارًا هو اعتبار موضوعية درجات المخاطر بالذكاء الاصطناعي مكافئة لدقتها. فالموضوعية تعني أن الدرجة تُنتجها خوارزمية على نحو متسق. والدقة تعني أن الدرجة تتنبأ بالخطر الحقيقي على نحو صحيح. وبيانات التدريب المتحيزة تُنتج درجات موضوعية غير دقيقة بصورة منهجية لفئات المورّدين التي تباعدت فيها كثافة التقييم التاريخية عن الخطر الفعلي.
- مساواة موضوعية الذكاء الاصطناعي بالدقة
- عدم تحديد التحيز الناجم عن حلقة التغذية الراجعة في تطوير النموذج أو مراجعة بيانات التدريب
- عدم تقييم كثافة التقييم في بيانات التدريب: هل طُبِّق تقييم أكثر كثافة على فئات محددة
- عدم إجراء الاختبار المغاير للواقع: هل يحصل المورّدون المتشابهون في الخطر ذوو الخصائص المختلفة على درجات متشابهة
- غياب القدرة على التجاوز البشري: لا يستطيع ممارسو المخاطر الطعن في درجات الذكاء الاصطناعي
كيف تبدو الممارسة الجيدة
تتضمن تقييمات أنظمة تقييم المخاطر بالذكاء الاصطناعي الناضجة اختبار التحيز المغاير للواقع، أي التحقق من أن المورّدين ذوي ملفات المخاطر المتشابهة موضوعيًا يحصلون على درجات متشابهة بصرف النظر عن الخصائص التي لا ينبغي أن تؤثر في الخطر، وتحليل كثافة التقييم في بيانات التدريب الذي يحدد ما إذا كان تكرار النتائج يرتبط بكثافة التقييم لا بالخطر المتأصل.
- اختبار التحيز المغاير للواقع: مقارنة المورّدين المتشابهين في الخطر عبر مجموعات خصائص مختلفة
- تحليل كثافة التقييم في بيانات التدريب: الارتباط بين تكرار النتائج وكثافة التقييم
- تحديد حلقات التغذية الراجعة: هل تعود كثافة التقييم الناتجة عن درجات الذكاء الاصطناعي إلى بيانات التدريب
- القدرة على التجاوز البشري: يستطيع ممارسو المخاطر الطعن في درجات الذكاء الاصطناعي وتعديلها
- معايرة الدرجات مقارنةً بنتائج الحوادث الفعلية، لا بتكرار النتائج التاريخية فحسب
الأدوات
إنصاف الذكاء الاصطناعي: IBM AI Fairness 360 وFairlearn لتقييم الأثر المتباين في تقييم المخاطر
تقيّم أُطر اختبار الإنصاف نماذج التقييم بالذكاء الاصطناعي بحثًا عن أثر متباين منهجي عبر مجموعات محددة، فتحدد ما إذا كان المورّدون في مناطق أو قطاعات محددة يحصلون على درجات تختلف عمّا يتنبأ به ملف مخاطرهم الموضوعي. وبالنسبة لممارسي TPRM، فإن السؤال عمّا إذا كان نموذج تقييم المخاطر بالذكاء الاصطناعي قد قُيِّم من حيث الأثر المتباين عبر جغرافيا المورّدين وقطاعاتهم يوفر سؤالًا محددًا لتقييم التحيز.
تحديات الحوكمة
يتمثل تحدي الحوكمة في التحيز في قرارات المخاطر بالذكاء الاصطناعي في سردية الموضوعية التي تحمي درجات الذكاء الاصطناعي من التدقيق. إذ تُقدِّر لجان المخاطر درجات الذكاء الاصطناعي تحديدًا لأنها تبدو موضوعية، وقد يُنظر إلى إدخال تقييم التحيز والتجاوز البشري على أنه تقويض لقيمة الذكاء الاصطناعي. ويتمثل حل الحوكمة في إعادة صياغة النقاش: فالسؤال ليس ما إذا كان الذكاء الاصطناعي موضوعيًا، بل ما إذا كان دقيقًا. وتقييم التحيز هو تحقق من الدقة.
- أجرِ اختبار التحيز المغاير للواقع: مورّدون متشابهون موضوعيًا عبر مجموعات الخصائص
- قيّم بيانات التدريب بحثًا عن ارتباط بكثافة التقييم
- طبّق القدرة على التجاوز البشري لدرجات المخاطر بالذكاء الاصطناعي
- راقب توزيع الدرجات عبر مجموعات خصائص المورّدين بحثًا عن تفاوتات منهجية
- عايِر الدرجات مقارنةً بمعدلات الحوادث الفعلية، لا بتكرار النتائج التاريخية فحسب
إذا كنت فريقًا صغيرًا
بالنسبة لأي نموذج لتقييم المخاطر بالذكاء الاصطناعي، أجرِ اختبارًا بسيطًا مغايرًا للواقع: حدّد خمسة أزواج من المورّدين، أي مورّدين في مناطق أو قطاعات مختلفة ذوي ملفات مخاطر موضوعية متشابهة فيما عدا ذلك. قارن درجات المخاطر التي منحها الذكاء الاصطناعي لهم. فالفروق الكبيرة في درجات مورّدين متشابهين موضوعيًا مؤشر على التحيز. ولا يتطلب هذا الاختبار أدوات متطورة، بل مجرد اختيار مناسب لأزواج المورّدين ومقارنة الدرجات. وإذا لم يستطع النموذج تفسير الفرق بعوامل خطر حقيقية بدلًا من خصائص إقليمية أو قطاعية، فقد حددت تحيزًا ناجمًا عن حلقة تغذية راجعة يستحق التحقيق.
- اختر أزواجًا من المورّدين ذوي ملفات مخاطر موضوعية متشابهة عبر مجموعات خصائص مختلفة
- قارن درجات المخاطر بالذكاء الاصطناعي وحقّق في الفروق الكبيرة
- اسأل عن تحليل كثافة التقييم في بيانات التدريب
- طبّق التجاوز البشري لتمكين ممارسي المخاطر من الطعن في الدرجات
ما الذي ينبغي اشتراطه
اسأل مباشرةً:
«هل اختُبر نموذج تقييم المخاطر بالذكاء الاصطناعي لديكم بحثًا عن تحيز منهجي عبر مجموعات خصائص المورّدين، وتحديدًا ما إذا كان المورّدون في مناطق أو قطاعات معينة يحصلون على درجات تختلف عمّا تتنبأ به ملفات مخاطرهم الموضوعية، وهل قُيِّمت بيانات التدريب بحثًا عن حلقات تغذية راجعة ناجمة عن كثافة التقييم؟»
ما تتوقعه دليلًا
- نتائج اختبار التحيز المغاير للواقع
- تحليل كثافة التقييم في بيانات التدريب
- تقييم الأثر المتباين عبر مجموعات المورّدين
- تأكيد القدرة على التجاوز البشري
ينبغي سؤال المورّد الذي يؤكد موضوعية الذكاء الاصطناعي عن الدقة عبر مجموعات الخصائص. فالموضوعية تؤكد الاتساق. والدقة عبر المجموعات تؤكد أن هذا الاتساق يعكس خطرًا حقيقيًا لا أنماط تقييم تاريخية.
كيف تُثبت ذلك
- سجلات اختبار التحيز المغاير للواقع
- تحليل تكوين بيانات التدريب
- تقييم الأثر المتباين
- وثائق عملية التجاوز البشري
الخلاصة الرئيسية
درجات مخاطر موضوعية. بيانات التدريب: تقييمات تاريخية. تقييم أكثر كثافة لفئات محددة من المورّدين: مزيد من النتائج. مزيد من النتائج: تدريب على أنها خطر أعلى. خطر أعلى: تقييم أكثر كثافة. اكتملت حلقة التغذية الراجعة. النموذج موضوعي، فهو يطبّق ما تعلّمه باتساق. لكن ما تعلّمه هو الارتباط بين كثافة التقييم وتكرار النتائج، لا بين الخصائص المتأصلة للمورّد والخطر الحقيقي. الموضوعية خاصية إجرائية. والدقة متطلب معايرة. ويكشف الاختبار المغاير للواقع الفجوة: مورّدون متشابهون موضوعيًا يحصلون على درجات مختلفة بسبب خصائص تتنبأ بكثافة التقييم التاريخية لا بالخطر الفعلي. ودرجة المخاطر بالذكاء الاصطناعي لا تفوق في جودتها بيانات التدريب التي تعلّمت منها. فإذا كانت بيانات التدريب تُرمِّز حلقة تغذية راجعة، فإن الدرجة تُرمِّز تلك الحلقة.