طلبت جهة تنظيمية للخدمات المالية، أثناء فحص إشرافي لمورد لنظام تقييم ائتماني قائم على الذكاء الاصطناعي، سجل التدقيق الكامل للقرارات لعينة عشوائية من خمسين طلب ائتمان تغطي الأشهر الثمانية عشر السابقة. وركز فحص الجهة التنظيمية على حوكمة نماذج الذكاء الاصطناعي، وتحديدًا على ما إذا كان المورد قادرًا على إثبات أن كل قرار اتخذه إصدار نموذج جرى التحقق منه كما ينبغي، وأن بيانات المدخلات المستخدمة في كل قرار كانت كاملة ودقيقة، وأن منطق القرار يمكن إعادة بنائه للمراجعة التنظيمية. وقدّم الفريق التقني لدى المورد سجلات API. وأكدت السجلات أن استدعاءات API للتقييم الائتماني قد أُجريت لكل طلب من الطلبات الخمسين، وأن درجة قد أُعيدت لكل منها. والتقطت السجلات: الطابع الزمني لاستدعاء API، ونقطة النهاية في API التي جرى الوصول إليها، ورمز المصادقة المستخدم، والدرجة الائتمانية النهائية المُعادة. ولم تلتقط السجلات: إصدار النموذج الذي أنتج الدرجة (إذ كان النظام يستخدم نموذج الإنتاج الذي حُدّث سبع مرات خلال فترة الثمانية عشر شهرًا)، ولا قيم خصائص المدخلات التي مُرّرت إلى النموذج (إذ كانت API تقبل معرّف العميل ويسترجع النموذج الخصائص داخليًا)، ولا المخرجات الوسيطة للنموذج التي تربط المدخلات بالدرجة النهائية. وفي ثلاثة من الطلبات الخمسين، تبيّن للجهة التنظيمية أن الملف الائتماني لمقدم الطلب قد حُدّث بعد التقييم الأصلي، مما يعني أن الخصائص التي استخدمها النموذج وقت القرار لا يمكن إعادة بنائها لاحقًا حتى من سجل العميل الحالي. استطاع المورد أن يؤكد أن القرارات الائتمانية قد اتُّخذت، لكنه لم يستطع إعادة بنائها.
ما هو التسجيل وإمكانية التتبع في الذكاء الاصطناعي حقًا؟
التسجيل وإمكانية التتبع في الذكاء الاصطناعي هما الالتقاط الشامل للمعلومات اللازمة لإعادة بناء قرار نظام الذكاء الاصطناعي في أي وقت بعد اتخاذه، وتحديدًا إصدار النموذج الذي اتخذ القرار، وبيانات المدخلات التي قُدمت إلى النموذج وقت القرار، والمخرجات الوسيطة للنموذج، ومخرج القرار النهائي. وتختلف إمكانية تتبع قرارات الذكاء الاصطناعي اختلافًا جوهريًا عن تسجيل التطبيقات: فتسجيل التطبيقات يلتقط أن دالة ما استُدعيت وما الذي أعادته، أما إمكانية تتبع قرارات الذكاء الاصطناعي فتلتقط معلومات كافية لإعادة بناء القرار نفسه والتحقق من أنه اتُّخذ على نحو صحيح بواسطة نموذج جرى التحقق منه كما ينبغي وبناءً على بيانات مدخلات دقيقة.
تمثل مشكلة التقاط إصدار النموذج الفجوة الأولى في إمكانية التتبع. فنماذج الذكاء الاصطناعي تُحدَّث، بإعادة التدريب والضبط الدقيق وزيادة رقم الإصدار، وفق وتيرات مختلفة. فقد يُحدَّث نموذج التقييم الائتماني شهريًا بناءً على بيانات تدريب جديدة ومراقبة الأداء، وقد يتخذ كل إصدار قرارات مختلفة لمدخلات المتقدم ذاتها. فإذا تطلب تدقيق أو طعن أو مراجعة تنظيمية فهم قرار اتُّخذ قبل اثني عشر شهرًا، فإن السؤال ذا الصلة هو: أي إصدار من النموذج كان في بيئة الإنتاج آنذاك؟ ودون تسجيل إصدار النموذج على مستوى القرار، قد يستحيل تحديد إصدار النموذج الذي اتخذ قرارًا سابقًا بعينه.
تمثل مشكلة التقاط المدخلات في لحظة القرار الفجوة الثانية في إمكانية التتبع. فنماذج الذكاء الاصطناعي التي تسترجع الخصائص داخليًا، من مخزن خصائص أو قاعدة بيانات سجلات العملاء أو API خارجية، تتخذ قراراتها بناءً على قيم الخصائص التي كانت قائمة وقت القرار. وسجلات العملاء تتغير: تُحدَّث الملفات الائتمانية، وتتغير العناوين، ويتطور سجل السداد. فإذا لم تُلتقط خصائص المدخلات وقت القرار، فقد يستحيل لاحقًا إعادة بناء ما استخدمه النموذج، إذ قد يختلف سجل العميل الموجود اليوم عن السجل الذي اطلع عليه النموذج عند اتخاذ القرار.
تمثل مشكلة التقاط المخرجات الوسيطة الفجوة الثالثة في إمكانية التتبع. فنماذج الذكاء الاصطناعي المعقدة، كمجموعات النماذج والشبكات العصبية ومسارات المعالجة متعددة المراحل، تُنتج مخرجات وسيطة تربط المدخلات بالقرارات النهائية عبر خطوات معالجة متعددة. والتقاط درجة القرار النهائية وحدها لا يتيح إعادة بناء المنطق الذي أنتجها. وللأغراض التنظيمية، ولا سيما متطلبات المادة 22 من GDPR وقانون الذكاء الاصطناعي الأوروبي، قد تتطلب القدرة على تفسير قرار فردي محدد الوصول إلى المخرجات الوسيطة التي تُظهر كيف أسهمت خصائص المدخلات في الدرجة النهائية.
لماذا يهم هذا
يكتسب التسجيل وإمكانية التتبع في الذكاء الاصطناعي أهمية بالنسبة إلى TPRM لأن الفحوص التنظيمية والتقاضي والطعون في القرارات الفردية تتطلب جميعها القدرة على إعادة بناء قرارات ذكاء اصطناعي محددة من السجلات السابقة. والمؤسسة التي تنشر نظام ذكاء اصطناعي لمورد لاتخاذ قرارات ذات عواقب ولا تستطيع تقديم سجل تدقيق القرارات تواجه تبعات تنظيمية وقانونية بغض النظر عما إذا كان تسجيل API لدى المورد شاملًا.
أين تخطئ معظم الفرق
يتمثل الإخفاق الأكثر تكرارًا في مساواة تسجيل API بإمكانية تتبع قرارات الذكاء الاصطناعي. فتسجيل API يؤكد أن الخدمة استُدعيت وما الذي أعادته، أما إمكانية تتبع قرارات الذكاء الاصطناعي فتتيح إعادة بناء القرار نفسه: إصدار النموذج وخصائص المدخلات والمنطق الوسيط.
- مساواة تسجيل API بإمكانية تتبع القرارات
- عدم التقاط إصدار النموذج على مستوى القرار
- عدم التقاط خصائص المدخلات في لحظة القرار
- عدم تسجيل المخرجات الوسيطة لبنى النماذج المعقدة
- عدم مواءمة متطلبات إمكانية التتبع التنظيمية مع تصميم التسجيل
كيف تبدو الممارسة الجيدة
تلتقط برامج تسجيل الذكاء الاصطناعي الناضجة سجل القرار الكامل في كل عملية استدلال: معرّف إصدار النموذج، وقيم خصائص المدخلات وقت القرار، والمخرجات الوسيطة الرئيسية، والقرار النهائي، ويُحتفظ بها للمدة التي تشترطها اللوائح المعمول بها ومتطلبات الحفظ لأغراض التقاضي.
- التقاط إصدار النموذج عند كل قرار
- تسجيل خصائص المدخلات في لحظة القرار، لا إعادة بنائها من السجل الحالي
- التقاط المخرجات الوسيطة لإعادة البناء على مستوى التدقيق
- مواءمة فترة الاحتفاظ مع المتطلبات التنظيمية
- إمكانية عرض سجل تدقيق القرارات عند الطلب: اختباره قبل أن يتطلبه التدقيق
الأدوات
المراقبة لـ ML: Arize AI وWhylogs وMLflow مع تسجيل القرارات
تلتقط منصات المراقبة لـ ML إصدار النموذج وخصائص المدخلات والتنبؤات وقت الاستدلال، فتُنشئ سجل قرارات الذكاء الاصطناعي الذي لا يوفره تسجيل API. وبالنسبة إلى ممارسي TPRM، فإن السؤال عما إذا كان سجل قرارات الذكاء الاصطناعي لدى المورد يلتقط إصدار النموذج وخصائص المدخلات في كل عملية استدلال، بمعزل عن تسجيل الوصول إلى API، يوفر سؤالًا محددًا عن إمكانية تتبع القرارات.
تحديات الحوكمة
يتمثل تحدي الحوكمة في تسجيل قرارات الذكاء الاصطناعي في حجم وتكلفة التقاط خصائص المدخلات في كل عملية استدلال. فأنظمة الذكاء الاصطناعي عالية الحجم قد تقيّم ملايين الطلبات يوميًا، والتقاط متجه الخصائص الكامل في كل عملية استدلال يتطلب سعة تخزين كبيرة. ويكمن حل الحوكمة في تسجيل متدرج بحسب المخاطر: إمكانية تتبع كاملة للقرارات ذات العواقب الكبيرة، كالائتمان والتأمين والتوظيف، وتسجيل أخف للتطبيقات الأقل عواقب.
- اشتراط التسجيل على مستوى القرار: إصدار النموذج وخصائص المدخلات في كل عملية استدلال
- اختبار سجل تدقيق القرارات قبل أن يتطلبه التدقيق التنظيمي
- مواءمة فترة الاحتفاظ مع المتطلبات التنظيمية ومتطلبات التقاضي
- اطلب عرضًا عمليًا لسجل تدقيق القرارات لعينة من القرارات السابقة
- اشتراط دعم التدقيق التنظيمي بوصفه التزامًا تعاقديًا
إذا كنت فريقًا صغيرًا
اطرحوا سؤال محاكاة التدقيق: إذا طلبت جهة تنظيمية سجل التدقيق الكامل لقرار طلب ائتمان قُيّم قبل ثمانية عشر شهرًا، أي إصدار النموذج وخصائص المدخلات وقت القرار والمنطق الذي أنتج الدرجة، فهل يمكنكم تقديم تلك المعلومات؟ وهل يمكنكم إثبات ذلك بإعادة بناء قرار سابق من سجلاتكم الآن؟ فطلب العرض العملي يكشف القدرة الحقيقية خلف الوثائق.
- اطلب عرضًا عمليًا لسجل تدقيق قرار سابق
- اسأل عما إذا كان إصدار النموذج يُلتقط عند كل قرار
- اسأل عما إذا كانت خصائص المدخلات تُلتقط في لحظة اتخاذ القرار
- اسأل عن فترة الاحتفاظ بسجلات تدقيق القرارات
ما الذي ينبغي اشتراطه
اسأل مباشرةً:
«هل يمكنكم عرض سجل التدقيق الكامل لقرار ائتماني اتُّخذ قبل ثمانية عشر شهرًا، وتحديدًا إصدار النموذج الذي اتخذ القرار، وخصائص المدخلات وقت القرار، والمنطق الذي أنتج الدرجة النهائية؟»
ما تتوقعه دليلًا
- عرض عملي لسجل تدقيق قرار سابق
- تأكيد التقاط إصدار النموذج
- تأكيد تسجيل خصائص المدخلات في لحظة اتخاذ القرار
- فترة الاحتفاظ بسجلات القرارات
ينبغي أن يُطلب من المورد الذي يؤكد التسجيل الشامل أن يعرض عمليًا إعادة بناء قرار سابق. فالعرض يكشف ما يلتقطه التسجيل فعلًا، وما إذا كان التسجيل الشامل لـ API والإمكانية الشاملة لتتبع قرارات الذكاء الاصطناعي شيئًا واحدًا.
كيف تُثبت ذلك
- سجلات العرض العملي لسجل تدقيق القرارات
- تأكيد تسجيل إصدار النموذج
- تأكيد تسجيل خصائص المدخلات
- توثيق فترة الاحتفاظ
الخلاصة الرئيسية
طلب المدقق سجل التدقيق. أظهرت السجلات أن API قد استُدعيت، وأن القرار أُعيد. إصدار النموذج: لم يُلتقط. خصائص المدخلات: لم تُلتقط وقت القرار. ثلاثة طلبات تغيّر فيها سجل العميل منذ التقييم: خصائص مدخلات يتعذر استرجاعها. كان تسجيل API شاملًا، وكانت إمكانية تتبع القرارات غائبة. تسجيل API وإمكانية تتبع قرارات الذكاء الاصطناعي قدرتان مختلفتان؛ إحداهما تؤكد أن الخدمة استُخدمت، والأخرى تتيح إعادة بناء القرار نفسه. إصدار النموذج عند القرار، وخصائص المدخلات في لحظتها، والمخرجات الوسيطة لإعادة البناء، تلك هي متطلبات تسجيل قرارات الذكاء الاصطناعي التي لا يعالجها تسجيل API. اختبروا سجل التدقيق قبل أن يختبره المدقق.