لقد قرأت مؤخرًا بعض الآراء المثيرة حول سبب كون معظم المؤسسات تتعامل بشكل أساسي كأنها تطير في الظلام مع أنظمتها الذكية. المشكلة الأساسية؟ نحن نُطلق أدوات لا يمكننا السيطرة عليها أو إصلاحها بشكل أساسي عندما تتعطل.

نييل سوماني، الذي قام بأبحاث جادة في علوم الحاسوب تمتد إلى الخصوصية والذكاء الاصطناعي، يطرح نقطة تقطع الكثير من الضوضاء حول مخاطر الذكاء الاصطناعي. الجميع يتحدث عن سيناريو سكاي نت، أليس كذلك؟ أمور نهاية العالم. لكن هذا ليس المشكلة الحقيقية التي تواجهها معظم الشركات. الكابوس التشغيلي الحقيقي أبسط وأكثر فوضوية: أنت تدير أنظمة لا يمكنك تصحيحها، ولا يمكنك تعديلها بثقة، وبالتأكيد لا يمكنك التحقق منها.

فكر في كيفية عمل الذكاء الاصطناعي في معظم المؤسسات الآن. نموذج يُعلم أن معاملة ما احتيال. يوصي بشخص معين للتوظيف. يضبط الأسعار بشكل ديناميكي. ثم يعطيك تفسيرًا بعد ذلك. يبدو معقولًا. إلا أن الأمر هنا - أن هذا التفسير هو استنتاج عكسي ليبدو مقنعًا. ليس بالضرورة كيف توصل النظام فعليًا إلى القرار. غيّر متغير إدخال واحد وسقوط المنطق بأكمله. السرد لا يتطابق مع الآلية.

هذا الفجوة تخلق مخاطر تشغيلية خطيرة. أولاً، الأخطاء المخفية. عندما يكون المنطق الداخلي غامضًا، يمكن أن تتسلسل المشاكل بطرق لا يكتشفها أي اختبار مسبق. إصلاح لمشكلة واحدة يسبب بصمت كسر شيء آخر، عادةً تحت ظروف محددة لم تتوقعها أبدًا. ثانيًا، هشاشة التدخل. حتى عندما تحدد مشكلة، يصبح إصلاحها خطيرًا. غيّر مكونًا واحدًا وتتكيف أجزاء أخرى من النظام بطرق تخلق أوضاع فشل جديدة. الأمر أشبه بلعب لعبة "ضرب المسمار على المسمار" مع بنيتك التحتية.

إطار عمل نييل سوماني يركز هنا على شيء يسميه قابلية التصحيح (debuggability). وليس التفسيرية - هذا شيء مختلف. قابلية التصحيح تعني ثلاث قدرات محددة: هل يمكنك تحديد الآليات التي تسببت في الفشل؟ هل يمكنك تعديل تلك الآليات بدقة دون إحداث ضرر متسلسل؟ هل يمكنك إثبات أن الإصلاح نجح فعلاً؟

التحديد يعني تحديد ليس فقط أي طبقة من النموذج أنتجت النتيجة، بل هل يمكن أن يحدث السلوك بدون تلك الآلية، أو هل يمكن أن تكون الآلية نشطة بدون إنتاج السلوك. التدخل يعني تعديل الأجزاء المسؤولة بطريقة متوقعة وموجهة، وإزالة السلوك السيئ في نطاقك المحدد دون كسر أشياء أخرى. الشهادة تعني تقديم ادعاءات شاملة وقابلة للتكذيب حول سلوك النموذج في مجالات محدودة - ليست ضمانات احتمالية، بل ادعاءات عالمية فعلية. إذا فشل داخل ذلك النطاق، فشهادتك كانت خاطئة.

بالنسبة للقيادة، فإن التداعيات واضحة جدًا. إدارة المخاطر التقليدية تعتمد على الشفافية وقابلية التدقيق. تتبع القرارات إلى الأشخاص المسؤولين. أنظمة الذكاء الاصطناعي الصندوق الأسود؟ هذا الإطار كله يتآكل. الهيئات التنظيمية بدأت تلاحظ. قانون الذكاء الاصطناعي الأوروبي، معايير NIST، كلها تدفع نحو الشرحية والإشراف. لكن المشكلة: يمكنك اجتياز تدقيق ومع ذلك تفتقر إلى القدرة التقنية الفعلية لإصلاح أنظمتك عندما تفشل في الإنتاج.

التمثيل في الامتثال لا يساوي القدرة التشغيلية. قابلية التصحيح تحول السؤال من "هل نحن موثقون؟" إلى "هل يمكننا فعلاً إصلاح هذا؟" عندما يسيء نظام الذكاء الاصطناعي التصرف، هل يمكن لمؤسستك تحديد السبب الجذري، وتعديله بثقة، والتحقق من أن التعديل نجح؟ بدون تلك القدرات، فإن الحوكمة مجرد إطفاء حرائق استجابة. تفرض مراجعات، وتطلب توثيق، وتفرض إشرافًا، لكن لا شيء من ذلك يمنع الفشل الأساسي.

سوماني يرسم تشبيهًا مثيرًا للبرمجيات الحرجة للسلامة. لا يمكنك إثبات أن متصفح الويب لن يتعطل أبدًا. لكن يمكنك إثبات أن روتينات معينة آمنة من حيث الذاكرة، وأن الحماية في الصندوق الرملي تمنع بعض الاستغلالات، وأن الثوابت الحرجة تبقى بعد التحديثات، وأن التصحيحات تزيل الثغرات دون إدخال تراجعات. نفس المنطق ينطبق على الذكاء الاصطناعي. السيطرة الفعالة ليست حول الضمانات العالمية. إنها حول الضمانات التركيبية والمحدودة بالنطاق. ضمان أن دائرة فرعية لا يمكنها تفعيل ميزة محظورة على مدخلات محددة. إثبات أن تدخلاً يزيل وضع فشل مع الحفاظ على سلوكيات أخرى ضمن النطاق. هذا هو المهم للنشر عالي المخاطر - المالية، الرعاية الصحية، سلاسل التوريد، مراقبة المحتوى.

المسار القادم يتطلب استثمارًا لم تعطه معظم المؤسسات أولوية. التحقق الرسمي، على سبيل المثال. الإثباتات الرياضية التي تثبت خصائص البرمجيات. كانت تُطبق تقليديًا على وحدات التحكم في الطائرات والبروتوكولات التشفيرية، وتوسيع ذلك إلى الذكاء الاصطناعي أمر تقني تحدي لكنه ليس مستحيلًا. التقدمات الأخيرة في استخراج الدوائر النادرة تظهر أن النماذج الكبيرة تحتوي على دوائر فرعية معزولة مستقرة تحت التدخل. أُطُر التحقق العصبي تُظهر أن التفكير الشامل يعمل عندما يتم تقسيم النماذج إلى مكونات مناسبة للتحقق على مجالات محدودة.

بالنسبة للقيادة، القرار هو ما إذا كان ينبغي الانتظار حتى تنضج هذه الطرق أو بناء القدرة الآن. الانتظار يحمل مخاطر. نشر الذكاء الاصطناعي يتسارع. الفجوة بين ما تنشره المؤسسات وما يمكنها السيطرة عليه تتسع باستمرار. البديل هو الاستثمار في فرق تفهم كل من الذكاء الاصطناعي والطرق الرسمية، وتأسيس معايير داخلية لوقت الحاجة إلى قابلية التصحيح، والتعاون مع البائعين الذين يعطون الأولوية للأنظمة القابلة للتحقق على راحة الصندوق الأسود. يعني ذلك تغيير قرارات الشراء. عند تقييم أدوات الذكاء الاصطناعي، أضف سؤالًا رابعًا يتجاوز الدقة والسرعة والتكلفة: هل يمكننا إصلاح هذا إذا تعطل؟

معظم مناقشات مخاطر الذكاء الاصطناعي تركز على التهديدات الخارجية - الهجمات العدائية، تسميم البيانات، الجهات الخبيثة. مخاوف مشروعة، بالتأكيد، لكنها تشتت الانتباه عن المشكلة الأساسية. بالنسبة لمعظم المؤسسات، الخطر الرئيسي ليس الذكاء الاصطناعي المسلح، بل الفشل التشغيلي العادي ونقص الأدوات للاستجابة. هذه مشكلة حوكمة، وليست مشكلة تكنولوجيا.

الحجة الأساسية لنييل سوماني: نهاية إدارة مخاطر الذكاء الاصطناعي ليست في المراقبة الأفضل أو الإشراف الأكثر، بل في بناء أنظمة قابلة للتصحيح بالصرامة التي تتطلبها برمجيات السلامة الحرجة اليوم. حتى يصبح ذلك ممارسة قياسية، فإن المؤسسات تنشر أنظمة لا تسيطر عليها حقًا. بالنسبة لأي مسؤول تنفيذي، السؤال ليس ما إذا كان الذكاء الاصطناعي سيغير صناعتك - لقد فعل ذلك بالفعل. السؤال هو ما إذا كانت مؤسستك ستقوم بحكمه فعلاً عندما يكون الأمر مهمًا.