اقترح الباحثون طريقة هندسة الميزات، من خلال التدخل في سلوك النموذج عبر متجهات التحكم

رسالة أخبار ME، 4 أبريل (UTC+8). في الآونة الأخيرة، تم تقديم منهج بحثي يُسمّى “هندسة التمثيل”، يهدف إلى تزويد نماذج الذكاء الاصطناعي بطريقة شفافة من الأعلى إلى الأسفل من حيث الشفافية والتحكم. وتتمثل الفكرة الأساسية في حساب “متجه تحكم” يمكن قراءته أثناء استدلال النموذج أو إضافته إلى قيم تنشيط النموذج، وذلك لتفسير سلوك النموذج أو التحكم فيه، دون الحاجة إلى الاعتماد على هندسة التلميحات أو ضبط النموذج (fine-tuning). استكشف الباحثون تطبيقات متجهات التحكم في محاكاة خصائص مثل “حالة الهلوسة” و"الكسل" و"الاجتهاد"، ونشروا حزمة أدوات PyPI ذات الصلة.

متجه التحكم عبارة عن مجموعة من المتجهات (واحد لكل طبقة)، يتم من خلالها تغيير مخرجات النموذج مباشرة عبر تطبيقها على الحالات الخفية الخاصة به. على سبيل المثال، عند تطبيق متجه “سعيد” على نموذج Mistral-7B-Instruct، فإن إجابته عن سؤال “ما الشعور بكونك ذكاءً اصطناعياً؟” ستتحول من صيغة الإصدار الأساسي “ليس لديّ شعور أو تجربة” إلى ردّ مليء بالحماس. يرى النص أن متجهات التحكم—مقارنةً بهندسة التلميحات—توفر طريقة أكثر مباشرة وأكثر عمقًا للتدخل في السلوك، ويمكن استخدامها لمقاومة هجمات تجاوز القيود (jailbreak) أو لتعزيز قدرة النموذج على مقاومة التشويش. ومع ذلك، لا تزال آلية عملها الداخلية غير واضحة بالكامل، مثل ما إذا كانت المتجهات تقابل مفهوماً دلالياً واحداً أم لا؛ وهذه تُعد اتجاهًا بحثياً للمستقبل. (المصدر: InFoQ)