OpenAI توصلت إلى أصل «الغول»: إشارة مكافأة الشخصية سممت خط تدريب كامل

وفقًا لمراقبة Beating، قامت OpenAI بنشر مراجعة حول مشكلة “الغول” التي أزعجت عدة أجيال من سلسلة GPT. منذ GPT-5.1، أصبح النموذج يميل أكثر لوضع تشبيهات كائنات خيالية مثل الغول والأقزام في إجاباته، مما أدى إلى شكاوى متكررة من المستخدمين. بعد إطلاق GPT-5.1، زاد تكرار ظهور كلمة “goblin” في محادثات ChatGPT بنسبة 175%. وبحلول GPT-5.4، تفاقمت المشكلة بشكل كامل.

الجذر يكمن في وظيفة تخصيص شخصية “المهووس” (Nerdy) في ChatGPT. يتطلب نظام التلميحات الخاص بهذه الشخصية من النموذج “استخدام متعة اللغة لتخفيف الجدية” و"الاعتراف بغرابة العالم والاستمتاع بها". أثناء التدريب، كانت إشارة المكافأة لتعزيز نمط هذه الشخصية تمنح درجات أعلى للمخرجات التي تحتوي على كلمات كائنات خيالية، حيث لوحظت هذه النزعة في 76.2% من مجموعات البيانات.

المشكلة أن إشارة المكافأة تعمل فقط تحت شخصية “المهووس”، لكن التعلم المعزز لا يضمن أن السلوك المكتسب يظل محصورًا في ظروف معينة. بمجرد أن يتم مكافأة النموذج على نمط معين من الكلام في ظرف معين، فإن هذا النمط سينتشر عبر التدريب اللاحق إلى سيناريوهات أخرى. مسار الانتشار واضح: إشارة المكافأة تشجع على إخراج يحتوي على الغول، وهذه المخرجات تظهر في بيانات التعديل الدقيق (SFT) اللاحقة، مما يجعل النموذج يعتاد أكثر على إنتاج مثل هذه الكلمات، مما يخلق دورة رد فعل إيجابي. من حيث البيانات، شخصية “المهووس” تمثل فقط 2.5% من إجمالي ردود ChatGPT، لكنها تساهم بنسبة 66.7% من ذكر الغول. في GPT-5.4، زاد معدل ظهور الغول في شخصية “المهووس” بنسبة 3881% مقارنة بـ GPT-5.2.

قبل أن يتم تحديد السبب الجذري، بدأ تدريب GPT-5.5، وبدأ الغول في التسلل إلى بيانات SFT. في مارس، أوقفت OpenAI شخصية “المهووس”، وأزالت إشارة المكافأة التي تميل إلى الكائنات الخيالية، وقامت بفلترة بيانات التدريب. بالنسبة لـ GPT-5.5 الذي تم إطلاقه، أُدرجت أوامر كبح في تلميحات المطورين لـ Codex. وتقول OpenAI إن التحقيق الأخير أدى إلى تطوير مجموعة أدوات جديدة لمراجعة سلوك النموذج.