مؤخرًا كنت أقرأ دراسة من شركة a16z، ووجدت فيها تشبيهًا مثيرًا للاهتمام — فالـLLM يعيش في الحاضر الأبدي، تمامًا مثل البطل الذي يعاني من فقدان الذاكرة في فيلم "ذاكرات متكسرة". بعد التدريب يتجمد، ولا يمكنه استيعاب معلومات جديدة، ويعتمد فقط على سجلات الدردشة، وأنظمة البحث، والإضافات الخارجية لمواجهة ذلك. لكن هل هذا كافٍ حقًا؟

يزداد اعتقاد الباحثين أن الأمر غير كافٍ. التعلم من السياق فعلاً مفيد، لكنه في جوهره عملية استرجاع، وليس تعلمًا. تخيل خزانة ملفات لا نهائية، يمكن أن تجد فيها أي شيء، لكنها لم تُجبر أبدًا على فهم، أو ضغط، أو استيعاب المعرفة الجديدة بشكل حقيقي. بالنسبة للمشكلات التي تتطلب اكتشافًا حقيقيًا — مثل إثباتات رياضية جديدة، أو سيناريوهات مقاومة، أو تلك المعارف التي تكون خفية جدًا، أو التي لا يمكن التعبير عنها باللغة — الاعتماد فقط على الاسترجاع لن يكون كافيًا بالتأكيد.

لهذا السبب، يزداد الاهتمام باتجاه البحث في التعلم المستمر. المشكلة الأساسية بسيطة جدًا: **أين يحدث الضغط والتكثيف؟** الأنظمة الحالية تعتمد على تفويض عملية الضغط إلى هندسة التعليمات، أو مسارات RAG، أو الأطر الذكية. لكن الآلية التي تجعل الـLLM قويًا أثناء التدريب — وهي ضغط البيانات بشكل خسائري، والتعلم على مستوى المعاملات — تُغلق عند لحظة النشر.

يقسم المجتمع البحثي تقريبًا إلى ثلاثة مسارات. أحدها هو التعلم في السياق، حيث يركز الفريق على تحسين مسارات الاسترجاع، وإدارة السياق، والهياكل متعددة الوكيل. هذا هو الأكثر نضجًا، والبنية التحتية تم اختبارها، لكن الحد الأقصى هو طول السياق. المسار الآخر هو التعلم على مستوى الأوزان، والذي يتضمن تحديث المعاملات الحقيقي — مثل الطبقات السريعة للذاكرة، والتعلم المعزز، والتدريب أثناء الاختبار. وهناك مسار وسط هو التكوين الموديولي، حيث يتم تحقيق التخصص عبر وحدات معرفية قابلة للتوصيل دون تغيير الوزن الأساسي.

هناك العديد من الاتجاهات في مجال التعلم على مستوى الأوزان. منها طرق التنظيم (مثل EWC)، والتدريب أثناء الاختبار (حيث يتم استخدام تدرجات التوجيه أثناء الاستنتاج)، والتعلم الميتا، بالإضافة إلى تقنيات التقطير الذاتي، والتحسين الذاتي التكراري. هذه الاتجاهات تتلاقى، ومن المتوقع أن تتحد الأنظمة القادمة لدمج عدة استراتيجيات.

لكن هناك مشكلة رئيسية: التحديث البسيط للأوزان في بيئة الإنتاج يواجه العديد من المشاكل. النسيان الكارثي، وفصل الزمن، وفشل الدمج المنطقي، بالإضافة إلى أن عمليات النسيان غير ممكنة من الأساس بسبب طبيعتها. والأكثر إزعاجًا هو الأمان والحوكمة — فبمجرد فتح حدود التدريب والنشر، قد تنهار التوافقية، وتتعرض أنظمة البيانات لهجمات التسميم، وتفقد القدرة على التدقيق، وتزداد مخاطر الخصوصية. كل هذه مسائل مفتوحة، لكنها جزء من جدول الأعمال البحثي.

المثير للاهتمام أن بيئة الشركات الناشئة بدأت تتحرك على هذه المستويات. على مستوى السياق، توجد شركات مثل Letta و mem0 تدير استراتيجيات السياق؛ وعلى مستوى الأوزان، هناك فرق تجريبية تدرس ضغط جزئي، وردود فعل RL، وأساليب مراكز البيانات، وحتى من يعيد تصميم الهيكل نفسه بشكل جريء. لا يوجد حتى الآن طريقة فائزة بشكل واضح، ومع تنوع الاستخدامات، ربما لا ينبغي أن يكون هناك فائز واحد فقط.

من منظور معين، نقف الآن عند نقطة تحول. أنظمة البحث قوية بالفعل، لكن البحث دائمًا لا يساوي التعلم. النموذج الحقيقي الذي يمكنه الاستمرار في ضغط الخبرات واستيعاب المعرفة الجديدة بعد النشر، سيحقق قيمة مركبة بطريقة لا تستطيع الأنظمة الحالية تحقيقها. هذا يعني أن التكوينات المجزأة، والتعلم الميتا، ودورات التحسين الذاتي، قد تتقدم، وربما يعيد ذلك تعريف مفهوم "النموذج" نفسه — ليس مجموعة أوزان ثابتة، بل نظام يتطور باستمرار.

آفاق التعلم المستمر تكمن هنا. حتى أكبر خزان ملفات هو مجرد خزان ملفات، والتقدم يكمن في جعل النموذج قادرًا على التدريب بعد النشر — من خلال الضغط، والتجريد، والتعلم الحقيقي. وإلا، سنظل عالقين في حاضرنا الأبدي.