مؤخرًا، أجد نفسي أفكر في الحدود الأساسية للذكاء الاصطناعي. وهو موضوع يتشابه مع بطل فيلم "ممنتو"، حيث يُقال إن نماذج اللغة الكبيرة الحالية تقع نوعًا ما في حالة من فقدان الذاكرة الأمامية.

إذا ظلت المعلمات ثابتة، فإن النموذج لا يمكنه التعلم حقًا من تجاربه الجديدة. يحاول الاعتماد على سجل الدردشة أو أنظمة البحث لتعويض ذلك، لكن في النهاية، هو يعتمد فقط على الذاكرة الخارجية. لم يتم استيعابها داخليًا.

وفقًا لتحليل شركة a16z، فإن التعلم في السياق (ICL) هو مجرد بحث، وليس تعلمًا حقيقيًا. لأنه يفتقر إلى الضغط، لا يمكنه اكتشافات إبداعية أو التعامل مع سيناريوهات عدائية. على سبيل المثال، في مسائل تتطلب نهجًا جديدًا تمامًا، مثل إثبات نظرية فيرما الأخيرة، فإن نماذج اللغة الكبيرة تقتصر على دمج المعرفة الموجودة فقط.

الخبراء يقترحون ثلاثة مسارات للحل. الأول هو تعزيز طبقة السياق، مثل أنظمة الوكيل المتعدد. الثاني هو الت modularization، مثل الملحقات أو ذاكرة التخزين المؤقتة للمتجهات المضغوطة، وهي وحدات معرفة يمكن دمجها في البنية الحالية. الثالث هو تحديث الأوزان، وهو تعلم حقيقي على مستوى المعلمات من خلال التدريب أثناء الاختبار أو التعلم الميتا.

لكن، هناك العديد من التحديات مع تحديث الأوزان. النسيان الكارثي، والتفكيك الزمني، وتدهور توافق الأمان. تحديث النموذج بعد النشر ليس مجرد مسألة تقنية، بل يتداخل أيضًا مع مسائل التدقيق والخصوصية.

من المتوقع أن تكون الأنظمة المستقبلية هرمية. حيث يتولى التعلم في السياق التكيف السريع، وتحقق الوحدات التخصص، ويتيح تحديث الأوزان استيعابًا عميقًا. للتخلص من فقدان الذاكرة الأمامي، لا يكفي مجرد توسيع خزانة الملفات، بل يتطلب ضغطًا وملخصات وآليات تعلم حقيقية.

هذه المجال يشهد دخول العديد من الشركات الناشئة، حيث تُجرى تجارب على إدارة السياق، وتصميم الوحدات، وتحسين المعلمات في طبقات مختلفة. لم يظهر بعد فائز حاسم، لكن من المتوقع أن تحدث تغييرات كبيرة خلال السنوات القادمة.