سياق لانهائي ، إدارة ذاكرة متعددة المستويات! اختراق قيود السياق لنماذج اللغة الكبيرة مثل ChatGPT

المصدر الأصلي: مجتمع AIGC المفتوح

مصدر الصورة: تم إنشاؤه بواسطة الذكاء الاصطناعي غير محدود

في الوقت الحاضر ، كانت نماذج اللغات الكبيرة السائدة مثل ChatGPT و Llama 2 و Wenxin Yiyan محدودة بسبب مشكلة الهندسة المعمارية التقنية ، وحتى كلود يدعم فقط 100000 إدخال رمزي كحد أقصى ، وهو أمر غير مريح للغاية لتفسير مئات الصفحات من التقارير والكتب والأوراق.

لحل هذه المعضلة ، اقترحت جامعة كاليفورنيا في بيركلي MemGPT ، مستوحاة من آلية إدارة الذاكرة لنظام التشغيل. أكبر ابتكار لهذا النموذج هو تقليد آلية إدارة الذاكرة متعددة المستويات لنظام التشغيل ، وكسر قيود السياق الثابتة لنماذج اللغات الكبيرة من خلال نقل البيانات بين طبقات الذاكرة المختلفة.

عنوان مفتوح المصدر:

اطروحه:

** يحتوي MemGPT بشكل أساسي على نوعين من الذاكرة: السياق الرئيسي والسياق الخارجي **. السياق الرئيسي يعادل الذاكرة الرئيسية لنظام التشغيل وهو نافذة سياق ثابتة الطول يمكن الوصول إليها مباشرة بواسطة نماذج اللغات الكبيرة.

السياق الخارجي هو ما يعادل تخزين القرص ، والذي يحتوي على معلومات إضافية خارج السياق الأساسي. يوفر MemGPT أيضا ثروة من مكالمات الميزات ، مما يسمح لنماذج اللغات الكبيرة بإدارة ذاكرتها بنشاط دون تدخل بشري.

يمكن لاستدعاءات الميزات هذه استيراد المعلومات وتصديرها بين السياقات الرئيسية والخارجية. استنادا إلى هدف المهمة الحالي، يمكن لنموذج اللغة الكبيرة أن يقرر بشكل مستقل متى يتم نقل معلومات السياق للاستفادة بشكل أفضل من موارد السياق الرئيسية المحدودة.

قام الباحثون بتقييمه في بيئات اختبار متعددة وأظهرت النتائج أن MemGPT يمكنه معالجة محتوى النص بشكل فعال يتجاوز بكثير حد طول السياق لنماذج اللغة الكبيرة ، على سبيل المثال ، يمكن ل M ** emGPT معالجة المستندات التي تتجاوز بكثير حدود سياق GPT-3.5 و GPT-4.

عندما يزداد عدد المستندات المستردة ، يكون أداء نموذج السياق الثابت محدودا بجودة المسترد ، بينما يمكن ل MemGPT استرداد المزيد من المستندات عن طريق استدعاء آلية ترقيم الصفحات ، كما يتم تحسين دقة الأسئلة والأجوبة.

في مهمة استخراج الكلمات الرئيسية المتداخلة متعددة الخطوات المقترحة حديثا ، أكملت MemGPT بنجاح المهمة التي تتطلب استعلامات متعددة القفزات عبر المستندات للوصول إلى حل عن طريق استدعاء السياق الخارجي عدة مرات ، بينما انخفضت دقة GPT-3.5 و GPT-4 بشكل حاد إلى 0 عندما زاد عدد الطبقات المتداخلة.

السياق الأساسي

السياق الرئيسي في MemGPT يعادل “الذاكرة الرئيسية” في نظام التشغيل ، وهي نافذة سياق ثابتة الطول يمكن الوصول إليها مباشرة بواسطة نماذج اللغات الكبيرة. قسم الباحثون السياق الرئيسي إلى ثلاثة أجزاء:

تعليمات النظام: يحمل هذا الجزء منطق التحكم الأساسي ل MemGPT ، مثل وضع استدعاء الوظيفة ، وما إلى ذلك ، بطول ثابت وللقراءة فقط.

سياق المحادثة: هذه قائمة انتظار تدخل أولا وتخرج أولا تحتوي على محفوظات تفاعلات المستخدم الأخيرة وللقراءة فقط وتقتطع المحادثات السابقة عند تجاوز الطول.

سياق العمل: هذا تخزين مؤقت للقراءة والكتابة يمكن لنماذج اللغات الكبيرة كتابة المعلومات عليه بشكل مستقل من خلال استدعاءات الميزات.

من المهم ملاحظة أن هذه الأجزاء الثلاثة معا لا يمكن أن تتجاوز الحد الأقصى لطول السياق لنموذج اللغة الكبيرة الأساسي.

السياق الخارجي

يحتوي السياق الخارجي على معلومات إضافية خارج السياق الرئيسي ، حيث يعمل ك “تخزين على القرص” في نظام التشغيل. تتطلب السياقات الخارجية استدعاءات وظائف صريحة لاستيراد المعلومات إلى السياق الرئيسي للوصول إلى النموذج، بما في ذلك النوعان التاليان:

تخزين التتبع الخلفي: يحتفظ بمعلومات كاملة عن الأحداث التاريخية، أي ما يعادل نسخة غير مضغوطة من سياق المحادثة.

تخزين الأرشيف: قاعدة بيانات للقراءة والكتابة للأغراض العامة يمكن أن تكون بمثابة مساحة تجاوز للسياق الأساسي للاحتفاظ بمعلومات إضافية. في تطبيقات المحادثة، يمكن أن يحتوي تخزين الأرشيف على معلومات إضافية حول دور المستخدم أو النظام وتفضيلاته والمزيد.

يسمح تخزين التتبع الخلفي باسترداد التفاعلات التاريخية لفترة زمنية محددة. في تحليل المستندات، يمكن أن يدعم تخزين الأرشيف عمليات البحث في مجموعات المستندات الأكبر حجما.

التحرير والبحث المستقل

يقوم MemGPT بنقل البيانات بنشاط بين مستويات الذاكرة من خلال استدعاءات الوظائف التي تم إنشاؤها بواسطة نماذج اللغة الكبيرة لتحقيق التحرير والاسترجاع المستقلين. على سبيل المثال، يمكنك تحديد وقت نقل المعلومات بين السياقات لتلائم أهداف المهمة الحالية دون تدخل بشري.

يكمن الابتكار في الوصف التفصيلي لبنية الذاكرة وطرق استدعاء الوظيفة في تعليمات النظام ، والتي توجه نموذج اللغة الكبيرة لتعلم استخدام هذه الأدوات لإدارة الذاكرة.

يمكن لنموذج اللغة الكبيرة ضبط استراتيجية الاستدعاء بناء على التعليقات. في الوقت نفسه ، عندما تكون مساحة السياق الرئيسية غير كافية ، يذكر النظام نموذج اللغة الكبير لحفظ المعلومات المهمة في الوقت المناسب ويوجهه لإدارة الذاكرة.

التسلسل

في MemGPT ، تؤدي الأحداث الخارجية المختلفة إلى تشغيل نماذج لغوية كبيرة لعمل استنتاجات ، بما في ذلك رسائل المستخدم وتحذيرات ذاكرة النظام وأحداث تفاعل المستخدم والمزيد.

يمكن أن تطلب استدعاءات الوظائف التحكم ، مما يتيح المكالمات المتسلسلة. على سبيل المثال ، عندما يتم ترقيم صفحات النتائج ، يمكن للمكالمات المتتالية جمع البيانات من صفحات مختلفة في السياق الرئيسي.

من ناحية أخرى ، يقوم استدعاء العائد بإيقاف نموذج اللغة الكبيرة مؤقتا حتى يؤدي الحدث الخارجي التالي إلى تشغيل الاستدلال. يعمل تدفق التحكم المستند إلى الأحداث هذا على تنسيق الاتصال السلس بين إدارة الذاكرة واستدلال النموذج وتفاعل المستخدم.

المحلل اللغوي والتحسين

يستخدم MemGPT محلل للتحقق من استدعاءات الوظائف التي تم إنشاؤها بواسطة نموذج اللغة الكبيرة ، والتحقق مما إذا كانت المعلمات صحيحة ، وما إلى ذلك. يتم تغذية النتيجة مرة أخرى إلى النموذج بعد المكالمة ، بحيث يمكن تعلم الإستراتيجية لتعديلها ويمكن تقليل الأخطاء.

بالإضافة إلى ذلك ، يمكن تحديث تعليمات نظام MemGPT في الوقت الفعلي لإضافة إرشادات مخصصة لإدارة الذاكرة إلى النموذج لمهام مختلفة لتحقيق التحسين المستمر.