Sonsuz bağlam, çok seviyeli bellek yönetimi! ChatGPT gibi büyük dil modellerinin bağlam sınırlamalarını aşın

Orijinal kaynak: AIGC Açık Topluluğu

Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu

Şu anda, ChatGPT, Llama 2 ve Wenxin Yiyan gibi ana akım büyük dil modelleri, teknik mimari sorunu nedeniyle sınırlandırılmıştır ve Claude bile yalnızca maksimum 100.000 token girişini desteklemektedir, bu da yüzlerce sayfalık raporları, kitapları ve makaleleri yorumlamak için çok elverişsizdir.

Bu ikilemi çözmek için UC Berkeley, işletim sisteminin bellek yönetim mekanizmasından esinlenerek MemGPT’yi önerdi. Bu modelin en büyük yeniliği, işletim sisteminin çok seviyeli bellek yönetim mekanizmasını taklit etmek ve farklı bellek katmanları arasında veri iletimi yoluyla büyük dil modellerinin sabit bağlam sınırlamasını kırmaktır.

Açık Kaynak Adresi:

Tez:

MemGPT temel olarak iki bellek türü içerir: ana bağlam ve harici bağlam. Ana bağlam, işletim sisteminin ana belleğine eşdeğerdir ve büyük dil modelleri tarafından doğrudan erişilebilen sabit uzunlukta bir bağlam penceresidir.

Dış bağlam, birincil bağlamın dışında ek bilgiler tutan disk depolamaya eşdeğerdir. MemGPT ayrıca, büyük dil modellerinin insan müdahalesi olmadan kendi belleklerini aktif olarak yönetmelerine olanak tanıyan çok sayıda özellik çağrısı sağlar.

Bu özellik çağrıları, ana ve dış bağlamlar arasında bilgileri içe ve dışarı aktarabilir. Geçerli görev hedefine bağlı olarak, büyük dil modeli, sınırlı ana bağlam kaynaklarını daha iyi kullanmak için bağlam bilgilerinin ne zaman taşınacağına bağımsız olarak karar verebilir.

Araştırmacılar bunu birden fazla test ortamında değerlendirdi ve sonuçlar, MemGPT’nin büyük dil modellerinin bağlam uzunluğu sınırını çok aşan metin içeriğini etkili bir şekilde işleyebildiğini gösterdi, örneğin M**emGPT, GPT-3.5 ve GPT-4’ün bağlam sınırlarını çok aşan belgeleri işleyebilir.

Alınan belge sayısı arttığında, sabit bağlamlı modelin performansı alıcının kalitesiyle sınırlanırken, MemGPT sayfalandırma mekanizmasını çağırarak daha fazla belge alabilir ve Soru-Cevap doğruluğu da iyileştirilir.

Yeni önerilen çok adımlı iç içe anahtar kelime çıkarma görevinde MemGPT, harici bağlamı birden çok kez çağırarak bir çözüme ulaşmak için belgeler arasında çok sekmeli sorgular gerektiren görevi başarıyla tamamlarken, GPT-3.5 ve GPT-4’ün doğruluğu, iç içe katman sayısı arttığında keskin bir şekilde 0’a düştü.

Birincil Bağlam

MemGPT’deki ana bağlam, büyük dil modelleri tarafından doğrudan erişilebilen sabit uzunlukta bir bağlam penceresi olan işletim sistemindeki “ana belleğe” eşdeğerdir. Araştırmacılar ana bağlamı üç bölüme ayırdı:

Sistem Talimatları: Bu bölüm, MemGPT’nin fonksiyon çağrı modu vb. gibi temel kontrol mantığını sabit uzunlukta ve salt okunur olarak tutar.

Konuşma bağlamı: Bu, son kullanıcı etkileşimlerinin geçmişini tutan, salt okunur olan ve uzunluk aşıldığında önceki konuşmaları kırpan ilk giren ilk çıkar kuyruğudur.

Çalışma bağlamı: Bu, büyük dil modellerinin özellik çağrıları aracılığıyla özerk bir şekilde bilgi yazabileceği bir okuma-yazma geçici depolama alanıdır.

Bu üç bölümün birlikte, temel alınan büyük dil modelinin maksimum bağlam uzunluğunu aşamayacağına dikkat etmek önemlidir.

Dış Bağlam

Dış bağlam, işletim sisteminde “disk depolama” görevi görerek ana bağlamın dışında ek bilgiler tutar. Dış bağlamlar, aşağıdaki iki tür de dahil olmak üzere, modelin erişmesi için bilgileri ana bağlama aktarmak için açık işlev çağrıları gerektirir:

Geri İzleme Depolaması: Konuşma bağlamının sıkıştırılmamış bir sürümüne eşdeğer olan tüm geçmiş olay bilgilerini tutar.

Arşiv depolama: Birincil bağlamın ek bilgileri tutması için bir taşma alanı görevi görebilen genel amaçlı bir okuma-yazma veritabanı. Konuşma uygulamalarında, arşiv depolama alanı bir kullanıcının veya sistemin rolü, tercihleri ve daha fazlası hakkında ek bilgiler tutabilir.

Geri izleme depolaması, belirli bir süre için geçmiş etkileşimlerin alınmasına olanak tanır. Belge analizinde, arşiv depolama daha büyük belge kümesi aramalarını destekleyebilir.

Bağımsız Düzenleme ve Arama

MemGPT, otonom düzenleme ve alma elde etmek için büyük dil modelleri tarafından oluşturulan işlev çağrıları aracılığıyla verileri bellek düzeyleri arasında aktif olarak taşır. Örneğin, insan müdahalesi olmadan mevcut görev hedeflerine uyacak şekilde bağlamlar arasında bilgilerin ne zaman taşınacağına karar verebilirsiniz.

Yenilik, büyük dil modelinin belleği yönetmek için bu araçları kullanmayı öğrenmesine rehberlik eden sistem talimatlarındaki bellek mimarisinin ve işlev çağırma yöntemlerinin ayrıntılı açıklamasında yatmaktadır.

Büyük dil modeli, geri bildirime göre çağırma stratejisini ayarlayabilir. Aynı zamanda, ana bağlam alanı yetersiz olduğunda, sistem büyük dil modeline önemli bilgileri zamanında kaydetmesini hatırlatır ve belleği yönetmesi için yönlendirir.

Zincirleme

MemGPT’de çeşitli harici olaylar, kullanıcı mesajları, sistem belleği uyarıları, kullanıcı etkileşimi olayları ve daha fazlası dahil olmak üzere çıkarımlar yapmak için büyük dil modellerini tetikler.

İşlev çağrıları, zincirleme çağrıları etkinleştirerek kontrolü ele geçirme isteğinde bulunabilir. Örneğin, sonuçlar sayfalandırıldığında, ardışık çağrılar farklı sayfalardan ana bağlama veri toplayabilir.

Öte yandan verim çağrısı, bir sonraki dış olay çıkarımı tetikleyene kadar büyük dil modelini duraklatır. Bu olay tabanlı denetim akışı, bellek yönetimi, model çıkarımı ve kullanıcı etkileşimi arasında sorunsuz iletişim sağlar.

Ayrıştırıcı ve Optimizasyon

MemGPT, büyük dil modeli tarafından oluşturulan işlev çağrılarını doğrulamak, parametrelerin doğru olup olmadığını kontrol etmek vb. için bir ayrıştırıcı kullanır. Sonuç, çağrıdan sonra modele geri beslenir, böylece stratejinin ayarlanması öğrenilebilir ve hatalar azaltılabilir.

Ek olarak, MemGPT’nin sistem talimatları, sürekli optimizasyon elde etmek için farklı görevler için modele özelleştirilmiş bellek yönetimi kılavuzu eklemek üzere gerçek zamanlı olarak güncellenebilir.