Bối cảnh vô hạn, quản lý bộ nhớ đa cấp! Vượt qua giới hạn ngữ cảnh của các mô hình ngôn ngữ lớn như ChatGPT

Nguồn gốc: Cộng đồng mở AIGC

Nguồn hình ảnh: Được tạo bởi Unbounded AI

Hiện tại, các mô hình ngôn ngữ lớn chính thống như ChatGPT, Llama 2 và Wenxin Yiyan đã bị hạn chế do vấn đề kiến trúc kỹ thuật và thậm chí Claude chỉ hỗ trợ tối đa 100.000 đầu vào mã thông báo, rất bất tiện cho việc diễn giải hàng trăm trang báo cáo, sách và giấy tờ.

Để giải quyết vấn đề nan giải này, UC Berkeley đã đề xuất MemGPT, lấy cảm hứng từ cơ chế quản lý bộ nhớ của hệ điều hành. Sự đổi mới lớn nhất của mô hình này là bắt chước cơ chế quản lý bộ nhớ đa cấp của hệ điều hành và phá vỡ giới hạn ngữ cảnh cố định của các mô hình ngôn ngữ lớn thông qua việc truyền dữ liệu giữa các lớp bộ nhớ khác nhau.

Địa chỉ mã nguồn mở:

Luận đề:

**MemGPT chủ yếu chứa hai loại bộ nhớ: ngữ cảnh chính và ngữ cảnh bên ngoài **. Ngữ cảnh chính tương đương với bộ nhớ chính của hệ điều hành và là một cửa sổ ngữ cảnh có độ dài cố định có thể được truy cập trực tiếp bởi các mô hình ngôn ngữ lớn.

Ngữ cảnh bên ngoài tương đương với lưu trữ đĩa, chứa thông tin bổ sung bên ngoài ngữ cảnh chính. MemGPT cũng cung cấp vô số cuộc gọi tính năng, cho phép các mô hình ngôn ngữ lớn chủ động quản lý bộ nhớ của chính chúng mà không cần sự can thiệp của con người.

Các lệnh gọi tính năng này có thể nhập và xuất thông tin giữa ngữ cảnh chính và ngữ cảnh bên ngoài. Dựa trên mục tiêu nhiệm vụ hiện tại, mô hình ngôn ngữ lớn có thể độc lập quyết định khi nào nên di chuyển thông tin ngữ cảnh để sử dụng tốt hơn các tài nguyên ngữ cảnh chính hạn chế.

Các nhà nghiên cứu đã đánh giá nó trong nhiều môi trường thử nghiệm và kết quả cho thấy MemGPT có thể xử lý hiệu quả nội dung văn bản vượt xa giới hạn độ dài ngữ cảnh của các mô hình ngôn ngữ lớn, ví dụ, M ** emGPT có thể xử lý các tài liệu vượt xa giới hạn ngữ cảnh của GPT-3.5 và GPT-4.

Khi số lượng tài liệu được truy xuất tăng lên, hiệu suất của mô hình ngữ cảnh cố định bị giới hạn bởi chất lượng của trình truy xuất, trong khi MemGPT có thể truy xuất nhiều tài liệu hơn bằng cách gọi cơ chế phân trang và độ chính xác Hỏi &Đáp của nó cũng được cải thiện.

Trong nhiệm vụ trích xuất từ khóa lồng nhau nhiều bước mới được đề xuất, MemGPT đã hoàn thành thành công nhiệm vụ yêu cầu truy vấn đa bước trên các tài liệu để đi đến giải pháp bằng cách gọi ngữ cảnh bên ngoài nhiều lần, trong khi độ chính xác của GPT-3.5 và GPT-4 giảm mạnh xuống 0 khi số lượng lớp lồng nhau tăng lên.

Bối cảnh chính

Ngữ cảnh chính trong MemGPT tương đương với “bộ nhớ chính” trong hệ điều hành, là một cửa sổ ngữ cảnh có độ dài cố định có thể được truy cập trực tiếp bởi các mô hình ngôn ngữ lớn. Các nhà nghiên cứu chia bối cảnh chính thành ba phần:

Hướng dẫn hệ thống: Phần này chứa logic điều khiển cơ bản của MemGPT, chẳng hạn như chế độ gọi hàm, v.v., với độ dài cố định và chỉ đọc.

Ngữ cảnh cuộc hội thoại: Đây là hàng đợi nhập trước, xuất trước chứa lịch sử tương tác gần đây của người dùng, chỉ đọc và cắt bớt các cuộc hội thoại trước đó khi vượt quá thời lượng.

Bối cảnh làm việc: Đây là bộ lưu trữ tạm thời đọc-ghi mà các mô hình ngôn ngữ lớn có thể tự động ghi thông tin thông qua các cuộc gọi tính năng.

Điều quan trọng cần lưu ý là ba phần này cùng nhau không thể vượt quá độ dài ngữ cảnh tối đa của mô hình ngôn ngữ lớn cơ bản.

Bối cảnh bên ngoài

Bối cảnh bên ngoài chứa thông tin bổ sung bên ngoài ngữ cảnh chính, hoạt động như “lưu trữ đĩa” trong hệ điều hành. Ngữ cảnh bên ngoài yêu cầu các lệnh gọi hàm rõ ràng để nhập thông tin vào ngữ cảnh chính để mô hình truy cập, bao gồm hai loại sau:

Lưu trữ quay lại: Giữ thông tin sự kiện lịch sử hoàn chỉnh, tương đương với phiên bản không nén của ngữ cảnh cuộc hội thoại.

Lưu trữ lưu trữ: Cơ sở dữ liệu đọc-ghi có mục đích chung có thể đóng vai trò là không gian tràn cho ngữ cảnh chính để chứa thông tin bổ sung. Trong các ứng dụng đàm thoại, dung lượng lưu trữ có thể chứa thông tin bổ sung về vai trò, tùy chọn của người dùng hoặc hệ thống, v.v.

Lưu trữ backtracking cho phép truy xuất các tương tác lịch sử trong một khoảng thời gian cụ thể. Trong phân tích tài liệu, lưu trữ lưu trữ có thể hỗ trợ tìm kiếm tập hợp tài liệu lớn hơn.

Chỉnh sửa và tìm kiếm độc lập

MemGPT chủ động di chuyển dữ liệu giữa các mức bộ nhớ thông qua các cuộc gọi hàm được tạo bởi các mô hình ngôn ngữ lớn để đạt được khả năng chỉnh sửa và truy xuất tự động. Ví dụ: bạn có thể quyết định thời điểm di chuyển thông tin giữa các ngữ cảnh để phù hợp với mục tiêu nhiệm vụ hiện tại mà không cần sự tham gia của con người.

Sự đổi mới nằm ở mô tả chi tiết về kiến trúc bộ nhớ và các phương thức gọi hàm trong các lệnh hệ thống, hướng dẫn mô hình ngôn ngữ lớn học cách sử dụng các công cụ này để quản lý bộ nhớ.

Mô hình ngôn ngữ lớn có thể điều chỉnh chiến lược gọi dựa trên phản hồi. Đồng thời, khi không gian ngữ cảnh chính không đủ, hệ thống nhắc nhở mô hình ngôn ngữ lớn lưu thông tin quan trọng kịp thời và hướng dẫn nó quản lý bộ nhớ.

Xích

Trong MemGPT, các sự kiện bên ngoài khác nhau kích hoạt các mô hình ngôn ngữ lớn để đưa ra suy luận, bao gồm tin nhắn của người dùng, cảnh báo bộ nhớ hệ thống, sự kiện tương tác người dùng và hơn thế nữa.

Các cuộc gọi hàm có thể yêu cầu giành quyền kiểm soát, cho phép các cuộc gọi được xâu chuỗi. Ví dụ: khi kết quả được phân trang, các cuộc gọi liên tiếp có thể thu thập dữ liệu từ các trang khác nhau vào ngữ cảnh chính.

Mặt khác, lệnh gọi yield tạm dừng mô hình ngôn ngữ lớn cho đến khi sự kiện bên ngoài tiếp theo kích hoạt suy luận. Luồng điều khiển dựa trên sự kiện này điều phối giao tiếp trơn tru giữa quản lý bộ nhớ, suy luận mô hình và tương tác người dùng.

Trình phân tích cú pháp &; Tối ưu hóa

MemGPT sử dụng trình phân tích cú pháp để xác minh các cuộc gọi hàm được tạo bởi mô hình ngôn ngữ lớn, kiểm tra xem các tham số có chính xác hay không, v.v. Kết quả được đưa trở lại mô hình sau cuộc gọi, để chiến lược có thể được học để điều chỉnh và có thể giảm lỗi.

Ngoài ra, các hướng dẫn hệ thống của MemGPT có thể được cập nhật theo thời gian thực để thêm hướng dẫn quản lý bộ nhớ tùy chỉnh vào mô hình cho các tác vụ khác nhau để đạt được tối ưu hóa liên tục.