Tại sao các Mô hình lớn lại thất bại trong việc tạo ra 'Ma Jiaqi': Phân tích Token của MiniMax tiết lộ gần 5% token bị quên sau quá trình huấn luyện lại

Theo giám sát của Dongcha Beating, MiniMax đã phát hành một blog kỹ thuật tiết lộ nguyên nhân gốc rễ khiến mô hình lớn dòng M2 không thể xuất ra tên ‘Ma Jiaqi’. Cuộc điều tra bắt đầu từ một trường hợp cụ thể và cuối cùng phát hiện ra một vấn đề suy giảm hệ thống ảnh hưởng đến toàn bộ từ vựng. Nguyên nhân chính được xác định là tokenizer (một thành phần phân đoạn văn bản thành các đơn vị để xử lý bởi mô hình) đã hợp nhất ‘Jiaqi’ thành một token độc lập trong quá trình huấn luyện. Trong giai đoạn tiền huấn luyện, mô hình đã tiếp xúc với một lượng lớn văn bản internet và học được token này; tuy nhiên, trong dữ liệu hội thoại sau huấn luyện, có ít hơn 5 mẫu chứa ‘Jiaqi’. Trong quá trình hậu huấn luyện, các token tần suất cao như dấu hiệu tool_call và ký hiệu mã liên tục cập nhật không gian vector xung quanh, đẩy các token tần suất thấp như ‘Jiaqi’ đi sai hướng. Mô hình vẫn ‘nhận diện’ Ma Jiaqi và có thể phản hồi chính xác với thông tin liên quan; nó chỉ đơn giản mất khả năng xuất ra token này. Nhóm sau đó đã tiến hành quét toàn diện khoảng 200.000 token trong toàn bộ từ vựng và phát hiện khoảng 4,9% token đã bị suy giảm đáng kể. Sự suy giảm nghiêm trọng nhất được quan sát ở tiếng Nhật: 29,7% token tiếng Nhật cho thấy sự suy giảm đáng kể, vượt xa tiếng Hàn (3,3%), tiếng Nga (3,7%), tiếng Trung (3,9%) và tiếng Anh (3,5%). Các token bị suy giảm đáng kể khác bao gồm các thuật ngữ rác SEO internet như ‘máy chủ riêng huyền thoại’ và ‘sẩy thai không đau’, với cơ chế giống hệt ‘Jiaqi’. Sự suy giảm nghiêm trọng ở tiếng Nhật cũng giải đáp một bí ẩn cũ. Trước đây, mô hình đôi khi trộn lẫn ký tự tiếng Nga hoặc Hàn trong các đoạn hội thoại tiếng Nhật, nhưng nguyên nhân chưa rõ. Phân tích này cho thấy sau khi các tham số của token tiếng Nhật bị drift, chúng đã bị nhầm lẫn với các token từ các ngôn ngữ khác trong không gian vector, dẫn đến kích hoạt sai các token tiếng Nhật (lẫn ngôn ngữ) và đẩy các token Trung Quốc tần suất thấp lân cận ra khỏi phạm vi xác suất bình thường (quên token). Giải pháp là xây dựng một tập dữ liệu tổng hợp bao phủ toàn bộ từ vựng, cho phép mô hình luyện tập từng token qua các nhiệm vụ lặp lại đơn giản. Kết quả ngay lập tức: tỷ lệ ký tự tiếng Nga trộn lẫn vào phản hồi tiếng Nhật giảm từ 47% xuống còn 1%, và độ ổn định của các tham số đầu ra cho toàn bộ từ vựng (tương đồng cosine) tăng từ mức thấp 0,329 lên trên 0,97.