GLM-5.2 đứng đầu bảng xếp hạng tinh chỉnh gây nghi ngờ, tác giả benchmark làm rõ: không có chưng cất Claude

Theo giám sát của Động Sát Beating, mô hình nguồn mở GLM-5.2 đã đứng đầu bảng xếp hạng tự tinh chỉnh PostTrainBench, bị người hoài nghi scaling01 chỉ trích là thiếu giá trị thực tế. Ông chỉ ra rằng thứ hạng mô hình tăng từ vị trí thứ 22 lên đầu bảng trong vài tháng là điều bất thường, và vì thiếu tập ẩn trong bài kiểm tra, dễ dẫn đến việc tác nhân tận dụng việc lừa điểm để tối ưu hóa có định hướng, khiến mô hình thu được khó áp dụng trong thế giới thực.

Tuy nhiên, phe ủng hộ phản bác rằng, trong điều kiện giới hạn một thẻ H100 trong 10 giờ, yêu cầu tác nhân chạy xong quy trình tinh chỉnh thông thường là không thực tế, tối ưu hóa có định hướng vốn là điều bình thường trong học máy. Nhật ký công khai cho thấy, GLM-5.2 có logic thí nghiệm rõ ràng, có thể tự động thu thập dữ liệu từ các giả định lấy mẫu khác nhau, tự lập kế hoạch đầy đủ cho việc xây dựng đường cơ sở hiệu suất, tinh chỉnh và sử dụng lấy mẫu từ chối để lọc dữ liệu, đồng thời cố gắng tránh overfitting trong chuỗi suy nghĩ.

Giá trị lớn hơn của vụ việc này nằm ở chỗ, quỹ đạo chạy công khai vốn dùng để đánh giá khả năng tinh chỉnh, đã vô tình phá vỡ tin đồn trong ngành về việc các mô hình lớn trong nước "chưng cất nặng từ Claude". Tác giả của bảng xếp hạng Maksym Andriushchenko, sau khi xem nhật ký của GLM-5.2, chỉ ra rằng mô hình khác biệt cơ bản với Claude về thu thập dữ liệu, kết hợp chiến lược và đường quyết định, không có dấu hiệu bắt chước hoặc chưng cất. Sự minh bạch công khai của bảng xếp hạng bên thứ ba lại trở thành cửa sổ trực tiếp nhất để các mô hình nguồn mở tự chứng minh năng lực nghiên cứu và phát triển độc đáo của mình.