Thông báo nội bộ của Tencent bị rò rỉ: Mô hình mới nhất Hy3 sau giai đoạn huấn luyện đã sử dụng Claude Code

Theo theo dõi Beating, 《The Information》 trích dẫn các nguồn tin thân cận và ghi chú nội bộ của Tencent tiết lộ rằng nhân viên Tencent đã sử dụng Claude Code của Anthropic trong giai đoạn hậu huấn luyện của mô hình Hy3, mặc dù Anthropic rõ ràng cấm cung cấp dịch vụ thương mại cho các công ty Trung Quốc với lý do an ninh quốc gia.

Hy3 là mô hình ngôn ngữ lớn mạnh nhất trong dòng sản phẩm Hỗn Nguyên của Tencent cho đến nay, kiến trúc MoE 295 tỷ tham số, được phát triển dưới sự chỉ đạo của Giám đốc Khoa học AI của Tencent, Yao Shunyu, vào cuối năm ngoái. Trong giai đoạn RLHF (học tăng cường dựa trên phản hồi của con người), nhân viên Tencent tổ chức làm đánh giá viên con người, các ghi chú nội bộ cung cấp hướng dẫn cài đặt Claude Code, mỗi người có giới hạn sử dụng là “vài nghìn token”.

Nhân viên Tencent không nghĩ đây là việc distillation (huấn luyện mô hình yếu dựa trên đầu ra của mô hình mạnh hơn). Họ thực hiện bằng cách đưa ra cùng một vấn đề lập trình cho hai mô hình ẩn danh, đánh giá chấm điểm mù; đồng thời sử dụng Claude Code để tạo ra các ví dụ hành vi chất lượng cao theo thời gian thực làm tham chiếu, giúp lọc các phản hồi kém chất lượng. Nhiều nhân viên của các công ty AI xác nhận rằng việc sử dụng các mô hình hàng đầu trong ngành làm chuẩn tham chiếu trong hậu huấn luyện là thực hành phổ biến.

Phát ngôn viên của Anthropic cho biết, đội ngũ an ninh của công ty “chủ động giám sát các cuộc tấn công distillation, và ngay lập tức hành động khi phát hiện”, nhưng không trực tiếp phản hồi về việc Tencent sử dụng Claude Code. Các công ty và nhà phát triển Trung Quốc thường tiếp cận Claude qua trung gian, đăng ký bằng số điện thoại không phải Trung Quốc hoặc thẻ tín dụng. Anthropic đã thắt chặt yêu cầu xác thực danh tính vào đầu tháng này, một số người dùng phải cung cấp giấy tờ do chính phủ cấp và ảnh chân dung của chính họ.