Thông báo nội bộ của Tencent tiết lộ: Mẫu mới nhất Hy3 sử dụng mã Claude trong giai đoạn hậu huấn luyện

Theo giám sát của Dongcha Beating, The Information trích dẫn các nguồn quen thuộc với vấn đề và một bản ghi nhớ nội bộ của Tencent tiết lộ rằng nhân viên Tencent đã sử dụng Claude Code của Anthropic trong giai đoạn hậu huấn luyện của quá trình phát triển mô hình Hy3, mặc dù Anthropic rõ ràng cấm dịch vụ thương mại đối với các công ty Trung Quốc dựa trên lý do an ninh quốc gia. Hy3 là mô hình ngôn ngữ lớn mạnh nhất của Tencent tính đến nay, có kiến trúc MoE với 295 tỷ tham số, và được phát triển dưới sự lãnh đạo của Nhà khoa học AI trưởng Yao Shunyu, người gia nhập Tencent vào cuối năm ngoái. Trong giai đoạn RLHF (Học tăng cường từ phản hồi của con người), Tencent tổ chức nhân viên đóng vai trò là người đánh giá con người, và bản ghi nhớ nội bộ cung cấp hướng dẫn cài đặt cho Claude Code, với giới hạn sử dụng là 'hàng nghìn token' mỗi người. Nhân viên Tencent không coi đây là quá trình chưng cất (huấn luyện một mô hình yếu hơn bằng cách sử dụng đầu ra của mô hình mạnh hơn). Phương pháp của họ liên quan đến việc đặt cùng một câu hỏi lập trình cho hai mô hình ẩn danh và tiến hành đánh giá mù; đồng thời, họ sử dụng Claude Code để tạo ra các ví dụ hành vi chất lượng cao theo thời gian thực làm tham chiếu để giúp lọc các phản hồi kém chất lượng. Nhân viên từ một số công ty AI xác nhận rằng việc sử dụng các mô hình hàng đầu trong ngành làm tham chiếu chuẩn trong quá trình hậu huấn luyện là một thực hành phổ biến. Một phát ngôn viên của Anthropic cho biết rằng đội an ninh của công ty 'tích cực giám sát các cuộc tấn công chưng cất và hành động ngay lập tức khi phát hiện,' nhưng không trực tiếp đề cập đến việc Tencent sử dụng Claude Code. Một cách phổ biến để các công ty và nhà phát triển Trung Quốc truy cập Claude là thông qua trung gian hoặc đăng ký bằng số điện thoại hoặc thẻ tín dụng không phải Trung Quốc. Đầu tháng này, Anthropic đã thắt chặt các yêu cầu xác minh, với một số người dùng cần cung cấp ảnh CMND do chính phủ cấp và ảnh cá nhân.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim