ME AI Thông báo, theo giám sát Beating, công ty khởi nghiệp AI Recursive đã công bố kết quả thử nghiệm đầu tiên của hệ thống nghiên cứu khoa học của mình. Hệ thống có khả năng tự đề xuất ý tưởng, viết mã, chạy thử nghiệm và xác nhận, đạt thành tích vượt qua các tiêu chuẩn trong ba bài kiểm tra: huấn luyện với ngân sách cố định, huấn luyện NanoGPT tốc độ cao và tối ưu hóa kernel GPU. Các thử nghiệm cho thấy, trong các nhiệm vụ rõ ràng mục tiêu và phản hồi nhanh, hệ thống đã có thể tìm ra các không gian tối ưu mà con người bỏ lỡ. Trong quá trình huấn luyện NanoChat Autoresearch giới hạn 5 phút, hệ thống đã giảm thiểu mất mát xác suất BPB xuống còn 0.9109, rút ngắn thời gian huấn luyện để đạt cùng mức mất mát khoảng 23% (tăng tốc 1.3 lần). Thay đổi chính là tăng cường bộ nhớ ngữ cảnh ngắn hạn, ánh xạ các tổ hợp token hai và ba thành bảng nhúng cố định, sau đó kết hợp qua cổng có thể học để trộn vào đường dẫn giá trị attention, giúp tận dụng thông tin cục bộ với chi phí cực thấp. Trong cuộc thi Speedrun NanoGPT đã được cộng đồng tối ưu hơn hai năm, hệ thống đã rút ngắn thời gian huấn luyện đến mức mất mát mục tiêu từ 79.7 giây xuống còn 77.5 giây. Các phương pháp tối ưu bao gồm đẩy tính toán tiến về phía trước FP8 trong attention để tăng throughput, đồng thời viết lại kernel MLP hợp nhất, chỉ giữ lại ReLU kích hoạt bình phương và tính lại trung gian trong quá trình backprop để giảm đọc ghi bộ nhớ GPU. Trong tiêu chuẩn tối ưu kernel GPU SOL-ExecBench, hệ thống đã nâng điểm trung bình SOL (tỷ lệ đạt giới hạn lý thuyết) trên NVIDIA B200 từ 0.699 lên 0.754, thu hẹp khoảng cách với giới hạn vật lý còn 18%. Các phương án tối ưu bao gồm thu nhỏ quy mô GRN vào trọng số lớp tuyến tính tiếp theo, đóng gói điểm số và chỉ mục của đường dẫn chuyên gia thành các khóa-giá trị để giảm thiểu trong warp, và trong kernel NVFP4 MoE dùng lệnh PTX cấp thấp để đóng gói FP4, đồng thời giữ lại FP32 trong tính toán trung gian để giảm tích lũy sai số. Để ngăn chặn AI khai thác lỗ hổng gian lận điểm số, hệ thống đã giới thiệu kiểm tra đa cấp về tính chính xác để lọc các tăng tốc không hợp lệ. (Nguồn: BlockBeats)

Xem bản gốc

Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.

Phần thưởng
Thích
Bình luận
Đăng lại
Retweed

Bình luận

Thêm một bình luận

Không có bình luận

Chủ đề thịnh hành
Xem thêm
#
MyGateTradeStory
79,32K Phổ biến
#
USMayCPIHitsThreeYearHigh
314,18K Phổ biến
#
IsraelStrikesIranBTCPlunges
57,29K Phổ biến
#
USIranConflictEscalates
711,66K Phổ biến
#
GateLaunchesHongKongStockTrading
674,54K Phổ biến

Đã ghim

sơ đồ trang web

Để AI tự chỉnh sửa mã huấn luyện, Ghi nhận tối ưu hóa thuật toán làm mới ba mục đích đệ quy

Chủ đề thịnh hành

MyGateTradeStory

USMayCPIHitsThreeYearHigh

IsraelStrikesIranBTCPlunges

USIranConflictEscalates

GateLaunchesHongKongStockTrading

Đã ghim