Theo giám sát của Dongcha Beating, Zhipu đã ra mắt API tốc độ cao GLM-5.1 dành cho khách hàng doanh nghiệp chọn lọc, đạt tốc độ đầu ra mô hình 400 token/giây, thiết lập kỷ lục toàn cầu mới về giới hạn tốc độ end-to-end của giao diện chính thức của mô hình lớn. Phiên bản tốc độ cao này giữ nguyên khả năng của mô hình flagship ban đầu trong khi được vận hành bởi một engine suy luận hiệu suất cao do Zhipu và đội ngũ TileRT phát triển cùng nhau. Engine này hoàn toàn tái cấu trúc cơ chế lập lịch hoạt động của GPU, sắp xếp tĩnh mô hình thành một Kernel Engine tồn tại vĩnh viễn trên GPU trong giai đoạn biên dịch. Trong suy luận một card, tính toán, I/O bất đồng bộ và giao tiếp đều được phân tách thành các micro-tác vụ cấp tile, chỉ khởi động kernel một lần. Kết quả trung gian giữa các toán tử được truyền trực tiếp qua thanh ghi và bộ nhớ đệm chia sẻ, loại bỏ độ trễ gây ra bởi việc khởi động kernel thường xuyên và đọc/ghi bộ nhớ trong suy luận truyền thống. Khi mở rộng sang cấu hình nhiều card, TileRT còn mở rộng phương pháp song song hóa chuyên biệt trên topology NVL 8-card, biến các nút GPU đồng nhất ban đầu thành các Worker dị thể chịu trách nhiệm cho các nhiệm vụ khác nhau. Trong xử lý các tính toán lớp attention của GLM-5.1, hệ thống phân công GPU 0 chạy một Worker chỉ mục thưa dành riêng cho xây dựng chỉ mục thưa và quyết định định tuyến, trong khi các GPU 1 đến 7 chạy các Worker MLA chịu trách nhiệm cho các giai đoạn tính toán nặng, tích hợp hoàn toàn giao tiếp vào pipeline tác vụ cấp tile, đạt được sự chồng chéo sâu giữa tính toán và giao tiếp giữa các card. Dịch vụ tốc độ cao này hiện đang khả dụng cho các khách hàng doanh nghiệp chọn lọc trên nền tảng Zhipu MaaS. Trong tương lai, công nghệ này sẽ tiếp tục tối ưu hóa suy luận FP8 và môi trường sản xuất ngữ cảnh siêu dài, cung cấp hiệu suất dự đoán chính xác hơn cho các kịch bản nhạy cảm với độ trễ thấp như lập trình AI, tương tác thời gian thực và thoại thời gian thực.

ZHIPU8,51%

Xem bản gốc

Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.

Phần thưởng
Thích
Bình luận
Đăng lại
Retweed

Bình luận

Thêm một bình luận

Không có bình luận

Chủ đề thịnh hành
Xem thêm
#
TradfiTradingChallenge
316.25K Phổ biến
#
PlatinumCardCreatorExclusive
113.77K Phổ biến
#
IsraelStrikesIranBTCPlunges
48.97K Phổ biến
#
#DailyPolymarketHotspot
1.05M Phổ biến
#
GateSquarePizzaDay
647.54K Phổ biến

Đã ghim

sơ đồ trang web

Zhipu phát hành API tốc độ cao GLM-5.1, thiết lập kỷ lục tốc độ toàn cầu ở mức 400 token/giây

Chủ đề thịnh hành

TradfiTradingChallenge

PlatinumCardCreatorExclusive

IsraelStrikesIranBTCPlunges

#DailyPolymarketHotspot

GateSquarePizzaDay

Đã ghim