Tin tức từ CoinWorld, báo cáo kỹ thuật Gemma 4 mới nhất của Google cho thấy cách sử dụng kiến trúc tối giản để giúp mô hình lớn chạy nhanh hơn trên điện thoại và thiết bị đầu cuối, tiết kiệm nhiều bộ nhớ hơn. Mô hình Gemma 4 12B lần đầu tiên đạt được sự tích hợp tối giản "không bộ mã hóa" cho cả hai chế độ thị giác và âm thanh, trực tiếp cắt giảm 93% bộ dịch hình ảnh và loại bỏ hoàn toàn bộ dịch âm thanh, giải quyết vấn đề lãng phí bộ nhớ đồ họa do "bộ dịch ngoài" gây ra. Ngoài ra, mô hình này khi xử lý văn bản dài thông qua tái sử dụng chú ý toàn cục, giảm 37,5% mức sử dụng bộ nhớ. Bộ tăng tốc dự đoán phiên bản đầu cuối nhẹ của nó còn thu hẹp phạm vi từ điển từ 260.000 xuống còn 4096, cải thiện đáng kể tốc độ giải mã.

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 5
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
MultisigOnRocks
· 3giờ trước
Kiến trúc không mã hóa nếu thực sự chạy thông suốt, sau này mô hình nhỏ cũng có thể chơi đa phương thức tại địa phương.
Xem bản gốcTrả lời0
AirdropTaxPanic
· 7giờ trước
Google đợt tối ưu hóa phía thiết bị này là mở đường cho AI trên điện thoại, Apple áp lực đến rồi.
Xem bản gốcTrả lời0
DepegDaydream
· 7giờ trước
Bảng từ vựng 4096 có cải thiện tốc độ giải mã khá thú vị, nhưng liệu có hy sinh khả năng bao phủ đa ngôn ngữ không?
Xem bản gốcTrả lời0
GateUser-f78f1f3e
· 7giờ trước
Loại bỏ 93% bộ dịch hình ảnh và còn không cần bộ mã hóa âm thanh, mức độ giảm béo này còn tàn hơn tôi.
Xem bản gốcTrả lời0
LimitOrderMonk
· 7giờ trước
Sử dụng lại sự chú ý toàn cục tiết kiệm 37,5% bộ nhớ đồ họa, văn bản dài cuối cùng không còn bị tràn bộ nhớ nữa.
Xem bản gốcTrả lời0
  • Đã ghim