Coinbase: Đã cắt giảm chi tiêu AI gần 50%, đang thử nghiệm mặc định sử dụng mô hình trọng số mở.

robot
Đang tạo bản tóm tắt

深潮 TechFlow tin tức, ngày 27 tháng 6, CEO của Coinbase là Brian Armstrong đã đăng bài giới thiệu về những tiến bộ mới nhất của công ty trong việc tối ưu hóa chi phí AI.

Armstrong cho biết, khi lượng sử dụng AI và tiêu thụ Token tiếp tục tăng, chìa khóa để kiểm soát chi phí không phải là hạn chế nhân viên sử dụng hoặc thường xuyên gửi nhắc nhở ngân sách, mà là tối ưu hóa việc lựa chọn mô hình mặc định, cơ chế định tuyến nhiệm vụ và chiến lược bộ nhớ đệm.

Ông tiết lộ, Coinbase đang thử nghiệm thông qua cổng LLM nội bộ để đặt các mô hình trọng số mở như GLM 5.2, Kimi 2.7 làm lựa chọn mặc định, đồng thời vẫn cho phép các kỹ sư chọn các mô hình khác dựa trên nhu cầu nhiệm vụ cụ thể. Dữ liệu cho thấy, 91% nhân viên của công ty chưa bao giờ đạt đến giới hạn sử dụng AI, vì vậy Coinbase không chọn thắt chặt hạn mức, mà nâng cao hiệu quả tổng thể thông qua các giải pháp mô hình chi phí thấp hơn.

Về định tuyến mô hình, Coinbase sẽ tiền xử lý các prompt, kết hợp với tỷ lệ hit bộ nhớ đệm và giá cả của các mô hình khác nhau, tự động phân bổ nhiệm vụ cho mô hình phù hợp nhất. Armstrong cho rằng, các nhiệm vụ phức tạp như lập kế hoạch và suy luận có thể cần sự hỗ trợ của mô hình tiên tiến, nhưng các nhiệm vụ thực thi không nhất thiết phải gọi mô hình có chi phí cao hơn. Trong tương lai, quá trình lựa chọn mô hình nên được thực hiện tự động hơn bởi AI, thay vì dựa vào quyết định thủ công.

Ngoài ra, ông chỉ ra rằng tỷ lệ hit bộ nhớ đệm là một trong những yếu tố quan trọng ảnh hưởng đến chi phí AI. Coinbase đã đưa cơ chế nhận thức bộ nhớ đệm vào quy trình yêu cầu để tăng tỷ lệ tái sử dụng kết quả lịch sử. Ví dụ với LibreChat, sau khi tối ưu hóa giải pháp bộ nhớ đệm, tỷ lệ hit bộ nhớ đệm đã tăng từ 5% lên 60%.

Armstrong cũng cho biết, công ty yêu cầu các kỹ sư cố gắng giữ ngữ cảnh tinh gọn, bao gồm mở phiên mới khi chuyển nhiệm vụ, thu hẹp phạm vi ngữ cảnh tệp và tắt các công cụ không sử dụng, để giảm tiêu thụ Token không cần thiết.

Theo ông tiết lộ, thông qua các biện pháp trên, Coinbase đã thành công giảm gần 50% chi tiêu AI, đồng thời lượng sử dụng Token vẫn tiếp tục tăng.

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận