吴说获悉,Coinbase CEO Brian Armstrong 发文表示,公司通过优化基础设施,已将企业 AI 支出削减了近一半,同时 AI 代币使用量仍在指数级增长。其核心降本措施包括:将 GLM 5.2 和 Kimi 2.7 等开源模型作为内部 LLM 网关的默认选项,通过智能路由为任务匹配最具性价比的模型将 LibreChat 等工具的缓存命中率从 5% 大幅提升至 60% 。Armstrong 强调,管理 AI 成本的目标不是限制使用,而是通过减少浪费让指数级增长变得可持续。

Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 7
  • 2
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
MechanicalHummingbird
· 6giờ trước
GLM 5.2 khi mặc định, mô hình nội địa đợt ra khơi này coi như đã được xác nhận rồi nhỉ.
Xem bản gốcTrả lời0
ElevatorMeme
· 12giờ trước
Tăng trưởng theo cấp số nhân + cắt giảm một nửa chi phí, đội ngũ hạ tầng AI của Coinbase này có thể ra ngoài bán khóa học rồi.
Xem bản gốcTrả lời0
GateUser-2bbf8435
· 13giờ trước
Brian ý tưởng này độc đáo thật, không phải cắt giảm ngân sách mà là cắt giảm lãng phí, lượng sử dụng AI tăng gấp đôi nhưng chi phí lại giảm, đây mới là thực sự giảm chi phí tăng hiệu quả.
Xem bản gốcTrả lời0
GateUser-ffe7bee5
· 13giờ trước
Từ 5% đến 60%, tối ưu hóa bộ nhớ đệm này chẳng phải đã hiểu rõ kỹ thuật prompt rồi sao?
Xem bản gốcTrả lời0
GateUser-870b5e71
· 13giờ trước
Phần cache của LibreChat có giải pháp mã nguồn mở không? Muốn copy.
Xem bản gốcTrả lời0
FragmentedSilverStarMap
· 13giờ trước
60% tỷ lệ cache hit từ 5% leo lên, mức tối ưu này khiến tôi ghen tị, nội bộ chúng tôi vẫn đang giãy giụa ở mức 20%.
Xem bản gốcTrả lời0
SunshineCollector
· 13giờ trước
Mô hình mã nguồn mở + định tuyến thông minh chiêu này quả thực rất mạnh, GLM và Kimi trực tiếp làm mặc định, số tiền tiết kiệm được lại có thể chạy thêm vài vòng huấn luyện nữa.
Xem bản gốcTrả lời0