Coinbase đã cắt giảm gần một nửa chi tiêu cho AI, thử nghiệm đặt các mô hình trọng số mở như GLM 5.2, Kimi 2.7 làm tùy chọn mặc định

BlockBeats tin tức, ngày 27 tháng 6, CEO của Coinbase Brian Armstrong đăng bài cho biết, nếu muốn giữ chi phí AI ổn định trong khi lượng sử dụng token tăng theo cấp số nhân, điều quan trọng không phải là đặt ra các rào cản sử dụng hoặc nhắc nhở chi tiêu, mà là các mô hình mặc định, định tuyến và cơ chế bộ nhớ đệm tốt hơn. Coinbase đang thử nghiệm sử dụng các mô hình trọng số mở như GLM 5.2, Kimi 2.7 mặc định thông qua cổng LLM, đồng thời vẫn khuyến khích các kỹ sư lựa chọn mô hình phù hợp theo nhiệm vụ. Ông cho biết, 91% nhân viên chưa bao giờ chạm đến giới hạn sử dụng, do đó công ty không chọn giảm hạn mức và tăng nhắc nhở, mà chuyển sang các mô hình mặc định có chi phí thấp hơn.

Về định tuyến mô hình, Coinbase sẽ xử lý trước các prompt trong quy trình tùy chỉnh, và dựa trên tỷ lệ truy cập bộ nhớ đệm cũng như giá của mô hình, định tuyến nhiệm vụ đến mô hình phù hợp nhất. Ví dụ, giai đoạn lập kế hoạch có thể cần mô hình tiên tiến, nhưng giai đoạn thực thi sử dụng mô hình tiên tiến có thể là thừa thãi. Ông cho rằng, trong tương lai không nên để con người chọn mô hình, AI có thể tự động thực hiện nhiệm vụ này.

Armstrong cũng cho biết, bỏ lỡ bộ nhớ đệm là cách dễ nhất để đẩy chi phí lên cao. Tất cả các yêu cầu của Coinbase đều có khả năng nhận biết bộ nhớ đệm, để tái sử dụng bộ nhớ đệm nóng càng nhiều càng tốt. Ví dụ, sau khi triển khai bộ nhớ đệm đúng cách, tỷ lệ truy cập bộ nhớ đệm của LibreChat đã tăng từ 5% lên 60%. Ngoài ra, Coinbase cũng yêu cầu các kỹ sư giữ ngữ cảnh gọn nhẹ, bao gồm mở phiên mới khi chuyển nhiệm vụ, thu hẹp phạm vi ngữ cảnh của file, ngắt kết nối các công cụ không sử dụng, v.v. Mục tiêu không phải là kìm hãm lượng sử dụng AI, mà là xây dựng cơ sở hạ tầng có thể hỗ trợ tăng trưởng theo cấp số nhân. Thông qua các thực hành trên, Coinbase đã cắt giảm gần một nửa chi phí AI, đồng thời lượng sử dụng token vẫn tiếp tục tăng.