Bí ẩn về suy luận người tiêu dùng:

Tôi thấy nhiều dự án suy luận hướng đến người tiêu dùng đang cố gắng giải quyết chi phí cao của các API tiên phong
Các phương pháp khác nhau, nhưng giả thuyết là cung cấp suy luận rẻ hơn so với các nhà tổng hợp như OpenRouter
Thách thức ở đây là vấn đề về thời điểm
Hôm nay, người tiêu dùng nhận được AI tiên phong được trợ cấp cao
Có nhiều lựa chọn cho người tiêu dùng để có các kế hoạch suy luận SOTA bắt đầu từ 10 đô la và các kế hoạch 200 đô la/tháng cung cấp một lượng sử dụng đáng kinh ngạc
Chỉ là không có nhiều nhu cầu của người tiêu dùng cho suy luận API theo thanh toán khi sử dụng do sự tồn tại của các gói phụ này
*doanh nghiệp là câu chuyện khác
Vì vậy, giả định chính cho các dự án hướng đến người tiêu dùng này là các khoản trợ cấp sẽ biến mất vào một thời điểm nào đó
Nhiều người mong đợi các gói phụ sẽ trở nên đắt hơn hoặc các phòng thí nghiệm giảm giới hạn, cuối cùng buộc hầu hết mọi người phải thanh toán API
Mồi nhử và lừa đảo cổ điển
Nhưng khi nào hoặc nếu những thay đổi này xảy ra thì hoàn toàn chưa biết
Vì vậy, nếu bạn là người xây dựng, bạn có thể đúng về giả thuyết nhưng quá sớm về thời điểm
Các dự án tốt nhất hoạt động trong lĩnh vực này cần tìm ra pmf trong các trường hợp sử dụng ngoài suy luận API người tiêu dùng quy mô lớn trong khi xây dựng khả năng cung cấp chi phí thấp nếu/ khi mồi nhử và lừa đảo xảy ra
Không phải là một chiếc kim dễ dàng để luồn qua