Jev của TypeSafe AI @typesafeai được mở hoàn toàn, cộng thêm việc đội ngũ Cognition tung ra một Kev mã nguồn mở, tín hiệu từ giới AI trong hai ngày qua rất rõ ràng: chúng ta không còn cần tiêu tốn năng lực tính toán đắt đỏ cho một phán đoán “có hoặc không” nữa.

Tôi đang có một quy trình tự động xử lý lượng lớn Leads. Trước đây, dùng GPT-4o để sàng lọc 700 khách hàng tiềm năng, không chỉ xót tiền mà còn phải lo nó thỉnh thoảng bị ảo giác rồi bịa ra một lý do cho tôi.
Hôm qua tôi thử thay đổi quy trình: để Jev chấm điểm mức độ phù hợp, nó phân bổ điểm độ tin cậy cho từng Lead và loại thẳng những trường hợp không đạt. Kết quả là chạy xong toàn bộ chỉ trong 40 giây, với chi phí chưa đến 0,1 tệ.
Tư duy cốt lõi của loại “mô hình ra quyết định” này là nó chỉ làm một việc: chọn phương án tối ưu từ các lựa chọn bạn đưa ra, hoặc chấm điểm cho câu trần thuật của bạn. Nó không làm thơ, không trò chuyện, nên có thể đạt tốc độ nhanh hơn 20 lần, thậm chí 200 lần.
Hơn nữa, rào cản hiện nay thực sự đã hạ xuống mức thấp nhất. Sự xuất hiện của Kev khiến việc triển khai nội bộ trở nên trong tầm tay, với thời gian huấn luyện mô hình 4 tỷ tham số trên một H100 chỉ mất 40 phút. Điều này có nghĩa là bạn có thể dựa trên dữ liệu đặc thù trong hoạt động kinh doanh của mình để nhanh chóng tinh chỉnh một “bộ não nhỏ” ra quyết định dành riêng cho doanh nghiệp. Hiệu suất của Kev-8B trên dữ liệu ngoài miền đã gần tiệm cận Jev, cho thấy hướng đi này hoàn toàn khả thi.
Hãy thử Jev hoặc Kev, thay thế bộ định tuyến AI, hệ thống nhận diện ý định và cổng bảo mật của bạn bằng loại công cụ quyết định chuyên dụng này. Khi nhận thấy thời gian phản hồi của tác nhân AI giảm từ cấp độ giây xuống cấp độ mili giây, bạn sẽ hiểu đây mới là lợi ích hiệu suất thực sự.