"AI như một dịch vụ" = gọi một điểm cuối.

Bạn đang thuê não của người khác. Tất cả việc tính toán, suy luận và bộ nhớ đều nằm trong một trung tâm dữ liệu mà bạn không kiểm soát.

Bây giờ hãy tưởng tượng điều ngược lại:

Thay vì thuê ngoài mọi tính toán, đại lý của bạn tự xây dựng từ những phần mà nó cần.

Khi gặp vấn đề, nó không chỉ "gọi điểm kết thúc."

Nó yêu cầu các thành phần - trọng số mô hình cụ thể, quy trình, tập dữ liệu - và lắp ráp phần còn lại tại chỗ.

Bạn không cần phải chọn giữa:

“Tất cả địa phương” (chậm và tiêu tốn năng lượng)
vs
“Tất cả đám mây” ( đắt đỏ và kém bảo mật )

Bạn có thể có cả hai, nhưng phải phân bổ thông minh:

1) Suy diễn quan trọng tại chỗ

Bất cứ điều gì liên quan đến danh tính, dữ liệu, sở thích của bạn đều chạy trên thiết bị của bạn. Không có chuyến đi vòng, không có rò rỉ, không có giả định về niềm tin.

2) Tính toán nặng từ xa

Đào tạo mô hình, các tác vụ ngữ cảnh lớn - được chuyển giao cho một mạng lưới phân tán các GPU hoặc nút.

Bạn giữ bí mật; công việc nặng nhọc diễn ra ở nơi khác.

Độ trễ giảm, quyền riêng tư tăng, chi phí thay đổi.

Đây là lúc Trí tuệ trở nên di động.

Đây là sự kết hợp theo thiết kế.