"AI as a service" = bir uç noktaya çağrı.

Başka birinin beynini kiralıyorsunuz. Tüm hesaplama, çıkarım ve bellek, kontrol etmediğiniz bir veri merkezinde yer alıyor.

Şimdi tersini hayal edin:

Her hesaplamayı dış kaynak kullanmak yerine, ajanın ihtiyaç duyduğu parçalardan kendini inşa eder.

Bir sorunla karşılaştığında, sadece "endpoint'i çağırmaz."

Bileşenler - belirli model ağırlıkları, rutinler, veri setleri - ister ve geri kalanını yerel olarak bir araya getirir.

Şunlar arasında seçim yapmanıza gerek yok:

“Tüm yerel” (yavaş ve enerji tüketen)
vs
“Tüm bulut” (pahalı ve gizlilik yetersiz)

Her ikisine de sahip olabilirsiniz, ama akıllıca tahsis edilmiş:

1) Kritik Çıkarım Yerel Olarak

Kimliğinizi, verilerinizi, tercihlerinizi etkileyen her şey cihazınızda çalışır. Hiçbir gidiş geliş, hiçbir sızıntı, hiçbir güven varsayımı yok.

2) Ağır Hesaplama Uzaktan

Model eğitimi, büyük bağlam görevleri - dağıtılmış bir GPU veya düğüm ağına devredildi.

Siz gizli sosu saklarsınız; ağır işler başka yerlerde gerçekleşir.

Gecikme düşer, gizlilik artar, maliyet kayar.

Bu, zekanın taşınabilir hale geldiği zamandır.

Bu tasarım gereği hibrittir.