Apa yang Terjadi

Tether Data telah memperkenalkan QVAC Fabric LLM, sebuah Model Bahasa Besar berbasis tepi (LLM) runtime inferensi yang dipadukan dengan kerangka adaptasi rendah peringkat LLM yang umum (LoRA). Teknologi ini mendukung model AI modern yang berjalan secara efisien di berbagai platform heterogen termasuk GPU, smartphone, laptop, dan server. Kerangka ini memungkinkan pemrosesan AI di perangkat, dirancang untuk mengoptimalkan penggunaan sumber daya dan meningkatkan kecepatan inferensi untuk aplikasi yang memerlukan kemampuan LLM.

Konteks
Peluncuran QVAC Fabric LLM sejalan dengan tren industri yang lebih luas yang menekankan komputasi AI di tepi—di mana data diproses secara lokal di perangkat pengguna alih-alih server cloud terpusat—untuk meningkatkan privasi, mengurangi latensi, dan menghemat bandwidth. Penyesuaian LoRA adalah teknik yang memungkinkan model beradaptasi dengan tugas baru dengan sumber daya komputasi yang lebih sedikit dengan memperbarui subset parameter yang lebih kecil, menjadikannya praktis untuk berbagai macam perangkat. Tether Data, sebuah perusahaan