Tether merilis kerangka kerja lintas platform QVAC BitNet LoRA: mendukung pelatihan model AI dengan miliaran parameter pada perangkat konsumen

Odaily Planet Daily melaporkan bahwa menurut pengumuman resmi, Tether mengumumkan peluncuran kerangka fine-tuning BitNet LoRA lintas platform di dalam QVAC Fabric, yang mengoptimalkan pelatihan dan inferensi Microsoft BitNet (1-bit LLM). Kerangka ini secara signifikan mengurangi kebutuhan daya komputasi dan memori, memungkinkan model dengan miliaran parameter untuk dilatih dan di-fine-tune di laptop, GPU konsumen, dan ponsel pintar.

Solusi ini pertama kali mewujudkan fine-tuning model BitNet di GPU mobile (termasuk Adreno, Mali, dan Apple Bionic). Pengujian menunjukkan bahwa model dengan 125 juta parameter dapat diselesaikan fine-tuning dalam sekitar 10 menit, model 1 miliar parameter sekitar satu jam, dan bahkan dapat diperluas ke model dengan 13 miliar parameter di ponsel.

Selain itu, kerangka ini mendukung perangkat keras heterogen seperti Intel, AMD, dan Apple Silicon, serta pertama kali mewujudkan fine-tuning LoRA 1-bit LLM di perangkat non-NVIDIA. Dari segi performa, inference model BitNet di GPU mobile meningkat 2 hingga 11 kali lipat dibandingkan CPU, dan penggunaan memori GPU juga paling tidak berkurang sekitar 77,8% dibandingkan model 16-bit tradisional.

Tether menyatakan bahwa teknologi ini berpotensi mengurangi ketergantungan terhadap infrastruktur komputasi kelas atas dan cloud, mendorong pengembangan pelatihan AI yang lebih terdesentralisasi dan lokal, serta menyediakan dasar untuk aplikasi baru seperti federated learning.