تشغيل النماذج الكبيرة محليًا أخيرًا لم يعد يتطلب النظر إلى مزاج السحابة، ضغط بمقدار 5 مرات مع الحفاظ على الجودة، هذه الموجة من TurboQuant المفتوحة المصدر فعلاً تمنح مطوري الأجهزة الطرفية سلاحًا

Tether AI أعلنت عن إصدار TurboQuant الإنتاجي مفتوح المصدر ودمجه في QVAC SDK 0.12.0. يعتمد TurboQuant على خوارزمية ضغط الذاكرة من Google Research، حيث يمكن لتخزين KV في وقت التشغيل أن يكون قابلاً للضغط حتى 5 مرات، وجودة الإخراج قريبة من غير المضغوط. تتيح هذه التقنية للكمبيوتر المحمول والهاتف والأجهزة الطرفية معالجة محادثات أطول وملفات أكبر بدون الحاجة إلى السحابة. يتضمن هذا الإصدار خط أنابيب كامل للكمية، وموصل إطار الاستدلال، ووثائق تطوير، ويستهدف المطورين والفرق الناشئة على الأجهزة الاستهلاكية والأجهزة الطرفية وشبكات نقطة إلى نقطة.