تيثر آي أعلنت أنها ستدمج المصدر المفتوح TurboQuant في SDK 0.12.0 من QVAC. تم اقتراح TurboQuant في الأصل من قبل Google Research، ويمكنه ضغط ذاكرة تخزين KV Cache اللازمة لتشغيل النماذج الكبيرة بأقصى قدر يصل إلى 5 مرات، مما يدعم سياقات أطول، ومستندات أكبر، ومحادثات أطول زمنياً على الأجهزة المحلية. وأكدت تيثر أن هذه التقنية ستُستخدم في أجهزة الكمبيوتر المحمولة، والهواتف المحمولة، والأجهزة الطرفية، وشبكات الذكاء الاصطناعي اللامركزية، وكجزء من استراتيجيتها لتعزيز التوطين واللامركزية في الذكاء الاصطناعي.

شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • 13
  • 2
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
ReflectionsOnTheStreetCorner
· منذ 7 س
إذا كانت تقنية الضغط بخمس مرات مع الحفاظ على الدقة، فمن المتوقع أن تتبعها الأطر الرئيسية بسرعة
شاهد النسخة الأصليةرد0
LeverageLatte
· منذ 7 س
أخيرًا لم تعد محادثات المستندات الطويلة على الهاتف تتطلب إرسال البيانات الحساسة إلى السحابة، حزب الخصوصية يفرح بشدة
شاهد النسخة الأصليةرد0
MirrorBallReflection
· منذ 7 س
هل يعني الضغط بمقدار 5 مرات أن حاسوبي المحمول القديم يمكنه تشغيل نموذج 7B محليًا أيضًا؟ أتطلع إلى QVAC 0.12.0
شاهد النسخة الأصليةرد0
GateUser-a9315d81
· منذ 7 س
ذاكرة التخزين المؤقت KV مضغوطة بخمسة أضعاف، كم ستزيد تأخير الاستنتاج؟ هل هناك مقياس أداء؟
شاهد النسخة الأصليةرد0
GateUser-6857a9c9
· منذ 7 س
شبكة الذكاء الاصطناعي اللامركزية تحتاج إلى هذا النوع من التحسينات الطرفية، لتقليل عبء النطاق الترددي والتخزين في آنٍ واحد
شاهد النسخة الأصليةرد0
GateUser-665eb149
· منذ 7 س
أساسيات بحث جوجل + تطبيق Tether، هذا المزيج له بعض الاهتمام
شاهد النسخة الأصليةرد0
ContrarianIndicatorBonsai
· منذ 7 س
أخيرًا يمكن تشغيل السياق الطويل على الهاتف، حقًا نسبة الضغط في TurboQuant رائعة
شاهد النسخة الأصليةرد0
PerpetualKing
· منذ 8 س
فقط اذهب واصطدم 👊
شاهد النسخة الأصليةرد0
PerpetualKing
· منذ 8 س
فقط اذهب واصطدم 👊
شاهد النسخة الأصليةرد0
PerpetualKing
· منذ 8 س
فقط اذهب واصطدم 👊
شاهد النسخة الأصليةرد0
عرض المزيد
  • مُثبت