OpenAI تكتشف طريقة جديدة لخفض تكاليف الاستدلال إلى النصف

robot
إنشاء الملخص قيد التقدم
وفقًا لمصدر مطلع على المناقشات، هناك أخبار غير معلنة سابقًا: في وقت سابق من هذا الشهر، أبلغ مهندسو OpenAI بعض الزملاء أنه بالاعتماد على العديد من تقنيات التحسين المطورة حديثًا، وجدوا حلًا يمكنه خفض تكاليف استدلال النموذج بأكثر من النصف. بعد تطبيق هذه التقنية الجديدة على السيناريوهات التي يستخدم فيها زوار الحسابات المجانية/المدفوعة ChatGPT، انخفض عدد وحدات معالجة الرسوميات (GPUs) المطلوبة من Nvidia إلى بضع مئات فقط — وهو رقم منخفض بشكل ملحوظ. من غير الواضح حاليًا ما هي الوسائل التقنية المحددة التي استخدمتها OpenAI لتحقيق هذا التحسن الكبير في كفاءة الحوسبة. تشمل طرق التحسين الشائعة في الصناعة عمومًا: ضغط التكميم، وتخزين المفاتيح والقيم مؤقتًا، ومعالجة استفسارات المستخدمين دفعة واحدة بدلاً من حسابها بشكل فردي، وإعادة توجيه بعض الطلبات إلى نماذج أو أجزاء نماذج خفيفة الوزن منخفضة الطاقة للرد.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • إعادة النشر
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
لا توجد تعليقات
  • مُثبت