بضع مئات من البطاقات يمكنها تحمل تدفق الزوار، لو كانت هذه التقنية المحسّنة مفتوحة المصدر، كم من ميزانية قوة الحوسبة ستوفرها الشركات الصغيرة والمتوسطة؟

أخبار من عملة النقود، وجدت OpenAI مؤخرًا مجموعة من حلول التحسين التي يمكنها تقليل تكلفة استدلال النموذج بأكثر من النصف. وفقًا لمصدر مطلع، أخبر مهندسو OpenAI بعض زملائهم في وقت سابق من هذا الشهر أنهم، بالاعتماد على العديد من تقنيات التحسين المطورة حديثًا، نجحوا في تقليل عدد وحدات معالجة الرسومات (GPU) من NVIDIA المطلوبة إلى بضع مئات فقط، خاصة بعد تطبيق هذه التقنية في سيناريوهات استخدام ChatGPT من قبل الزوار الذين ليس لديهم حسابات مجانية أو مدفوعة.