خفضت Coinbase إنفاقها على الذكاء الاصطناعي بنحو النصف، وتحاول تعيين نماذج الوزن المفتوح مثل GLM 5.2 و Kimi 2.7 كخيارات افتراضية.

بلوكبيتس، 27 يونيو، كتب براين أرمسترونغ، الرئيس التنفيذي لـ Coinbase، أنه إذا أردنا الحفاظ على استقرار إنفاق الذكاء الاصطناعي مع نمو استخدام الرموز بشكل هائل، فإن المفتاح ليس في وضع احتكاك في الاستخدام أو تذكيرات بالإنفاق، بل في نماذج افتراضية أفضل، وتوجيه الطلبات، وآليات التخزين المؤقت. تعمل Coinbase عبر بوابة LLM على استخدام النماذج مفتوحة الوزن افتراضيًا مثل GLM 5.2 و Kimi 2.7، بينما لا تزال تشجع المهندسين على اختيار النموذج المناسب وفقًا للمهمة. وأشار إلى أن 91% من الموظفين لم يصلوا أبدًا إلى الحد الأقصى للاستخدام، لذلك لم تختار الشركة خفض الحدود وزيادة التذكيرات، بل تحولت إلى نماذج افتراضية أقل تكلفة.

فيما يتعلق بتوجيه النماذج، تقوم Coinbase بمعالجة مسبقة للطلبات في تدفقات مخصصة، وتوجيه المهمة إلى النموذج الأنسب بناءً على معدل إصابة الذاكرة المؤقتة وتسعير النموذج. على سبيل المثال، قد تتطلب مرحلة التخطيط نموذجًا متقدمًا، لكن استخدام نموذج متقدم في مرحلة التنفيذ قد يكون مبالغًا فيه. يعتقد أن المستقبل لا ينبغي أن يكون فيه اختيار النموذج من قبل البشر، بل يمكن للذكاء الاصطناعي القيام بذلك تلقائيًا.

كما أشار أرمسترونغ إلى أن عدم إصابة الذاكرة المؤقتة هو أسهل طريقة لرفع التكاليف. جميع طلبات Coinbase قادرة على استشعار الذاكرة المؤقتة، من أجل إعادة استخدام الذاكرة المؤقتة الساخنة قدر الإمكان. على سبيل المثال، بعد تنفيذ التخزين المؤقت بشكل صحيح، ارتفع معدل إصابة الذاكرة المؤقتة لـ LibreChat من 5% إلى 60%. بالإضافة إلى ذلك، تطلب Coinbase من المهندسين الحفاظ على السياق موجزًا، بما في ذلك فتح جلسات جديدة عند تبديل المهام، وتقليل نطاق سياق الملف، وفصل الأدوات غير المستخدمة، وما إلى ذلك. الهدف ليس قمع استخدام الذكاء الاصطناعي، بل بناء بنية تحتية تدعم النمو الهائل. من خلال هذه الممارسات، خفضت Coinbase إنفاقها على الذكاء الاصطناعي بمقدار النصف تقريبًا، بينما لا يزال استخدام الرموز في تزايد.