تحويله إلى دائرة إلكترونية صلبة بالكامل، بدون استخدام GPU، لتحقيق 50,000 توكن/ثانية

موقع Coinjie News، المطور لوتيرا أبياكون وكرش تشاجر قاموا بنقل MicroGPT الخاص بكارباتي (بـ 4192 معلمة فقط) إلى FPGA باستخدام SystemVerilog، بسرعة توليد تتجاوز 50 ألف رمز/ثانية. هذا المشروع Talos-V2 (المنطق المعجل للتنسور للأنظمة على الرقاقة) مفتوح المصدر على GitHub، ويعمل على FPGA من نوع Cyclone V التعليمي من Intel على لوحة DE1-SOC، ويتم تخزين الأوزان بصيغة Q4.12 الثابتة في ROM على الرقاقة. يتم تنفيذ ضرب المصفوفة والمتجه في النموذج كمصفوفة نبضية ذات 16 قناة (Systolic Array)، ويشترك وحدة الإسقاط Q/K/V، وMLP، ورأس LM في هذه الوحدة، وتعمل بشكل دوري. يتطلب تنفيذ آلية الانتباه تقسيمها إلى ثمانية خطوات. وأشار المؤلفون إلى أن الهدف من المشروع هو تحويل كل خطوة من استنتاج Transformer إلى مكونات مادية مرئية: ذاكرة، عداد، آلة الحالة، وجدول البحث.