معهد كاليفورنيا للتكنولوجيا النموذج المفتوح المصدر Bonsai: 8B معلمة بحجم 1.15GB فقط، يعمل بسرعة 44 توكن/ثانية على iPhone

وفقًا لمتابعة 1M AI News، انتهت فترة الاختفاء لمعمل الذكاء الاصطناعي PrismML الذي أسسه عالم الرياضيات Babak Hassibi من معهد كاليفورنيا للتكنولوجيا، وشهد إطلاق نموذج كبير مفتوح المصدر من سلسلة 1-bit Bonsai. يمتلك النموذج الرائد 1-bit Bonsai 8B 8.2 مليار معلمة، ويستهلك ذاكرة قدرها 1.15 جيجابايت فقط، مما يمثل ضغطًا يقارب 14 مرة مقارنةً بنماذج 16-bit من نفس المستوى (حوالي 16 جيجابايت). تُتاح الأوزان للتحميل المفتوح على HuggingFace بموجب ترخيص Apache 2.0، مع إصدارين أصغر حجمًا: 4B (0.5 جيجابايت) و1.7B (0.24 جيجابايت).

يُعد Bonsai 8B نموذجًا حقيقيًا من 1-bit من طرف إلى طرف: تُستخدم الأوزان في طبقة التضمين وطبقة الانتباه وطبقة MLP ورأس الإخراج جميعها فقط لتُمثَّل بـ +1 أو -1، دون أي ترقيع عالي الدقة. ويزعم معهد كاليفورنيا للتكنولوجيا أن قدراته في الاستدلال وفهم اللغة على الاختبارات القياسية تعادل قدرات نموذج 16-bit كامل الدقة. تم تطوير الرياضيات الأساسية الخاصة بالضغط من قبل الفريق على مدار سنوات في معهد كاليفورنيا للتكنولوجيا، وتعود حقوق الملكية الفكرية إلى معهد كاليفورنيا للتكنولوجيا، ويُعد معهد كاليفورنيا للتكنولوجيا هو المانح الحصري للترخيص. تم تدريب النموذج باستخدام وحدات Google v4 TPU.

سرعة الاختبار العملي: 136 رمزًا في الثانية على جهاز M4 Pro Mac، و440 رمزًا في الثانية على RTX 4090، وحوالي 44 رمزًا في الثانية على iPhone 17 Pro Max، بينما لا يمكن لنموذج 16-bit 8B القياسي أن يُحمَّل على أي iPhone. ينخفض استهلاك الطاقة مقارنةً بنموذج 16-bit بحوالي 4-5 مرات. يشير معهد كاليفورنيا للتكنولوجيا إلى أن العتاد الحالي غير مصمم للاستدلال باستخدام 1-bit، وأن الفارق في السرعة وكفاءة الطاقة يأتي أساسًا من تقليص حجم الذاكرة؛ وإذا ظهرت لاحقًا عتاد مخصص للاستدلال 1-bit (يحتاج فقط إلى عمليات الجمع والطرح دون ضرب)، فستتحسن الكفاءة بمقدار رتبة إضافية.

أتم معهد كاليفورنيا للتكنولوجيا جولة تمويل SAFE وبذور بقيمة 16.25 مليون دولار، وكان المستثمرون فيها Khosla Ventures وCerberus Capital ومعهد كاليفورنيا للتكنولوجيا. يقول Vinod Khosla، مؤسس Khosla Ventures، إن هذا «ليس مجرد تحسين صغير، بل اختراق تقني كبير، واختراق في الرياضيات، وليس مجرد نموذج صغير آخر».