معهد كاليفورنيا للتكنولوجيا النموذج المفتوح المصدر Bonsai: 8B معلمة بحجم 1.15GB فقط، يعمل على iPhone بسرعة 44 توكن/ثانية

شبكة عالم العملات (Coin World News)، ووفقًا لرصد 1M AI News، أنهى مختبر PrismML التابع لمؤسسة مختبرات الذكاء الاصطناعي والمؤسَّس بالتشارك من قبل عالم الرياضيات في معهد كاليفورنيا للتكنولوجيا Babak Hassibi فترة التخفي، وطرح مفتوح المصدر سلسلة نماذج لغوية Bonsai بدقة 1-bit. يتميز النموذج الرائد 1-bit Bonsai 8B بامتلاك 8.2 مليار معلمة، وتبلغ مساحة الذاكرة المستخدمة 1.15 جيجابايت فقط، ما يحقق ضغطًا يقارب 14 مرة مقارنةً بنماذج 16-bit من الفئة نفسها (حوالي 16 جيجابايت). تُتاح الأوزان للتنزيل المفتوح على HuggingFace بموجب ترخيص Apache 2.0، كما تم إصدار نماذج أصغر بحجم 4B (0.5 جيجابايت) و1.7B (0.24 جيجابايت). يعد Bonsai 8B نموذجًا حقيقيًا من نوع end-to-end بدقة 1-bit: طبقة التضمين وطبقة الانتباه (Attention) وطبقة MLP ورأس الإخراج كلها تستخدم فقط تمثيل الأوزان بإشارة +1 أو -1، دون أي تحسينات عالية الدقة (high-precision). ويزعم PrismML أن قدراته على الاستدلال وفهم اللغة في اختبارات معيارية قياسية تعادل نماذج 16-bit كاملة الدقة. تم تطوير الرياضيات الأساسية لعملية الضغط من قبل الفريق على مدار سنوات في معهد كاليفورنيا للتكنولوجيا، وتعود حقوق الملكية الفكرية إلى معهد كاليفورنيا للتكنولوجيا، ويعد PrismML الجهة الوحيدة الحاصلة على ترخيص حصري. تم تدريب النموذج باستخدام وحدات Google v4 TPU. نتائج الاختبار الفعلية: على جهاز M4 Pro Mac تحقق 136 tok/s، وعلى RTX 4090 تحقق 440 tok/s، وعلى iPhone 17 Pro Max حوالي 44 tok/s، بينما لا يمكن لنموذج 16-bit القياسي بحجم 8B أن يُحمَّل على أي iPhone. يُخفض استهلاك الطاقة بنحو 4-5 أضعاف مقارنةً بنموذج 16-bit. يشير PrismML إلى أن الأجهزة الحالية ليست مصممة لاستدلال 1-bit؛ وأن ميزة السرعة واستهلاك الطاقة تعود أساسًا إلى تقليص حجم الذاكرة. وإذا ظهرت لاحقًا أجهزة مصممة خصيصًا لاستدلال 1-bit (تحتاج فقط إلى الجمع والطرح دون الضرب)، فقد ترتفع الكفاءة أكثر بمقدار رتبة واحدة. أكمل PrismML جولة تمويل SAFE وبذور بإجمالي 16.25 مليون دولار، وكان المستثمرون كلًّا من Khosla Ventures وCerberus Capital ومعهد كاليفورنيا للتكنولوجيا. وصرح Vinod Khosla، مؤسس Khosla Ventures، بأن هذا «ليس مجرد تحسين صغير، بل اختراق تقني كبير، واختراق رياضي، وليس مجرد نموذج صغير آخر».