تطلق معهد كالتيك نموذج Bonsai مفتوح المصدر بحجم 1-بت حقيقي: 8 مليار معلمة بحجم 1.15 جيجابايت فقط، ويحقق سرعة 44 رمزًا/ثانية على iPhone

وفقًا لـ 1M AI News، خرج مختبر الذكاء الاصطناعي PrismML، الذي شارك في تأسيسه عالم الرياضيات في Caltech باباك هاسِبي، من وضع الخفاء وأطلق سلسلة نماذج اللغة كبيرة مفتوحة المصدر 1-bit Bonsai. يتميز الطراز الرئيسي 1-bit Bonsai 8B بـ 8.2 مليار معلمة ويشغل فقط 1.15 جيجابايت من الذاكرة، وهو ما يعادل تقريبًا انضغاطًا أكبر بـ 14 مرة من نماذج مماثلة بدقة 16-bit (حوالي 16 جيجابايت). تتوفر الأوزان للتنزيل بموجب رخصة Apache 2.0 على HuggingFace، إلى جانب نموذجين أصغر: 4B (0.5 جيجابايت) و1.7B (0.24 جيجابايت). يعد Bonsai 8B نموذجًا حقيقيًا شاملًا من النهاية إلى النهاية بدقة 1-bit: فطبقة التضمين وطبقة الانتباه وطبقة MLP ورأس الإخراج تمثل جميعها أوزانًا باستخدام +1 أو -1 فقط، دون أي ترقيع عالي الدقة. تدعي PrismML أن قدرات الاستدلال وفهم اللغة لديها على المعايير القياسية قابلة للمقارنة مع تلك الخاصة بنماذج 16-bit كاملة الدقة. تم تطوير رياضيات الانضغاط الأساسية من قبل الفريق على مدار عدة سنوات في Caltech، وتعود ملكية الملكية الفكرية إلى Caltech، مما يجعل PrismML المرخص الحصري الوحيد. تم تدريب النموذج باستخدام Google v4 TPU. تشمل سرعات القياس 136 رمزًا/ثانية على جهاز M4 Pro من Mac، و440 رمزًا/ثانية على RTX 4090، وبحوالي 44 رمزًا/ثانية على iPhone 17 Pro Max، بينما لا يمكن تحميل نماذج 8B القياسية بدقة 16-bit على أي iPhone. يتم تقليل استهلاك الطاقة بحوالي 4-5 مرات مقارنةً بنماذج 16-bit. تلاحظ PrismML أن الأجهزة الحالية غير مصممة للاستدلال بدقة 1-bit، وأن مزايا السرعة والطاقة تأتي أساسًا من تقليل استخدام الذاكرة؛ وإذا ظهر في المستقبل عتاد مصمم خصيصًا لعمليات 1-bit (يتطلب فقط الجمع والطرح، دون الضرب) فقد تتحسن الكفاءة بمقدار يصل إلى رتبة من حيث الحجم. أكملت PrismML $16.25 مليون في جولات تمويل SAFE والبذور، بمستثمرين من بينهم Khosla Ventures وCerberus Capital وCaltech. صرّح Vinod Khosla، مؤسس Khosla Ventures، بأن هذا «ليس مجرد تحسين بسيط، بل اختراق تقني كبير، واختراق رياضي، وليس مجرد نموذج صغير آخر».