أنا AI رسالة، وفقًا لمراقبة بيتمينج، أعلنت شركة الابتكار في الذكاء الاصطناعي Recursive عن نتائج تجاربها الأولى لنظام البحث العلمي الخاص بها. يمكن للنظام اقتراح الأفكار تلقائيًا، وكتابة الشفرات، وتشغيل التجارب والتحقق منها، متفوقًا على أفضل النتائج المنشورة في ثلاثة معايير: التدريب بميزانية محدودة، والتدريب السريع على NanoGPT، وتحسين نواة GPU. أظهرت التجارب أنه في المهام ذات الأهداف الواضحة والتغذية الراجعة السريعة، أصبح النظام قادرًا على اكتشاف مجالات تحسين غفل عنها البشر. في تدريب NanoChat Autoresearch المحدود بخمس دقائق، خفض النظام خسارة التحقق BPB إلى 0.9109، مما يقلل زمن التدريب لتحقيق نفس الخسارة بنسبة حوالي 23% (زيادة السرعة بمقدار 1.3 مرة). التغيير الرئيسي هو تعزيز ذاكرة السياق القصير، حيث يتم هاش تجميع رموز الثنائية والثلاثية إلى جدول embedding ثابت، ثم يتم دمجها عبر بوابات قابلة للتعلم في مسار قيمة الانتباه، مما يسمح باستخدام المعلومات المحلية بكفاءة عالية وبتكلفة منخفضة. في سباق NanoGPT Speedrun الذي تم تحسينه من قبل المجتمع لأكثر من عامين، قلل النظام زمن التدريب للوصول إلى الخسارة المحددة من 79.7 ثانية إلى 77.5 ثانية. تشمل طرق التحسين دفع حساب FP8 الأمامي عبر مسار الانتباه لزيادة الإنتاجية، وإعادة كتابة نواة MLP المدمجة، مع الاحتفاظ بتفعيل ReLU المربع وإعادة حساب الوسيطات أثناء الانتشار العكسي لتقليل استهلاك الذاكرة. في معيار تحسين نواة GPU SOL-ExecBench، رفع النظام متوسط درجة SOL (نسبة الوصول إلى الحد الأقصى النظري) على بطاقة NVIDIA B200 من 0.699 إلى 0.754، مما يقلل الفارق مع الحد الأقصى المادي بنسبة 18%. تشمل الحلول المولدة دمج مقياس GRN في أوزان الطبقات اللاحقة، وتعبئة نتائج التوجيه الخبير (score و index) في مفاتيح وقيم لتقليل التوازي داخل الويفر، واستخدام أوامر PTX الأساسية في نواة MoE الخاصة بـ NVFP4 لتعبئة FP4، مع الاحتفاظ بـ FP32 أثناء العمليات الوسيطة لتقليل تراكم الأخطاء. ولمنع استغلال الذكاء الاصطناعي لثغرات لزيادة النقاط بشكل غير مشروع، أدخل النظام تدقيقًا متعدد المستويات لضمان الصحة والتحقق من الفعالية. (المصدر: BlockBeats)

شاهد النسخة الأصلية

قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.

أعجبني
إعجاب
تعليق
إعادة النشر
مشاركة

تعليق

إضافة تعليق

لا توجد تعليقات

المواضيع الرائجة
عرض المزيد
#
MyGateTradeStory
79.26K درجة الشعبية
#
USMayCPIHitsThreeYearHigh
314.18K درجة الشعبية
#
IsraelStrikesIranBTCPlunges
57.29K درجة الشعبية
#
USIranConflictEscalates
711.66K درجة الشعبية
#
GateLaunchesHongKongStockTrading
674.54K درجة الشعبية

مُثبت

خريطة الموقع

دع الذكاء الاصطناعي يغير رمز التدريب بنفسه، سجل تحسين خوارزمية تحديث ثلاثي متكرر

المواضيع الرائجة

MyGateTradeStory

USMayCPIHitsThreeYearHigh

IsraelStrikesIranBTCPlunges

USIranConflictEscalates

GateLaunchesHongKongStockTrading

مُثبت