ME AI Повідомлення, згідно з моніторингом Beating, AI-стартап Recursive опублікував перші результати експериментів своєї науково-дослідної системи. Система здатна автоматично генерувати ідеї, писати код, запускати експерименти та перевіряти їх, перевершуючи найкращі результати у трьох бенчмарках: тренування з фіксованим бюджетом, швидке тренування NanoGPT та оптимізацію GPU kernel. Експерименти показали, що у задачах з чіткою метою та швидким зворотнім зв’язком система вже може знайти оптимізаційний простір, який пропустили люди.
У обмеженому 5-хвилинному тренуванні NanoChat Autoresearch система знизила втрати при валідації BPB до 0.9109, скоротивши час тренування до досягнення такого ж рівня приблизно на 23% (прискорення у 1.3 рази). Ключовим нововведенням є посилення короткочасної пам’яті контексту, хешування біграм та триграм токенів у фіксовану таблицю ембедінгів, а також використання навчених керованих механізмів для змішування уваги з шляхом уваги, що дозволяє використовувати локальну інформацію з дуже низькими витратами.
У вже понад два роки оптимізованому спільнотою NanoGPT Speedrun, час тренування до заданих втрат зменшився з 79.7 секунд до 77.5 секунд. Методи оптимізації включають просування обчислень FP8 у шлях уваги для підвищення пропускної здатності, а також переписування злитого ядра MLP, яке зберігає лише квадрати ReLU та повторно обчислює проміжні змінні під час зворотного поширення для зменшення навантаження на пам’ять.
У бенчмарку GPU kernel оптимізації SOL-ExecBench, система на NVIDIA B200 підвищила середній бал SOL (досягнення теоретичного максимуму) з 0.699 до 0.754, зменшивши різницю з фізичним максимумом на 18%. Стратегії включають зменшення масштабування GRN у наступний лінійний шар, пакування балів та індексів маршрутизації експертів у ключі та значення для внутрішнього зведення у warp, а також використання низькорівневих інструкцій PTX для пакування FP4 у ядрах NVFP4 MoE, зберігаючи FP32 під час проміжних обчислень для зменшення накопичення похибки.
Щоб запобігти шахрайству з метою штучного підвищення результатів AI, система вводить багаторівневий аудит правильності для фільтрації недійсних прискорень.
(Джерело: BlockBeats)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

Нагородити
подобається
Прокоментувати
Репост
Поділіться

Прокоментувати

Додати коментар

Немає коментарів

Популярні теми
Дізнатися більше
#
MyGateTradeStory
79,32K Популярність
#
USMayCPIHitsThreeYearHigh
314,18K Популярність
#
IsraelStrikesIranBTCPlunges
57,29K Популярність
#
USIranConflictEscalates
711,66K Популярність
#
GateLaunchesHongKongStockTrading
674,54K Популярність

Закріплено

карта сайту

Дозвольте ШІ самостійно змінювати код тренування, рекурсивне оновлення трьох алгоритмів для оптимізації рекордів

Популярні теми

MyGateTradeStory

USMayCPIHitsThreeYearHigh

IsraelStrikesIranBTCPlunges

USIranConflictEscalates

GateLaunchesHongKongStockTrading

Закріплено