Нові компанія попереднього CTO OpenAI відкрила першу модель Inkling із відкритим кодом, а її архітектура запозичена з DeepSeek-V3

robot
Генерація анотацій у процесі
Згідно з моніторингом Beating, лабораторія Thinking Machines Lab, заснована колишнім технічним директором OpenAI Мірою Мураті, випустила свою першу універсальну модель Inkling. Загальна кількість параметрів моделі — 97,5 млрд, за одну активацію — 41 млрд, вона підтримує текст, зображення та аудіо, а максимальний контекст становить 1 млн token.

Inkling тренували з нуля, але архітектура MoE в основному спиралася на DeepSeek-V3. На початковому етапі посттренінгу також використовувалися дані, згенеровані відкритими моделями на кшталт Kimi K2.5. Повні ваги вже розміщено на Hugging Face, ліцензія — Apache 2.0.

Thinking Machines прямо визнає, що Inkling наразі не є найпотужнішою моделлю. Вона робить акцент на кастомізації та ефективності. На Terminal Bench 2.1 за досягнення тих самих результатів використано токенів приблизно втричі менше, ніж у英伟达 Nemotron 3 Ultra.
NVDA0,33%
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено