Лише 28 трильйонів параметрів — це початок: Kimi K3 виводить конкуренцію LLM у напрямку «AI створює AI»

Автор: Climber, CryptoPulse Labs

16 липня Темна сторона Місяця офіційно представила нове покоління відкритих моделей із відкритим кодом Kimi K3. Модель має 2,8 трильйона параметрів, контекстне вікно на 1 млн Token, нативно підтримує розуміння візуального контенту, а також використовує такі технології, як Kimi Delta Attention і Attention Residuals.

Це перша у світі відкрита модель рівня 3 трильйони, хоча загальна продуктивність Kimi K3 усе ще поступається найсильнішим закритим моделям, таким як Claude Fable 5 і GPT-5.6 Sol, у кількох тестуваннях вона демонструє передовий рівень; Темна сторона Місяця стверджує, що її загальна продуктивність стабільно вища, ніж у інших тестових моделей.

Набагато цікавіше те, що Kimi K3 ще й самостійно завершила проєктування чипа. Велика модель, починаючи спроби спроєктувати апаратне забезпечення, необхідне для роботи ШІ, можливо, важливіше, ніж самі 2,8 трильйона параметрів.

I. За 2,8 трильйонами параметрів: конкуренція великих моделей переходить від масштабу до ефективності

Упродовж останніх кількох років найпростіше зрозуміти показник у сфері великих моделей — це кількість параметрів. Від десятків мільярдів до трильйонів, далі до тижнів трильйонів — масштаб параметрів майже став важливим символом для оцінки можливостей моделі.

Але коли розмір моделі досягає 2,8 трильйона параметрів, справжня проблема вже полягає не в тому, «наскільки велика модель», а в тому: як тренувати таку гігантську модель? Скільки параметрів потрібно задіяти для обчислень кожного разу? Як зробити модель з потужнішими можливостями, одночасно контролюючи витрати на роботу?

Відповідь, яку дає Kimi K3, — це подальше розширення розрідженої (sparse) архітектури.

Як розповіла Темна сторона Місяця, Kimi K3 використовує Mixture of Experts, тобто архітектуру «мікс експертів». Модель має 896 експертних модулів, але під час кожного завдання активується лише 16 експертів.

Це означає, що модель може мати величезну місткість знань, але не потрібно щоразу викликати всі параметри. Наче суперорганізація з 896 спеціалізованими відділами: коли стикаєшся з різними проблемами, достатньо задіяти лише найрелевантніші 16 відділів.

Ключова цінність такої архітектури в тому, що загальний розмір моделі та вартість обчислень за один запит можуть бути розділені.

У майбутньому конкуренція великих моделей може бути не про те, хто має більше параметрів, а про те, хто зможе ефективно задіяти більше параметрів із нижчою вартістю.

Ще одна ключова інновація Kimi K3 — це Kimi Delta Attention, тобто KDA. У традиційній архітектурі Transformer під час обробки наддовгих текстів обчислювальне навантаження і тиск на пам’ять помітно зростають. Метою KDA є підвищення ефективності обробки інформації в довгих послідовностях.

Водночас Kimi K3 вводить Attention Residuals, тобто механізм «залишків уваги». У традиційних моделях інформація зазвичай передається послідовно шар за шаром, і впродовж проходу накопичується до наступних шарів, але також можуть виникати надлишковість і затухання.

Attention Residuals намагаються дати моделі можливість «перескочити» через різні глибини й вибірково викликати інформацію з ранніших етапів.

Якщо традиційний потік інформації в моделі схожий на річку, що тече від старту до фінішу, то Attention Residuals більше схожі на те, як уздовж маршруту створюється система пошуку інформації: модель може залежно від задачі повторно викликати інформацію з різних глибин.

Темна сторона Місяця зазначає, що порівняно з Kimi K2, Kimi K3 забезпечує приблизно 2,5 раза підвищення ефективності загального розширення.

Це показує, що індустрія ШІ переходить від «чим більший масштаб, тим сильніше» до «як перетворити більший масштаб на вищу ефективність».

Значення Kimi K3 полягає не лише в тому, що випущено модель із 2,8 трильйона параметрів, а й у тому, що вона піднімає верхню межу масштабу відкритих моделей.

Раніше відкриті моделі здебільшого розглядали як тих, хто наздоганяє закриті. Нині ж відкриті моделі починають доводити: надвеликі масштабні моделі так само можна зробити відкритими, досліджувати та доопрацьовувати повторно.

II. Від чат-ботів до цифрових працівників: Kimi K3 націлена на складні роботи

Якщо 2,8 трильйона параметрів — це найлегше поширюваний «ярлик» Kimi K3, то реальний продуктовий напрям, насправді, — це задачі з довгим горизонтом.

У минулому AI-асистенти здебільшого відповідали на запитання. Користувач ставив запитання — модель давала відповідь. Попросили написати код — вона повертала код. Попросили підсумувати статтю — вона генерувала резюме.

Але в реальному світі складні роботи часто не можна виконати за один запит-відповідь.

Досліднику може знадобитися прочитати статті, впорядкувати дані, побудувати модель, запустити експерименти, проаналізувати результати, а потім написати звіт. Програмісту може знадобитися прочитати багато файлів, зрозуміти структуру проєкту, змінити код, запустити тести, знайти помилку, а потім ітеративно доробляти далі.

Спільні риси цих задач — довгий цикл, багато кроків, великий обсяг інформації, а також необхідність коригувати наступні дії на основі проміжних результатів — і саме це намагається вирішити Kimi K3.

У представленому Темною стороною Місяця прикладі Kimi K3 завершила дослідницьке завдання з обчислювальної астрофізики. Після прочитання й перехресної верифікації понад 20 статей вона виконала чисельні обчислення, оцінила сотні рівнянь стану, виявила невідповідності у вже опублікованих формулах та згенерувала понад 3000 рядків Python-коду і інтерактивну HTML-панель приладів.

Офіційно сказано, що це завдання тривало приблизно дві години, тоді як за традиційних умов це могли б виконати досвідчені дослідники за 1–2 тижні.

Це не означає, що ШІ вже може замінити дослідників; найважливіша частина наукової роботи часто полягає в тому, щоб сформулювати питання, оцінити гіпотези та пояснити результати.

Але Kimi K3 демонструє важливу зміну: ШІ поступово переходить від допомоги людині виконати певний крок до автономного виконання цілого набору робочих процесів. Саме в цьому полягає різниця між епохою Agent і епохою традиційних чат-ботів.

Традиційні чат-боти вирішують те, що ти питаєш — я відповідаю. А Agent вирішує те, що ти задаєш ціль: я сам розкладаю завдання, викликаю інструменти, виконую кроки, перевіряю результати й постійно їх уточнюю.

Контекстне вікно на 1 млн Token у Kimi K3 має тут важливе значення.

Для великих репозиторіїв коду, дослідницьких звітів, корпоративних матеріалів і складної проєктної документації те, що модель може одноразово зрозуміти більше інформації, означає, що їй не потрібно часто забувати контекст, і що користувачу не потрібно постійно повторювати бекграунд.

Крім того, Kimi K3 нативно підтримує візуальне розуміння, тож ШІ може вибудувати більш цілісний замкнений робочий цикл.

Наприклад: після того, як AI написав код, можна переглянути результат запуску на веб-сторінці; після того, як AI зробив PPT, можна перевірити компонування слайдів; після того, як AI згенерував контент, також можна через візуальний зворотний зв’язок оцінити результат.

Раніше AI більше нагадував людину, яка «пише код із заплющеними очима», а в майбутньому AI зможе формувати цикл розуміння задачі, генерації результату, спостереження за результатом, виявлення проблем і виправлення результату.

Темна сторона Місяця також розширила можливості Kimi на сценарії Kimi Work, Kimi Code та Kimi API тощо — відповідно до досліджень, документів, презентацій, таблиць, панелей приладів і складних задач програмування.

У майбутньому AI, який матиме справжню комерційну цінність, можливо, буде не тією моделлю, що відповідає на найбільше запитань, а тією, що здатна виконувати найбільше роботи.

Традиційне програмне забезпечення вимагає від користувача вчити складні процедури роботи, тоді як мета AI Agent — з’єднати пошук, бази даних, програмування, інструменти для аналізу даних і офісні інструменти, щоб користувачу достатньо було лише описати кінцеву ціль.

Це означає, що в майбутній індустрії ПЗ конкуренція може вже бути не про те, хто має більше інструментів, а про те, у кого є потужніша AI-система виконання.

III. Найбільш вартої уваги — не модель, а те, що AI починає проєктувати чипи

Найвражаюча частина Kimi K3 може бути в тому, що вона самостійно виконала проєктування чипа.

Згідно з інформацією, розкритою Темною стороною Місяця, під час 48-годинного самостійного запуску Kimi K3 використала відкриті інструменти EDA та бібліотеку процесу Nangate 45nm, щоб виконати проєктування, оптимізацію та верифікацію чипа для власної архітектури невеликої моделі.

Це не означає, що Kimi K3 уже здатна самостійно завершувати комерційну масову серію сучасних передових AI-чипів для передових технологічних процесів. Технологія 45nm суттєво відстає від найсучасніших AI-акселераторів сьогодні; від проєктування до масового виробництва чипів також потрібно пройти через складні етапи, включно з IP, технологією, виробництвом, пакуванням і ланцюгом постачання.

Але така спроба все одно має важливе значення, адже проєктування чипа — це не просто написання коду; воно вимагає опрацювання логічного проєктування, синтезу, компонування та трасування, аналізу часових характеристик, оптимізації споживаної потужності та фізичної верифікації тощо.

Раніше AI в індустрії чипів найчастіше допомагав інженерам виконувати локальні задачі: оптимізувати компонування, прогнозувати часові характеристики, виявляти дефекти проєктування.

А Kimi K3 демонструє іншу можливість: AI більше не лише використовує інструменти, а починає самостійно організовувати інструменти для виконання повного інженерного процесу.

Це дуже схоже на траєкторію розвитку AI у написанні коду. На початку AI міг генерувати лише невеликий фрагмент коду; потім міг писати повноцінні програми; далі міг читати репозиторії коду, запускати тести й виправляти Bug. Зараз AI починає пробувати проєктувати апаратне забезпечення, необхідне для роботи AI.

Це може сформувати новий цикл самопідсилення AI, де AI допомагає проєктувати потужніші чипи, потужніші чипи тренують потужніші моделі, а сильніші моделі, у свою чергу, допомагають спроєктувати наступне покоління чипів.

Ще важливіше те, що Kimi K3 також продемонструвала здатність до автономної розробки GPU-системи програмування.

Згідно з інформацією, яку розкрила Темна сторона Місяця, Kimi K3 розробила MiniTriton — компактну систему компілятора, подібну до Triton: вона включає власний рівень проміжного подання, оптимізаційні процедури та процес генерації PTX-коду.

Це свідчить, що межі можливостей AI розширюються — від використання програмного забезпечення до створення інструментів програмного забезпечення.

У майбутньому сама модель може напряму брати участь в оптимізації чипів, розробці компіляторів, адаптації операторів і тюнінгу системи — і це може бути найважливішою стратегічною цінністю Kimi K3.

Вона — не просто продукт-модель, а експеримент у розробці AI-native: від моделі до компілятора, від алгоритму до чипа, від даних до застосунку — AI поступово стає частиною всієї базової інфраструктури.

Звісно, чипи, які AI проєктує автономно, все ще потребують суворої верифікації; наукові результати, згенеровані AI, також потребують перевірки професіоналами; і під час автономного виконання складних задач AI так само можуть траплятися помилки.

Але Kimi K3 уже подала важливий сигнал: AI поступово переходить від «об’єкта, який створюють» до «суб’єкта, який бере участь у створенні наступного покоління AI».

Висновок

Поява Kimi K3, на поверхні, є оновленням моделі, але в глибині вона означає зміну логіки конкуренції серед великих моделей.

Від більшого масштабу параметрів — до ефективнішої архітектури. Від відповідей на запитання — до виконання складних робіт. І далі — до автономної розробки компіляторів, проєктування чипів. AI поступово починає брати участь у створенні наступного покоління AI.

2,8 трильйона параметрів, можливо, є лише числом; насправді ж варто звернути увагу на те, що AI починає пробувати проєктувати власне майбутнє.