2,8 триллиона параметров — это только начало: Kimi K3 выводит гонку больших моделей на режим «ИИ, создающий ИИ»

Автор: Climber, CryptoPulse Labs

16 июля на Демооне официально был запущен новый поколение открытой модели Kimi K3. Модель обладает 2,8 триллиона параметров, контекстным окном в 1 миллион токенов, нативно поддерживает визуальное понимание и использует такие технологии, как Kimi Delta Attention и Attention Residuals.

Это первый в мире открытый модель масштаба 3 триллиона. Хотя в целом Kimi K3 по-прежнему уступает самым сильным закрытым моделям, включая Claude Fable 5 и GPT-5.6 Sol, в ряде оценок она демонстрирует передовой уровень: DМOнoе заявляет, что общие результаты Kimi K3 стабильнее, чем у других тестовых моделей.

Более того, Kimi K3 также самостоятельно завершила разработку чипа. Модель большого размера, начавшая попытки проектировать аппаратные средства, необходимые для работы ИИ, возможно, куда более примечательна, чем сами 2,8 триллиона параметров.

1. За 2,8 триллиона параметров: конкуренция больших моделей переходит от масштаба к эффективности

В последние годы самый понятный показатель в индустрии больших моделей — количество параметров. От десятков миллиардов до триллионов и затем до тысяч миллиардов: масштаб параметров почти стал важным символом измерения возможностей модели.

Но когда модель достигает 2,8 триллиона параметров, реальная проблема уже не в том, «какой она величины». Вопрос становится другим: как обучать столь огромную модель? Сколько параметров нужно задействовать на каждую задачу? Как усилить способности модели, одновременно контролируя стоимость работы?

Ответ, который дает Kimi K3, — дальнейшее расширение разреженной (sparse) архитектуры.

Как рассказывает DМOнoе, Kimi K3 использует Mixture of Experts, то есть архитектуру «смешение экспертов». В модели — 896 экспертных модулей, но при каждой задаче активируются лишь 16 из них.

Это означает, что модель может иметь огромную емкость знаний, но не обязана каждый раз вызывать все параметры. Как суперорганизация с 896 специализированными отделами: при разных вопросах достаточно задействовать только 16 наиболее релевантных отделов.

Ключевая ценность такой архитектуры в том, что общий размер модели и стоимость вычислений за один запуск можно разделить.

В будущем конкуренция больших моделей может быть не «у кого больше параметров», а «кто способен эффективнее задействовать больше параметров при более низких затратах».

Еще одна ключевая инновация Kimi K3 — Kimi Delta Attention, или KDA. В традиционной архитектуре Transformer при обработке сверхдлинных текстов резко растут вычислительная нагрузка и требования к памяти. Цель KDA — повысить эффективность обработки моделью длинных последовательностей.

Одновременно Kimi K3 вводит Attention Residuals, то есть механизм «остатков внимания». Традиционные модели обычно передают информацию по слоям постепенно: накопление идет к более поздним слоям, но при этом возможны избыточность и затухание.

Attention Residuals пытается перескакивать между разными глубинами и выборочно вызывать информацию более ранних этапов.

Если традиционный модельный поток информации похож на реку, текущую от старта к финишу, то Attention Residuals больше похоже на систему поиска информации, построенную по пути: модель может в зависимости от задачи заново вызывать информацию с разных глубин.

DМOнoе заявляет, что по сравнению с Kimi K2 Kimi K3 обеспечивает примерно 2,5 раза более высокую общую эффективность масштабирования.

Это показывает, что индустрия ИИ выходит из логики «чем больше, тем лучше» в сторону «как конвертировать больший масштаб в более высокую эффективность».

Смысл Kimi K3 заключается не только в выпуске модели с 2,8 триллиона параметров, но и в том, чтобы поднять верхний предел масштабов открытых моделей.

Раньше открытые модели чаще рассматривали как «догоняющих» закрытые. Теперь открытые модели начинают доказывать: сверхкрупные модели тоже можно открывать, исследовать и дорабатывать.

2. От чат-ботов к цифровым сотрудникам: Kimi K3 нацелена на сложную работу

Если 2,8 триллиона параметров — самый легко распространяемый ярлык Kimi K3, то ее реальное направление продукта — долгие (long-range) задачи.

Раньше ИИ-помощники чаще всего отвечали на вопросы. Пользователь задает вопрос — модель выдает ответ. Попросили написать код — она возвращает код. Попросили обобщить статью — она генерирует краткое содержание.

Но в реальной сложной работе зачастую одной сессии «вопрос—ответ» недостаточно.

Исследователю может потребоваться прочитать статьи, систематизировать данные, построить модель, запустить эксперименты, проанализировать результаты и затем написать отчет. Программисту — прочитать множество файлов, понять структуру проекта, изменить код, запустить тесты, локализовать ошибку и затем снова и снова итеративно дорабатывать.

У этих задач общие черты: долгий цикл, много шагов, большой объем информации, а также необходимость корректировать следующие действия по промежуточным результатам — и именно это Kimi K3 пытается решить.

В показанном DМOнoе кейсе Kimi K3 выполнила задачу из области вычислительной астрофизики. Прочитав и перекрестно верифицировав более 20 статей, она выполнила численные вычисления, провела оценку сотен уравнений состояния, обнаружила несоответствия с опубликованными формулами и сгенерировала более 3000 строк Python-кода и интерактивную HTML-панель управления.

Официально утверждается, что на эту задачу ушло около 2 часов, тогда как в традиционном сценарии опытным исследователям могло бы понадобиться от 1 до 2 недель.

Это не означает, что ИИ уже может заменить исследователей: важнейшая часть научной работы — это обычно постановка вопросов, проверка гипотез и интерпретация результатов.

Но Kimi K3 демонстрирует важное изменение: ИИ постепенно переходит от помощи человеку на отдельном шаге к самостоятельному выполнению целого набора рабочих процессов. Именно в этом разница между эпохой Agent и эпохой традиционных чат-ботов.

Традиционный чат-бот решает то, что ты спросил: ты спрашиваешь — он отвечает. Agent решает то, что ты обозначил как цель: он сам разбирает задачу, вызывает инструменты, выполняет шаги, проверяет результаты и постоянно вносит коррекции.

Контекстное окно Kimi K3 на 1 миллион токенов в этом процессе особенно важно.

Для больших репозиториев кода, исследовательских отчетов, корпоративных материалов и сложной проектной документации способность модели разом понимать больше информации означает, что ей не нужно постоянно забывать контекст, а пользователю не нужно снова и снова пересказывать фон.

Кроме того, Kimi K3 нативно поддерживает визуальное понимание, позволяя ИИ выстраивать более целостный замкнутый контур работы.

Например, после того как ИИ написал код, он может посмотреть, как код работает на странице. После того как ИИ сделал PPT, он может проверить верстку слайдов. После того как ИИ сгенерировал контент, он также может через визуальную обратную связь оценить результат.

Раньше ИИ был больше похож на человека, который пишет код с закрытыми глазами. В будущем ИИ сможет: понимать задачу, генерировать результат, наблюдать результат, находить проблемы и исправлять результат.

DМOнoе также расширяет возможности Kimi на сценарии Kimi Work, Kimi Code и Kimi API — для исследований, документов, слайдов, таблиц, приборных панелей и сложных задач программирования соответственно.

В будущем ИИ, который действительно имеет коммерческую ценность, может быть уже не той моделью, которая отвечает на большее число вопросов, а той, которая способна выполнять больше работы.

Традиционное ПО требует, чтобы пользователи изучали сложные сценарии операций. Цель AI Agent — соединить поиск, базы данных, программирование, анализ данных и офисные инструменты, чтобы пользователю нужно было только описать конечную цель.

Это означает, что конкуренция в софтверной индустрии в будущем может перестать быть «у кого больше инструментов», и станет «у кого более сильная система ИИ для исполнения».

3. Самое важное — не модель, а то, что ИИ начал проектировать чипы

Самая впечатляющая часть Kimi K3 — то, что она самостоятельно завершила разработку чипа.

По данным, раскрытым DМOнoе, в ходе самостоятельного запуска длительностью 48 часов Kimi K3 с использованием открытых EDA-инструментов и набора для Nangate с техпроцессом 45 нм завершила дизайн, оптимизацию и верификацию чипа для небольшой модели под собственную архитектуру.

При этом это не означает, что Kimi K3 уже может самостоятельно довести до коммерческого массового производства современные продвинутые AI-чипы на актуальных технологических нормах. Между техпроцессом 45 нм и самыми современными AI-ускорителями сегодня огромная разница; от дизайна чипа до массового производства задействованы сложные IP, техпроцессы, производство, упаковка и система поставок/цепочки поставок.

Но такая попытка все равно имеет важное значение, потому что дизайн чипов — это не просто «написать код». Это нужно пройти множество этапов: логический дизайн, синтез, размещение и трассировка, анализ по времени, оптимизация по энергопотреблению и физическая верификация.

Раньше ИИ в индустрии чипов чаще помогал инженерам выполнять локальные задачи — например, оптимизировать размещение, прогнозировать тайминг и выявлять дефекты дизайна.

А Kimi K3 показывает другой возможный сценарий: ИИ больше не просто использует инструменты, а начинает самостоятельно организовывать инструменты для выполнения полного инженерного процесса.

Это очень похоже на траекторию развития ИИ в написании кода. Сначала ИИ мог генерировать лишь небольшой фрагмент кода, затем — писать целые программы, потом — читать кодовую базу, запускать тесты и исправлять Bug. Теперь ИИ начинает пытаться проектировать аппаратные средства, необходимые для работы ИИ.

Это может сформировать новый цикл самоусиления, где ИИ помогает проектировать более сильные чипы, более сильные чипы обучают более сильные модели, а более сильные модели — помогают проектировать следующее поколение чипов.

Особенно стоит отметить, что Kimi K3 также демонстрирует способность к самостоятельной разработке GPU-системы программирования.

DМOнoе раскрывает, что Kimi K3 разработала MiniTriton — компактную компиляторную систему, похожую на Triton, включая собственный слой промежуточного представления, оптимизационный пайплайн и пайплайн генерации PTX-кода.

Это говорит о том, что границы возможностей ИИ расширяются: от использования программ — к созданию программных инструментов.

В будущем сама модель может напрямую участвовать в оптимизации чипов, разработке компиляторов, адаптации операторов и настройке системы — и это, возможно, ключевая стратегическая ценность Kimi K3.

Она — не просто продукт в виде модели, а исследование AI-native режима разработки. От модели к компилятору, от алгоритмов к чипам, от данных к приложениям — ИИ постепенно становится частью всей инфраструктуры.

Конечно, чипы, созданные ИИ самостоятельно, по-прежнему требуют строгой верификации, а научные результаты, сгенерированные ИИ, — профессиональной проверки. Когда ИИ самостоятельно выполняет сложные задачи, ошибки все равно возможны.

Но Kimi K3 уже подала важный сигнал: ИИ постепенно становится не объектом для создания, а участником создания следующего поколения ИИ.

Итог

Запуск Kimi K3 на поверхности выглядит как обновление модели, но в основе отражает смену логики конкурентной борьбы в мире больших моделей.

От большего масштаба параметров — к более эффективным архитектурам. От ответов на вопросы — к выполнению сложной работы. От разработки компилятора — к проектированию чипов. ИИ все больше вовлекается в создание следующего поколения ИИ.

2,8 триллиона параметров, возможно, просто число; по-настоящему важно то, что ИИ начинает пытаться спроектировать собственное будущее.