Показатели Kimi K3 после открытия исходного кода вчера вечером говорят о том, что все уже дошли до предела в запросах на высокопроизводительные открытые модели.
За одну ночь — почти 2 900 загрузок; учитывая, какие «извращённые» требования эта модель предъявляет к железу, ценность этого объёма загрузок крайне высока.
В конце концов, у этого продукта стартовая стоимость — это серверный кластер на десятки миллионов.
Moonshot (月之暗面) на этот раз не стала «тянуть резину».
Архитектура 2,8 T MoE: интеллектуальная плотность поднялась в 2,5 раза по сравнению с предыдущей.
Это означает, что прирост производительности получен не за счёт простого наращивания параметров, а благодаря оптимизациям эффективности на уровне архитектуры.
Нативное визуальное понимание плюс контекст на 1 M: по сути, эта комплектация нацелена прямо на самые сильные закрытые модели на данный момент.
Самое обсуждаемое — то, что они открыли исходный код библиотеки для MoE-коммуникаций.
Те, кто работал с большими моделями, знают: самое сложное в MoE-архитектуре — эффективность коммуникаций между несколькими GPU.
Kimi прямо разгрызла этот «кость» и открыла её, так что в будущем, когда все будут делать большие параметрические модели, не придётся с нуля выковыривать низкоуровневую коммуникационную инфраструктуру.
Эта волна операций сразу сократила разрыв между open-source и closed-source до полугода.
Сейчас ситуация становится по-настоящему интересной:
закрытые модели удерживают оборону за счёт эффекта масштаба и преимущества первопроходца, а такие открытые силы, как K3, уже размывают их оборонный ров через открытие полного стека.
Это открытие — не поза, а фактическая передача кода и toolchain.
Для разработчиков и стартапов это поворотный момент.
У вас наконец-то появилась тяжёлая «двуручка», которая может заменить и даже в некоторых местах превзойти часть закрытых API: клинок тяжёлый и требует дорогих вычислений, чтобы им махать, но, по крайней мере, теперь он у вас в руках.
За одну ночь — почти 2 900 загрузок; учитывая, какие «извращённые» требования эта модель предъявляет к железу, ценность этого объёма загрузок крайне высока.
В конце концов, у этого продукта стартовая стоимость — это серверный кластер на десятки миллионов.
Moonshot (月之暗面) на этот раз не стала «тянуть резину».
Архитектура 2,8 T MoE: интеллектуальная плотность поднялась в 2,5 раза по сравнению с предыдущей.
Это означает, что прирост производительности получен не за счёт простого наращивания параметров, а благодаря оптимизациям эффективности на уровне архитектуры.
Нативное визуальное понимание плюс контекст на 1 M: по сути, эта комплектация нацелена прямо на самые сильные закрытые модели на данный момент.
Самое обсуждаемое — то, что они открыли исходный код библиотеки для MoE-коммуникаций.
Те, кто работал с большими моделями, знают: самое сложное в MoE-архитектуре — эффективность коммуникаций между несколькими GPU.
Kimi прямо разгрызла этот «кость» и открыла её, так что в будущем, когда все будут делать большие параметрические модели, не придётся с нуля выковыривать низкоуровневую коммуникационную инфраструктуру.
Эта волна операций сразу сократила разрыв между open-source и closed-source до полугода.
Сейчас ситуация становится по-настоящему интересной:
закрытые модели удерживают оборону за счёт эффекта масштаба и преимущества первопроходца, а такие открытые силы, как K3, уже размывают их оборонный ров через открытие полного стека.
Это открытие — не поза, а фактическая передача кода и toolchain.
Для разработчиков и стартапов это поворотный момент.
У вас наконец-то появилась тяжёлая «двуручка», которая может заменить и даже в некоторых местах превзойти часть закрытых API: клинок тяжёлый и требует дорогих вычислений, чтобы им махать, но, по крайней мере, теперь он у вас в руках.
