420 млн! Облачное небо励飞 начинает с красного, выигрывает тендер на проект кластера с тысячей карт AI для вывода в Чжаньцзяне

---

**Or more fluent Russian translation:**

420 млн! Cloud Sky励飞 получила контракт на проект кластера вывода AI с тысячей карт в Чжаньцзяне

robot
Генерация тезисов в процессе

(Источник: YunTianLiFei)

Недавно компания YunTianLiFei выиграла контракт на строительство инфраструктуры поддержки новых производственных сил на базе AI в городе Чжанцзянь. Согласно плану проекта, компания будет использовать собственную разработанную отечественную ускоряющую карту для AI inference, участвовать в создании кластера вычислительных ресурсов для AI inference и способствовать адаптации и развертыванию отечественных крупных моделей, таких как DeepSeek, в соответствующих прикладных сценариях, обеспечивая инфраструктуру вычислительных мощностей для цифровизации государственных и промышленных приложений.

Создание инфраструктуры вычислительных ресурсов для больших моделей

В рамках этого проекта создаваемый кластер вычислительных ресурсов для AI inference будет системно спроектирован с учетом требований задач inference больших моделей.

В процессе inference больших моделей потребности в системных ресурсах на разных этапах вычислений различны. В настоящее время в индустрии широко используется архитектура inference с разделением на этапы «Prefill–Decode», которая оптимизирует распределение ресурсов для разных стадий, повышая общую эффективность работы системы.

В этой архитектуре этап Prefill в основном отвечает за понимание длинного контекста и вычисления, требуя высоких ресурсов по вычислительной мощности и пропускной способности; этап Decode продолжает генерировать токены и более чувствителен к задержкам системы. В ходе реализации проекта будет осуществляться настройка ресурсов и оптимизация системы с учетом особенностей каждого этапа.

Кроме того, по мере увеличения длины контекста модели, большое количество промежуточных состояний необходимо хранить в виде KV Cache. В связи с этим в проекте проведена оптимизация взаимодействия между вычислительными, хранилищными и сетевыми компонентами системы для повышения эффективности доступа к данным и общей производительности системы.

Что касается сетевой архитектуры, система будет использовать унифицированную высокоскоростную сеть, построенную на базе 400G оптоволоконных технологий, для формирования физической сети кластера, обеспечивая высокую пропускную способность и низкую задержку связи между узлами, а также поддержку масштабирования от нескольких десятков карт на один узел до кластеров с тысячами карт, чтобы удовлетворить потребности различных масштабов AI-приложений.

После завершения общего строительства проекта будет создана инфраструктура вычислительных ресурсов, ориентированная на inference больших моделей, обеспечивающая стабильную поддержку для соответствующих сценариев применения.

Постоянное развитие технологий AI inference и систем вычислительных мощностей

Согласно плану проекта, создание кластера AI inference будет осуществляться в три этапа, при этом будут использоваться отечественные ускоряющие карты AI inference, разработанные компанией YunTianLiFei.

Первый этап предусматривает развертывание карты YunTianLiFei X6000 для inference; в будущем планируется первыми внедрить новейшие чипы компании.

В области разработки чипов для AI inference YunTianLiFei продолжает активно развивать технологии, ориентированные на разные этапы inference. В рамках стратегического плана компании в будущем планируется постепенно выпускать чипы, оптимизированные для этапа Prefill, а также для низкой задержки на этапе Decode, а также повышать общую эффективность inference за счет системной координации и оптимизации.

Например, первая в компании карта, оптимизированная для сценариев inference с длинным контекстом — DeepVerse100, — ожидается, что будет завершена в текущем году и начнет развертываться в соответствующих системах вычислений.

В рамках долгосрочной технологической стратегии компания реализует «План 1001», целью которого является достижение стоимости в «один цент за сотню миллиардов токенов». Это достигается за счет совместной оптимизации архитектуры чипов и систем вычислений, что позволяет постоянно снижать затраты на inference больших моделей.

В будущем компания продолжит развивать технологии чипов для AI inference, способствуя распространению искусственного интеллекта в различных отраслях и сферах применения.

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закрепить