Почему спрос на SRAM внезапно резко вырос? Просто посмотрите на эту волну операций.

Некоторое время назад, вскоре после того, как ведущий производитель чипов на базе ИИ публично занял позицию в технологическом гиганте, он обратил внимание и объявил о приобретении компании по инновациям в области чипов. Эта удача — всё ещё сила, и ответ вы узнаете после более внимательного рассмотрения.

В чём основная сила этой компании? В отличие от традиционных GPU, основанных на внешней памяти с высокой пропускной способностью (HBM), их процессоры LPU используют концепцию встроенной высокой ёмкости статической памяти с произвольным доступом (SRAM). Эта встроенная SRAM объемом 230 МБ может обеспечить до 80 ТБ/с пропускной способности памяти — в чём смысл этого числа? Скорость обработки данных напрямую превосходит традиционные GPU-решения.

Как он на самом деле работает? Их облачный сервис известен своей невероятной скоростью вывода. При запуске крупных моделей с открытым исходным кодом, таких как Mixtral и Llama 2, он может выводить около 500 токенов в секунду, что не является порядком по сравнению со скоростью отклика традиционных сервисов. Цены также конкурентоспособны, а стоимость миллиона жетонов довольно экономична.

Почему это так важно сейчас? Поскольку во всей сфере ИИ происходит ключевой сдвиг — потребности в выводах вот-вот полностью превысят потребности в обучении. В эту эпоху рынку действительно не хватает эффективной, недорогой и действительно масштабируемой инфраструктуры выводов благодаря инновационной архитектуре LPU. Глава компании по производству чипов ясно дал понять, что планирует интегрировать этот процессор с низкой задержкой в собственную архитектуру фабрики искусственного интеллекта с целью обслуживания более широкого спектра выводов и рабочих нагрузок в реальном времени.