Чому вимога SRAM раптово вибухнула? Просто подивіться на цю хвилю операцій.

Деякий час тому, незабаром після того, як провідний виробник AI-чипів публічно зайняв позицію в технологічному гіганті, він оголосив про придбання компанії з інновацій у сфері мікросхем. Ця удача — це все ще сила, і ви дізнаєтеся відповідь після більш детального розгляду.

Яка основна сила цієї компанії? На відміну від традиційних GPU, які базуються на зовнішній пам'яті високої пропускної здатності (HBM), їхні процесори LPU переймають конструкцію вбудованої вбудованої високоємної статичної пам'яті з довільним доступом (SRAM). Ці 230 МБ вбудованої SRAM можуть забезпечити пропускну здатність до 80 ТБ/с — яка концепція цього числа? Швидкість обробки даних безпосередньо перевищує традиційні GPU-рішення.

Як він насправді працює? Їхній хмарний сервіс відомий своєю неймовірною швидкістю висновків. Під час запуску великих відкритих моделей, таких як Mixtral і Llama 2, він може виводити близько 500 токенів на секунду, що не є порядком величини порівняно зі швидкістю відгуку традиційних сервісів. Ціни також конкурентні, а вартість за мільйон токенів досить вигідна.

Чому це так важливо зараз? Оскільки в усій сфері ШІ відбувається ключовий зсув — потреби в висновках ось-ось повністю перевищать потреби у навчанні. У цю епоху ринку справді бракує ефективної, недорогої та справді масштабованої інфраструктури виведення через інноваційну архітектуру LPU. Керівник компанії з виробництва чипів чітко дав зрозуміти, що планує інтегрувати цей процесор з низькою затримкою у власну архітектуру фабрики штучного інтелекту з метою обслуговування ширшого спектра інференцій ШІ та робочих навантажень у реальному часі.