Asteras Labs публікує 'Серію Scorpio X'…… зменшує вузькі місця з'єднання центрів даних штучного інтелекту

Одна з найбільших проблем дата-центрів AI — «з’єднання». Якщо затримки у передачі даних між напівпровідниками виникають, дорогі прискорювачі AI залишаються без діла, очікуючи. З цією метою Astera Labs випустила нову серію комутаторів для зменшення таких затримок.

Компанія з виробництва мережевих чипів Astera Labs оголосила про запуск найновішого інтелектуального комутатора структури «Scorpio X серії». За словами компанії, цей продукт є найбільшим у галузі відкритим комутатором структури «пам’ятна семантика». Як пояснюється, цей продукт зосереджений на допомозі операторам надмасштабних дата-центрів у більшому розширенні обчислювальних ресурсів при одночасному зменшенні затримок.

Разом із цим релізом, лінійка існуючих комутаторів PCIe «Scorpio P серії» також була розширена. Нові P-серії пропонують різноманітні конфігурації від 32 до 320 каналів. Це дає дизайнерам дата-центрів, які потребують ефективної передачі великих обсягів даних між кластерами AI-процесорів, більше варіантів.

У епоху надмасштабного AI вузьким місцем є не GPU, а передача даних

Astera Labs вважає, що у розширенні систем AI основною проблемою вже не є прості характеристики чипів, а ефективність з’єднання між ними. Останні великі мовні моделі стають надзвичайно великими, з мільярдами параметрів, і важко помістити всі обчислення у один серверний стелаж. В кінцевому підсумку, потрібно об’єднати сотні або тисячі графічних процесорів (GPU) у великий кластер для роботи.

Проблема у тому, що під час цього процесу дані безперервно повертаються між чипами, що спричиняє затори. Коли потрібні дані очікують на прибуття з інших частин, GPU залишаються без роботи. Враховуючи, що щогодинні операційні витрати AI-кластерів можуть сягати тисяч доларів, що еквівалентно мільйонам корейських вон, таке очікування суттєво знижує прибутковість і ефективність дата-центрів.

Доступ до структури так само, як і до пам’яті… зменшення затримок, підвищення продуктивності

Основний продукт «Scorpio X серії 320-канальний інтелектуальний структурний комутатор» відрізняється новим підходом до взаємодії між комутатором і чипами. Цей продукт базується на архітектурі «пам’ятної семантики», що дозволяє GPU та іншим прискорювачам AI отримувати доступ до ресурсів, розподілених по всій структурі, за допомогою простих операцій завантаження/збереження. Простими словами, це структура, яка дозволяє віддаленим ресурсам бути доступними так само, як і локальна пам’ять.

Таким чином, вся структура працює як єдине пул пам’яті. Очікується, що це зменшить накладні витрати, пов’язані з традиційною обробкою пакетів даних, і знизить затримки. Для дата-центрів AI це означає можливість обробляти більше завдань за ті ж обчислювальні ресурси.

Крім того, цей продукт використовує власні технології Astera Labs «Hypercast» і «In-Network Compute». Це структура, яка дозволяє комутатору не лише передавати дані, а й безпосередньо виконувати частину обчислень. Зокрема, вона може обробляти на мережевому рівні операції агрегації або розподілу даних. Компанія стверджує, що швидкість таких операцій у два рази вища, ніж раніше. Це може безпосередньо вплинути на «економіку токенів» AI-робочих навантажень, тобто на ефективність обробки за одиницю вартості.

Висока щільність 320-канальної конструкції замінює традиційні комутатори… також підтримує відкриті стандарти

Ще одна перевага серії Scorpio X — «висока базова кількість». Вона забезпечує підключення до 320 каналів на одному чипі на базі PCIe 6, що може замінити кілька традиційних дата-центрівських комутаторів. Це робить мережеву архітектуру простішою, а фізична довжина передачі даних — коротшою, що знижує складність системи.

Розширена серія Scorpio P доповнює X-серію. Astera Labs заявляє, що ці продукти спрямовані на підтримку побудови фронт-енд мереж і систем AI-обчислень. Компанія підкреслює, що вони підтримують не лише відкриті стандарти, а й протоколи платформи, такі як NVIDIA NVLink Fusion, UALink, що дозволяє створювати мережеві структури, придатні для різних AI-процесорів.

Генеральний директор Jitendra Mohan зазначив: «Передові моделі сучасних AI-застосунків вимагають з’єднувальної інфраструктури, яка відповідає їхній швидкості та масштабам». Це означає, що для подальшого розвитку AI-індустрії потрібно уникати вузьких місць у з’єднанні чипів.

Випуск Astera Labs демонструє, що фокус конкуренції у AI швидко змінюється з характеристик напівпровідників на структуру з’єднань системи. У майбутньому у дата-центрах AI важливо не лише швидкість чипів, а й ефективність їхньої інтеграції, що, ймовірно, стане ключовою конкурентною перевагою.