F5 та NVIDIA просувають економіку AI Factory за допомогою нових можливостей для прискореного AI Inference

(MENAFN- Asdaf News) ** Дубай – Asdaf News:**

F5 (NASDAQ: FFIV), світовий лідер у доставці та захисті кожного додатку та API, сьогодні оголосив про розширені можливості у своїй постійній співпраці

Розширена інтеграція поєднує ** F5 BIG-IP Next для Kubernetes**

В системах штучного інтелекту токени представляють собою вимірювану одиницю виходу ШІ — слова, символи або фрагменти даних, згенеровані та оброблені під час інференції. Обсяг і швидкість виробництва токенів у кінцевому підсумку визначають досвід користувача, ефективність інфраструктури та дохід на прискорювач.

Оскільки підприємства та провайдери GPUaaS змагаються за монетизацію ШІ та переходять від експериментів із ШІ до послуг, що генерують дохід, ефективність інфраструктури стала визначальним показником. Успіх все частіше вимірюється не просто розгортанням GPU, а економікою токенів, стабільною пропускною здатністю токенів, часом до першого токена (TTFT), вартістю за токен і доходом на GPU-прискорювач. Спільне рішення F5 і NVIDIA спрямоване безпосередньо на ці показники.

** Оптимізація токеноміки за допомогою розумної інфраструктури ШІ**

Зміщення від інференції, орієнтованої на додатки, до робочих процесів ШІ, керованих агентами, вимагає нових архітектурних підходів для оптимізації пропускної здатності токенів і зниження витрат. BIG-IP Next для Kubernetes тепер використовує статистику NVIDIA NIM, сигнали Dynamo runtime і телеметрію GPU для прийняття рішень щодо маршрутизації, що враховують інференцію, перед виконанням. Завдяки співставленню навантажень із найбільш відповідними прискорювачами в реальному часі, рішення підвищує стабільне використання, зменшує затримки та повторні обчислення.

“Інфраструктура ШІ вже не обмежується доступом до GPU або масштабуванням їх розгортань. Вона перетворилася на максимізацію економічної віддачі на прискорювач,” — сказав Кунал Ананд, головний директор з продуктів F5. “Разом із NVIDIA ми дозволяємо фабрикам ШІ розглядати виробництво токенів як вимірюваний бізнес-показник. BIG-IP Next для Kubernetes забезпечує інтелект і управління, необхідні для підвищення виходу GPU, зниження вартості за токен і впевненого масштабування спільних платформ ШІ.”

** Валідація ефективності інфраструктури: структурне підвищення**

Результати тестування, підтверджені групою The Tolly, показали, що BIG-IP Next для Kubernetes, прискорений за допомогою DPU NVIDIA BlueField-3, забезпечив до 40% збільшення пропускної здатності токенів, на 61% швидше час до першого токена (TTFT) і на 34% зменшення загальної затримки запитів.

Це не просто поступове покращення. Відвантажуючи мережеві функції, TLS/шифрування, балансування навантаження з урахуванням ШІ та управління трафіком на DPU NVIDIA BlueField-3, BIG-IP Next для Kubernetes зберігає ресурси CPU хоста і звільняє GPU для виконання їхньої основної задачі: стабільного високопродуктивного інференсу в масштабі. Це призводить до кращого використання GPU, зменшення чергових затримок і підвищення виробництва токенів — знижуючи вартість за токен у межах фіксованої інфраструктури. Важливо, що моделі не потребували модифікацій, що дозволяє швидко впроваджувати ці покращення у існуючу інфраструктуру фабрик ШІ. Для підприємств і провайдерів NeoCloud, що змагаються за економіку токенів, це різниця між інфраструктурою, яка обмежує вихід ШІ, і такою, що його прискорює.

“NVIDIA прискорена обчислювальна інфраструктура у поєднанні з платформою доставки додатків і безпеки F5, що враховує ШІ, відкриває нові можливості для токеноміки фабрик ШІ — забезпечуючи масштабний і економічний інференс без змін у моделях,” — сказав Кевін Дейрлінг, старший віце-президент NVIDIA. “Разом F5 і NVIDIA допомагають підприємствам ефективно та економічно масштабувати інференс фабрик ШІ.”

** Створено для агентно-орієнтованого ШІ та багатоплатформних систем**

Сучасні навантаження ШІ дедалі більше керуються агентами, є стійкими та контекстно-орієнтованими. Вони вимагають інтелектуального управління трафіком, яке не може забезпечити традиційне балансування навантаження. Покращене рішення BIG-IP Next для Kubernetes тепер підтримує:

• Маршрутизацію, що враховує інференцію для агентних робочих процесів ШІ
• Інтеграцію з платформою NVIDIA DOCA (DPF) для спрощення розгортання та управління життєвим циклом DPU NVIDIA BlueField
• EVPN-VXLAN із динамічними VRF для безпечної мережевої багатоплатформності
• Інтегровану безпеку, управління токенами та спостереження у середовищах Kubernetes для ШІ

Ці можливості дозволяють підприємствам і провайдерам NeoCloud безпечно ділитися GPU-інфраструктурою між бізнес-одиницями або зовнішніми клієнтами, зберігаючи ізоляцію продуктивності та передбачувані рівні обслуговування.

** Контрольна панель для економіки фабрик ШІ**

F5 і NVIDIA надають підприємствам перевірені інструменти та найкращі практики для оптимізації архітектури інференсу. Завдяки цим нововведенням BIG-IP Next для Kubernetes може стати стратегічною контрольною панеллю для економіки фабрик ШІ, керуючи споживанням токенів, оптимізуючи потоки трафіку та максимізуючи окупність інвестицій у інфраструктуру.

Замість перевищення ресурсів для компенсації неефективностей, організації тепер можуть отримати більшу економічну вигоду з кожного GPU, що вже працює. Це призводить до підвищення доходу на GPU, зниження операційних витрат і масштабованих послуг ШІ для сталого зростання. Поєднуючи телеметрію інфраструктури та прискорення DPU NVIDIA із інтелектом трафіку та можливостями безпеки F5, компанії допомагають перетворити фабрики ШІ на ефективні, монетизовані платформи, готові до епохи агентів.

** Додаткові матеріали**

** Блог:** ** Фабрики ШІ потребують розумної інфраструктури. Нові результати від The Tolly Group — чому.** ** Звіт:** ** Незалежне тестування Tolly: F5 BIG-IP Next для Kubernetes**