AMD MI355X забезпечує інференцію GLM 5.2 удвічі дешевше, ніж NVIDIA B200.
Згідно з Wafer, стартапом, що спеціалізується на оптимізації виведення, чіпи AMD MI355X, які працюють з останньою відкритою моделлю GLM 5.2, досягли вартості виведення приблизно вдвічі нижчої, ніж у флагманського GPU NVIDIA B200, при цьому забезпечуючи приблизно 80% продуктивності. Тестування показало сукупну пропускну здатність одного вузла 2 626 токенів на секунду, а пропускна здатність одного потоку досягала 213 токенів на секунду. Оптимізація використовувала програмні методи, включаючи квант
GateNews·07-06 20:46
