$NVDA 网络首席 Gilad Shainer:
“训练很复杂,但推理更难。”
原因在于训练相对可预测且同步,而推理更具动态性,需要在跨 GPU、CPU、存储和网络的对延迟敏感型流量中协同工作。
Shainer 表示,Nvidia 的优势并不在于某一个开关或协议,而在于将 GPU、NVLink、Spectrum-X、ConnectX、BlueField、存储和软件集成到一个同步系统中。
Spectrum-X 使用开放的以太网标准,但性能来自 Nvidia 在交换机、网卡和 GPU 之间的专有协调:
“这就是 IP。这就是 Nvidia 的实现。”
因此,真正的锁定争论并不在于第三方硬件是否能够连接,而在于客户能否在不显著损害性能的情况下替换 Nvidia 的组件。
Nvidia 可以在接口层面保持开放,但仍会在底层构建一个深度专有的系统。