$NVDA ネットワーク担当のギラッド・シャイナー:
「訓練は複雑だったが、推論のほうが難しい。」
その理由は、訓練は比較的予測可能で同期されているのに対し、推論はより動的で、GPU、CPU、ストレージ、ネットワークにまたがる遅延に敏感なトラフィックがあるからだ。
シャイナーは、Nvidiaの優位性は「1つのスイッチ」や「1つのプロトコル」ではないと言う。GPU、NVLink、Spectrum-X、ConnectX、BlueField、ストレージ、そしてソフトウェアを、1つの同期システムとして統合していることが本質だ。
Spectrum-Xはオープンなイーサネット標準を使っているが、性能はNvidia独自の、スイッチ、NIC、GPU間の調整によって生み出される:
「これがIPだ。Nvidiaの実装である。」
だからこそ、実際のロックインに関する議論は、サードパーティ製のハードウェアが接続できるかどうかではない。重要なのは、顧客がNvidiaの構成要素を交換しても、性能に実質的な悪影響を与えずに済むかどうかだ。
Nvidiaはインターフェースのレベルではオープンにしつつ、その土台では深く独自のシステムを構築できる。