OpenAIのこのコスト削減・効率化はかなり強烈だ、GPUを半減させコストを直接半減させた、AIインフラの軍拡競争が一変しそうだ。

幣界網からの消息によると、OpenAIは最近、モデルの推論コストを半減以上に削減できる最適化手法を見つけた。ある内部関係者の話では、OpenAIのエンジニアは今月初めに一部の同僚に対し、新たに開発したいくつかの最適化技術を活用することで、必要なNVIDIA GPUの数をわずか数百個に抑えることに成功したとのこと。特に、無料または有料アカウントを持たない訪問者がChatGPTを使用するシナリオでこの技術を適用した後、その成果が得られたという。