数百枚のカードで訪問者トラフィックを耐えられるという、この最適化技術がオープンソースになれば、中小企業はどれだけの計算リソース予算を節約できるのか？

幣界網からの消息によると、OpenAIは最近、モデルの推論コストを半減以上に削減できる最適化手法を見つけた。ある内部関係者の話では、OpenAIのエンジニアは今月初めに一部の同僚に対し、新たに開発したいくつかの最適化技術を活用することで、必要なNVIDIA GPUの数をわずか数百個に抑えることに成功したとのこと。特に、無料または有料アカウントを持たない訪問者がChatGPTを使用するシナリオでこの技術を適用した後、その成果が得られたという。