Com algumas centenas de placas é possível suportar o tráfego de visitantes. Se esta tecnologia de otimização fosse de código aberto, quanto é que as pequenas e médias empresas poderiam poupar no orçamento de capacidade de computação?

Notícias do Coin World, a OpenAI encontrou recentemente um conjunto de soluções de otimização capazes de reduzir os custos de inferência dos modelos em mais de metade. De acordo com uma fonte informada, engenheiros da OpenAI disseram a alguns colegas no início deste mês que, com base em várias novas tecnologias de otimização desenvolvidas, conseguiram reduzir o número necessário de GPUs da NVIDIA para apenas algumas centenas, especialmente após aplicar esta tecnologia no cenário de visitantes que usam o ChatGPT sem contas gratuitas ou pagas.