Centenas de placas já conseguem suportar o tráfego de visitantes. Se essa tecnologia de otimização fosse open source, quanto as pequenas e médias empresas economizariam no orçamento de poder computacional?

Notícias do CoinWorld, a OpenAI recentemente encontrou um conjunto de soluções de otimização capazes de reduzir o custo de inferência do modelo em mais da metade. De acordo com uma fonte informada, engenheiros da OpenAI disseram a alguns colegas no início deste mês que, com base em várias novas tecnologias de otimização desenvolvidas, eles conseguiram reduzir o número de GPUs Nvidia necessárias para apenas algumas centenas, especialmente após aplicar essa tecnologia em cenários onde visitantes sem contas gratuitas ou pagas usam o ChatGPT.