9.6 mil tokens de mediana, isso consumiu toda a janela de contexto do Grande Gatsby — o custo de raciocínio na era dos agentes inteligentes foi seriamente subestimado

Ver original
MeNews
A carga de trabalho de agentes inteligentes está silenciosamente remodelando a economia do raciocínio
[ME AI]() Mensagem, a carga de trabalho dos agentes inteligentes está silenciosamente remodelando a economia do raciocínio.
Extraímos dados de 432.000 solicitações de agentes inteligentes reais do SemiAnalysis, e descobrimos que a mediana não é 32.000 ou 64.000, mas sim 96.000 tokens de entrada.
Para referência, isso significa que antes de você inserir sua pergunta, o modelo já processou um texto com mais de um comprimento equivalente ao de "O Grande Gatsby". (1/3)🧵 (Fonte: AiHot)
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • Comentário
  • Repostar
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
Sem comentários
  • Fixado