Os grandes modelos ainda estão a otimizar os parâmetros, mas o que realmente começa a limitar o setor é outra coisa: o armazenamento de contexto.

À medida que o comprimento da inferência, a cadeia de chamadas do Agente e a memória de longo prazo aumentam, o que realmente determina a experiência e o custo não é apenas o poder de processamento, mas sim se o “contexto pode ser lido, escrito, agendado e reutilizado de forma eficiente”.
Por isso, recentemente o mercado começou a focar em infraestrutura básica como Memória de Contexto, Cache KV, armazenamento em camadas para inferência.
Na próxima fase da competição em IA, talvez não seja mais sobre quem consegue gerar mais conteúdo, mas quem consegue fazer o modelo trabalhar de forma estável e de baixo custo em tarefas mais longas.
Se na era do treino a competição era por GPU, na era do Agente, a competição é por Memória.
Por isso, também discuto com colegas de um grupo por que vale a pena explorar o mercado de lagostas; eu digo que o Claude Code foi feito para atacar as lagostas. Mas eles disseram que, com toda a questão do contexto completo, eu fiquei sem palavras, e simplesmente continuei a criar minhas lagostas com dedicação.