Recentemente, tenho pensado numa questão um pouco dolorosa: aqueles serviços de IA que antes se gabavam de "teste gratuito", agora como é que começaram a cobrar?

Na verdade, a lógica por trás disso é muito simples — o custo computacional aumentou. Não é um aumento pequeno, é um aumento generalizado. A batalha pelos chips da Nvidia já evoluiu para um jogo de geopolítica, e o consumo de energia dos centros de dados está quase atingindo os limites da rede elétrica. A era em que usávamos o dinheiro dos investidores para nos subsidiar, acabou de vez.

Já vi contas de algumas empresas. Meu Deus, esses números fariam o CFO acordar no meio da noite. Uma empresa tinha um volume de chamadas à API que ultrapassava dezenas de milhões por mês, e descobriram que estavam fazendo a coisa mais burra — usando GPT-4 para ajudar os usuários a redefinir senhas, jogando dezenas de PDFs de milhares de palavras diretamente no modelo para que ele "encontre a resposta sozinho", além de agentes que, sem um bom mecanismo de fallback, tentavam reconectar loucamente quando a API caía.

Parece problema de engenharia, mas, na essência, é um problema de mentalidade.

Percebi que as equipes que realmente estão prosperando agora estão focadas em três coisas. Primeiro, cache semântico — os usuários perguntam "como redefinir a senha" centenas de vezes por dia, por que usar um grande modelo toda vez? Basta fazer uma correspondência de perguntas semelhantes e retornar uma resposta em cache, sem consumir tokens. Segundo, compressão de prompts — usando algoritmos para reduzir prompts longos de sistema de 1000 tokens para 300 tokens sem perda de informação, assim as máquinas conversam na sua própria linguagem. Por último, roteamento de modelos — tarefas simples ficam com modelos baratos, só as tarefas complexas usam GPT-4.

Ainda mais interessante são as abordagens de frameworks de ponta. O OpenClaw, por exemplo, para adaptar-se a ambientes com recursos limitados, como dispositivos móveis, controla o uso de tokens de uma forma quase obsessiva. Ele força o modelo a produzir saídas em JSON Schema, não permitindo "conversar", apenas "preencher formulários". Hermes introduziu um mecanismo de memória dinâmica — mantém as últimas trocas de diálogo, e quando o limite é atingido, usa um modelo leve para resumir os pontos principais e armazenar na base de vetores. Não é uma simples limpeza de lixo, é uma gestão de memória cirúrgica.

Resumindo, a mentalidade da indústria está mudando. Daquela ideia de "parece legal, conecta na LLM" voltada ao consumo, agora é preciso pensar como investimento. Cada token consumido deve ter ROI calculado. Esse dinheiro gasto, o que realmente traz de benefício para o negócio? Se uma solução tradicional custa 0,1 yuan, e usar um grande modelo custa 1 yuan, mas só aumenta 2% na conversão, então é para cortar. Sem hesitar.

Recentemente, disse ao departamento de negócios: "Não". Quando eles perguntaram "será que dá para fazer a IA ler 100 mil relatórios de pesquisa e dar um resumo?", eu respondi: "Esse custo de API de milhares de milhões de tokens, cobre o retorno que seu negócio vai ter?"

Silêncio.

Parece nada impressionante, como um dono de mercearia tradicional calculando o custo de estoque — bem simples. Mas é exatamente esse o caminho que a indústria de IA precisa seguir. Quando a maré baixar, quem vai sobreviver não será quem tem o modelo mais caro, mas aqueles que olham para os números de tokens que pulsam na dashboard e continuam confiantes de que estão ganhando mais do que gastando.

Só uma equipe que trata cada token como ouro pode vestir uma armadura de verdade.