Um mês gastando US$ 1,3 milhão! O pai do lagostim revela sua fatura de tokens, custos totalmente cobertos pelo OpenAI

Sim, você não leu errado!

O pai do lagostim, Peter Steinberger, gastou uma quantia de até 1,3 milhão de dólares em um mês com tokens de API.

Pode-se ver que o consumo total de tokens em 30 dias foi de 603 bilhões, com 7,6 milhões de solicitações,

Os internautas exclamaram: "Contratar uma equipe de desenvolvimento pode ser até mais barato."

Outro internauta perguntou: "Irmão, é melhor você mostrar alguma habilidade real, fazer algo que engenheiros com salários de milhões de dólares não conseguem, senão esse anúncio pode se tornar um sinal de que a bolha dos laboratórios de ponta está começando a estourar. E esse preço ainda foi subsidiado. Meu Deus, se calcular pelo custo real, seria muito mais caro."

Steinberger respondeu: "Desliguei o modo rápido, o preço caiu diretamente 70%, então, na conta, equivale ao custo de um funcionário."

Outro zombou: "Um milhão e trezentos mil dólares por mês? E você não entregou nada. Você é o pior gênio de marketing da história."

Steinberger também retrucou: "Não diga isso, irmão, sua definição de 'não entregou nada' talvez seja um pouco exagerada."

Steinberger ainda afirmou: "Todo esse código foi escrito com Codex. Aqueles pull requests mais confusos, que organizei depois, provavelmente foram escritos pelo Claude."

Após expor seus altos custos com tokens e gerar debate, Steinberger rapidamente respondeu, dizendo que estava tentando responder a uma questão:

"Se os tokens não forem mais importantes, como construiremos software no futuro?"

Nós operamos cerca de 100 Codex na nuvem por um longo período, revisando cada PR, cada issue. Assim que uma correção é mesclada na branch principal, @clawsweeper eventualmente encontra aquela issue antiga que já está há 6 meses pendurada, e a fecha com uma citação precisa.

Rodamos Codex em cada commit para revisar questões de segurança, pois esses problemas são muito fáceis de serem esquecidos.

Usamos Codex para eliminar duplicatas de issues, descobrir agrupamentos e enviar relatórios sobre os problemas mais urgentes.

Temos alguns agentes que podem reproduzir ambientes complexos, iniciar máquinas temporárias crabbox.sh, fazer login em plataformas como Telegram, gravar vídeos e publicar comparativos antes e depois da correção nos PRs.

Alguns Codex monitoram novas issues e, se estiverem alinhadas com nossa visão de produto, criam PRs automaticamente. Depois, outro Codex revisa esses PRs.

Também usamos Codex para escanear comentários por spam e banir usuários relacionados.

Rodamos instâncias de Codex para verificar benchmarks de desempenho e reportar regressões no Discord.

Temos agentes que escutam nossas reuniões e começam a trabalhar proativamente. Por exemplo, ao discutirmos novas funcionalidades, eles criam PRs durante a reunião.

Construímos o clatch.ai, que divide todos os projetos em unidades funcionais para revisar, detectar bugs e regressões.

Na área de segurança, fazemos o mesmo, usando Vercel DeepSec e Codex Security para detectar regressões e vulnerabilidades.

Todas essas automações nos permitem operar o projeto com uma equipe extremamente enxuta.

A questão é: quem arca com esses custos elevados? Claramente, não é ele mesmo.

"OpenAI não me cobra pelos meus tokens."

Tokenmaxxing: Quanto tempo essa corrida de throughput pode durar

Isso mata a competição de imediato.

Recentemente, o tema Tokenmaxxing, muito discutido na comunidade de IA, com grandes empresas como Meta e Amazon, até mesmo rankings internos de uso de tokens nas empresas, transformou o consumo de tokens em uma métrica diária de desempenho dos funcionários.

Na época, o usuário individual mais ativo na Meta consumia em média 2,81 trilhões de tokens, o que, dependendo do modelo e da precificação, poderia custar milhões de dólares. E o pai do lagostim, Peter Steinberger, gastou 603 bilhões de tokens em um mês, uma verdadeira destruição de níveis.

O ex-cientista da Tesla e OpenAI, Karpathy, admitiu em um podcast sentir a pressão de maximizar o uso de IA: "O ponto-chave é o token. Qual é o seu throughput de tokens? Quanto você consegue mobilizar?"

Tokens lentamente se tornaram uma nova matéria-prima de produção, até mesmo uma unidade de medida da densidade operacional da IA. Uma equipe, com throughput de tokens suficiente, uma divisão de tarefas bem estruturada e um ciclo de validação confiável, pode alcançar uma densidade de engenharia que antes só grandes times podiam suportar.

Recentemente, o presidente da OpenAI, Greg Brockman, tuitou: "Tokens estão rapidamente se tornando a entrada universal para resolver problemas."

Mas acreditamos que tokens não são a única forma de vencer, assim como o pai do lagostim construiu um fluxo de automação inteligente. Um bom modelo de gestão de projetos talvez seja a chave para o sucesso.

Fonte do artigo: Máquina de Coração

Aviso de risco e isenção de responsabilidade

O mercado apresenta riscos, e investimentos devem ser feitos com cautela. Este artigo não constitui aconselhamento de investimento pessoal, nem leva em consideração objetivos, situação financeira ou necessidades específicas de qualquer usuário. Os usuários devem avaliar se as opiniões, pontos de vista ou conclusões aqui apresentadas são compatíveis com suas condições particulares. Investimentos de acordo com este conteúdo são de responsabilidade do investidor.