O CEO da Cognition recomenda avaliar com base na produção real em vez de medir o volume artificial de tokens.

De acordo com o monitoramento do "Dongcha Beating", Scott Wu, cofundador e CEO da startup de programação de IA Cognition, destacou no podcast Founders que a prática de algumas empresas de avaliar o desempenho de programadores contando o número de tokens de IA consumidos já foi "longe demais", e que o padrão deve ser baseado nas tarefas e entregas efetivamente concluídas.

Essa tendência é conhecida no Vale do Silício como "tokenmaxxing", onde funcionários utilizam reflexivamente ferramentas de programação de IA como Claude, Codex ou Cursor para gerar um grande volume de uso, a fim de obter vantagens em painéis internos de taxa de uso de IA ou em avaliações de desempenho. Jacob Lauritzen, diretor técnico da startup jurídica de IA Legora, também criticou neste mês em um podcast que muitas pessoas exibem a quantidade de tokens usados em avaliações de desempenho, levando funcionários a inflar dados apenas para parecer bem, o que é uma forma estúpida de avaliação.

Andrew Feldman, CEO da desenvolvedora de chips Cerebras Systems, afirmou em uma conferência da Bloomberg neste mês que oferecer cotas ilimitadas de tokens aos funcionários foi algo muito estúpido desde o início. Feldman sugeriu que as empresas devem focar mais na relação custo-benefício ao usar ferramentas de IA, utilizando modelos de código aberto de baixo custo, em vez de abusar de modelos fechados de ponta em tarefas comuns.