O CEO da Cognition sugere substituir a avaliação de manipulação de volume de tokens por uma avaliação baseada na produção real.

De acordo com a monitorização da Beating, o cofundador e CEO da startup de programação de IA Cognition, Scott Wu, apontou no podcast Founders que a prática de algumas empresas de avaliar o desempenho dos programadores contando o número de tokens de IA consumidos pelos funcionários é "exagerada" e que se deve usar como métrica as tarefas efetivamente concluídas e a produção.

Esta tendência é conhecida no Vale do Silício como tokenmaxxing, ou seja, os funcionários, para obter vantagens no painel de utilização de IA interna ou nas avaliações de desempenho, recorrem reflexivamente em grande escala a ferramentas de programação de IA como Claude, Codex ou Cursor. Jacob Lauritzen, diretor técnico da startup jurídica de IA Legora, também criticou no mesmo podcast este mês, afirmando que muitas pessoas mostram a quantidade de tokens utilizados nas avaliações de desempenho, levando os funcionários a inflar os números apenas para parecerem bons, o que é uma forma estúpida de avaliação.

O CEO da desenvolvedora de chips Cerebras Systems, Andrew Feldman, afirmou na conferência Bloomberg deste mês que oferecer limites ilimitados de tokens aos funcionários é extremamente estúpido desde o início. Feldman recomendou que as empresas, ao utilizarem ferramentas de IA, devem dar mais ênfase à relação custo-benefício, utilizando modelos de código aberto de baixo custo, em vez de abusar de modelos fechados de topo em tarefas comuns.