A Coinbase reduziu os gastos com IA em quase metade, tentando definir modelos de pesos abertos como GLM 5.2, Kimi 2.7 como opção padrão.

Notícias BlockBeats, 27 de junho, o CEO da Coinbase, Brian Armstrong, publicou uma mensagem dizendo que, para manter os gastos com IA estáveis enquanto o uso de tokens cresce exponencialmente, o segredo não está em definir atritos de uso ou lembretes de gastos, mas sim em melhores modelos padrão, roteamento e mecanismos de cache. A Coinbase está a tentar usar por padrão modelos de pesos abertos como GLM 5.2, Kimi 2.7, etc., através do gateway LLM, ao mesmo tempo que continua a incentivar os engenheiros a escolherem o modelo adequado para cada tarefa. Ele afirmou que 91% dos funcionários nunca atingiram o limite de uso, por isso a empresa não optou por reduzir o limite e aumentar lembretes, mas sim mudou para modelos padrão de menor custo.

Em termos de roteamento de modelos, a Coinbase pré-processa os prompts em fluxos personalizados e, com base na taxa de acertos de cache e nos preços dos modelos, encaminha as tarefas para o modelo mais adequado. Por exemplo, a fase de planeamento pode necessitar de um modelo de ponta, mas usar um modelo de ponta na fase de execução pode ser excessivo. Ele acredita que, no futuro, os modelos não devem ser escolhidos por humanos; a IA pode realizar essa tarefa automaticamente.

Armstrong também afirmou que a falta de acerto de cache é a forma mais fácil de aumentar os custos. Todos os pedidos da Coinbase têm consciência de cache para reutilizar ao máximo o cache ativo. Por exemplo, após implementar corretamente o cache, a taxa de acertos de cache do LibreChat subiu de 5% para 60%. Além disso, a Coinbase também exige que os engenheiros mantenham o contexto enxuto, incluindo abrir novas sessões ao mudar de tarefa, reduzir o âmbito do contexto dos ficheiros, desligar ferramentas não utilizadas, etc. O objetivo não é reprimir o uso de IA, mas sim construir infraestrutura que suporte o crescimento exponencial. Através destas práticas, a Coinbase reduziu os gastos com IA para quase metade, enquanto o uso de tokens continua a crescer.