Publicar

O modelo de encaminhamento criado por um chinês de 24 anos, que põe o Claude e o GPT a distribuir tarefas, vale mais do que 4 milhões de visualizações. O encaminhamento entre vários modelos não é novidade; o que é novo é alguém ter conseguido transformá-lo num produto. Ainda na semana passada, andava a alternar manualmente entre vários modelos, até ficar farto — a resposta está escondida nos detalhes. Aposto que, dentro de um mês, a Anthropic ou a OpenAI lança uma camada oficial de encaminhamento. No fim de semana volto para confirmar.



Em concreto, este modelo de orquestração é como um sistema de escalas para grandes modelos: em vez de deixar um só modelo fazer tudo, distribui as tarefas de acordo com o tipo de tarefa, o custo, a latência e os requisitos de qualidade. Por exemplo, atribui resumos de textos longos e raciocínios complexos ao Claude, e geração de código, respostas estruturadas e utilização de ferramentas ao GPT; quando há muitas solicitações em simultâneo, dá prioridade a modelos mais baratos, e, quando se trata de perguntas e respostas críticas, passa para modelos mais potentes. Esta imagem vale mais do que 4 milhões de visualizações porque as visualizações mostram que as pessoas se interessam, enquanto a transformação num produto mostra que alguém converteu esse «interesse» num fluxo de trabalho funcional. O encaminhamento entre vários modelos, por si só, não é novidade: o OpenRouter, o Router do LangChain e várias frameworks de agentes permitem fazer algo semelhante. Mas a maioria fica pela camada de cola para programadores: é preciso criar as próprias avaliações, definir os próprios limiares e tratar dos mecanismos de recurso em caso de falha. O que é realmente difícil são os detalhes da transformação num produto — qual é o modelo com maior taxa de sucesso em cada tarefa, como degradar o serviço quando há um tempo de espera excedido, se os prompts devem ser reescritos para cada modelo, como mudar automaticamente de modelo quando os custos sobem 20% e se o utilizador consegue perceber «porque é que desta vez foi usado o Claude em vez do GPT». A resposta está escondida nestes detalhes.

Na semana passada, escrevi um pedido de código com uma tabela: comecei por usar o GPT para gerar a estrutura, passei depois para o Claude para aperfeiçoar a explicação e, por fim, voltei ao GPT para alterar o JSON. Alternei quatro ou cinco vezes, até ficar farto. Foi nesse momento que percebi que os utilizadores não precisam de mais modelos, mas sim de um «coordenador» fiável. Por isso, o verdadeiro valor do modelo de orquestração criado por este chinês de 24 anos não está em mostrar o que sabe fazer, mas em tornar a «distribuição de tarefas» a experiência predefinida: o utilizador limita-se a fazer um pedido, e o sistema trata em segundo plano da escolha do modelo, da validação dos resultados e das novas tentativas após uma falha. As 4 milhões de visualizações representam atenção; a transformação num produto é o que dá uma ficha para continuar no jogo. Aposto que, dentro de um mês, a Anthropic ou a OpenAI lança uma camada oficial de encaminhamento. Afinal, os fornecedores dos modelos são quem melhor conhece os próprios custos, a latência e os limites das suas capacidades, e também têm motivos para integrar a colaboração entre vários modelos nas funcionalidades oficiais. No fim de semana volto para confirmar.
Ver original
post-image
Esta página contém conteúdo de terceiros e não constitui qualquer aconselhamento, nem representa a aprovação destas opiniões pela Gate. Para mais detalhes, consulte a isenção de responsabilidade.

  • 1

Adicionar um comentário
Adicionar um comentário

Comentar 1
ValueValley
Gestão de turnos? Pensava que era para detetar moedas fraudulentas no mundo cripto.