Publicação

O Jev da TypeSafe AI @typesafeai foi totalmente aberto, e a equipe da Cognition lançou em seguida um Kev de código aberto. Os sinais no setor de IA nos últimos dois dias são claros: não precisamos mais gastar poder computacional caro para tomar uma decisão de “sim ou não”.


Tenho um fluxo automatizado que processa uma enorme quantidade de leads. Antes, eu usava o GPT-4o para filtrar 700 potenciais clientes; além de doer no bolso, ainda precisava me preocupar com ele ocasionalmente alucinar e inventar um motivo.
Ontem, tentei mudar o fluxo: deixei o Jev fazer a pontuação de compatibilidade, atribuindo uma pontuação de confiança a cada lead e eliminando diretamente os que não atingissem o padrão. O resultado foi que ele processou tudo em 40 segundos, por menos de 10 centavos.
A ideia central desse tipo de “modelo de decisão” é fazer apenas uma coisa: escolher a melhor opção entre as que você fornece ou dar uma pontuação à sua afirmação. Ele não escreve poemas nem conversa, por isso consegue aumentar a velocidade em 20 ou até 200 vezes.
Além disso, a barreira de entrada realmente caiu ao nível mais baixo possível. O surgimento do Kev tornou a implantação local acessível, e treinar um modelo de 4 bilhões em uma única H100 leva apenas 40 minutos. Isso significa que você pode usar os dados específicos do seu negócio para ajustar, em poucos minutos, um pequeno cérebro de decisão personalizado. O Kev de 8 bilhões já se aproxima do Jev em dados fora do domínio, mostrando que esse caminho é totalmente viável.
Experimente o Jev ou o Kev e substitua seu roteamento de IA, reconhecimento de intenção e gateway de segurança por esse tipo de mecanismo de decisão especializado. Quando perceber que o tempo de resposta do seu agente caiu de segundos para milissegundos, você descobrirá que esse é o verdadeiro ganho de eficiência.
Ver original
post-image
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.

  • 2

Adicionar um comentário
Adicionar um comentário

Comentário
BearStacker
há 8 horas
Rodar 700 tarefas em 40 segundos e ainda ser tão barato é bom demais. Deixe o GPT-4o para escrever textos e passe o trabalho pesado e repetitivo para o Jev — divisão de tarefas bem definida.
0Ver original
RedGreenFerry
há 10 horas
O Kev treinar um modelo de 4B em 40 minutos é um pouco absurdo; antes, até ajustar um LoRA exigia esperar meio dia. A implantação local é fundamental para negócios com dados sensíveis; rodar informações de clientes na nuvem sempre dá uma certa insegurança.
0Ver original
AirdropPhilosopher
há 10 horas
Primeira revisão
Essa comparação de segundos para milissegundos chega a doer. Antes, eu rodava o LLM à força para reconhecer intenções: a latência era alta e gastava uma fortuna. Trocar para um modelo de decisão foi um massacre. Já fiz fork do Kev e vou mexer nisso no fim de semana.
0Ver original