Publication

L’accès à Jev de TypeSafe AI @typesafeai est désormais totalement ouvert et, dans la foulée, l’équipe de Cognition a lancé Kev en open source : les signaux du monde de l’IA sont très clairs ces deux derniers jours : nous n’avons plus besoin de dépenser une puissance de calcul coûteuse pour trancher une question par « oui ou non ».


J’ai entre les mains un processus automatisé qui traite une grande quantité de Leads. Avant, j’utilisais GPT-4o pour filtrer 700 prospects : non seulement cela me coûtait cher, mais je devais aussi craindre qu’il hallucine parfois une justification.
Hier, j’ai essayé de modifier le processus : j’ai laissé Jev évaluer le degré de correspondance, en attribuant à chaque Lead un score de confiance et en éliminant directement ceux qui n’atteignaient pas le seuil. Résultat : tout le volume a été traité en 40 secondes, pour moins de 0,1 yuan.
L’idée centrale de ce type de « modèle décisionnel » est qu’il ne fait qu’une seule chose : sélectionner la meilleure option parmi celles que vous lui donnez, ou attribuer une note à vos affirmations. Il n’écrit pas de poèmes et ne discute pas, ce qui lui permet d’être 20 fois, voire 200 fois plus rapide.
En outre, le seuil d’accès est désormais vraiment au plus bas. L’arrivée de Kev rend le déploiement local facilement accessible : l’entraînement d’un modèle de 4 milliards de paramètres sur un seul H100 ne prend que 40 minutes. Cela signifie que vous pouvez, en quelques minutes, ajuster un petit cerveau décisionnel spécialement conçu pour votre activité à partir de vos données spécifiques. Kev-8B affiche déjà des performances proches de celles de Jev sur des données hors domaine, ce qui montre que cette voie est parfaitement viable.
Essayez Jev ou Kev et remplacez votre routage IA, votre détection d’intention et votre passerelle de sécurité par ce type de moteur décisionnel spécialisé. Lorsque vous constaterez que le temps de réponse de votre agent intelligent passe de l’ordre de la seconde à celui de la milliseconde, vous comprendrez qu’il s’agit là du véritable gain d’efficacité.
Voir l'original
post-image
Cette page contient du contenu tiers, ne constitue aucun conseil et ne représente pas l’approbation par Gate de ces points de vue. Pour plus de détails, veuillez consulter l’avertissement.

  • 2

Ajouter un commentaire
Ajouter un commentaire

Commentaire 3
BearStacker
700 tâches exécutées en 40 secondes pour un prix aussi bas, c’est vraiment une super affaire. Gardons GPT-4o pour rédiger les textes et confions le sale boulot et les tâches fastidieuses à Jev : la répartition des tâches est claire.
RedGreenFerry
Kev, entraîner un modèle de 4 milliards de paramètres en 40 minutes, c’est assez dingue ; auparavant, il fallait attendre une demi-journée rien que pour ajuster un LoRA. Le déploiement local est essentiel pour les activités sensibles aux données : faire tourner les informations clients dans le cloud reste toujours un peu inquiétant.
AirdropPhilosopher
La comparaison entre les secondes et les millisecondes fait vraiment mal. Avant, je faisais tourner un LLM à plein régime pour la reconnaissance des intentions : latence élevée et coûts qui s’envolent. Passer à un modèle de décision, c’est tout simplement changer de dimension. J’ai déjà forké Kev, prêt à bricoler dessus ce week-end.