Publication

L’accès à Jev de TypeSafe AI @typesafeai est désormais totalement ouvert et, dans la foulée, l’équipe de Cognition a lancé Kev en open source : les signaux du monde de l’IA sont très clairs ces deux derniers jours : nous n’avons plus besoin de dépenser une puissance de calcul coûteuse pour trancher une question par « oui ou non ».


J’ai entre les mains un processus automatisé qui traite une grande quantité de Leads. Avant, j’utilisais GPT-4o pour filtrer 700 prospects : non seulement cela me coûtait cher, mais je devais aussi craindre qu’il hallucine parfois une justification.
Hier, j’ai essayé de modifier le processus : j’ai laissé Jev évaluer le degré de correspondance, en attribuant à chaque Lead un score de confiance et en éliminant directement ceux qui n’atteignaient pas le seuil. Résultat : tout le volume a été traité en 40 secondes, pour moins de 0,1 yuan.
L’idée centrale de ce type de « modèle décisionnel » est qu’il ne fait qu’une seule chose : sélectionner la meilleure option parmi celles que vous lui donnez, ou attribuer une note à vos affirmations. Il n’écrit pas de poèmes et ne discute pas, ce qui lui permet d’être 20 fois, voire 200 fois plus rapide.
En outre, le seuil d’accès est désormais vraiment au plus bas. L’arrivée de Kev rend le déploiement local facilement accessible : l’entraînement d’un modèle de 4 milliards de paramètres sur un seul H100 ne prend que 40 minutes. Cela signifie que vous pouvez, en quelques minutes, ajuster un petit cerveau décisionnel spécialement conçu pour votre activité à partir de vos données spécifiques. Kev-8B affiche déjà des performances proches de celles de Jev sur des données hors domaine, ce qui montre que cette voie est parfaitement viable.
Essayez Jev ou Kev et remplacez votre routage IA, votre détection d’intention et votre passerelle de sécurité par ce type de moteur décisionnel spécialisé. Lorsque vous constaterez que le temps de réponse de votre agent intelligent passe de l’ordre de la seconde à celui de la milliseconde, vous comprendrez qu’il s’agit là du véritable gain d’efficacité.
Voir l'original
post-image
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.

  • 2

Ajouter un commentaire
Ajouter un commentaire

Commentaire
RedGreenFerry
il y a 2 heures
Kev, entraîner un modèle de 4 milliards de paramètres en 40 minutes, c’est assez dingue ; auparavant, il fallait attendre une demi-journée rien que pour ajuster un LoRA. Le déploiement local est essentiel pour les activités sensibles aux données : faire tourner les informations clients dans le cloud reste toujours un peu inquiétant.
0Voir l'original
AirdropPhilosopher
il y a 2 heures
Première révision
La comparaison entre les secondes et les millisecondes fait vraiment mal. Avant, je faisais tourner un LLM à plein régime pour la reconnaissance des intentions : latence élevée et coûts qui s’envolent. Passer à un modèle de décision, c’est tout simplement changer de dimension. J’ai déjà forké Kev, prêt à bricoler dessus ce week-end.
0Voir l'original