Publicar

La apertura total de Jev de TypeSafe AI @typesafeai, junto con el lanzamiento por parte del equipo de Cognition de un Kev de código abierto, deja muy clara la señal del sector de la IA estos días: ya no necesitamos gastar una computación costosa en decidir entre «sí» o «no».


Tengo un flujo automatizado que procesa una enorme cantidad de Leads. Antes usaba GPT-4o para filtrar 700 clientes potenciales; no solo me dolía el coste, sino que también tenía que preocuparme de que ocasionalmente alucinara y se inventara un motivo.
Ayer intenté modificar el flujo: hice que Jev puntuara el grado de coincidencia, asignando a cada Lead una puntuación de confianza y descartando directamente los que no alcanzaran el umbral. El resultado fue que procesó los 700 en 40 segundos y costó menos de diez céntimos.
La idea central de este tipo de «modelos de decisión» es que solo hacen una cosa: elegir la mejor opción entre las que les das o puntuar tus afirmaciones. No escriben poesía ni conversan, por lo que pueden ofrecer una mejora de velocidad de 20 veces o incluso 200 veces.
Además, la barrera de entrada realmente ha caído hasta el suelo. La aparición de Kev hace que el despliegue local esté al alcance de la mano: entrenar un modelo de 4 mil millones de parámetros en una sola H100 solo lleva 40 minutos. Esto significa que puedes ajustar en cuestión de minutos un pequeño cerebro de decisión personalizado a partir de los datos específicos de tu negocio. Kev-8B ya se acerca al rendimiento de Jev con datos fuera de dominio, lo que demuestra que este camino es totalmente viable.
Prueba Jev o Kev y sustituye el enrutamiento de tu IA, el reconocimiento de intenciones y la puerta de enlace de seguridad por este tipo de motores de decisión especializados. Cuando descubras que el tiempo de respuesta de tus agentes inteligentes ha pasado de segundos a milisegundos, entenderás que este es el verdadero dividendo de eficiencia.
Ver original
post-image
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.

  • 2

Añadir un comentario
Añadir un comentario

Comentar
BearStacker
hace 3 horas
Completa 700 tareas en 40 segundos y además es tan barato; esta vez realmente vale la pena. Dejemos GPT-4o para redactar textos y encarguemos el trabajo pesado y tedioso a Jev: una división del trabajo muy clara.
0Ver original
RedGreenFerry
hace 4 horas
Kev terminó de entrenar 4 mil millones de parámetros en 40 minutos; es una locura. Antes, incluso ajustar un LoRA requería esperar medio día. El despliegue local es crucial para los negocios sensibles a los datos; ejecutar la información de los clientes en la nube siempre genera cierta inseguridad.
0Ver original
AirdropPhilosopher
hace 5 horas
Primera revisión
La comparación de pasar de segundos a milisegundos duele. Antes usaba un LLM a fuerza bruta para reconocer intenciones: alta latencia y mucho gasto. Cambiar a un modelo de decisión es sencillamente jugar en otra liga. Ya he hecho fork de Kev y me prepararé para trastear con ello este fin de semana.
0Ver original