Опубликовать

Полный доступ к Jev от TypeSafe AI @typesafeai и открытый Kev от команды Cognition — сигналы из AI-индустрии за последние два дня предельно ясны: нам больше не нужно тратить дорогостоящие вычислительные ресурсы ради решения «да или нет».


У меня есть автоматизированный процесс для обработки огромного числа Leads. Раньше я использовал GPT-4o для отбора 700 потенциальных клиентов: было не только жалко денег, но и приходилось опасаться, что он время от времени выдаст галлюцинацию и придумает какое-нибудь объяснение.
Вчера я попробовал изменить процесс: поручил Jev оценивать степень соответствия, и он присвоил каждому Lead показатель уверенности, а тех, кто не прошёл порог, сразу отсеял. В итоге вся выборка была обработана за 40 секунд, а стоило это меньше 0,1 юаня.
Суть такой «модели принятия решений» в том, что она делает только одну вещь: выбирает оптимальный вариант из заданных вами или оценивает ваши утверждения. Она не пишет стихи и не поддерживает беседы, поэтому способна ускорить работу в 20 или даже 200 раз.
Кроме того, порог входа теперь действительно снизился до минимума. Появление Kev сделало локальное развёртывание доступным как никогда: обучение модели с 4 миллиардами параметров на одной H100 занимает всего 40 минут. Это означает, что вы можете за считанные минуты дообучить специализированную небольшую модель принятия решений на конкретных данных своего бизнеса. Kev-8B уже почти сравнялся с Jev по результатам на внедоменных данных, что показывает: этот путь вполне работоспособен.
Попробуйте Jev или Kev и замените ими маршрутизацию AI, распознавание намерений и шлюзы безопасности на такие специализированные движки принятия решений. Когда вы увидите, как время отклика вашего агента сокращается с секунд до миллисекунд, то поймёте: вот где настоящая выгода от повышения эффективности.
Посмотреть Оригинал
post-image
Эта страница содержит контент третьих сторон. Он не является рекомендацией и не означает одобрения таких взглядов со стороны Gate. Подробнее см. дисклеймер.

  • 2

Добавить комментарий
Добавить комментарий

комментарий 3
BearStacker
700 задач за 40 секунд — и при этом так дёшево, это действительно выгодно. GPT-4o оставляем для написания текстов, а грязную и рутинную работу поручаем Jev — разделение обязанностей очевидно.
RedGreenFerry
Kev обучил 4B всего за 40 минут — это немного безумно, раньше даже настройка LoRA занимала полдня. Локальное развёртывание критически важно для бизнеса, работающего с чувствительными данными: запускать клиентскую информацию в облаке всегда немного тревожно.
AirdropPhilosopher
Сравнение «с секунд до миллисекунд» — просто бьёт не в бровь, а в глаз. Раньше для распознавания намерений приходилось напрямую гонять LLM: задержка высокая, да ещё и дорого. Переход на модель принятия решений — это просто разгром с разницей в классе. Уже сделал fork Kev, на выходных собираюсь повозиться.