Опубликовать

Полный доступ к Jev от TypeSafe AI @typesafeai и открытый Kev от команды Cognition — сигналы из AI-индустрии за последние два дня предельно ясны: нам больше не нужно тратить дорогостоящие вычислительные ресурсы ради решения «да или нет».


У меня есть автоматизированный процесс для обработки огромного числа Leads. Раньше я использовал GPT-4o для отбора 700 потенциальных клиентов: было не только жалко денег, но и приходилось опасаться, что он время от времени выдаст галлюцинацию и придумает какое-нибудь объяснение.
Вчера я попробовал изменить процесс: поручил Jev оценивать степень соответствия, и он присвоил каждому Lead показатель уверенности, а тех, кто не прошёл порог, сразу отсеял. В итоге вся выборка была обработана за 40 секунд, а стоило это меньше 0,1 юаня.
Суть такой «модели принятия решений» в том, что она делает только одну вещь: выбирает оптимальный вариант из заданных вами или оценивает ваши утверждения. Она не пишет стихи и не поддерживает беседы, поэтому способна ускорить работу в 20 или даже 200 раз.
Кроме того, порог входа теперь действительно снизился до минимума. Появление Kev сделало локальное развёртывание доступным как никогда: обучение модели с 4 миллиардами параметров на одной H100 занимает всего 40 минут. Это означает, что вы можете за считанные минуты дообучить специализированную небольшую модель принятия решений на конкретных данных своего бизнеса. Kev-8B уже почти сравнялся с Jev по результатам на внедоменных данных, что показывает: этот путь вполне работоспособен.
Попробуйте Jev или Kev и замените ими маршрутизацию AI, распознавание намерений и шлюзы безопасности на такие специализированные движки принятия решений. Когда вы увидите, как время отклика вашего агента сокращается с секунд до миллисекунд, то поймёте: вот где настоящая выгода от повышения эффективности.
Посмотреть Оригинал
post-image
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

  • 2

Добавить комментарий
Добавить комментарий

комментарий
BearStacker
4 часа назад
700 задач за 40 секунд — и при этом так дёшево, это действительно выгодно. GPT-4o оставляем для написания текстов, а грязную и рутинную работу поручаем Jev — разделение обязанностей очевидно.
0Посмотреть Оригинал
RedGreenFerry
5 часов назад
Kev обучил 4B всего за 40 минут — это немного безумно, раньше даже настройка LoRA занимала полдня. Локальное развёртывание критически важно для бизнеса, работающего с чувствительными данными: запускать клиентскую информацию в облаке всегда немного тревожно.
0Посмотреть Оригинал
AirdropPhilosopher
6 часов назад
Первый обзор
Сравнение «с секунд до миллисекунд» — просто бьёт не в бровь, а в глаз. Раньше для распознавания намерений приходилось напрямую гонять LLM: задержка высокая, да ещё и дорого. Переход на модель принятия решений — это просто разгром с разницей в классе. Уже сделал fork Kev, на выходных собираюсь повозиться.
0Посмотреть Оригинал