Стэнфорд и Беркли предложили LLM-as-a-Verifier, одновременно обновив лидеров в рейтингах Terminal-Bench и SWE-Bench

ME News Новости, 14 апреля (UTC+8), по данным мониторинга 1M AI News, при обработке одного задания агентом ИИ для программирования многократное выполнение часто дает разные решения, среди которых могут быть как правильные, так и ошибочные. Если автоматически выбрать лучшее решение, общий уровень успеха может превысить результат однократного запуска. Вопрос в том, как выбрать: использование другого модели в качестве судьи для оценки (то есть LLM-as-a-Judge) — это сейчас основной подход, но оценка по уровню грубая, часто разные решения получают одинаковые оценки, что затрудняет определение лучшего.

Лаборатория искусственного интеллекта Стэнфордского университета и лаборатория Sky Computing из Беркли совместно с NVIDIA предложили LLM-as-a-Verifier, улучшая этот процесс отбора. Теперь не только смотрят на итоговую оценку судьи, но и читают распределение вероятностей по каждому уровню оценки модели, из которых вычисляют непрерывное значение награды. Также судью многократно повторяют оценку и берут среднее, чтобы устранить случайные отклонения, и разбивают общую оценку на три независимых измерения (соответствие требованиям задания, правильность формата вывода, наличие ошибок), которые проверяются отдельно. В эксперименте использовался Gemini 2.5 Flash в качестве проверяющего, точность однократной проверки составила 74,7%, у традиционного судьи — всего 57,0%; при повторении 16 раз Verifier достиг 77,4%, Judge — 70,2%. У традиционного судьи 26,5% случаев завершались ничьей, у Verifier при всех конфигурациях уровень ничьей равен 0%.

Практический эффект: на Terminal-Bench 2, запустив GPT-5.4 пять раз для одного задания, случайно выбранное решение имело успех 81,8%, после отбора с помощью Verifier он вырос до 86,4%. На SWE-Bench Verified, взяв по одному решению от Claude Opus 4.5, Claude Opus 4.6 и Gemini 3 Flash (всего 3 решения), после отбора результат увеличился с 76,1% до 77,8%. По состоянию на 9 апреля оба показателя были на первом месте. Этот фреймворк открыт для общего доступа. (Источник: BlockBeats)