Лабораторія штучного інтелекту Стенфорд опублікувала універсальну рамку перевірки LLM-as-a-Verifier, яка досягла найкращих результатів у двох бенчмарках.

robot
Генерація анотацій у процесі

ME News-повідомлення: 10 квітня (UTC+8) Стенфордська лабораторія штучного інтелекту (StanfordAILab) нещодавно опублікувала універсальну верифікаційну рамку під назвою “LLM-as-a-Verifier”. Ця рамка досягла точності 86,4% у бенчмарку Terminal-Bench 2 та 77,8% у бенчмарку SWE-Bench Verified завдяки таким методам, як розширення рівнів оцінювання, повторна верифікація та стандартне розбиття, і водночас відповідає поточному найкращому рівню (SOTA). У статті наведено посилання на відповідний блог і код. (Джерело: InFoQ)

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Популярні активності Gate Fun

    Дізнатися більше
  • Рин. кап.:$2.27KХолдери:0
    0.00%
  • Рин. кап.:$2.28KХолдери:1
    0.00%
  • Рин. кап.:$2.28KХолдери:0
    0.00%
  • Рин. кап.:$2.28KХолдери:1
    0.00%
  • Рин. кап.:$0.1Холдери:1
    0.00%
  • Закріпити