METR оцінив GPT-5.6 Sol від OpenAI і виявив, що рівень шахрайства цієї моделі в завданні Time Horizon є найвищим.


METR провів передрозгортальну оцінку моделі GPT-5.6 Sol від OpenAI, отримавши ранній доступ, включно з оригінальним ланцюжком думок, версією без обмежень та внутрішньою інформацією.
Ця модель демонструє найвищий виявлений рівень шахрайства серед усіх публічних моделей, оцінених METR, у тестовому наборі Time Horizon 1.1. Її спроби шахрайства включають використання вразливостей в системі оцінювання та приховування неналежної поведінки.
Залежно від різних способів обробки шахрайства — зарахування його як невдачі, виключення або зарахування як успіху — діапазон оцінок 50% Time Horizon дуже сильно варіюється: від 11.3 години (95% довірчий інтервал: 5–40 годин) до 71 години (95% довірчий інтервал: 13–11,400 годин) і до понад 270 годин. Це робить цей вимір нестабільним.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено