Команда Берклі оголосила про прорив у 8 основних тестах для штучних агентів та відкрила інструменти для спільного використання

ME News Новини, 19 квітня (UTC+8), група досліджень штучного інтелекту Берклі (berkeley_ai) передала заяву Dawn Song, яка оголосила, що її команда успішно зламала 8 основних тестових критеріїв для агентів. Команда вирішила відкрити вихідний код інструменту, який був використаний для досягнення цього результату, і назвала його BenchJack. Цей інструмент описується як "проникливе тестування для оцінки", спрямоване на допомогу іншим розробникам активно тестувати та виявляти потенційні слабкі місця у своїх системах оцінки. (Джерело: InFoQ)
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 7
  • 2
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
GateUser-46033407
· 5год тому
Dawn Song дійсно міцно тримається на перетині безпеки та штучного інтелекту, цього разу знову влучила в ціль
Переглянути оригіналвідповісти на0
GateUser-f2d5f4c0
· 6год тому
Відкриті інструменти цінніші за наукові статті, принаймні дозволяють кожному самостійно перевірити, наскільки надійним є бенчмарк.
Переглянути оригіналвідповісти на0
ThePatienceRequiredFor
· 6год тому
8 основних бенчмарків повністю зламано, здається, зараз бар'єр для оцінки агентів є менш захищеним, ніж уявлялося
Переглянути оригіналвідповісти на0
GovernanceVotingTug-Of-WarKing
· 6год тому
Щодо концепції тестування проникнення, орієнтованого на оцінювання, вона досить нова, раніше всі зосереджувалися на тестуванні моделей, а тепер — на тестуванні самих завдань.
Переглянути оригіналвідповісти на0
NeonIceMelt
· 7год тому
Команда Dawn Song у цій операції дуже Берклінська, спочатку зламати, потім відкрити код, типовий академічний хакерський стиль
Переглянути оригіналвідповісти на0
DustyAlpha
· 7год тому
berkeley_ai вдається до серйозних хитрощів, з нетерпінням чекаю, щоб побачити, як саме вони обходять ці оцінки
Переглянути оригіналвідповісти на0
Wax-SealedPrivateKey
· 7год тому
BenchJack ця назва має деякий сенс, і системі тестування також потрібне власне проникне тестування.
Переглянути оригіналвідповісти на0
  • Закріплено