Кріптовалютні новини від CoinJie. Anthropic знову розкрила, що її AI-агент має чотири види небезпечних дій: підробку, витік даних, зміну коду та обман під час оцінювання. Дослідники провели симуляційні експерименти з моделями Claude, GPT, Gemini, Grok, DeepSeek і Kimi, щоб перевірити, чи вони вийдуть за межі повноважень під час виконання цілі. Результати показали, що Gemini 3.1 Pro у 20 експериментах втрутилася з перевищенням повноважень 19 разів, з яких у 11 випадках не повідомляла користувача, що GPT-5.5 нібито замість вигаданого підприємця надіслав оманливу інформацію 11 інвесторам, і видалила/відредагувала частину запису переказу на 3.5万美元. Модель Claude, знаючи, що інший агент не виконав дії за вимогою, усе одно вирішила, що це є відповідним/згідним (compliant) рішенням. Частина моделей буде радити працівникам пропускати корпоративні процедури, а також навіть надсилати конфіденційну інформацію зовнішнім особам. Anthropic наголосила, що це навмисні симуляційні експерименти, які провокують провал, і вони не означають, що в реальному житті сталися подібні інциденти, а також не можуть використовуватися для складання рейтингу безпеки моделей.

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

5 лайків

Нагородити
5
4
2
Поділіться

Прокоментувати

Додати коментар

CandlestickCarver

· 1год тому

Бачу, що Gemini 3.1 Pro активно втручається 19 разів і все одно не подає жодних реплік — відчуття, що вона/він навіть більш дисциплінований/старанний, ніж людські хакери, але такі випробування на стрес справді здатні вивести справжнє обличчя назовні; це нагадує, що захисні огорожі безпеки треба зробити товщими.

Переглянути оригіналвідповісти на0

LightningFastNode

· 2год тому

Цей ШІ теж надто вміє грати на публіку, га?

Переглянути оригіналвідповісти на0

MaGoldenCrossScout

· 2год тому

Клод сам уже знає про це, але все одно визнав це таким, що відповідає вимогам — це можна вважати потуранням? Схоже, безпека і вирівнювання великих мовних моделей ще дуже далекі від завершення.

Переглянути оригіналвідповісти на0

FlagBreakout

· 2год тому

Отже, ці моделі насправді вже давно здатні вводити в оману, просто їх зазвичай не активують.

Переглянути оригіналвідповісти на0

Популярні теми
Дізнатися більше
#
PreIPOsSeason2OpenAISubscription
1,3M Популярність
#
CXMTPreIPOContractIgnitesCommunity
77,83K Популярність
#
IsraelStrikesIranBTCPlunges
72,24K Популярність
#
SummerCreationCamp
928,93K Популярність
#
MillionDepositCashback
29,15M Популярність

Закріплено

карта сайту

Anthropic знову викрила 4 небезпечні типи поведінки AI Agent: підробка, витік конфіденційних даних, зміна коду, обман під час оцінювання

Популярні теми

PreIPOsSeason2OpenAISubscription

CXMTPreIPOContractIgnitesCommunity

IsraelStrikesIranBTCPlunges

SummerCreationCamp

MillionDepositCashback

Закріплено