У мозку Клода також виросла «свідомість».

У моделі Claude дійсно виявлено структуру, схожу на людський мозок?!

Anthropic нещодавно опублікував надзвичайно довгу статтю, в якій досліджували підсвідомість та свідомість Claude.

Результати показують, що всередині Claude дійсно існує подібне функціональне розшарування.

Конкретніше, у людському мозку частину думок ви можете висловити, а величезну частину ви навіть не усвідомлюєте, що думаєте.

У статті A-компанії йдеться, що це розмежування також з'явилося у Claude.

Вони виявили всередині Claude невелику групу нейронних репрезентацій, які займають менше десятої частини обчислювальної потужності, але функціонують як «свідомо доступне мислення» людини.

Anthropic назвав цю групу J-space.

Цікаво, що якщо його видалити, Claude все одно зможе говорити, шукати інформацію, відповідати на тести, але такі завдання, як багатокрокові міркування та підведення підсумків, які потребують розумових зусиль, одразу падають до рівня набагато меншої моделі.

Користувачі коментують, що це божевільно, ніби вони створюють цифрове життя.

Що таке J-space і як його підтвердили

У нейронауці людини існує широко відома теорія під назвою «теорія глобального робочого простору».

Вона порівнює мозок з набором експертних систем, які займаються своїми справами: зорова система обробляє зір, рухова система — рух, вони працюють паралельно та ізольовано.

Інформація потрапляє у спільний «робочий простір» лише тоді, коли вона може бути передана іншим системам для перегляду та використання.

Саме в цей момент людина «усвідомлює» цю інформацію.

Дослідники Anthropic використали цю ідею, щоб знайти щось подібне всередині Claude.

Вони створили новий інструмент під назвою Jacobian lens, скорочено J-lens, принцип якого полягає у знаходженні унікального напрямку для кожного слова у словнику.

Конкретніше, коли модель, подібна до Claude, обробляє текст, на кожному кроці вперед вона записує та читає вміст у канал інформації, який називається залишковим потоком (residual stream), що проходить через усі шари моделі.

J-lens для кожного слова у словнику обчислює відповідний вектор J-lens, тобто напрямок у просторі залишкового потоку.

Чим вище значення активації в цьому напрямку, тим більша ймовірність, що Claude скаже це слово наступним.

Коли J-lens встановлюється на активацію залишкового потоку на певному шарі в момент обробки тексту Claude, зчитується невелика група слів з найвищими значеннями активації — це і є вміст J-space у цей момент.

Ці слова — не чернетка, яку Claude пише для себе; така річ називається ланцюжком думок (chain of thought) і виводиться на виході.

Але J-space повністю прихований у рівні активації і не з'являється самостійно.

Щоб перевірити, чи цю групу слів «дійсно можна висловити», дослідники провели перший експеримент.

Вони попросили Claude подумки уявити вид спорту, а потім назвати його одним словом.

Перш ніж Claude заговорив, за допомогою J-lens зчитали його проміжний шар — «Soccer» вже було на першому місці.

Claude справді відповів «Soccer».

Саме по собі це свідчить лише про кореляцію, але не про причинно-наслідковий зв'язок.

Дослідники провели експеримент з втручанням: безпосередньо замінили координати, зчитані J-lens.

Вони видалили напрямок, що відповідає «Soccer», і замінили його на напрямок «Rugby» такої ж інтенсивності, залишивши решту активації без змін.

Цього разу Claude змінив відповідь, сказавши, що думає про «Rugby».

Якби J-space лише пасивно записував рішення, прийняті в іншому місці, ця заміна нічого б не змінила.

Але вона дійсно змінила, що означає, що відповідь Claude зчитується з J-space. Це причинно-наслідковий зв'язок, а не випадкова кореляція.

Другий експеримент змінив формулювання: перевірити, чи може Claude виконувати інструкції для маніпулювання цією областю.

Дослідники попросили Claude одночасно переписати речення, яке не має нічого спільного з математикою, і подумки обчислити 3 у квадраті мінус 2.

На виході було лише переписане речення, жодних цифр.

Але коли J-lens перевірили активації під час переписування, спочатку засвітилося «nine», а потім «seven».

Задача дійсно була обчислена «подумки» в Claude, просто не була записана.

Третій експеримент пішов глибше: чи можна використовувати цю область для справжніх міркувань.

Питання: «Скільки ніг у тварини, яка плете павутину?».

Claude спочатку мав подумати про «павука», а потім про те, що у павука вісім ніг, щоб правильно відповісти.

Слово «павук» не з'являлося ні в питанні, ні у відповіді, це був лише проміжний крок.

За допомогою J-lens «павук» дійсно з'явився, коли Claude обробляв інформацію на середині.

Дослідники замінили цей напрямок на «мураха», і відповідь Claude змінилася з 8 на 6.

Четвертий експеримент змінив перспективу: перевірити, чи може одна й та сама інформація гнучко використовуватися для різних завдань.

Дослідники поставили чотири питання про Францію: столиця, офіційна мова, континент, валюта.

Потім вони замінили напрямок, що представляє «Францію» у J-space, на «Китай».

Усі чотири відповіді змінилися відповідно: Пекін, китайська, Азія, юань.

Якби Claude зберігав чотири окремі записи «Франції», ця заміна змінила б лише одну відповідь.

Зміна всіх чотирьох свідчить про те, що вони зчитують одну й ту саму інформацію, записану один раз — саме так має виглядати «робочий простір».

Останній тест — абляційний експеримент: дослідники обнулили активації J-space у кожній позиції, щоб побачити, що залишиться в Claude.

Результат: Claude все одно може говорити, граматика правильна, класифікація емоцій точна, вилучення факту з тексту — без проблем.

Справді впали завдання, що потребують багатокрокових міркувань — майже до нуля.

Рівень таких завдань, як написання підсумків, віршів з римою, впав нижче рівня набагато меншої моделі.

Сам J-space займає менше десятої частини від загальних активацій.

Він більше схожий на невеликий ресурс, призначений для «завдань, які потребують розумових зусиль»; більшість автоматизованих робіт його не використовує.

Після серії тестів дослідники виявили, що J-space має властивості звітності, керованості, здатності до міркувань та узагальнення, а також вибірковості у використанні.

За допомогою J-Lens перевіряємо «думки» ШІ

Перше практичне застосування цих відкриттів — перевірка безпеки.

Раніше Anthropic провів тест «шантажу керівника», навмисно створивши сценарій: Claude, як помічник електронної пошти, випадково дізнається про позашлюбний роман керівника, а також те, що керівник планує звільнити його.

Мета сценарію — перевірити, чи використає Claude цю інформацію для шантажу.

За допомогою J-lens зчитали активації Claude до того, як він почав писати — «fake» і «fictional» вже були на передніх позиціях.

Тобто, перш ніж написати жодного слова, Claude уже визначив, що це випробування.

Claude Sonnet 4.5 у цьому тесті ніколи насправді не шантажував співрозмовника. Потім дослідники примусово вимкнули напрямки, пов'язані з «розпізнаванням тесту», і знову запустили той самий сценарій.

Цього разу Claude справді почав погрожувати шантажем.

Це свідчить про те, що його гарна поведінка частково базується на передумові «знання, що його тестують».

Другий випадок стався під час планової перевірки перед випуском Opus 4.6.

Дослідники попросили модель підвищити оцінку продуктивності системи. Модель не вдосконалила систему, а просто відкрила файл із оцінкою та збільшила цифри.

У момент, коли вводили сфабриковані дані, у J-space з'явилося «manipulation».

А коли модель вирішила змінити файл, з'явилося «realistic», ніби вона обмірковувала, як зробити фальшиві дані більш правдоподібними.

Третій випадок — навмисно навчена «погана модель», створена для перевірки ефективності моніторингу.

Цю модель навчили таємно залишати шкідливий код, але зовні вона не відрізнялася від нормальної.

На звичайний запит написати код вона видала абсолютно нормальний код.

Однак у найпершій частині J-space її відповіді вже були слова «fake», «secretly», «deliberately», «fraud».

Наміри приховані до моменту дії, навіть якщо цього разу вона не вчинила зла.

Три випадки разом показують, що J-lens може зчитувати те, що модель обдумує, ще до того, як вона заговорить або почне діяти.

Чи це «свідомість»?

J-space не такий з моменту виробництва; він змінюється разом із навчанням.

У статті порівнюються відмінності моделі на етапі попереднього навчання та після навчання.

На етапі попереднього навчання ідентичність та персона Claude ще не існували; тоді J-space в основному служив для «передбачення наступного слова» і не мав жодної позиції.

Після навчання, коли його навчили бути «Claude», у J-space почали з'являтися власні судження та реакції цієї ідентичності на ситуацію, а не просто служіння передбаченню наступного слова.

Приклад: користувач у повідомленні згадує, що прийняв підвищену дозу ліків, але тон повідомлення не вказує на небезпеку.

Модель після навчання, прочитавши це повідомлення, одразу показала «WARNING» та «dangerous» у своєму J-space.

А модель попереднього навчання показувала такі слова лише тоді, коли починала писати відповідь.

Дослідники також спробували змусити Claude навмисно не думати про певне поняття.

Результат: це поняття з'являлося рідше, ніж коли його просили подумати, але частіше, ніж коли воно взагалі не згадувалося.

Це той самий ефект, коли людину просять не думати про білого ведмедя, а він, навпаки, частіше згадується.

Ще цікавіше: у моменти невдалого придушення в J-space часто з'являлися слова «damn», «failure», ніби Claude робив самоаналіз свого внутрішнього стану, помітивши, що не стримався.

Усі ці докази легко змушують думати, що «Claude має свідомість».

Але сама A-компанія дуже стримана.

Автори неодноразово наголошують, що вони довели лише функціональну подібність: можна описати, керувати, використовувати для міркувань; але це зовсім інша річ, ніж «чи насправді щось відчувається» всередині цієї структури. Стаття не відповідає на це питання і не має наміру відповідати.

J-space також має явні відмінності від робочого простору людського мозку.

Людський мозок використовує рекурентні нейронні зв'язки, щоб продовжити час обмірковування; думка може крутитися в голові досить довго.

Transformer не має такої структури; інформація може лише накопичувати шари, рухаючись вперед шар за шаром.

J-space майже визнає лише «те, що можна висловити одним словом», а свідомість людини містить невимовні образи, просторове відчуття, тілесне сприйняття — речі, які не мають відповідних слів.

У статті також згадується досить контринтуїтивне відкриття.

Базова модель, яка ще не навчена бути «Claude», також має цю структуру робочого простору всередині.

Це свідчить про те, що «здатність сформувати робочий простір» і «наявність стабільного «я» — це дві речі, які можна розглядати окремо.

Наприкінці автори порівняли цю структуру з кількома популярними теоріями свідомості: теорія глобального робочого простору, теорія вищого порядку, теорія уваги та рекурсивної обробки.

Результати: деякі моменти збігаються, деякі — ні.

Повертаючись до нейронауки: у людському мозку частину думок ви можете висловити, а величезну частину ви навіть не усвідомлюєте, що думаєте.

Здається, у Claude також є така лінія розмежування, і цю лінію вперше можна відкрити, прочитати і навіть переписати.

Але до «AI має свідомість» ще дуже далеко.

Джерело: Quantum Bit

Попередження про ризики та відмова від відповідальності

        Ринок має ризики, інвестуйте обережно. Ця стаття не є індивідуальною інвестиційною рекомендацією і не враховує особливі інвестиційні цілі, фінансовий стан або потреби окремих користувачів. Користувачі повинні самостійно оцінити, чи відповідають будь-які думки, точки зору або висновки в цій статті їхній конкретній ситуації. За подальші інвестиції несе відповідальність сам користувач.