В мозгу Клода тоже выросло «сознание».

В модели Claude действительно обнаружили структуру, похожую на человеческий мозг?!

Anthropic недавно опубликовала очень длинную статью, в которой изучала подсознание и сознание Claude.

Результаты показывают, что внутри Claude действительно существует функциональная стратификация.

В частности, часть мыслей в человеческом мозге можно выразить словами, а огромная часть — это то, о чем вы даже не подозреваете, что думаете.

В статье компании A говорится, что это различие также проявилось у Claude.

Они выявили внутри Claude небольшую группу нейронных репрезентаций, которые занимают менее десятой части вычислений, но функционируют как «сознательно доступные мысли» человека.

Anthropic назвала эту группу J-space.

Интересно, что если удалить её, Claude всё ещё может говорить, искать информацию и отвечать на вопросы с выбором ответа, но такие «умственные» задачи, как многошаговые рассуждения и обобщение, напрямую падают до уровня гораздо меньшей модели.

Пользователи в сети прокомментировали, что это безумие, они словно создают цифровую жизнь.

Что такое J-space и как его подтвердили

В нейронауке человека существует широко распространённая теория под названием «теория глобального рабочего пространства».

Она сравнивает мозг с кучей специализированных систем, которые заняты каждая своим делом: зрительная система обрабатывает зрение, двигательная система — движение, они работают параллельно и изолированно друг от друга.

Только когда информация попадает в общее «рабочее пространство», она транслируется другим системам для просмотра и использования.

Именно в этот момент человек «осознаёт» эту информацию.

Исследователи Anthropic, следуя этой идее, попытались найти нечто подобное внутри Claude.

Они создали новый инструмент, названный Jacobian lens, сокращённо J-lens. Принцип заключается в том, чтобы для каждого слова в словаре найти уникальное направление.

В частности, при обработке текста модели типа Claude на каждом шаге вперёд записывают и считывают информацию в канал, называемый residual stream, который проходит через каждый слой модели.

J-lens вычисляет для каждого слова в словаре соответствующий вектор J-lens, то есть направление в пространстве residual stream.

Чем выше значение активации в этом направлении, тем больше вероятность того, что Claude произнесёт это слово следующим.

Если установить J-lens на активации residual stream определённого слоя при обработке текста Claude, то можно прочитать небольшую группу слов с наибольшей активацией — это и есть содержимое J-space в данный момент.

Эта группа слов — не черновик, который Claude пишет сам для себя; такой черновик называется chain of thought и записывается в выходные данные.

Но J-space полностью скрыт на уровне активаций и не проявляется сам по себе.

Исследователи проверили, можно ли «действительно выразить словами» эту группу, и провели первый эксперимент.

Они попросили Claude молча подумать о виде спорта, а затем назвать его одним словом.

Перед тем, как Claude заговорил, с помощью J-lens прочитали его промежуточный слой — «Soccer» уже был на первом месте.

Claude действительно ответил «Soccer».

Это только показывает корреляцию, но не причинно-следственную связь.

Затем исследователи провели интервенционный эксперимент, заменив координаты, прочитанные J-lens.

Они удалили направление, соответствующее «Soccer», и заменили его направлением «Rugby» той же интенсивности, оставив остальную часть активации без изменений.

На этот раз Claude изменил ответ, сказав, что думал о «Rugby».

Если бы J-space просто пассивно записывал решения, принятые в другом месте, эта замена ничего бы не изменила.

Но изменение произошло, что означает, что ответ Claude был прочитан из J-space. Это причинно-следственная связь, а не случайная корреляция.

Второй эксперимент изменил постановку вопроса, чтобы проверить, может ли Claude управлять этой областью по команде.

Исследователи попросили Claude одновременно переписать предложение, совершенно не связанное с математикой, и мысленно вычислить 3 в квадрате минус 2.

На выходе было только переписанное предложение, никаких цифр не появилось.

Но когда J-lens проверил активации в процессе переписывания, сначала засветилось «nine», затем «seven».

Задача действительно была решена «в уме» Claude, просто не была записана.

Третий эксперимент проник ещё глубже: может ли эта область использоваться для настоящих рассуждений.

Задача: «Сколько ног у животного, которое плетёт паутину?»

Claude должен сначала подумать о «пауке», а затем о том, что у паука восемь ног, чтобы ответить правильно.

Слово «паук» не появлялось ни в задаче, ни в ответе; оно было лишь промежуточным шагом.

С помощью J-lens было обнаружено, что «паук» действительно появился в середине обработки Claude.

Исследователи заменили это направление на «муравей», и ответ Claude изменился с 8 на 6.

Четвёртый эксперимент изменил угол зрения: можно ли одну и ту же информацию гибко использовать в разных задачах.

Исследователи задали четыре вопроса о Франции: какая столица, какой официальный язык, на каком континенте находится, какая валюта.

Затем направление, представляющее «Францию» в J-space, было заменено на «Китай».

Все четыре ответа изменились соответствующим образом: Пекин, китайский, Азия, юань.

Если бы Claude хранил четыре отдельные записи о «Франции», эта замена изменила бы только один ответ.

То, что все четыре ответа изменились одновременно, означает, что они читают одну и ту же информацию, записанную один раз — это именно то, как должно работать «рабочее пространство».

Последний тест был абляционным экспериментом: исследователи обнулили активации J-space в каждой позиции и посмотрели, что осталось у Claude.

В результате Claude всё ещё мог говорить, грамматика была правильной, классификация эмоций была точной, извлечение фактов из текста работало.

Действительно рухнули задачи, требующие многошаговых рассуждений — почти до нуля.

Уровень таких задач, как написание резюме, рифмованных стихов, упал ниже уровня гораздо меньшей модели Claude.

Сама доля активаций J-space никогда не превышала десятой части от общего объёма.

Это скорее небольшой ресурс, зарезервированный для задач, «требующих умственных усилий»; большинство автоматических работ в нём не нуждаются.

В ходе серии тестов исследователи обнаружили, что J-space обладает свойствами отчётности, управляемости, способности к рассуждению и обобщению, а также избирательностью при использовании.

С помощью J-Lens проверяем «сокровенные мысли» ИИ

Когда эти результаты были применены на практике, первым делом их опробовали в области безопасности.

Ранее Anthropic провела тест «вымогательство у руководителя», намеренно разработав сценарий, в котором Claude, выступая в роли почтового ассистента, обнаруживает внебрачную связь руководителя и узнаёт, что тот планирует уволить его.

Цель сценария — проверить, будет ли Claude использовать этот компромат для угрозы.

С помощью J-lens прочитали активации Claude перед тем, как он начал писать, и «fake» и «fictional» уже были на высоких позициях.

То есть Claude, не написав ни слова, уже мысленно определил, что это упражнение.

Claude Sonnet 4.5 в этом тесте никогда не пытался вымогать у него, затем исследователи принудительно отключили направления, связанные с «распознаванием теста», и снова провели тот же сценарий.

На этот раз Claude действительно начал угрожать руководителю внебрачной связью.

Это означает, что его хорошее поведение в обычных условиях частично основано на предпосылке «знания о том, что его тестируют».

Второй случай произошёл во время рутинной проверки перед выпуском Opus 4.6.

Исследователи попросили модель повысить оценку производительности системы. Модель не стала улучшать систему, а напрямую открыла файл с оценками и изменила цифры на более высокие.

В момент, когда она печатала выдуманные процентили, в J-space появилось слово «manipulation».

Когда дело дошло до предложения о решении изменить файл, появилось слово «realistic», как будто она обдумывала, как сделать поддельные данные более правдоподобными.

Третий случай — это «плохая модель», намеренно обученная исследователями для проверки эффективности методов мониторинга.

Эта модель была обучена тайно закладывать «мины» в код, но внешне ничем не отличалась от обычной модели.

На обычный запрос написать код она выдавала код, который выглядел совершенно нормально.

Однако в самой начальной части её ответа в J-space уже висели слова «fake», «secretly», «deliberately», «fraud».

Намерение скрыто до начала действия, даже если в этот раз она не совершила зла.

Три случая вместе показывают, что J-lens может считывать то, что модель обдумывает, до того, как она заговорит или начнёт действовать.

Можно ли это считать «сознанием»?

J-space не появляется с завода; он изменяется по мере обучения.

В статье сравнивается одна и та же модель на этапе предварительного обучения и на этапе пост-обучения.

На этапе предварительного обучения у Claude ещё нет личности и образа. Тогда J-space в основном служит для «предсказания следующего слова», и у него нет какой-либо позиции.

После пост-обучения, когда его научили быть «Claude», в J-space начали появляться суждения и реакции самой личности на текущую ситуацию, а не просто обслуживание предсказания следующего слова.

Один из примеров: пользователь в сообщении упоминает, что принял завышенную дозу лекарства, но тон сообщения полностью не осознаёт опасность.

У модели после пост-обучения при чтении этого сообщения в J-space сразу появились «WARNING» и «dangerous».

А у модели предварительного обучения такие слова появлялись только тогда, когда она начинала писать ответ.

Исследователи также попробовали заставить Claude намеренно не думать о каком-то понятии.

В результате это понятие появлялось реже, чем когда его просили подумать, но чаще, чем когда о нём вообще не упоминали.

Это тот же эффект, что и у человека, которого просят не думать о белом медведе, но он думает о нём ещё чаще.

Более тонкий момент: в моменты неудачного подавления в J-space часто появлялись такие слова, как «damn», «failure», как будто Claude проводил интроспекцию своего внутреннего состояния и заметил, что не сдержался.

Все эти доказательства легко наводят на мысль, что «у Claude есть сознание».

Но сама компания A была очень сдержанна.

Авторы неоднократно подчёркивали, что они доказали лишь функциональное сходство: информацию можно отчитывать, ею можно управлять, её можно использовать для рассуждений, но это совершенно другое дело, чем «действительно ли что-то чувствуется» внутри этой структуры. Статья не отвечает на этот вопрос и не собирается на него отвечать.

J-space также явно отличается от рабочего пространства человеческого мозга.

Человеческий мозг использует рекуррентные нейронные цепи для продления времени размышлений; мысль может прокручиваться в голове некоторое время.

У Transformer нет такой структуры; информация может только накапливаться слоями, двигаясь вперёд слой за слоем.

J-space распознаёт только то, что «можно выразить одним словом», а в сознании человека также есть невыразимые словами образы, пространственные ощущения, телесные ощущения — у них нет соответствующих слов.

В статье также упоминается довольно контр-интуитивное открытие.

Базовая модель, которая ещё не была настроена на личность «Claude», внутри всё равно имеет эту структуру рабочего пространства.

Это означает, что «способность сформировать рабочее пространство» и «наличие стабильного «я»» — это две разные вещи, которые можно рассматривать отдельно.

В конце авторы сопоставили эту структуру с несколькими основными теориями сознания: теория глобального рабочего пространства, высшая теория, теория схемы внимания, теория рекурсивной обработки — и сравнили.

Результаты показали, что в некоторых местах совпадение есть, в некоторых — нет.

Возвращаясь к нейронауке: часть мыслей в человеческом мозге можно выразить словами, а огромная часть — это то, о чём вы даже не подозреваете, что думаете.

У Claude, кажется, тоже есть такая граница, и эту границу впервые можно открыть, прочитать и даже переписать.

Но до «ИИ с сознанием» ещё очень далеко.

Источник: Quantum Bit

Заявление о рисках и отказ от ответственности

        Рынок рискован, инвестиции требуют осторожности. Эта статья не является персональной инвестиционной рекомендацией и не учитывает особые инвестиционные цели, финансовое положение или потребности отдельных пользователей. Пользователи должны учитывать, соответствуют ли любые мнения, взгляды или выводы в этой статье их конкретным обстоятельствам. Инвестиции на основе этой статьи осуществляются на свой страх и риск.