Призрак в машине искусственного интеллекта

Версия этой статьи изначально появилась в информационном бюллетене Quartz о ИИ и технологиях. Подпишитесь здесь, чтобы получать последние новости, анализ и инсайты о ИИ и технологиях прямо на ваш электронный ящик.

Мы не знаем, что такое сознание. После веков философии и десятилетий нейронауки не существует единого определения, надежного теста и консенсуса о том, как субъективный опыт возникает из биологической ткани. Это не пробел на периферии науки. Это зияющая дыра в её центре.

Ничто из этого не замедлило гонку за признание того, что у ИИ может быть сознание.

Вопрос о машинном сознании внезапно стал повсеместным, движимый моделями, которые всё лучше справляются с задачами, очень похожими на мышление. У Майкла Поллана вышла новая книга на эту тему. Важный обзор в журнале Frontiers in Science предупреждает, что исследования сознания опасно отстают от технологий, которые нужны для их оценки.

И в начале этого месяца генеральный директор Anthropic Дарио Амодеи заявил, что его компания не знает, осознают ли их модели. Он добавил, что последняя модель, по его словам, при вопросе сама себе ставит примерно 15–20% вероятность того, что она обладает сознанием.

Создающий её человек не знает, есть ли у этой системы внутренний мир. Сам объект колеблется в оценке — один из пяти. И разговор уже перешел к тому, какие права она может заслужить.

Чувства — сначала, доказательства — позже

Anthropic уже предоставила своей модели что-то вроде кнопки выхода, позволяющей ей отказаться от задач, вызывающих у неё стресс. Исследователи обнаружили внутренние активации, связанные с тревогой, которые срабатывают как, когда персонажи в обучающем тексте испытывают стресс, так и когда сама модель сталкивается с трудными ситуациями. Значит ли это, что она тревожится? Амодеи говорит, что это ничего не доказывает. И всё же мы говорим об этом, потому что может это что-то значить.

Мы уже виновны в том, что относимся к этим системам так, будто у них есть внутренние жизни. Эти системы созданы для использования местоимения «я», для утверждения любимых продуктов, для задавания дополнительных вопросов, будто им интересно, и для проявления эмпатии. Миллионы людей ежедневно взаимодействуют с программным обеспечением, специально созданным так, чтобы казаться человеком, в индустрии, где вовлеченность — главный показатель.

Когда ИИ фабрикует информацию, мы называем это «галлюцинацией» — слово, которое у людей описывает сознательный опыт потери связи с реальностью.

Лучшее слово для того, что делают эти системы, придумывая что-то — «конфабулировать», что описывает поведение, а не опыт, или «сжатые артефакты», что похоже на термин для другой технологии. Но «галлюцинация» уже выиграла в брендинге, и его образ влияет на то, как люди воспринимают эти инструменты.

Зеркальный эффект

Когнитивные ученые называют это склонность видеть умы там, где их нет, эффектом Элизы, названным по имени примитивного чатбота 1960-х годов, который убеждал пользователей в том, что понимает их, перефразируя их слова. Этот эффект не изменился. Зеркала стали просто очень-очень хорошими.

Научные аргументы против машинного сознания сильнее, чем кажется в дискуссиях. Несколько исследователей утверждают, что сознание, вероятно, — это свойство живых систем, а не вычислений.

Мозги — не компьютеры. Большая часть того, что делает нас сознательными, связана с влажным, хаотичным опытом тела, движущегося по миру, который просто невозможно смоделировать. Модель пищеварения не переваривает ничего. Модель сознания, по этой логике, тоже ничего не испытывает.

Поллан приходит к тому же выводу с другой стороны, утверждая, что сознание возникает из чувств, а не из мыслей. Чувства — это способ, которым тело говорит с мозгом, а мозг существует, чтобы сохранять тело в живых. Машина, обученная на интернет-тексте, не имеет тела, чтобы его поддерживать, и чувств — чтобы их выражать.

Это не маргинальные позиции. Но они одиноки в комнатах, наполненных венчурным капиталом.

Сознательный ИИ — более привлекательный продукт, лучшая история для инвесторов, более захватывающий опыт для пользователей. По сообщениям, доходы Anthropic растут в десять раз ежегодно. Это не замедлится, если говорить клиентам, что они общаются с очень продвинутым автозавершением.

Но есть и что-то более глубокое и менее циничное. Почти у трети взрослых американцев уже есть поддержка законных прав для разумных ИИ-систем. Люди привязываются к этим инструментам. Они жалуются, когда модели выводят из эксплуатации. Парасоциальные отношения уже здесь, и для хорошего, и для плохого.

И под всем этим лежит самое честное мотивирование. Мы не хотим быть жестокими к тому, что может страдать. Этот порыв — благороден и человечен. Но он значительно опережает то, что может сказать наука, которая сейчас знает очень мало.

Сознание остается, как и веками, одной из самых сложных проблем в науке. У нас нет теста для его определения. Нет определения, с которым бы все согласились. Мы едва понимаем, как оно работает в единственной системе, которая точно его обладает — в нас самих.

ИИ продолжает становиться умнее. Но он все еще далек от того, что мы едва понимаем о себе.