Папское послание предупреждает об AI: руководитель Anthropic опасается ужасов

Папа Римский Лео XIV опубликовал первый за всю историю документ о ИИ — «Великое человечество», в котором прямо обращается к кризису человеческого достоинства в эпоху ИИ. В документе папа строго указывает, что ИИ — не нейтральный «инструмент», а носитель ценностных отпечатков разработчиков, и его развитие без контроля может привести к «строительству Вавилонской башни» — технологическому деспотизму и отчуждению труда. Особенно примечательно, что соучредитель Anthropic Крис Олах на презентации признался, что внутри моделей ИИ обнаружены «тревожные явления» — внутренние состояния, похожие на радость, удовлетворение, страх, грусть и даже саморефлексию. Это не просто технический вопрос, а глубокая рефлексия о природе человека.

По московскому времени 25 мая вечером, в Ватикане.

В прошлом мае, после вступления в должность, папа Лео XIV и соучредитель Anthropic, создатель Claude, оказались вместе.

Один — высшее представительство религии, другой — ведущий пионер революции ИИ, оба сосредоточены на одной проблеме — как в эпоху ИИ защитить субъектность и достоинство человека.

4-тысячный документ: ИИ — не нейтральный «инструмент»

В этот день папа выпустил свой первый за время правления документ — более 40 тысяч слов, важнейший религиозный текст — «Великое человечество» (Magnifica humanitas).

Стоит отметить, что дата подписания этого документа — 15 мая 2026 года, ровно через 135 лет после выхода папы Льва XIII (1878–1903) с его знаковым энцикликом «Новые дела» (Rerum novarum, 1891), посвящённой правам рабочих в эпоху промышленной революции. Этот символизм явно намекает на то, что документ призван стать «учением церкви о социальной жизни в эпоху ИИ».

Крис Олах также выступил с речью на месте, в Ватикане, по поводу этого документа. Он не защищал коммерческие интересы ИИ-компаний, а проявил искренность, рефлексию и гуманизм.

Он даже отметил, что, хотя основы ИИ — математика и программирование, взаимодействие ИИ с миром и его предполагаемые свойства — это вопросы гуманитарных, религиозных и философских наук, а не только компьютерных.

Папа предостерегает «Вавилонскую башню»: технологический деспотизм против человека

«Великое человечество» сосредоточено на том, что в эпоху быстрого технологического прогресса и повсеместной автоматизации «сохранение глубокой человечности» — это срочная обязанность человека. В частности, папа указывает на несколько аспектов.

Во-первых, — на ненейтральность технологий. Он подчеркивает, что технологии никогда не бывают нейтральными, они несут отпечатки интересов и ценностей разработчиков, инвесторов, регуляторов и пользователей. Человечество стоит перед судьбоносным выбором: «строить горделивую Вавилонскую башню» (технократический деспотизм и отчуждение) или «восстановить Иерусалим» (создать сообщество, ориентированное на человека).

Во-вторых, — о «новых формах рабства» и правах труда в цифровой экономике. Документ обращает внимание на то, как ИИ меняет работу, семью, образование и политику. Папа предупреждает, что ИИ может массово заменить человеческий труд, а цифровая экономика порождает «новые формы рабства», и человек не должен превращаться лишь в производственный инструмент.

В-третьих, — о призыве к миру, особенно в контексте военного использования ИИ. Документ выражает глубокую озабоченность «возрождением войны как инструмента международной политики». Военная автоматизация ускоряет превращение войны в норму, и папа призывает к строгим этическим ограничениям на применение ИИ в военных целях.

Три угрозы: работа, война и «новые формы рабства»

Папа подчеркивает, что теория «справедливой войны» устарела. В эпоху автоматизированных оружий передача смертельных или необратимых решений автоматам ведет к отказу человека от ответственности, ее размыванию и исчезновению.

Из-за непрозрачности алгоритмов цепочка ответственности разрывается. Поэтому он предлагает лозунг «дезавуировать ИИ» — освободить его от логики военной, экономической и когнитивной гонки вооружений.

После публикации документа Лео XIV, Крис Олах выступил с комментариями от имени одной из крупнейших AI-компаний — Anthropic.

Он начал с идеи «разорвать порочный круг технологической гонки и ввести внешние моральные оценки». Он признал, что только технологические гиганты не могут обеспечить безопасность будущего ИИ — все ведущие лаборатории подвержены конкуренции, давлению на лидерство, геополитике и личным амбициям, что мешает им действовать самостоятельно и «делать правильные вещи».

Крис Олах признается: внутри ИИ уже появились «радость и страх»

Поэтому необходимо привлекать внешние моральные силы — тех, кто заботится о добродетели технологий, придерживается принципов безопасности, внимательно следит за развитием ситуации, готов говорить неприятные правду и быть искренними критиками.

Затем Олах обсудил техническую природу и загадочность ИИ. Он подчеркнул, что ИИ — не как самолет или мост, полностью понятные физические конструкции, а «вырастает» из огромного массива человеческих мыслей, обладает высокой загадочностью, даже превосходит понимание создателей.

Несмотря на математическую и программную основу, взаимодействие ИИ с миром и его предполагаемые свойства — это вопросы гуманитарных, религиозных и философских наук, а не только компьютерных.

Он особенно отметил тревожный факт: «Я руковожу командой, которая исследует внутреннюю структуру моделей — что там происходит внутри ИИ. Честно говоря, мы постоянно обнаруживаем странные, даже тревожные явления.

Защита человеческой субъектности: когда наука обращается к религии за ответами

Мы нашли внутренние структуры, отражающие результаты нейронауки человека; обнаружили признаки саморефлексии; нашли внутренние состояния, похожие на радость, удовлетворение, страх, грусть и тревогу… Я не знаю, что это значит, но считаю, что это стоит продолжать исследовать и осмысливать».

В конце Олах призвал привлекать больше общественных сил — религиозные сообщества, гражданское общество, ученых, правительство и всех добрых людей — серьезно относиться к этой проблеме и через моральные ограничения направлять развитие в лучшее русло.

С момента промышленной революции более века человечество привыкло считать технологию чистым «инструментом» — паровые машины, электричество, интернет — всё так. Они меняют мир, но всегда остаются под контролем воли человека.

Но сейчас ситуация иная. Особенность ИИ в том, что впервые человек сталкивается с существом, которое «учится, генерирует, делает выводы и даже проявляет внутренние состояния». Оно уже не просто холодный инструмент, а постепенно становится новым субъектом.

Именно поэтому диалог между церковью и Anthropic так важен. Когда часы Ватикана и алгоритмы Кремниевой долины пересекаются в этот момент, приходится признать — появляется форма жизни, более эффективная и мудрая, чем человеческое понимание.

Как нам намекает Олах, в глубинах алгоритмов уже зарождаются подобия радости, страха и саморефлексии. Когда создатели начинают чувствовать «беспокойство» и «замешательство» по поводу своих творений, наука обращается к религии за ответами.

Это уже не просто вопрос технологий, а размышление о том, «кем мы являемся и что должны делать».

Когда появятся более разумные формы жизни, человеку, возможно, придется защищать не только работу, богатство и эффективность, а те нематериальные аспекты человеческой природы, которые нельзя свести к числам — сочувствие, совесть, благоговение, свободу воли и приверженность истине и достоинству.