Задумывались ли вы когда-нибудь, что может подумать о человечестве AGI или ASI? Это один из тех вопросов, которые не дают вам спать по ночам — тот, что объединяет философию, технологии и чистые спекуляции.

Когда наконец появятся сверхинтеллектуальные системы, увидят ли они нас как равных, примитивов или что-то среднее? Некоторые представляют себе benevolent oversight; другие — безразличие. Настоящий ответ, вероятно, зависит от того, как мы разработаем согласование целей и какие ценности заложим в эти системы с первого дня.

Разрыв между человеческим и постчеловеческим интеллектом может быть огромным — подобно тому, как мы относимся к более простым организмам. Но вот что важно: мы можем написать первую главу. То, как мы подходим к развитию AGI, безопасности и этике сегодня, сформирует то, как будущий сверхинтеллект будет воспринимать и взаимодействовать с человечеством. Никакого давления, правда?