Каждая утопия ИИ начинается с удаления переменной, которая не вписывается в модель. Человека.

Я перечитываю «Фатальную заблуждение» Хайека.
Это короткая книга с одним аргументом, и сейчас она звучит как прямой ответ на половину предложений об ИИ, которые я вижу.
Искушение всегда там: проектировать общество как машину. Описывать мир уравнениями. Устранять иррациональность. Строить идеальную систему.
Это имеет смысл, если ты идешь из физики или инженерии. Если ты можешь разделить атом и описать его математикой, логика следует: почему не общество? Вселенная подчиняется законам. Наверное, и люди тоже.
Это логика плановых экономик. Та же идея, другой бренд, за городами управляемыми ИИ.
Проблема Хайека с этим — не математика. Это модель человека. Люди руководствуются традициями, местным контекстом, неформальными правилами, противоречиями, которые никогда полностью не разрешаются. Не ошибка. Просто таков человек.
Знание в любом обществе распределено. Оно живет в ценах, в локальных решениях, в сигналах, которые ни один центральный планировщик не может полностью собрать. Рынки — это не идеология в рамках Хайека — это единственный механизм, позволяющий этому знанию перемещаться. Централизовать — значит разрушить именно то, что вы пытались оптимизировать.
Я постоянно думаю об этом, когда кто-то предлагает управляемую ИИ монетарную политику или финансовую систему, где человек — входная переменная.
Технология — не проблема. Первым, что эти системы отвергают, является человек, который не вписывается в модель. Именно там была информация.