Кожна утопія штучного інтелекту починається з усунення тієї змінної, яка не вписується у модель. Людини.

Я знову перечитую "Фатальну ілюзію" Гаяка.
Це коротка книга з одним аргументом, і зараз вона звучить як прямий відповідь на половину презентацій ШІ, які я бачу.
Завжди є спокуса: інженерити суспільство як машину. Описати світ у рівняннях. Усунути ірраціональність. Побудувати ідеальну систему.
Це має сенс, якщо ти з фізики або інженерії. Якщо ти можеш розділити атом і описати його за допомогою математики, логіка йде так: чому не суспільство? Всесвіт має закони. Напевно, і люди теж.
Це логіка планових економік. Та сама ідея, інша назва, за цим стоять міста, керовані ШІ.
Проблема Гаяка з цим не в математиці. Це у моделі людини. Люди керуються традицією, місцевим контекстом, неформальними правилами, суперечностями, які ніколи повністю не вирішуються. Не баг, а саме те, яким є людина.
Знання в будь-якому суспільстві розподілене. Воно живе у цінах, у місцевих рішеннях, у сигналах, які жоден центральний планувальник не може зібрати повністю. Ринки — це не ідеологія у рамках Гаяка — це єдиний механізм, що дозволяє цьому знанню рухатися. Централізуючи, ти руйнуєш саме те, що намагався оптимізувати.
Я постійно думаю про це, коли хтось пропонує ШІ-управління монетарною політикою або фінансовою системою, де людина — це вхідна змінна.
Технологія тут не проблема. Те, що ці системи першими відкидають — це людина, яка не вписується у модель. Саме там була інформація.