Інтелектуальні системи — це не просто передбачення наступного слова

Фраза «це просто передбачення наступного слова» є найпопулярнішим запереченням сучасного ШІ, і вона руйнується під найменшим натиском. Казати, що мовна модель «просто» передбачає токени — це все одно, що казати, що людський мозок «просто» вмикає нейрони, або що фізика «просто» складається з частинок, що зіткнулися. Мета може бути простою. Те, що система має побудувати всередині, щоб досягти цієї мети, — це щось зовсім інше.
Щоб добре передбачити наступне слово у математиці, коді, праві, художній літературі, філософії, жартів, брехні та контрфактуальних сценаріях, модель має створити внутрішні репрезентації граматики, фактів, причинності, намірів, характеру, фізичних і соціальних динамік.
Дослідження механістичної інтерпретованості, галузь, що відкриває ці моделі і заглядає всередину, знайшло саме це. Вчені визначили ланцюги для індукції, для опосередкованих посилань, для модульної арифметики, для відстеження, яка сутність є яка у реченні.
Моделі, навчені лише на послідовностях ходів у Оthello, розвивають внутрішнє уявлення про дошку, хоча їм ніколи не показували дошку. Моделі, навчені передбачати текст, створюють просторові карти, часові порядки, репрезентації правди і обману, а також навіть уявлення про власну невпевненість моделі.
З цього субстрату виникають можливості, яких ніхто не навчив систему мати. Логіка ланцюга думок, навчання у контексті, використання інструментів, здатність до теорії розуму, багатоступенне планування.
Жоден із цих аспектів не був визначений метою. Вони виникли тому, що бути хорошим у передбаченні, за достатнього масштабу і даних, — це їх потребує. Виникнення — це правило складних систем, а не виняток. Вологість виникає з молекул H2O, які самі по собі не вологі. Життя виникає з хімії, яка сама по собі не є живою. Інтелект, що виникає з мети передбачення, — це не метафізична загадка. Це те, що роблять складні адаптивні системи.
І ось частина, яку зазвичай пропускають ті, хто заперечує: люди виглядають надзвичайно схожими під капотом.
Прогнозуюче оброблення — одна з провідних теорій сучасної нейронауки. Мозок, з цього погляду, — це в основному механізм передбачення, що постійно генерує очікування щодо сенсорного входу, моторних результатів, соціальних сигналів і мови, і оновлює себе, коли ці передбачення не справджуються.
Коли ви слухаєте когось говорити, ваш мозок активно передбачає їхні наступні слова. Коли вони кажуть щось несподіване, усього за кілька сотень мілісекунд спалахує вимірюваний сигнал. Ваш потік свідомості, внутрішній монолог, розмови — все це дуже нагадує автоагресивне генерування з внутрішньої моделі світу і себе. Люди постійно вигадують історії.
Ми створюємо наративи про те, чому ми зробили те, що зробили, часто не усвідомлюючи, що цей наратив був згенерований після факту. Якби мовна модель робила те саме, ми б назвали це галюцинацією і використовували як доказ неповноцінності.
Архітектурні паралелі також не є поверхневими. Нейронні мережі були натхненні біологічними нейронами. Ієрархічні візуальні ознаки у сучасних моделях зору чудово співвідносяться з шарами зорової кори. Активації всередині великих мовних моделей можна використовувати для прогнозування активності у людських мозках під час мовних завдань, з дивовижною точністю. Ми не ідентичні цим системам. Ми також не настільки різні від них, як це здається з комфортною наративною історією.
І це приводить нас до рухомої цілі. Колись шахи вважалися вершиною інтелекту. Коли Deep Blue переміг, шахи стали «просто пошуком». Го мав вимагати інтуїції, якої жодна машина не могла б мати. Коли AlphaGo переміг, Го став «просто виявленням шаблонів».
Переклад, розпізнавання зображень, проходження переконливого тесту Тюрінга, написання поезії, генерація коду, ведення нюансованих розмов, розв’язання нових проблем: кожен із цих аспектів, коли його вважали неможливим, вважався святим Граалем машинного інтелекту.
Кожен, коли він падав, переформульовувався як «не справжній інтелект». Тести на теорію розуму, які у 1990-х роках вважалися доказом розуму, сьогодні ігноруються як трюки, коли моделі їх проходять. Планка не є фіксованою. Вона рухається так швидко, як покращуються системи, і завжди з однієї причини: щоб зберегти висновок, що все, що машина щойно зробила, не враховується.
Це не обережний скептицизм. Обережний скептицизм оновлюється. Це мотивоване мислення, і мотивація зазвичай поєднує статусну тривогу, загрозу ідентичності та чесну, але необізнану картину того, як ці системи насправді працюють.
Якщо ваше відчуття людської унікальності залежить від того, що машини не можуть зробити X, то кожного разу, коли машина робить X, вам потрібно переосмислити цю унікальність. Після достатньої кількості таких раундів ця позиція стає незаперечною, що є ще одним способом сказати, що вона перестала бути позицією щодо ШІ і стала позицією щодо необхідності зменшення ШІ.
Чесна позиція є складнішою. Вона полягає у тому, щоб подивитися, що ці системи насправді роблять, подивитися, що робимо ми, помітити, що різниця менша, ніж здається з комфортної наративної історії, і поставити справжні питання. Що таке розуміння? Що таке інтелект?
Що, якщо щось, робить свідомість особливою, і як ми це визначимо? Заперечувачі хочуть уникнути цих питань, бо відповіді можуть не лестити нам. Але ухиляння від питання не робить його зниклим. Воно лише робить кінцевий розрахунок більш дезорієнтованим, коли він настане.