Щойно я послухав подкаст Y Combinator з Демісом Хассабісом, і чесно кажучи, деякі його думки щодо AGI і того, чого насправді не вистачає в поточних моделях, справили на мене велике враження. Цей чоловік думає про це довше, ніж майже всі інші, і що дивно — його погляд дуже обґрунтований — без хайпу, просто практична оцінка.

Отже, ось що залишилось у мене в голові: у нас вже є більшість компонентів. Масштабне попереднє навчання, RLHF, ланцюги міркувань — ці елементи майже напевно стануть частиною кінцевої архітектури AGI. Але можливо, залишилось один або два критичних прогалини. Безперервне навчання, довгострокове міркування, системи пам’яті, що не просто заповнюють все в контекстні вікна, як ми використовуємо ізоленту. Його думка? Орієнтовно 2030 рік для AGI, і чесно кажучи, це змінює спосіб, у який потрібно думати про побудову речей сьогодні.

Що мене справді вразило, так це його спостереження щодо поточного стану міркування. Моделі можуть розв’язувати проблеми, що отримують золоту медаль IMO, але провалюються у елементарній математиці залежно від того, як це сформульовано. Є ця проблема «рваного» інтелекту — система бракує чогось у саморефлексії щодо власного процесу мислення. Це наче дивитись, як Gemini грає у шахи, усвідомлюючи, що хід поганий, але все одно його робить, бо не може логічно дійти до кращого варіанту. Таке не має статися у точній системі міркувань.

Щодо агентів, він чіткий: ми тільки починаємо. Усі хайпують на агентів, але справжня робота — зробити їх дійсно корисними, а не просто демонстраціями. Він згадав щось цікаве — ще ніхто не створив топовий AAA-гру з використанням AI-коду. Теоретично можливо з поточними інструментами, але щось ще відсутнє у процесі або самих інструментах. Він очікує побачити цю зміну за 6-12 місяців.

Аналіз дистиляції теж захоплює. Їхня гіпотеза — за 6-12 місяців після випуску передової моделі вони зможуть стиснути її можливості у щось, що працює на пристроях на краю. Моделі швидко досягають 95% передових показників при десятій частині вартості. І ось що найцікавіше — вони ще не досягли теоретичного ліміту інформаційної щільності. Це велике відкриття для можливостей менших моделей.

Щодо наукового прориву, він говорив про те, що він називає «тестом Ейнштейна». Чи можна навчити систему знанням до 1901 року і щоб вона сама вивела спеціальну теорію відносності? Як тільки це працює, ці системи наближаються до справжніх винаходів, а не просто до виявлення шаблонів. AlphaFold був прототипом — тепер це стандарт у розробці ліків. Але ми ще на початковій стадії у більшості галузей.

Радив для засновників у Y Combinator: зосереджуйтеся на проблемах, які можете розв’язати тільки ви. Якщо ви запускаєте глибокотехнічний проект сьогодні, потрібно враховувати AGI у плануванні. Проект на десять років може досягти AGI посередині. Не створюйте щось, що стане застарілим; створюйте щось, що залишиться цінним у світі з AGI. Подумайте, як спеціалізовані системи, такі як AlphaFold, інтегруватимуться з універсальними моделями як інструментами, а не все в одному масивному моделі.

Ще одна річ, що мене зачепила — він говорив про те, що міждисциплінарна робота стане легшою з AI, і нам потрібно припинити думати про все як про один єдиний мозок. Спеціалізовані інструменти співіснуватимуть із загальними системами. Це, ймовірно, та рамка, про яку варто думати, якщо ви щось будуєте сьогодні.