Нещодавно бачив інтерв’ю засновника DeepMind Hassabis на YC, де він висловив кілька дуже пронизливих думок. Він сказав, що якщо зараз запустити десяти- або більше років технологічний проект, потрібно враховувати появу AGI у процесі планування. Це не звучить як паніка, його особистий часовий графік — приблизно 2030 рік.

Коли слухаєш його про технічні деталі, стає зрозуміло, чому AGI ще потребує одну-дві частини головоломки. Масштабне попереднє навчання, RLHF, ланцюги мислення — ці технології вже підтверджені, він впевнений, що вони стануть частиною кінцевої архітектури AGI. Але питання безперервного навчання, довготривалого мислення, деяких аспектів пам’яті ще не вирішені. Зараз основний підхід — просто вставляти все у контекстне вікно, що досить грубо. Він навів приклад: вікно на мільйон токенів здається великим, але для обробки потокового відео в реальному часі його фактично вистачає лише на 20 хвилин даних. Щоб система могла зрозуміти ваше життя за один-два місяці, цього недостатньо.

Проблема з логікою ще цікавіша. Він часто використовує гру Gemini для спостереження і помічає, що іноді вона усвідомлює, що хід поганий, але не може знайти кращого варіанту, і все одно робить цей поганий хід. Точна система логіки не повинна так працювати. Саме тому з’являється так званий «зубчастий розум» — здатність розв’язувати задачі рівня золотої медалі IMO, але при цьому її легко засмутити через просту шкільну математику.

Що стосується агентів, він чесно зізнається, що ми тільки починаємо. Щоб досягти AGI, потрібна система, яка може активно вирішувати ваші проблеми — це шлях агентів. Але зараз це ще на рівні експериментів, у більшості випадків це просто додатковий інструмент. Він зазначив, що ще не бачив, щоб хтось використовував AI для створення AAA-ігор, які б піднялися на вершини рейтингу додатків — за нинішніх обчислювальних ресурсів і інструментів це теоретично можливо, але ще не сталося. Це свідчить про те, що щось у процесі або інструментах ще не так. Він очікує, що за 6-12 місяців з’являться такі результати.

Цікаво, що малі моделі змінюють усі правила гри. Їхня модель Flash може досягати 95% ефективності передових моделей, але коштує в десять разів менше. Метод дистиляції, який вони використовують, був винайдений DeepMind і досі залишається найкращим у світі. Вони мають величезний стимул до оптимізації — кожен продукт Google інтегрує Gemini, що охоплює мільярди користувачів. Це означає, що потрібно дуже швидко, дуже ефективно і дуже дешево. Він не вважає, що вже досягнуто межі інформаційної теорії: після випуску передової моделі її можливості за півроку або рік можна буде зменшити до моделей, що працюють на крайових пристроях.

Щодо застосувань у науці, прогрес Isomorphic Labs дуже хороший, AlphaFold — лише один етап у процесі відкриття ліків. Їхня кінцева мета — створити повністю віртуальну клітку, повнофункціональний імітатор клітин, до якого можна застосовувати збурення. Вони оцінюють, що до створення повної віртуальної клітини ще приблизно десять років, зараз починають з віртуального ядра клітини.

Найкорисніша порада для підприємців — складні проблеми і прості проблеми за рівнем складності насправді схожі, лише способи їхнього розв’язання різні. Життя обмежене, тому краще вкладати зусилля у те, що нікому більше не під силу зробити, якщо ти цього не зробиш. Крім того, у найближчі роки міждисциплінарні комбінації стануть ще поширенішими, AI зробить міждисциплінарну роботу легшою. Але найголовніше — серйозно ставитися до графіка розвитку AGI, уявляти, яким цей світ стане, і створювати щось, що залишиться корисним, коли цей світ настане.