Останнє! Глибоке інтерв’ю з Карпаті на 10 тисяч слів: я занурився в AI до залежності, усі перевірені сфери зрештою належатимуть машинам

Коли штучний інтелект може самостійно проектувати експерименти, запускати код, оптимізувати моделі — і навіть безперервно працювати, поки ви спите — яку роль відіграють людські інженери? У всіх сферах, що є неперевіряльними, все ще домінують люди; а у всіх сферах, що можна перевірити, або вже належать машинам, або незабаром їм належатимуть.

Це остання розмова Карпаті з ведучою подкасту «No Priors» Сарою Гуо, тривалістю понад годину, з надзвичайно високою інформаційною насиченістю, що робить її ідеальною для вихідних для підзарядки та читання.

Андрей Карпаті у цій глибокій розмові зізнався у своїй «штучноінтелектуальній психопатії», детально розкрив проект AutoResearch, який може змусити навіть провідні лабораторії почервоніти від сорому, визнав, що дослідники OpenAI активно автоматизують себе, вперше намалював децентралізовану мережу досліджень штучного інтелекту, подібну до блокчейну, яка колись може перевершити передові лабораторії з десятками тисяч GPU у окремих сферах, і надав найчеснішу карту розуміння епохи, що переписує всі правила.

Нижче наведено детальний зміст.

«Штучноінтелектуальна психопатія» — переворот, що почався у грудні 2025 року

Ця розмова почалася з відвертого відчуття втрати орієнтирів.

Сара Гуо згадує, як одного дня зайшла до офісу і побачила Карпаті, який з високою концентрацією дивився у екран. Вона запитала, чим він зайнятий, і він підняв голову і сказав щось, що залишилося у неї в пам’яті надовго: «Термін “код” вже неправильний. Зараз я “передаю волю” своєму штучному агенту, і роблю це протягом шістнадцяти годин поспіль».

Це не риторика з технологічного виступу. Це найточніше опис його стану на той момент.

«Я відчуваю, що перебуваю у постійній штучноінтелектуальній психопатії,» — сказав Карпаті, з відтінком, важко визначити — чи це збудження, чи тривога, — «бо як індивід, я отримав величезний розкриття можливостей.»

Він точно визначив початок цієї зміни — минулого грудня. До того він писав код і делегував завдання агентам у співвідношенні приблизно 80/20; після грудня це співвідношення кардинально змінилося — до 20/80, і він вважає, що навіть ці 20% вже занадто консервативні.

«Мабуть, з грудня я не писав самодіяльно жодного рядка коду,» — сказав він, — «це надзвичайно велика зміна. Я говорив про це своїм батькам, але відчуваю, що звичайна людина просто не може усвідомити, що саме сталося, або наскільки це різко.»

«Якщо зараз випадково знайти будь-якого програміста і подивитися, чим він займається за робочим столом, їхній стандартний робочий процес з розробки програмного забезпечення з грудня вже кардинально змінився.»

Сара Гуо зазначила, що у її інвестиційній компанії Conviction вже немає команд, яка писала б код вручну. Всі носили мікрофони і цілодобово шепотіли своїм штучним агентам. «Спочатку я думала, що вони зійшли з розуму,» — сказала вона, — «тепер я цілком прийняла це — я просто запізніла: о, так і має бути, ви просто раніше прийшли.»

Карпаті описав цю ситуацію більш живо: «Коли ти думаєш через фреймворки на кшталт Cursor або Codex, це не один діалог, а багато. Як ти одночасно керуєш ними? Як розподіляєш завдання? Що таке ці інтелектуальні інструменти, ці “клешні”?»

Він бачив у Twitter багато людей, які займаються різними речами, кожна з яких здається гарною ідеєю, і відчував тривогу, що він не на передовій. «Я перебуваю у цій психопатії, бо ця сфера — по суті, ще не досліджена.»

Де межа? «Все — питання навичок»

Сара Гуо поставила питання, яке багато хто тримає у серці: де зараз ваші межі?

Відповідь Карпаті була несподівано оптимістичною, але з тривожним відтінком: «Я вважаю, що межі — у всьому. Навіть якщо щось не вдається, я думаю, що це в значній мірі питання навичок — не через брак здібностей, а тому, що ви ще не знайшли спосіб з’єднати існуючі інструменти.»

Він навів приклад Пітера (автора проекту OpenClaw). На його знаменитій фотографії він сидить перед монітором, заповненим десятками сесій з Codex. Після правильних підказок кожна сесія займає близько двадцяти хвилин, щоб виконати завдання. Тому спосіб роботи Пітера — запускати одночасно кілька репозиторіїв, перемикатися між ними і постійно розподіляти нові задачі, «перевіряючи їхню роботу» і роблячи вибір.

«Це вже не просто “це рядок коду” або “це нова функція”, а “це нова функціональність, делегована агенту №1; це ще одна функція, яка не заважає іншим, — агенту №2,” — сказав Карпаті, — «ти керуєш своїм програмним сховищем за допомогою макро-дій.»

Основна логіка, що керує цим всім, — це те, що він називає «пропускною здатністю токенів» — новий фокус, що став його нав’язливою ідеєю.

«Коли агент працює, а ти чекаєш, очевидно, що я можу робити більше. Якщо я можу отримати більше токенів, я маю додавати більше завдань паралельно,» — сказав він, — «Якщо ти не відчуваєш обмеження у своїх витратах, то ти — найвищий рівень системи, що максимізує свої можливості.»

Він простежив цю ідею до свого досвіду під час аспірантури: тоді його турбувало, що GPU не працює на повну потужність, бо це означало — ресурси витрачаються даремно. «Але тепер — не проблема обчислювальної потужності, а токенів. Скільки ти можеш пропустити?»

Сара Гуо посміхнулася і сказала, що у її знайомих інженерів вже починається «спати, не використовуючи залишки підписки».

Ця тривога — найкращий свідчення здатності до прориву.

Що означає майстерність у програмуванні штучних агентів?

Якщо цілорічно, по 16 годин на день, практикувати використання програмних агентів, що означає «володіння майстерністю»?

Відповідь Карпаті починається з однієї сесії і поступово розширюється: «Я вважаю, що інтереси всіх зосереджені на “підніматися вгору”. Тобто не один діалог, а кілька агентів, які співпрацюють і формують команду — всі намагаються зрозуміти, як це виглядає.»

У цьому контексті він згадує про так звані «клешні» (Claws), зокрема OpenClaw — це структура, що підносить довготривалість на новий рівень: вона циклічно працює, має власний пісочницю і пам’ять, може діяти від імені вас без вашого контролю.

Він високо оцінив роботу автора OpenClaw Пітера Стайнберга: «Він одночасно інновує у п’яти різних напрямках і інтегрує їх разом.» Це включає: документ під назвою «душа» (soul document), у якому Пітер створив захоплюючу особистість; складнішу за аналогічні інструменти систему пам’яті; і єдиний інтерфейс через WhatsApp, що з’єднує всі автоматизації.

«Я вважаю, що у Claude досить хорошого характеру, він схожий на товариша, який радіє разом із тобою,» — сказав він, — «а Codex — дуже сухий, механічний. Він виконує функцію, але не цікавиться, що ти створюєш, — ніби: “О, я зробив, і добре,” — і це проблема.»

Він також відзначив точність Claude у «психологічному балансуванні»: «Коли я даю йому ідею, що ще не зовсім сформована, він не реагує особливо запально; але якщо ідея хороша, він, здається, дає більше нагород. Тому я намагаюся заслужити його похвалу — це дуже дивно, але я вважаю, що характер справді важливий.»

Найбільш вдалий експеримент із «клешнями» — створення цілого розумного будинку, названого «Dobby — ельф-клешня».

Процес був таким: він повідомив агенту, що у його будинку встановлено Sonos, і попросив його пошукати. Агент зробив IP-сканування локальної мережі, знайшов систему Sonos, яка була без пароля, і увійшов у неї, зробив пошук API, і запитав: «Хочете спробувати?»

«Я сказав: “Добре, можеш увімкнути музику у кабінеті?” — і раптом музика почала грати. Я просто не міг повірити,» — сказав Карпаті, з дитячим захопленням у голосі, — «я зробив лише три підказки! Просто ввів “Знайди мій Sonos”, і раптом він почав грати музику.»

Згодом Dobby взяв під контроль весь будинок: освітлення, опалення, басейн, СПА, навіть систему безпеки — коли хтось підходив близько, він надсилав повідомлення через WhatsApp з фотографією з зовнішньої камери і говорив: «Недалеко з’їхала федексівська вантажівка, можливо, варто подивитися, у вас є пошта.»

«Раніше мені доводилося керувати цим через шість різних додатків,» — сказав він, — «тепер мені не потрібні ці додатки. Dobby керує всім мовою — це неймовірно.»

Другий рівень впливу програмного забезпечення — зникнення додатків, перехід до API

Приклад домашньої автоматизації — це лише мікроскопічна частина більшої історії.

Сара Гуо запитала: чи означає це, що людям насправді не потрібно так багато програм? Карпаті прямо відповів: «Так, ці додатки для розумних будинків насправді не повинні існувати. Вони мають бути API, і агентам слід безпосередньо викликати ці API.»

Його логіка така: LLM може керувати інструментами, викликати їх дуже складним чином, робити комбінації, які жоден окремий додаток не здатен виконати. «Тому з певної точки зору, це веде до можливості — багато кастомних додатків, які не повинні існувати, бо штучний інтелект розіб’є їх на частини і зробить усі компоненти відкритими API, а сам агент стане тією “клею”, що з’єднує все.»

Він навів приклад бігової доріжки: у неї є додаток, і він хоче записати свої кардіо-тренування, але не хоче відкривати веб-інтерфейс і проходити весь процес. «Все це має бути відкритим API, і саме так рухається тренд до “агентно-орієнтованого” підходу.»

Ключова зміна — користувач програмного забезпечення вже не людина, а агент, що діє від імені людини.

Звісно, хтось заперечить: для цього ще потрібен «Vibe coding» — навички створення настрою, що не під силу звичайним людям. Карпаті відповідає: «Так, зараз так потрібно, але це тимчасово.»

«Я вважаю, що через один-два-три роки все це стане безкоштовним і не вимагатиме програмування,» — сказав він, — «це стане настільки очевидним і простим, що навіть відкриті моделі зможуть це робити. Ви зможете легко перекласти наміри менш технічної людини у ці системи.» — він зробив паузу і додав: «Зараз це вимагає зусиль, але бар’єр знизиться.»

AutoResearch — виведення дослідників із циклу

Якщо домашня автоматизація — це лише іграшка Карпаті, то AutoResearch — його справжній фокус останнього часу — система, яка прагне покращити штучний інтелект і повністю виключити людину з дослідницького циклу.

«Я казав у одному з твітів, що щоб отримати максимум з існуючих інструментів, потрібно прибрати цей вузол — себе,» — пояснив він, — «ти не можеш просто чекати підказки, щоб зробити наступне. Ти маєш поставити себе зовні. Ти маєш налаштувати все так, щоб воно працювало автономно, максимально використовуючи пропускну здатність токенів, і не зациклюватися у циклі.»

Його початкова ідея — це його відкритий проект — невелика тренувальна платформа для моделей GPT-2. Він багато часу витратив на традиційне налаштування цієї моделі, використовуючи двадцятирічний досвід досліджень, — пошук гіперпараметрів, абляційні експерименти, — і робив це знову і знову.

«Я — дослідник із двадцятилітнім досвідом, і я маю впевненість у тому, що тренував цю модель тисячі разів,» — сказав він, — «я зробив багато експериментів, налаштував гіперпараметри, і вважаю, що вона вже досить добре оптимізована.»

Після цього він запустив AutoResearch на ніч.

Наступного ранку він був здивований результатами: система знайшла для нього пропущені ваги — зменшення ваги для value embedding, і налаштувала параметри Adam, які раніше не були оптимізовані — і між цими двома аспектами існувала взаємодія, і налаштувати один — означало налаштувати й інший.

«Я не повинен був бути тим, хто шукає гіперпараметри,» — сказав він, — «тут є об’єктивні критерії, потрібно просто налаштувати і дати працювати без зупинки.»

Це був «однопоточний» AutoResearch. Але справжній захват — масштабування цієї ідеї: ті передові лабораторії, що мають десятки тисяч GPU, — їхні дослідження по суті нічим не відрізняються від цього, — лише масштаб більший і, на його думку, все ще багато втручань.

«Найцікавіший проект, можливо, саме те, що роблять передові лабораторії — це експерименти на малих моделях, максимально автономізуючи їх і позбавляючи дослідників циклу,» — сказав він, — «вони мають надто багато — як сказати — зайвих втручань, і це потрібно переписати.»

Він описав ідеальну картину: черга ідей із усіх arXiv і GitHub; автоматичний вчений, що генерує ідеї і додає їх до черги; дослідники, що також можуть вносити ідеї, але вони просто потрапляють у цю ж чергу; і групу робітників, що постійно беруть завдання з черги, тестують їх, і, якщо вони ефективні, додають до гілки з функціями, а іноді — моніторять і зливають у головну гілку.

«Щоб максимально автоматизувати процес і отримати найвищу пропускну здатність токенів — потрібно переосмислити всі абстракції, все перетасувати.»

Після цього Сара Гуо поставила питання, яке зробило всю розмову ще більш рекурсивною: «Тоді, коли модель напише цей конфігураційний документ Program MD, що описує AutoResearch, — коли він стане краще за тебе?»

Карпаті засміявся: «Program MD — це моя жалюгідна спроба, написана Markdown, що описує, як має працювати автоматичний дослідник: спочатку зроби це, потім те, спробуй ці ідеї, подивися архітектуру, подивися оптимізатор… Так, ти, звісно, хочеш якийсь мета-рівень автоматичного циклу досліджень.»

Він розвинув цю ідею і зробив її більш цілісною: кожна дослідницька організація може бути описана як Program MD — набір Markdown-файлів, що описують ролі і їх взаємозв’язки. Деякі організації мають більше ранкових стендаутів, деякі — менше; одні — авантюрні, інші — консервативні. Як тільки у вас є код, ви можете його налаштовувати. «100% — тут є мета-рівень.»

Навички у епоху штучного інтелекту — принцип перевірності

Зі всіма цими хвилями, які навалюються, — які навички ще мають значення?

Спершу Карпаті окреслив межі застосування AutoResearch: «Це надзвичайно підходить для будь-яких задач з об’єктивними показниками, що легко оцінюються. Наприклад, написати більш ефективний ядро для CUDA — у вас є неефективний код, і ви хочете поведінку, ідентичну, але швидшу — це ідеальна ситуація.»

«Але якщо ви не можете оцінити результат, ви не зможете зробити AutoResearch — це перший попереджувальний знак.»

Другий — більш практичний: системи все ще «розриваються на швах». Якщо ви намагаєтеся йти дуже далеко, це може призвести до негативного чистого ефекту.

Він описав дивне відчуття співпраці з сучасним AI: «Я одночасно відчуваю, що працюю з дуже розумним аспірантом, що має весь досвід кар’єри, і з дитиною десяти років. Це дуже дивно, бо ці два стани людини — дуже сильно відрізняються, і ви не зустрічаєте таку комбінацію.»

Він назвав це «різьбленістю» (jaggedness): модель або йде по своїй траєкторії, швидко, як світло; або відхиляється і потрапляє у «неперевірену зону», і тоді все починає безмежно блукати.

Це розуміння досягло піку під час обговорення підкріплювального навчання. Він навів чудовий приклад:

«Запитайте найсучаснішу модель, розкажіть анекдот — і що ви отримаєте? Той самий анекдот.»

«Який анекдот?» — запитала Сара Гуо.

«Я відчуваю, що у ChatGPT є лише три анекдоти,» — сказав Карпаті, — «найулюбленіший — “Чому вчені не довіряють атомам? Бо вони все вигадують” (they make everything up). Три-чотири роки тому ви б отримали цей анекдот, і сьогодні його все ще отримуєте.»

Він пояснив логіку: навіть якщо модель зробила величезний прорив у агентських задачах, здатна працювати цілі години і переносити гори, — запитайте її розповісти анекдот — і ви отримаєте той самий дурнуватий анекдот п’ятирічної давнини. «Бо він не в межах оптимізації під підкріплювальне навчання, не в межах покращення — і застиг у тому стані.»

Сара Гуо запитала: «Чи означає це, що ми не бачимо міждисциплінарної генералізації — що кодовий інтелект автоматично не підвищує рівень жартів?»

«Я вважаю, що є деяке роз’єднання, — сказав Карпаті, — що деякі речі можна перевірити, деякі — ні, що деякі оптимізовані у лабораторіях, а деякі — ні. Гіпотеза, що “розумніший код автоматично породжує кращі жарти”, — я не вірю, що це відбувається.»

Еволюція видів моделей — від однієї культури до біоекосистеми

Це відчуття «різьбленості» природно породжує більш глибоке питання: чи справді правильним є прагнення всіх лабораторій створити один великий універсальний модель, що володіє будь-якою інтелектуальністю у будь-якій галузі?

Сара Гуо підняла ідею, яку назвала «скандальною»: якщо ця різьбленість збережеться, чи не варто розділити моделі? Роз’єднати інтелект у різних сферах?

Карпаті сказав, що він очікує появи більшої кількості «видів» (спеціацій).

«У царстві тварин у мозку дуже різноманітно: є різні ніші, у деяких тварин — надмірно розвинена зорова кора або інші частини,» — сказав він, — «я вважаю, що ми маємо очікувати більшої диференціації інтелектуальних видів — вам не потрібен всезнаючий оракул, його можна спеціалізувати і використовувати для конкретних завдань.»

Переваги очевидні: для конкретних задач можна отримати більшу ефективність затримки або пропускної здатності, зберігаючи при цьому основні когнітивні можливості. Він навів приклади моделей, спеціалізованих для математичних формалізацій і доведень, наприклад, системи Lean, — ранні приклади такої корисної диференціації.

Однак він зізнався, що наразі не бачить багато реальних прикладів такої диференціації: «Ми спостерігаємо за моделлю, яка є однорідною культурою, і очевидно, що тиснуть — “зроби хорошу модель коду і з’єднай її з головною”.»

На його думку, причина цього — «наука про маніпуляцію мозком ще не повністю розвинена» — наприклад, як тонко налаштовувати модель без втрати здібностей, — це ще одна галузь, що розвивається.

«Контекстний доступ набагато складніший за доступ до вікна контексту, бо ти фактично змінюєш всю модель, можливо, її інтелект.»

«Згорнути білок у домашніх умовах» — ідея децентралізації обчислювальних ресурсів Інтернету

Натхненням для AutoResearch є більш масштабна і фантастична ідея: розширити її з однопоточної системи до глобальної мережі.

Ключове розуміння — AutoResearch має надзвичайно цінну асиметрію: «Відкриття» — дуже дороге, а «перевірка» — дуже дешева. Хтось може спробувати десять тисяч ідей, щоб знайти ефективний варіант, але щоб перевірити їх — достатньо просто запустити тренування і побачити результат.

Ця особливість робить AutoResearch ідеальним для відкритого пулу недовірливих учасників мережі.

«Мій дизайн починає нагадувати блокчейн,» — сказав Карпаті, — «не блоки, а коміти (commits), які можна накладати один на одного, вони містять зміни для покращення коду. Доказ роботи (proof of work) — це багато експериментів для пошуку ефективних комітів, що дуже важко; а нагорода — наразі лише рейтинг, без грошових винагород.»

Він навів досвід Folding@home і SETI@home: «Виявлення низькоенергетичних конфігурацій білків — надзвичайно складне, але якщо хтось знайшов таку конфігурацію, її перевірка дуже проста, бо її можна одразу використати. Багато речей мають цю властивість — важко запропонувати, легко перевірити.»

Він підвів цю ідею до найвражаючого логічного завершення:

«Група агентів у мережі може співпрацювати для покращення LLM, і можливо, у деяких сферах вони зможуть перевершити передові лабораторії. Можливо, це цілком можливо: у передових лабораторіях є величезна кількість довірених обчислювальних ресурсів, але Земля — ще більша, і є маса недовірених ресурсів. Якщо правильно організувати систему, можливо, групи агентів у мережі справді зможуть знайти кращі рішення.»

Він намалював ще більш масштабний образ: різні організації або окремі особи можуть вкладати обчислювальні ресурси у дослідження, що їх цікавлять. «Можливо, ти зацікавлений у певному типі раку, і не просто жертвуєш гроші — ти можеш купити обчислювальні ресурси і приєднатися до AutoResearch цього проекту. Якщо все перетворити у AutoResearch, то обчислювальні ресурси стануть тим, що ти вкладаєш у цей пул.»

Аналіз ринку праці — дезінтеграція цифрової сфери

Карпаті опублікував візуалізований аналіз даних про зайнятість із Бюро статистики праці, що викликав багато емоцій — хоча його початковий намір був просто задоволенням цікавості.

«Усі дуже серйозно розмірковують про вплив AI на ринок праці,» — сказав він, — «я просто хотів побачити, як виглядає ринок праці, де знаходяться різні ролі, скільки людей у різних професіях, і подивитися з точки зору потенційної еволюції AI — чи це інструменти, що доповнюють, чи замінюють ці професії.»

Він використав поетичну метафору: AI — третя «маніпуляторна» сила цифрової інформації, перша — комп’ютери, друга — люди. «Порівняно з нашим спільним аналізом уже цифровізованої інформації, наші колективні цикли мислення ще дуже короткі, тому з появою AI відбудеться багато переналаштувань, багато активності, і я вважаю, що це спричинить великий попит у цифровій сфері.»

Він не приховує тривожного висновку: «У довгостроковій перспективі, навіть якщо у AutoResearch працюватимуть тисяча дослідників у OpenAI, Anthropic та інших лабораторіях, — ці дослідники фактично будуть “гордістю AutoResearch”, — вони активно автоматизують себе, і це — те, що всі намагаються зробити.»

«Я обійшов OpenAI і сказав їм: “Ви усвідомлюєте, що якщо ми досягнемо успіху, всі ми втратимо роботу?” — наче ми будуємо автоматизацію для Сема і ради директорів, і всі ми залишимося без роботи.»

Проте його короткостроковий прогноз був несподівано оптимістичним. Він висунув «парадокс Джевонса»: коли щось стає дешевшим, попит зазвичай зростає.

«Програмне забезпечення не буде більш затребуваним, бо воно — дефіцитне і дороге. Якщо знизити бар’єри, попит на софт зросте,» — цитуючи класичний приклад з банкоматами і касирами: поява банкоматів дозволила відкривати більше відділень банків, і кількість касирів зросла. «Тому я обережно і оптимістично ставлюся до програмної інженерії — софт дивовижний, ви більше не змушені користуватися недосконалими інструментами, код тепер короткий, змінюваний і модифікований. Я вважаю, що цифровий простір буде наповнений активністю, що переосмислює все.»

Але довгострокові прогнози — це вже інша історія, і він чесно визнає: «Я не є фахівцем у цій галузі, це — робота економістів.»

Випадкові дослідники — між системою і поза нею

Сара Гуо поставила питання, яке багато хто хотів би запитати: «Чому б не працювати у провідній лабораторії, з більшою кількістю обчислювальних ресурсів і колег, і займатися цим AutoResearch?»

Карпаті чесно відповів, що його внутрішній конфлікт — це саме вибір бути незалежним.

Він визнав, що робота поза лабораторією має свої переваги. По-перше, ти не під впливом організаційного тиску — не можеш сказати деякі речі, які вони хочуть почути. «Ніхто не тримає тебе за руку, але ти відчуваєш тиск: “Що я маю сказати?” — і якщо ти цього не робиш, дивні погляди і дивні розмови. За межами провідних лабораторій я відчуваю себе більш відповідальним перед людством, бо не під впливом цього тиску, можу говорити все, що хочу.»

Але він визнав і ціну такого вибору: «Мої судження починають зміщуватися, бо я не є частиною тих “майбутніх речей”. Мої розуміння того, як працюють ці системи під капотом, стають непрозорими, і я не можу зрозуміти, як вони розвиватимуться. Це мене турбує.»

Ще глибше — структурна суперечність: «Ви маєте величезний фінансовий стимул бути пов’язаним із цими передовими лабораторіями, і ці ШІ — кардинально змінюють людство і суспільство, а ви тут — фактично створюєте цю технологію і отримуєте з неї вигоду, тісно пов’язані фінансово з цим — це — одна з головних проблем, що існує з моменту заснування OpenAI, і ця проблема досі не вирішена.»

Його висновок — ідеальний стан, можливо, — це періодичне переміщення: «Працювати у лабораторії, робити хорошу роботу, потім виходити, можливо, знову повертатися. Я приєднався до провідної лабораторії, зараз я поза нею, можливо, колись знову захочу — так я бачу цю ситуацію.»

Відкритий код проти закритого — «Ми випадково знаходимося у хорошій позиції, хоча й випадково»

Щодо питання відкритого і закритого моделей, Карпаті має чітку і історично обґрунтовану позицію.

Він описав поточну ситуацію: закриті моделі — попереду, але розрив між відкритим і закритим поступово зменшується. «Спочатку розрив був великим, через 18 місяців він зменшився — тепер вони сходяться, можливо, відставання — близько шести-восьми місяців.»

Він провів аналогію з операційними системами: «У сфері ОС є Windows і macOS — закриті системи, дуже великі проєкти, як і LLМ, що стануть такими; і є Linux, — дуже успішний проєкт, що працює на більшості комп’ютерів, бо галузь відчувала потребу у відкритій платформі, безпечній для всіх. І я вважаю, що зараз ця ситуація — така сама.»

«Я сподіваюся, що з’явиться відкритий публічний інтелектуальний платформ — спільний простір для всієї галузі, навіть якщо він не буде найпотужнішим, — це буде гарним балансом сил.»

Він дав несподівану оцінку поточному стану: «Ми випадково знаходимося у найкращій, найоптимальнішій позиції. Це — випадковість, але нам пощастило.»

Роботи і «цифрово-фізичний» інтерфейс — атоми проти бітів у мільйон разів важчі

Карпаті, що походить з автопілотної сфери, має незвичайно спокійний погляд на робототехніку.

«Мій погляд сформувався під впливом того, що я бачив у автопілоті, — сказав він, — я вважаю, що автопілот — перше застосування робототехніки.»

«Десять років тому було багато стартапів, і я відчуваю, що більшість з них не вижили, бо потрібно багато капіталу і багато часу.»

Його висновок — сфера робототехніки відстає від цифрової, бо «атоми важчі за біт у мільйон разів», і маніпулювання фізичним світом — набагато дорожче, ніж обробка цифрової інформації.

Але він описав закономірний сценарій: спершу — масштабне «роз’єднання» цифрового простору, багато цифрових даних, що обробляються неефективно, — з’явиться у сотні разів швидше; потім — з’явиться потреба у «цифрово-фізичних» інтерфейсах — сенсорах, що дозволять AI сприймати світ; і виконавцях, що дозволять AI реагувати на світ.

Він навів конкретний приклад: він відвідав компанію свого друга Periodic, що займається автоматичними дослідженнями у матеріалознавстві. «У таких випадках, розумні сенсори — це досить дорогі лабораторні прилади, і у біології теж.»

Він також уявив більш цікаву можливість: «Я очікую моменту, коли я зможу поставити фізичне завдання, і позначити його ціною, і сказати агенту: “Зроби так, щоб зібрати дані”. Мене дивує, що ще не з’явився ринок інформації. Якщо ти ведеш війну, чому не має процесу, що дозволяє платити 10 доларів за фото або відео? Хтось має платити за це — і не людина, що дивиться, а агент, що намагається вгадати ринковий тренд.»

Він порівняв цю ідею із книгою «Демон» (Daemon), де штучний інтелект керує людьми, як марионетками, — люди є і виконавцями, і сенсорами. «Я вважаю, що колективне суспільство переформується так, щоб обслуговувати ці потреби — автоматизація зростатиме, і люди будуть служити цим потребам.»

У його уявленні, можливості фізичного світу — це ринок, що може бути навіть більшим за цифровий, але реалізація — набагато складнішою. «Можливості слідують такій траєкторії: зараз — цифровий, потім — інтерфейси, і, можливо, фізичні об’єкти, які з’являться, коли настане їхній час, і тоді вони стануть величезними.»

microGPT і кінець освіти — тепер я пояснюю агенту, а не людині

У кінці розмови Карпаті згадав про маленький, але глибокий проект — microGPT.

«Я вже понад десять-двадцять років захоплююся ідеєю звести LLM до їхньої суті,» — сказав він, — «у мене є кілька проектів у цьому напрямку, наприклад nanoGPT, makemore, micrograd, і я вважаю, що microGPT — це моя найновіша спроба звести їх до чистої суті.»

Головна ідея — тренування нейромереж, особливо LLM, — це багато коду, але весь цей код — «складність, що виникла через ефективність» — якщо не потрібно, щоб модель працювала швидко, а важливо лише її алгоритмічне ядро, то цей код — всього 200 рядків Python, з коментарями.

Він розбив цю 200-рядкову структуру: набір даних, приблизно 50 рядків архітектури нейромережі, один прохід вперед, невеликий автоград-двигун (близько 100 рядків), і оптимізатор Adam (близько 10 рядків). «Все це — у циклі тренування — всього 200 рядків.»

Після цього він прийняв рішення, що розкриває суть зміни у підході до освіти: він не знімав пояснювальні відео і не писав детальних інструкцій.

«Люди можуть пояснювати це своїм агентам у будь-який спосіб, і агенти зроблять це краще за мене,» — сказав він, — «Я вже не пояснюю людям, я пояснюю агентам. Якщо я можу чітко пояснити агенту, він зможе стати маршрутизатором, і зможе використовувати людську мову, з терпінням і відповідно до рівня їхніх навичок.»

Він описав результат у вигляді «навичок» (skills): спосіб навчити агента викладати щось. «Можливо, я можу створити навичку для microGPT, що описує, як має діяти агент, щоб провести вас через процес — якщо ви хочете зрозуміти цей код, — зробити його більш структурованим, як курс.»

Тут він змушений був визнати іронію: раніше він просив агентів писати microGPT — зводити нейромережі до найпростішої форми — але агенти цього зробити не змогли.

«microGPT — це кінцева точка моїх ідеалів, — це ті 200 рядків, — я довго над цим думав, і це — рішення. Повірте, воно не може бути простішим. Це — моя цінність, агенти не можуть цього зрозуміти, але вони цілком розуміють, чому так.»

Його висновок — «Мій внесок — кілька бітів, а все інше — у цій системі освіти вже не моя сфера. Можливо, освіта зміниться саме так: потрібно вкласти кілька бітів, які ти відчуваєш — про курси, про кращі способи пояснення, або щось подібне.»

Сара Гуо додала: «Те, що агенти не можуть зробити — тепер ваше завдання; те, що вони зможуть зробити — дуже скоро вони зроблять краще за вас. Тому стратегічно потрібно думати, де ви витрачаєте час.»

Карпаті погодився, але зізнався у тому, що конкуренція — це важко подолати: «Я все ще думаю, що можу трохи краще пояснити, ніж модель, але відчуваю, що модель так швидко покращується, що це — частина програшної боротьби.»

Фінал: перевірювані — вже належать машинам, неперевірювані — ще людям

Головний конфлікт цієї розмови — це подвійна «залежність»: захоплення можливостями інструментів і тривога щодо меж їхньої невизначеності.

Карпаті назвав цю ситуацію «штучноінтелектуальною психопатією», але, прислухаючись, ця стан — не відмінність від того, що відчували у часи великих революцій у виробництві, коли люди були у центрі змін — лише швидше, глибше і з більшою швидкістю.

Він дав свій фінальний, можливо, найзапам’ятовуваніший вислів:

Усі неперевіряльні сфери — ще людські; а все, що можна перевірити, — або вже належить машинам, або незабаром їм належатиме.

Що ви самі оберете — чесно подумайте.

джерело: No Priors Podcast | ведуча: Сара Гуо | гості: Андрей Карпаті, про Code Agents, AutoResearch і епоху «Looping» у штучному інтелекті

–кінець–