a16z довгий текст: наступний фронтир штучного інтелекту не у мові, а у фізичному світі — трійний маховик робототехніки, автономної науки та інтерфейсів мозок-комп’ютер

Автор: Oliver Hsu (a16z)

Переклад: DeepWave TechFlow

DeepWave огляд: Ця стаття від дослідника a16z Oliver Hsu — найсистематичніша карта інвестицій у «фізичний ШІ» з 2026 року. Його висновок: основна лінія розвитку мов/коду все ще масштабується, але справжні прориви наступного покоління — у трьох суміжних сферах — універсальні роботи, автономна наука (AI-науковець), інтерфейси мозок-комп’ютер тощо. Автор розбиває їх на п’ять базових здатностей і доводить, що ці три напрямки формують взаємодоповнюючий структурний «фінансовий цикл». Для тих, хто хоче зрозуміти інвестиційну логіку фізичного AI — це найповніша наразі рамка.

Сьогодні домінуюча парадигма AI — організація навколо мов і коду. Закони масштабування великих мовних моделей вже чітко окреслені, бізнес-цикли даних, обчислень і алгоритмів працюють, кожен новий рівень здатності приносить значний і переважно видимий дохід. Ця парадигма виправдовує капітал і увагу, які вона привертає.

Але інші суміжні сфери вже перебувають у стадії суттєвого прогресу. Це, зокрема, моделі VLA (візуально-мовно-дійові моделі), WAM (моделі світових дій), фізична і наукова дедукція, а також нові інтерфейси людина-машина (мозок-комп’ютер, беззвучна мова, нейроноти, нові сенсорні канали, наприклад цифровий нюх). Окрім технологій, ці напрямки вже залучають таланти, капітал і засновників. Технологічна мова для розширення AI у фізичний світ стає зрілою, і за останні 18 місяців ці сфери швидко наближаються до своїх масштабних фаз.

У будь-якій парадигмі, найбільший дельта між поточними можливостями і середньостроковим потенціалом — це місця, де одночасно можна отримати масштабні дивіденди від масштабування (scaling) і де ще потрібно зробити додаткові зусилля для побудови інфраструктури і досліджень. Це створює природний захисний мур для швидких конкурентів і водночас відкриває нові можливості для появи нових здатностей — саме тому, що шляхів ще не пройдено.

Підпис: Взаємозв’язок між сучасною парадигмою AI (мови/коди) і суміжними системами

Зараз цю характеристику мають три сфери: навчання роботів, автономна наука (зокрема матеріали і біологія), і нові інтерфейси людина-машина (мозок-комп’ютер, беззвучна мова, нейроноти, нові сенсорні канали). Вони не є цілком незалежними, їх об’єднує спільна «фізична передова система». Вони поділяють базові примітиви: навчання фізичної динаміки, архітектури для тілесних дій, інфраструктуру симуляції і синтезу даних, розширені сенсорні канали, і замкнуті системи управління агентами. Взаємодія між ними посилює їхні можливості. Це і найімовірніше місце появи якісних проривів — результат взаємодії масштабування, фізичної реалізації і нових даних.

У цій статті розглянемо ці базові примітиви, чому вони — ключові можливості передової сфери, і як їх взаємне посилення формує структурний «фінансовий цикл», що рухає AI у фізичний світ.

П’ять базових примітивів

Перед розглядом конкретних застосувань важливо зрозуміти, які технологічні основи об’єднують ці передові системи. Для перенесення AI у фізичний світ потрібні п’ять головних примітивів. Вони не належать жодній окремій галузі — це компоненти, що дозволяють створювати системи «розширення AI у фізику». Їхня синхронна зрілість і є причиною особливого моменту зараз.

Підпис: П’ять базових примітивів для фізичного AI

Примітив 1: навчання фізичної динаміки та репрезентації

Найбільш фундаментальний — здатність навчити узагальнену, стиснуту модель фізичної поведінки світу: як рухаються, деформуються, зіткнуться об’єкти, як реагують на сили. Без цього кожна система фізичного AI мусить з нуля вивчати фізику своєї сфери — що надто дорого.

Різні архітектурні підходи наближаються до цієї цілі з різних боків. Модель VLA починає зверху: беручи попередньо натреновану візуально-мовну модель — таку, що вже розуміє об’єкти, просторові відносини і семантику мови — додає декодер дій для управління рухами. Головна ідея — зменшити вартість навчання «бачення» і «розуміння світу» за рахунок масштабного інтернет-просвітлення через графічний і текстовий контент. Проекти Physical Intelligence π₀, Gemini Robotics від Google DeepMind, NVIDIA GR00T N1 — підтверджують цю архітектуру на все більших масштабах.

WAM моделі починають знизу: використовуючи відео-дифузійний трансформер, натренований на масштабних відеоданих, що зберігає багатий фізичний пріоритет — як об’єкти падають, ховаються, взаємодіють під впливом сил — і поєднує ці пріорити з генерацією дій. NVIDIA DreamZero демонструє здатність до нульового навчання нових задач і середовищ, з мінімальним адаптаційним набором даних, переносити навички з людських відео.

Третій шлях — найінтуїтивніший для майбутнього — пропускає попереднє натренування VLM і відеодифузію. GEN-1 від Generalist — це з нуля натренована базова модель з тілесною поведінкою, що навчається на понад 500 тисяч годинах реальних фізичних взаємодій, зібраних за допомогою недорогих носимих пристроїв під час виконання щоденних завдань. Це не стандартний VLA (без попереднього візуально-мовного ядра), і не WAM. Це — модель, спеціально створена для фізичних взаємодій, що навчається не на інтернет-образах і текстах, а на статистиці людських контактів з об’єктами.

Компанії на кшталт World Labs працюють над просторовим інтелектом, що доповнює ці примітиви, оскільки вони не враховують тривимірну структуру сцен. Вони успадковують 2D-візуальні ознаки з графічних моделей, WAM — динаміку з відео, а моделі з сенсорів — силу і кутову швидкість, але не сценічну геометрію. Просторовий інтелект навчає відновлювати і генерувати цілісну 3D-структуру фізичного середовища, робити геометричні, освітлювальні, об’ємні висновки.

Зі сходженням цих підходів — важливий момент. Незалежно від джерела репрезентації — VLM, відео, або фізична модель — базовий примітив залишається одним: стиснута, переносима модель фізичної поведінки світу. Ці репрезентації обробляють величезний обсяг даних — від відео і траєкторій роботів до людських фізичних досвідів, що вже починають масштабно збиратися з носимих пристроїв. Одна й та сама репрезентація може обслуговувати робота, що вчиться складати рушники, автономну лабораторію, що прогнозує реакції, або нейро-декодер, що інтерпретує рухи кори мозку.

Примітив 2: архітектури для тілесних дій

Модель фізичної репрезентації — це лише перший крок. Щоб перетворити «розуміння» у надійні фізичні дії, потрібна архітектура, що вирішує кілька взаємопов’язаних задач: перетворення високорівневих намірів у послідовність рухів, підтримка узгодженості довгих серій, робота з затримками в реальному часі, і постійне покращення з досвідом.

Двосистемна ієрархічна архітектура вже стала стандартом для складних тілесних задач: повільна, але потужна модель (System 2) відповідає за сценічне розуміння і дедукцію завдань, а швидка, легка модель (System 1) — за реальне управління рухами. Проекти, як GR00T N1, Gemini Robotics, Helix від Figure, використовують цю ідею, вирішуючи конфлікт між глибоким мисленням і мілісекундним контролем. Generalist пропонує інший підхід — «резонансне мислення», що дозволяє одночасно думати і діяти.

Механізми генерації рухів швидко еволюціонують. π₀ започаткував підхід на основі потокового співставлення і дифузії — він став основним методом для створення плавних, високочастотних рухів, замінивши дискретну токенізацію, запозичену з мовного моделювання. Ці методи працюють за принципом «зашумлення» зображень, але для рухів, що робить траєкторії більш гладкими і стійкими до помилок.

Найважливіше — розширення RL (зміцненого навчання) на попередньо натреновані моделі VLA. Це модель, що навчається на демонстраціях і може самостійно покращуватися через практику — як люди, що вдосконалюють навички шляхом повторення і самокорекції. Physical Intelligence π*₀.₆ — яскравий приклад такої масштабної реалізації. Вони застосували RECAP — алгоритм, що поєднує переваги демонстрацій, автономного досвіду і корекцій від експертів, — для довгих серій дій, де звичайне імітаційне навчання не працює через проблему кредитного розподілу. Наприклад, якщо робот неправильно схопив кавомолку, це може проявитися лише через кілька кроків. RECAP оцінює ймовірність успіху з будь-якої точки і вибирає найкращі дії.

Ця методика — добрий знак для майбутнього RL у фізичних задачах. π*₀.₆ у реальних домашніх умовах виконує понад 50 нових для нього завдань, збирає каву, пакує коробки, працює на професійних машинах — і все без людського втручання. На складних задачах RECAP подвоює продуктивність і зменшує кількість невдач. Вона також демонструє, що після тренування модель може виробляти більш плавні і адаптивні дії, ніж просто імітація.

Ці результати свідчать: масштабування обчислювальних ресурсів великих моделей — від GPT-2 до GPT-4 — вже працює у сфері тілесних дій. Зараз це ще на ранніх етапах, але рух у напрямку безперервних, високовимірних рухів і фізичних обмежень очевидний.

Примітив 3: симуляція і синтез даних як інфраструктура масштабування

У мовній сфері проблема даних вирішена — мільярди безкоштовних текстових токенів. У фізиці — набагато складніше. Це вже загальновизнано: для фізичного AI швидко зростає кількість стартапів, що створюють дані. Збір реальних траєкторій роботів — дорого, ризиковано і обмежено за різноманітністю. Модель може навчитися на мільярдах діалогів, але робот — ні.

Генерація симуляцій і синтезу даних — це основа інфраструктури для подолання цієї проблеми. Вона вже стала ключовою для прискорення фізичного AI сьогодні. Сучасний стек симуляції поєднує фізичні рушії, фотонну рендеринг, процедурне створення сцен і генерацію відео з симуляцій — щоб зменшити «розрив» між симуляцією і реальністю (sim-to-real). Від нейронного відновлення реальних сцен (навіть за допомогою смартфона) до автоматичного створення великих наборів даних — ця інфраструктура вже змінює економіку розвитку фізичного AI.

Якщо вартість створення даних зменшиться — це змінить економіку тренування систем фізичного AI так само, як зменшення вартості збирання даних для мовних моделей. Масштабовані симуляції — це інвестиція у майбутнє, що дозволяє зменшити залежність від дорогих фізичних експериментів і hardware.

Але симуляція — не лише для роботів. Вона служить і для автономної науки (моделі для лабораторних пристроїв, симуляція реакцій), і для нових інтерфейсів (моделі для нейроінтерфейсів, калібрування сенсорів), і для будь-яких систем, що взаємодіють з фізикою. Це універсальний двигун даних для фізичного AI.

Примітив 4: розширення сенсорних каналів

Інформація з фізичного світу — багатша за зір і мову. Тактильні сенсори передають властивості матеріалів, стабільність захоплення, контактну геометрію — все, що не видно камерою. Нейронні сигнали — з високою пропускною здатністю — передають нам наміри рухів, когнітивний стан і досвід сприйняття. М’язові активності передують голосу. Це — нові сенсорні канали, що розширюють можливості AI.

Показовий приклад — нові пристрої. AR-окуляри вже покращили досвід і дизайн, а голосові носимі пристрої дають AI повний контекст фізичного середовища. У перспективі нейроінтерфейси відкриють ще ширші можливості для взаємодії. Зміна обчислювальних моделей — створення нових каналів і пристроїв — дає шанс значно підвищити якість людсько-машинної взаємодії.

Голос — найпоширеніший канал, але й нові модальності мають потенціал. Wispr Flow робить голос основним способом вводу (з високою інформаційною щільністю), беззвучна мова — з сенсорними датчиками для слюни і голосових зв’язок — створює новий високоефективний канал.

Мозкові інтерфейси (інвазивні і неінвазивні) — це глибока передова сфера. Компанії як Neuralink, Synchron, Echo Neurotechnologies, Nudge — вже працюють над пристроями для відновлення мовлення, управління цифровими і фізичними системами, декодуванням нейронних сигналів. Вони створюють нову екосистему, що поєднує медицину, нейронауку і AI.

Розвиток сенсорних каналів — це не лише додавання нових пристроїв, а й формування багатоканальної системи, що збільшує пропускну здатність і глибину взаємодії між людиною і машиною. Вони створюють нові дані для тренування систем фізичного AI — від рухів і сенсорів до нейронних сигналів.

Це розширення — не лише для збору даних, а й для створення нових можливостей у взаємодії і управлінні. Вони формують новий спектр фізичних досвідів і даних, що підсилюють здатність AI діяти у фізичному світі.

Примітив 5: замкнуті системи агентів

Останній примітив — архітектурний. Це системи, що поєднують сприйняття, дедукцію і дії у безперервний, автономний цикл, що працює без людського втручання.

У мовних моделях — це агентські системи з багатоступеневою дедукцією, інструментами і самокорекцією. У фізиці — аналогічно, але набагато складніше: помилка може бути фатальною, і потрібно довгострокове збереження стану, пам’ять, безпечне відновлення.

Фізичні агентські системи мають три ключові особливості: вони інтегровані з фізичним обладнанням (датчиками, виконавцями), мають довготривалу пам’ять і здатність адаптуватися на основі фізичних результатів. Це — цілісна система, що може автономно працювати у реальному світі.

Ці системи об’єднують усі здатності — моделі, архітектури, сенсори — у цілісну, саморегулюючу систему. Вони — основа для реальних застосувань, що виходять за межі лабораторних демонстрацій.

Три сфери

Ці базові примітиви — універсальні. Вони не визначають, де саме застосовуватимуться. Але саме рівень їхнього масштабування і здатність створювати нові здатності — це те, що дає ефект «композитного зростання». Це і є головна сила: кожна сфера — робототехніка, автономна наука, нові інтерфейси — по-своєму поєднує ці примітиви, і кожна сама по собі стикається з обмеженнями, але у процесі розвитку продукує нові структуровані фізичні дані, що знову покращують ці примітиви і прискорюють весь цикл.

Ці сфери — не єдині, але вони найактивніше поєднують передові можливості і фізичну реальність, і саме тут найсильніше проявляється потенціал нових здатностей, що виходять за межі сучасних мовних і кодових парадигм.

Робототехніка

Роботи — найпряміше втілення фізичного AI: системи, що мають у реальному часі сприймати, дедуктивно аналізувати і фізично діяти у світі. Вони — ідеальний тест для всіх базових примітивів.

Уявімо універсального робота, що має складати рушник. Йому потрібна репрезентація деформованих матеріалів під силою — фізичний пріоритет, що не дає мовне навчання. Потрібен архітектурний механізм для перетворення високорівневих команд у послідовність рухів з частотою понад 20 Гц. Потрібні симуляції для генерації тренувальних даних — бо реальних прикладів сотень тисяч не зібрати. Сенсорна зворотна зв’язок для контролю захоплення і запобігання ковзанню. І, нарешті, — замкнутий контролер, що може виявляти і виправляти помилки.

Це — причина, чому робототехніка — не просто інструмент, а передова система. Вона не просто покращує існуючі здатності, а відкриває нові можливості для дій і взаємодій, що раніше були недосяжні.

Минулі роки принесли значний прогрес — перше покоління моделей VLA вже довело, що базові моделі можуть керувати роботами. Архітектурні рішення з’єднують високорівневе мислення і низькорівневе управління. Моделі на краю — здатні переносити навички між платформами. Головне — масштабована надійність, що залишається викликом. Висока ймовірність, що RL після тренування допоможе подолати цю проблему.

Ці досягнення змінюють структуру ринку. Вартість механічних систем залишається важливою, але з розвитком моделей і інфраструктури цінність зсувається у сторону моделей, даних і тренувальних систем. Роботи — не лише цільові системи, а й джерело даних для покращення моделей і симуляцій.

Автономна наука

Якщо робот — це тестування здатностей у реальному часі, то автономна наука — це довгострокове дедуктивне дослідження — з часом у години і дні, з аналізом результатів і корекцією стратегій.

Це — найінтенсивніше застосування базових примітивів. Автоматизовані лабораторії (SDL) вивчають фізику і хімію, прогнозують результати, керують роботами для точних маніпуляцій, симулюють експерименти і оптимізують використання обладнання. Вони вимагають складних систем управління, що здатні вести багатокроковий «гіпотеза-експеримент-аналіз-корекція» без людського втручання.

Це — унікальна сфера, що поєднує всі примітиви: моделі, архітектури, сенсори. Вона здатна прискорити відкриття нових матеріалів і біологічних систем, зменшити час від ідеї до комерціалізації. Це — ключова точка для подолання «блокувань» у матеріалознавстві і біології.

Ключова роль — у тому, що кожен експеримент дає структуровані, причинно-наслідкові дані, що покращують моделі і системи дедукції. Це — новий тип даних, що структуровано і підтверджено експериментально, і є критично важливим для розвитку фізичного AI.

Нові інтерфейси

Роботи і автономна наука — це розширення AI у фізику і дослідження. Нові інтерфейси — це розширення у сферу людських відчуттів і сигналів: AR-окуляри, EMG-наручі, нейроінтерфейси. Вони збільшують пропускну здатність і різноманітність каналів між людиною і системою, створюючи нові дані для тренування фізичного AI.

Зовнішній вигляд — це нові пристрої. AR-окуляри вже покращили досвід, а нейроінтерфейси відкривають нові можливості для взаємодії. Вони створюють нові канали і пристрої, що дозволяють людському досвіду і AI краще взаємодіяти.

Голосові модальності, беззвучна мова, нейроноти — це нові способи комунікації. Вони мають високий потенціал для нових форм взаємодії і управління.

Розвиток сенсорних каналів — це не лише додавання пристроїв, а й формування багатоканальної системи, що збільшує обсяг даних і можливостей для AI. Це створює нові сенсорні досвіди і розширює можливості фізичного AI.

Примітив 5: замкнуті системи агентів

Останній — архітектурний — примітив. Це системи, що поєднують сприйняття, дедукцію і дії у безперервний цикл, що працює автономно і без людського втручання.

У мовних моделях — це агентські системи з багатоступеневою дедукцією, інструментами і самокорекцією. У фізиці — аналогічно, але набагато складніше: помилка може бути фатальною, і потрібно довгострокове збереження стану, пам’ять і безпечне відновлення.

Фізичні агентські системи мають три ключові особливості: інтеграція з фізичним обладнанням (датчиками, виконавцями), довготривалу пам’ять і здатність адаптуватися на основі фізичних результатів. Це — цілісна система, здатна автономно діяти у реальному світі.

Вони об’єднують усі здатності — моделі, архітектури, сенсори — у цілісну, саморегулюючу систему. Це — основа для реальних застосувань, що виходять за межі лабораторних демонстрацій.

Три сфери

Ці базові примітиви — універсальні. Вони не визначають, де саме застосовуватимуться. Але рівень їхнього масштабування і здатність створювати нові здатності — це те, що дає ефект «композитного зростання». Це і є головна сила: кожна сфера — робототехніка, автономна наука, нові інтерфейси — по-своєму поєднує ці примітиви, і кожна сама по собі стикається з обмеженнями, але у процесі розвитку продукує нові структуровані фізичні дані, що знову покращують ці примітиви і прискорюють весь цикл.

Ці сфери — не єдині, але вони найактивніше поєднують передові можливості і фізичну реальність, і саме тут найсильніше проявляється потенціал нових здатностей, що виходять за межі сучасних мовних і кодових парадигм.

Робототехніка

Роботи — найпряміше втілення фізичного AI: системи, що мають у реальному часі сприймати, дедуктивно аналізувати і фізично діяти у світі. Вони — ідеальний тест для всіх базових примітивів.

Уявімо універсального робота, що має складати рушник. Йому потрібна репрезентація деформованих матеріалів під силою — фізичний пріоритет, що не дає мовне навчання. Потрібен архітектурний механізм для перетворення високорівневих команд у послідовність рухів з частотою понад 20 Гц. Потрібні симуляції для генерації тренувальних даних — бо реальних прикладів сотень тисяч не зібрати. Сенсорна зворотна зв’язок для контролю захоплення і запобігання ковзанню. І, нарешті, — замкнутий контролер, що може виявляти і виправляти помилки.

Це — причина, чому робототехніка — не просто інструмент, а передова система. Вона не просто покращує існуючі здатності, а відкриває нові можливості для дій і взаємодій, що раніше були недосяжні.

Минулі роки принесли значний прогрес — перше покоління моделей VLA вже довело, що базові моделі можуть керувати роботами. Архітектурні рішення з’єднують високорівневе мислення і низькорівневе управління. Моделі на краю — здатні переносити навички між платформами. Головне — масштабована надійність, що залишається викликом. Висока ймовірність, що RL після тренування допоможе подолати цю проблему.

Ці досягнення змінюють структуру ринку. Вартість механічних систем залишається важливою, але з розвитком моделей і інфраструктури цінність зсувається у сторону моделей, даних і тренувальних систем. Роботи — не лише цільові системи, а й джерело даних для покращення моделей і симуляцій.

Автономна наука

Якщо робот — це тестування здатностей у реальному часі, то автономна наука — це довгострокове дедуктивне дослідження — з часом у години і дні, з аналізом результатів і корекцією стратегій.

Це — найінтенсивніше застосування базових примітивів. Автоматизовані лабораторії (SDL) вивчають фізику і хімію, прогнозують результати, керують роботами для точних маніпуляцій, симулюють експерименти і оптимізують використання обладнання. Вони вимагають складних систем управління, що здатні вести багатокроковий «гіпотеза-експеримент-аналіз-корекція» без людського втручання.

Це — унікальна сфера, що поєднує всі примітиви: моделі, архітектури, сенсори. Вона здатна прискорити відкриття нових матеріалів і біологічних систем, зменшити час від ідеї до комерціалізації. Це — ключова точка для подолання «блокувань» у матеріалознавстві і біології.

Ключова роль — у тому, що кожен експеримент дає структуровані, причинно-наслідкові дані, що покращують моделі і системи дедукції. Це — новий тип даних, що структуровано і підтверджено експериментально, і є критично важливим для розвитку фізичного AI.

Нові інтерфейси

Роботи і автономна наука — це розширення AI у фізику і дослідження. Нові інтерфейси — це розширення у сферу людських відчуттів і сигналів: AR-окуляри, EMG-наручі, нейроінтерфейси. Вони збільшують пропускну здатність і різноманітність каналів між людиною і системою, створюючи нові дані для тренування фізичного AI.

Зовнішній вигляд — це нові пристрої. AR-окуляри вже покращили досвід, а нейроінтерфейси відкривають нові можливості для взаємодії. Вони створюють нові канали і пристрої, що дозволяють людському досвіду і AI краще взаємодіяти.

Голосові модальності, беззвучна мова, нейроноти — це нові способи комунікації. Вони мають високий потенціал для нових форм взаємодії і управління.

Розвиток сенсорних каналів — це не лише додавання пристроїв, а й формування багатоканальної системи, що збільшує обсяг даних і можливостей для AI. Це створює нові сенсорні досвіди і розширює можливості фізичного AI.

Це — переклад з урахуванням усіх вказівок.