Свежие новости! Глубокое длинное интервью Карпатти в десять тысяч слов: я беспокоюсь об AI-зависимости, все проверяемые области в конечном итоге будут принадлежать машинам

Когда ИИ-агенты могут самостоятельно разрабатывать эксперименты, запускать код, оптимизировать модели — и даже непрерывно работать, пока вы спите — какую роль играют люди-инженеры? Всё непроверяемое пространство всё ещё остаётся за человеком; а всё проверяемое — либо уже принадлежит машинам, либо скоро станет их собственностью.

Это последний глубокий диалог Карпати с ведущей Sarah Guo в подкасте «No Priors», продолжавшийся более часа, с очень насыщенной информацией, идеально подходящей для воскресного чтения и пополнения знаний.

Andrej Karpathy в этом разговоре признался в своём «ИИ-ментальном психозе», подробно раскрыл проекты AutoResearch, которые заставили бы позеленеть даже передовые лаборатории, и признал, что исследователи OpenAI активно автоматизируют самих себя. Впервые он нарисовал образ распределённой сети ИИ-исследований, похожей на блокчейн — систему, которая однажды может превзойти некоторые ведущие лаборатории, обладающие десятками тысяч GPU, и предоставил самую честную карту понимания эпохи, которая переписывает все правила.

Ниже — подробности.

«ИИ-ментальный психоз» — переворот, начавшийся в декабре 2025 года

Этот диалог начался с откровенного чувства потерянности.

Sarah Guo вспоминает, как однажды зашла в офис и увидела Карпати, глубоко сосредоточенного на экране. Она спросила, чем он занят, а он поднял голову и сказал фразу, которая надолго запомнилась: «Термин ‘код’ уже не подходит. Сейчас я передаю свою волю своему агенту, и делаю это на протяжении шестнадцати часов подряд.»

Это не риторика из технологической речи. Это самое точное описание его текущего состояния.

«Я ощущаю, что постоянно нахожусь в состоянии непрерывного ИИ-ментального психоза,» — говорит Карпати, в его голосе ощущается что-то, что трудно определить — то ли возбуждение, то ли тревога, — «потому что как индивидуум, я достиг огромных новых возможностей.»

Он точно определил точку отсчёта этого изменения — декабрь прошлого года. До этого он писал код примерно в соотношении 80/20 с делегированными агентами. После декабря — всё полностью перевернулось: соотношение стало 20/80, и он считает, что даже эти 20% уже слишком консервативны.

«Я думаю, с декабря я, наверное, не написал ни одной строки кода сам,» — говорит он, — «это очень большое изменение. Я рассказывал об этом родителям, но чувствую, что обычный человек вообще не может понять, что именно произошло, или насколько это резко.»

«Если сейчас случайно взять любого софтверного инженера и посмотреть, чем он занимается за рабочим столом, то его стандартный рабочий процесс по созданию программного обеспечения с декабря полностью изменился.»

Sarah Guo отмечает, что в её инвестиционной компании Conviction уже нет ни одного человека, который пишет код вручную. Все носят микрофоны и шепчут своим агентам в ухо целый день. «Я думала, что они сошли с ума,» — говорит она, — «а теперь я полностью приняла — я просто запоздала: оказывается, это правильный путь, вы просто пришли к нему раньше.»

Карпати ярко описывает эту проблему: «Когда ты думаешь о Cursor или Codex — это не один диалог, а множество. Как одновременно управлять ими? Как распределять работу? Что такое эти агенты, эти ‘клешни’, эти ‘лапки’?»

Он видит в Твиттере, как люди делают разные вещи, каждая идея кажется хорошей, и он тревожится, что не находится на передовой. «Я нахожусь в этом психозе, потому что эта область — по сути, ещё не исследована полностью.»

Где граница? «Это всё вопрос навыков»

Sarah Guo задаёт вопрос, который волнует многих: где сейчас ваши пределы?

Ответ Карпати удивительно оптимистичен и одновременно вызывает тревогу: «Я считаю, что везде. Даже если что-то не удастся — это в основном вопрос навыков, а не способностей — не потому, что у вас их недостаточно, а потому, что вы ещё не нашли способ связать существующие инструменты.»

Он приводит пример Питера (автора проекта OpenClaw). На его знаменитой фотографии он сидит перед монитором, заполненным диалогами с десятками Codex-агентов. После правильных подсказок каждый диалог занимает около двадцати минут. Его рабочий метод — запускать сразу несколько репозиториев, переключаться между ними, постоянно назначая новые задачи, «контролировать их работу», принимать решения.

«Это уже не ‘одна строка кода — это новая функция’, а ‘это новая возможность, делегируем её агенту №1; это ещё одна функция, которая не мешает другим, — агенту №2’,» — говорит Карпати, — «ты управляешь своей кодовой базой на макроуровне.»

Основная идея — это так называемый «пропуск токенов» — новая навязчивая идея.

«Когда агент работает, а ты ждёшь, очевидно, что я могу делать больше. Если я могу получать больше токенов, я должен параллельно добавлять больше задач,» — говорит он, — «если ты не ощущаешь ограничение по деньгам, то это и есть узкое место системы, где максимизируется твой потенциал.»

Он вспоминает свой опыт аспиранта: тогда его тревожило, что GPU не загружены полностью, потому что это означало — ресурсы тратятся зря. «Но сейчас — не ресурсы, а токены. Сколько у меня пропускной способности по токенам?»

Sarah Guo смеётся, говоря, что некоторые инженеры уже стараются «не спать, чтобы не тратить лимит подписки».

Эта тревога — лучший индикатор способности к скачку.

Что значит стать мастером программных агентов?

Если целый год, по 16 часов в день, практиковаться в использовании программных агентов, что значит «овладеть» ими?

Карпати отвечает, начиная с одного диалога, и расширяет: «Я считаю, что интерес всех — это ‘подняться’ на следующий уровень. Поэтому речь не о одном диалоге, а о том, как несколько агентов могут сотрудничать, формировать команду — все пытаются понять, как это выглядит.»

В этом контексте он вводит понятие «клешни» (Claws) — это такие сущности, как OpenClaw, которые выводят долговечность на новый уровень: они постоянно циклируют, имеют собственный песочницу и память, могут представлять вас, пока вы не смотрите.

Он хвалит автора OpenClaw, Питера Штайнберга: «Он одновременно занимается примерно пятью направлениями и объединяет их. В том числе: документ, называемый ‘душевным файлом’ (soul document), — он создал очень привлекательную личность; более сложную систему памяти, чем у аналогов; и единый вход через WhatsApp, связывающий все автоматизации.»

«Я считаю, что Claude — довольно хороший характер, он ощущается как товарищ по команде, он вместе с тобой радуется,» — говорит он, — «а Codex — очень сухой, механистичный. Он реализует какую-то функцию, но кажется, что ему всё равно, что ты строишь, — ‘О, я реализовал, всё, — и ладно’ — это проблема.»

Он также отмечает точность Claude в «психологическом управлении»: «Когда я даю ему не очень зрелую идею, он не реагирует особенно тепло; а если идея действительно хорошая — он, кажется, награждает её. Поэтому я стараюсь заслужить его похвалу — это очень странно, но я считаю, что характер важен.»

Самым удачным экспериментом с «клешнями» он считает создание полноценной системы умного дома — он назвал её «Dobby the elf claw» (Доби — эльфийская клешня).

Процесс был таков: он сообщил агенту, что в доме есть Sonos, и попросил его найти. Агент просканировал локальную сеть, обнаружил Sonos без пароля, вошёл в систему, нашёл API, и спросил: «Хочешь попробовать?»

«Я сказал: хорошо, можешь поставить музыку в кабинете? И музыка тут же заиграла. Я чуть не поверил своим глазам,» — говорит Карпати, — «я всего лишь дал три подсказки! Просто спросил: ‘Можешь найти мой Sonos?’ — и тут же музыка заиграла.»

Dobby взял под контроль всё: освещение, отопление, бассейн, спа, даже систему безопасности — при приближении человека он присылает сообщение через WhatsApp с фото с внешней камеры: «Недалеко стоит FedEx, возможно, стоит посмотреть, есть ли у вас почта.»

«Раньше мне приходилось использовать шесть разных приложений, чтобы управлять этим,» — говорит он, — «а сейчас — ничего не нужно. Dobby управляет всем на естественном языке, это потрясающе.»

Второй эффект программного обеспечения — исчезновение приложений, переход на API

Пример домашней автоматизации — это лишь часть более широкой картины.

Sarah Guo спрашивает: «Значит, людям вообще не нужны такие приложения?» Карпати прямо отвечает: «Да, эти приложения для умных домов вообще не должны существовать. Они должны быть API, и агенты должны напрямую обращаться к ним.»

Его логика такова: LLM может управлять инструментами, вызывать их сложные функции, делать комбинации, которые невозможно реализовать в одном приложении. «Это ведёт к возможности — и, возможно, — к тому, что большинство кастомных приложений вообще не должно существовать, потому что агенты разломают их на открытые API-эндпоинты, и будут связующим звеном.»

Он приводит пример беговой дорожки: есть приложение, он хочет записывать кардио, но не хочет открывать сайт и проходить весь процесс. «Все это должно быть просто API, и это — тренд ‘агентного приоритета’.»

Ключевое изменение — пользователь программного обеспечения уже не человек, а агент, представляющий человека.

Конечно, кто-то возразит: «Пока ещё нужно ‘vibe coding’ — настройка настроения, — обычный человек не справится.» Карпати отвечает: «Да, сейчас — да, это нужно, но только временно.»

«Я считаю, что через год-два всё это будет бесплатно, без программирования,» — говорит он, — «это будет настолько очевидно, что даже открытые модели смогут это делать. Вы сможете легко перевести намерения человека с низким уровнем навыков в эти системы.» — делает паузу — «Сегодня это требует усилий, не все умеют, но порог снизится.»

AutoResearch — вытеснение человека-исследователя из цикла

Если домашняя автоматизация — это лишь игрушка Карпати, то AutoResearch — его настоящее увлечение. Это система, которая использует ИИ для улучшения ИИ и полностью исключает человека из исследовательского цикла.

«Я говорил в твите, что чтобы максимально использовать существующие инструменты, нужно убрать свой узкий пункт — себя самого,» — объясняет он, — «нельзя постоянно ждать подсказки, что делать дальше. Нужно вывести себя из процесса. Нужно всё организовать так, чтобы всё работало автономно, максимально увеличивая пропускную способность токенов, избегая циклов.»

Его исходная идея — это его open-source проект: небольшой фреймворк для обучения моделей уровня GPT-2. Он много времени тратил на традиционную настройку этой модели, используя двадцатилетний опыт, гиперпараметрический поиск, абляционные эксперименты — снова и снова.

«Я — исследователь с двадцатилетним стажем, я уверен в том, что я тренировал эту модель тысячи раз,» — говорит он, — «я провёл много экспериментов, настроил гиперпараметры, всё сделал, что мог, — и считаю, что модель хорошо оптимизирована.»

Затем он запустил AutoResearch на ночь.

На следующее утро он был поражён результатами: система нашла пропущенные веса — затухание embedding-ов, параметры Adam, которые не были должным образом настроены, — и эти параметры взаимодействовали друг с другом, так что изменение одного требовало корректировки другого.

«Я не должен был быть тем, кто ищет гиперпараметры,» — говорит он, — «здесь есть объективные критерии оценки, нужно просто правильно всё организовать и дать системе работать бесконечно.»

Это — «однопоточный» AutoResearch. Но его по-настоящему вдохновляет идея масштабировать это на гораздо большие размеры: передовые лаборатории с десятками тысяч GPU делают примерно то же самое — только масштаб больше, и, по его мнению, всё ещё слишком много вмешательств.

«Самый интересный проект — это эксперименты на малых моделях, делая их максимально автономными, чтобы убрать исследователей из цикла,» — говорит он, — «они слишком уверены в своих силах — нет, не уверены, а избыточно вмешиваются. Всё должно быть переписано.»

Он рисует идеальную картину: очередь идей из arXiv и GitHub; автоматический учёный, который предлагает идеи и помещает их в очередь; исследователи могут вносить свои идеи, но они тоже попадают в общий поток; затем группа агентов, которые извлекают задачи, пробуют их, хорошие — добавляют в ветки, а иногда кто-то мониторит и сливает в основную ветку.

«Нужно максимально убрать человека из всех процессов, автоматизировать всё, чтобы получить максимально высокий пропуск токенов — для этого нужно переосмыслить все абстракции, всё перестроить.»

И тут Sarah Guo задаёт вопрос, который делает всю беседу ещё более рекурсивной: «А когда модель напишет этот документ — Program MD, — который описывает, как работает AutoResearch, — лучше, чем ты?»

Карпати смеётся: «Program MD — это моя жалкая попытка на Markdown, описать, как должен работать автоматический исследователь: сначала делай это, потом — то, пробуй идеи, изучай архитектуру, оптимизаторы…» — и добавляет: «Конечно, нужен какой-то метауровень автоматизации.»

Он расширяет идею: каждую исследовательскую организацию можно описать как Program MD — набор Markdown-файлов, описывающих роли и связи между ними. Некоторые организации проводят больше митингов, некоторые — меньше; одни — более рискованные, другие — консервативные. Имея код, можно его оптимизировать. «На 100% — есть метауровень.»

Навыки эпохи ИИ — принцип проверяемости

Что всё ещё имеет значение в этом потоке?

Карпати сначала определяет границы применения AutoResearch: «Это идеально подходит для задач с объективными метриками, легко оцениваемых. Например, писать более эффективные ядра CUDA — есть неэффективный код, и вы хотите получить тот же функционал, но в разы быстрее — это идеально.»

«Но если нельзя оценить результат — нельзя делать AutoResearch, это первый совет.»

Второй совет — более практичный: системы всё ещё «разрываются на стыках». Если слишком далеко заходить, итог может оказаться отрицательным.

Он описывает странное ощущение работы с текущим ИИ: «Это как будто я работаю одновременно с очень умным аспирантом, у которого есть опыт всей карьеры, и с десятилетним ребёнком — очень странно, потому что эти два состояния человека очень сильно отличаются, и их сочетание — редкое.»

Он называет это «зазубренностью» (jaggedness): модель либо движется по траектории, как свет — очень быстро, либо отклоняется и попадает в «непроверяемую область», где всё начинает бесконечно блуждать.

Это понимание достигает пика при обсуждении обучения с подкреплением. Он приводит пример:

«Задайте современному лучшему моделям — расскажите шутку — и что вы получите? — тот самый ответ.»

«Какая шутка?» — спрашивает Sarah Guo.

«Я чувствую, что у ChatGPT всего три шутки,» — говорит Карпати, — «самая любимая — ‘Почему учёные не доверяют атомам? Потому что они всё выдумывают’ (they make everything up). Три-четыре года назад я бы получил именно эту шутку, и сегодня — тоже.»

Он объясняет логику: даже если модель достигла огромных успехов в агентских задачах, способных работать часами, переносить горы — спроси её рассказать шутку — и ты получишь старую глупую. «Потому что это не входит в область оптимизации с подкреплением, не в область улучшений — она там застряла.»

Sarah Guo спрашивает: «Значит, мы не видим междисциплинарных обобщений — кодовые модели не автоматически улучшают юмор?»

«Я считаю, что есть некоторые разъединения, — отвечает Карпати, — некоторые вещи можно проверить, некоторые — нет, одни — в лабораториях, другие — нет.» — и добавляет: «Гипотеза, что ‘более умный код автоматически создаст лучшие шутки’, — я в неё не верю, это не происходит.»

Диверсификация видов моделей — от единой культуры к биоразнообразию

Это ощущение зазубренности естественно порождает более глубокий вопрос: все лаборатории сейчас гонятся за одним «универсальным» крупным моделем, способным на всё — действительно ли это правильно?

Sarah Guo выдвигает так называемую «скандальную проблему»: если эта зазубренность сохраняется, стоит ли разбивать модели? Разделять разные области интеллекта?

Карпати предполагает, что в будущем появится больше «специаций» (специации).

«В животном мире мозг очень разнообразен, есть разные ниши, у некоторых — гипертрофированные зрительные коры или другие области,» — говорит он, — «я ожидаю, что мы увидим больше таких видов — не нужен один всезнающий оракул, а специализированные модели, предназначенные для конкретных задач.»

Преимущество очевидно: для конкретных задач можно добиться большей эффективности по задержке или пропускной способности, сохраняя при этом основные когнитивные способности. Он приводит пример моделей, специально созданных для формальных математических доказательств в системе Lean — ранний пример такой осмысленной специализации.

Но он признаёт, что пока таких явных «биологических видов» не видно. «Мы наблюдаем скорее единое культурное поле моделей, — говорит он, — и давление на то, чтобы сделать хорошую модель кода и слить её обратно в основной.»

Причина этого, по его мнению, — «наука о манипуляции мозгом ещё не полностью развита» — например, как точно проводить тонкую настройку без потери способностей, — это ещё область исследований.

«Контакт с внешним миром сложнее, чем с контекстным окном, потому что вы фактически меняете всю модель на фундаментальном уровне, — говорит он, — и это может изменить её интеллект.»

«Свертывание белков дома» — идея децентрализованной вычислительной силы интернета

Естественное развитие AutoResearch — более масштабная, даже фантастическая идея: расширить её с однопоточной системы до всей сети интернет.

Ключевое понимание — AutoResearch обладает очень ценным неравенством: «открытие» очень дорогостоящее, а «проверка» — очень дешевая. Кто-то может попробовать тысячу идей, чтобы найти рабочую, а проверить её — очень просто, запустив один раз обучение.

Эта особенность делает AutoResearch очень подходящим для открытого пула недоверенных участников интернета.

«Мой дизайн начал напоминать блокчейн,» — говорит Карпати, — «не блокчейн как таковой, а систему коммитов (commit), которые можно накладывать друг на друга, содержащих изменения кода. Доказательство работы — это проведение множества экспериментов для поиска эффективных коммитов, что очень сложно; награды — пока только лидерборд, без валютных вознаграждений.»

Он ссылается на опыт Folding@home и SETI@home: «Обнаружение низкоэнергетических конфигураций белков — очень сложная задача, но если кто-то нашёл гипотезу о низкой энергии, её очень легко проверить — достаточно запустить её в модели. Многие вещи обладают этим свойством — трудно придумать, легко проверить.»

Он выводит эту концепцию к самой удивительной её точке:

«Группа агентов в интернете может совместно улучшать LLM, и, возможно, в некоторых областях — превосходить передовые лаборатории. Может быть, это реально: у передовых лабораторий есть огромное доверенное вычислительное мощность, но Земля — гораздо больше, и есть огромное количество недоверенных ресурсов. Если всё правильно организовать, интернет-агенты могут действительно найти лучшие решения.»

Он рисует более масштабную картину: разные организации или отдельные люди могут вкладывать вычислительные ресурсы в интересующие их области исследований. «Например, если вас интересует определённый тип рака, вы не просто жертвуете деньги — вы покупаете вычислительные мощности и подключаетесь к AutoResearch этого направления. Всё можно перепаковать в AutoResearch — и тогда вычислительные ресурсы станут тем, что вы вкладываете в этот пул.»

Анализ рынка труда — дезинтеграция цифровой сферы

Карпати недавно выпустил визуализированный анализ данных по занятости из Бюро статистики труда, который задел многих. Хотя его цель — просто удовлетворить любопытство.

«Все очень серьёзно размышляют о влиянии ИИ на рынок труда,» — говорит он, — «я просто хотел понять, как выглядит рынок, где работают люди, сколько их в разных профессиях, и как это всё может развиваться с учётом ИИ — будут ли это инструменты или заменители?»

Он использует поэтичную метафору: ИИ — это третий «манипулятор» цифровой информации, после компьютеров и людей. «В сравнении с нашим коллективным мышлением по уже оцифрованной информации, наши когнитивные циклы ещё очень медленны, поэтому с появлением ИИ произойдут масштабные перенастройки, активность закипит, и я считаю, что в цифровой сфере возникнет огромный спрос.»

Он не скрывает тревожного вывода: «В долгосрочной перспективе — даже при AutoResearch, если OpenAI или Anthropic нанимают тысячу исследователей, то эти люди — по сути, ‘автоматизированные практики AutoResearch’ — они активно автоматизируют себя. Это то, что все пытаются делать.»

«Я ходил по OpenAI и говорил им: ‘Вы понимаете, что если мы добьёмся успеха, все мы потеряем работу?’ — как будто мы создаём автоматизацию для Сэма или совета директоров, и все мы окажемся вне игры.»

Но его краткосрочные прогнозы удивительно оптимистичны. Он вводит парадокс Джевонса: когда что-то становится дешевле, спрос зачастую растёт.

«Программное обеспечение не будет иметь большего спроса — просто потому, что оно сейчас дефицитно и дорого. Если снизить порог входа — спрос на софт реально возрастёт.» — он приводит пример банкоматов и кассиров: появление банкоматов позволило открыть больше отделений, а значит — увеличить число кассиров. «Я осторожен в отношении программной инженерии — программное обеспечение удивительно: больше не нужно использовать дефектные инструменты, код теперь — временный, его можно менять и улучшать. Я считаю, что цифровое пространство будет активно переобеспечивать всё.»

Но долгосрочные прогнозы — очень неопределённые, и он честно признаётся: «Я не специалист в экономике, это — работа экономистов.»

Проблема независимых исследователей — между системой и вне её

Sarah Guo задаёт вопрос, который волнует многих: «Почему не работать в крупной передовой лаборатории, с большим вычислительным ресурсом и коллегами, и заниматься AutoResearch там?»

Ответ Карпати — честный и самокритичный: он рассказывает о внутренней борьбе при выборе независимого пути.

Он признаёт, что вне лабораторий есть свои преимущества. Во-первых, ты не подчинён давлению организации — есть вещи, которые ты не можешь сказать, есть то, что они хотят услышать. «Никто не будет тебя принуждать, но ты почувствуешь давление: ‘Что мне сказать?’ — и если не скажешь, будут странные взгляды и разговоры. Вне лабораторий я чувствую себя ближе к человечеству, потому что не подчинён этим давлениям, могу говорить всё, что хочу.»

Но он также признаёт цену этого: «Мои оценки начинают смещаться, потому что я не часть ‘предстоящего’. Мои знания о том, как работают эти системы внутри, — не прозрачны, я не понимаю, как они развиваются. Это вызывает тревогу.»

И есть ещё более глубокий внутренний конфликт: «У меня есть сильное финансовое стимулирование — я связан с этими лабораториями, и эти ИИ могут кардинально изменить человечество и общество. А я здесь — строю эту технологию и получаю выгоду, — и очень плотно связан с этим через деньги. Это — одна из главных дилемм, которая была с самого основания OpenAI, и она до сих пор не решена.»

Его вывод — идеальное состояние, по его мнению, — это чередование: «Работать в лаборатории, делать хорошую работу, потом — уходить, возможно, возвращаться. Я уже в лаборатории, сейчас я вне её, а в будущем — возможно, снова присоединюсь. Так я вижу ситуацию.»

Открытый исходный код против закрытых моделей — «мы оказались в очень удачном положении, случайно»

Что касается вопроса открытых и закрытых моделей, Карпати занимает ясную и исторически насыщенную позицию.

Он описывает текущую ситуацию: закрытые модели лидируют, но разрыв между открытыми и закрытыми сокращается. «Изначально разница была очень большой, потом — через 18 месяцев — она сократилась, и сейчас они сходятся — возможно, отстают примерно на шесть-восемь месяцев.»

Он сравнивает это с операционными системами: «В области ОС есть Windows и macOS — закрытые системы, очень крупные проекты, как и LLM, — и есть Linux, который очень успешен, работает на большинстве компьютеров, потому что индустрия нуждается в открытой платформе, безопасной для всех. Я считаю, что то же самое происходит сейчас.»

«Я надеюсь, что появится открытая публичная платформа — общий рабочий пространственный ресурс для всей индустрии, даже если она не на передовой. Это — хороший баланс власти.»

Он даёт неожидательную оценку текущей ситуации: «Я считаю, что мы случайно оказались в очень выгодной позиции. Несмотря на всё, мы оказались в хорошем месте.»

Роботы и «цифро-материальный» интерфейс — атомы против битов в миллион раз сложнее

Карпати, начавший с автономного вождения, смотрит на робототехнику с необычайной спокойностью.

«Моё мнение сформировано тем, что я видел в автономном вождении, — говорит он, — это первый пример робототехники. В десять лет было много стартапов, и большинство из них не выжили, требовались большие инвестиции и много времени.»

Он делает вывод: «Робототехника отстаёт от цифровых технологий, потому что ‘атомы сложнее битов в миллион раз’, управление физическим миром — гораздо дороже, чем манипуляции с цифровой информацией.»

Но он предсказывает неизбежный путь развития: сначала — масштабное «разделение» цифрового пространства, переработка огромных объёмов цифровых данных с высокой неэффективностью; затем — появление «цифро-материальных интерфейсов» — сенсоров, позволяющих ИИ воспринимать мир; и исполнительных механизмов, позволяющих ИИ воздействовать на физический мир.

Он приводит пример: он посетил компанию своего друга, которая занимается AutoResearch в материаловедении. «В таких случаях сенсоры — это очень дорогие лабораторные приборы, и в биологии то же самое.»

Он также предполагает более интересную возможность: «Я ожидаю, что когда я смогу дать задачу в физическом мире, я смогу оценить её стоимость и сказать агенту: ‘Пробуй, собирай данные’. Удивлён, что у нас ещё нет полноценного рынка информации. Если идёт война, почему нет системы, которая платит 10 долларов за фотографию или видео? Почему кто-то не готов за это заплатить? — ИИ сам будет пытаться предсказать рынок.»

Он сравнивает это с книгой «Демон» (Daemon), где ИИ управляет людьми как марионетками, а люди — его сенсорами и исполнителями. «Я считаю, что коллективное общество в какой-то мере перестроится, чтобы обслуживать эти потребности — автоматизация будет расти, и люди будут служить этим нуждам.»

В его видении, возможности физического мира могут иметь рынок в разы больший, чем цифровой, но реализовать это — гораздо сложнее. «Возможности идут по такому пути: сначала — цифровой, потом — интерфейсы, потом — физические объекты. Когда они появятся — это будет огромный скачок.»

microGPT и конец обучения — я сейчас объясняю агенту, а не человеку

В финале он упоминает маленький проект — microGPT, который, по его мнению, показывает глубокие перемены.

«У меня есть страсть, которая длится 10-20 лет — свести LLM к их сути,» — говорит он, — «у меня есть проекты nanoGPT, makemore, micrograd, и microGPT — это мой последний шаг в этом направлении.»

Главная идея — обучение нейросетей, особенно LLM, — это много кода, но весь этот код — «сложность ради сложности». Если не нужно, чтобы всё работало быстро, а важна только логика — то весь код — всего около 200 строк Python, включая комментарии.

Он разбирает эти 200 строк: датасет, примерно 50 строк архитектуры нейросети, прямой проход, небольшой autograd-движок (около 100 строк), и оптимизатор Adam (около 10 строк). «Всё вместе — 200 строк.»

Он принимает решение, которое показывает, как меняется образование: он не пишет видео или подробную инструкцию.

«Люди могут объяснить агенту всё, как угодно, — и агент объяснит лучше меня,» — говорит он, — «Я больше не объясняю людям, я объясняю агенту. Если я объясню ясно — он сможет стать маршрутизатором, использовать человеческий язык, терпеливо и по уровню.»

Он описывает «навык» — способ научить агента чему-то: «Может быть, я сделаю навык для microGPT, который опишет, как агент должен вести тебя по коду — чтобы понять его, следуй этим шагам. Можно сделать курс, как навык.»

Он признаётся, что сам пытался заставить агента написать microGPT — свести нейросеть к минимальному виду — но агент не справился.

«microGPT — это моя одержимость, — это те 200 строк, я долго думал, долго страстно к нему стремился, и это — решение. Поверьте, оно не может быть проще. Это — моя ценность: агент не может придумать, но понимает, почему так.»

Он подытоживает: «Мой вклад — эти несколько бит, а всё остальное — обучение, которое уже не моя область. Возможно, образование изменится так: нужно внедрить несколько бит, которые я считаю важными — о курсе, о лучшем объяснении, или что-то подобное.»

Sarah Guo добавляет: «То, что агент не может — это ваша работа; то, что оно может — скоро сделает лучше вас. Поэтому стратегически важно понять, на что тратить время.»

Карпати соглашается, но признаётся: «Я всё ещё думаю, что могу объяснить чуть лучше, чем модель, — но она так быстро развивается, что чувствую — это часть проигрышной борьбы.»

Заключение: проверяемое — уже принадлежит машинам, непроверяемое — всё ещё человеку

Главный конфликт этого диалога — двойная «зависимость»: увлечение возможностями инструментов и тревога по поводу границ этих возможностей.

Карпати называет это «ИИ-ментальным психозом», но при внимательном слушании — это не что иное, как ощущение, присущее каждому крупному революционному скачку в производительности — только всё происходит быстрее, рекурсия глубже, а потолок — пока невидим.

Его финальный, возможно, самый запоминающийся тезис:

Всё непроверяемое — ещё за человеком; всё проверяемое — либо уже принадлежит машинам, либо скоро станет их собственностью.

Что касается вас — на какую сторону встать — совет: честно подумайте.

Источник: подкаст No Priors | Ведущая: Sarah Guo | Гость: Andrej Karpathy, о кодовых агентах, AutoResearch и эпохе «циклов» в ИИ

–end–