Только что послушал подкаст Y Combinator с Демисом Хассабисом, и честно говоря, некоторые его взгляды на AGI и то, чего действительно не хватает в текущих моделях, задели меня по-другому. Этот парень задумывается об этом дольше почти всех, и что удивительно — его взгляд очень приземлённый — без хайпа, просто практическая оценка.

Вот что зацепило меня больше всего: у нас уже есть большинство компонентов. Масштабное предварительное обучение, RLHF, цепочка рассуждений — эти элементы почти наверняка войдут в финальную архитектуру AGI. Но, возможно, остались один или два критических пробела. Непрерывное обучение, долгосрочное рассуждение, системы памяти, которые не просто засовывают всё в контекстные окна, как будто мы склеиваем всё скотчем. Его мнение? Ожидаемый срок появления AGI — около 2030 года, и честно говоря, это меняет подход к созданию технологий сегодня.

Что действительно поразило — его наблюдение о текущем состоянии рассуждений. Модели могут решать задачи, за которые дают золотую медаль IMO, но проваливаются в элементарной математике в зависимости от формулировки. Есть эта проблема «зубчатого» интеллекта — системе не хватает чего-то в саморефлексии о собственных мыслях. Это как смотреть, как Gemini играет в шахматы, понимая, что ход плохой, но всё равно делая его, потому что не может логически прийти к лучшему варианту. В точной системе рассуждений этого не должно происходить.

Что касается агентов, он ясно говорит: мы только начинаем. Все хайпуют на агентах, но настоящая работа — сделать их действительно полезными, а не просто демонстрациями. Он отметил кое-что интересное — никто ещё не создал топовую AAA-игру с использованием ИИ-кодинга. Теоретически это возможно с текущими инструментами, но что-то всё равно отсутствует в процессе или самих инструментах. Он ожидает, что эта тенденция изменится за 6–12 месяцев.

Интересен и аспект дистилляции. Их гипотеза — в течение 6–12 месяцев после выпуска передовой модели они смогут сжать её возможности в что-то, что работает на edge-устройствах. Быстрые модели достигнут 95% передовых показателей при десятой части стоимости. И самое главное — они ещё не достигли теоретического лимита по информационной плотности. Это огромный потенциал для меньших моделей.

Что касается научных прорывов, он говорил о так называемом «тесте Эйнштейна». Могут ли системы, обученные на знаниях до 1901 года, независимо вывести специальную теорию относительности? Как только это станет возможным, такие системы приближаются к настоящим изобретениям, а не просто к распознаванию шаблонов. AlphaFold был прототипом — теперь он стандарт в разработке лекарств. Но для большинства областей мы всё ещё на ранней стадии.

Совет для основателей в Y Combinator был острым: занимайтесь проблемами, которые можете решить только вы. Если вы запускаете проект в области глубоких технологий сегодня, нужно учитывать AGI в планировании. Проект на десять лет может достигнуть AGI уже в середине пути. Не создавайте что-то, что станет устаревшим; создавайте что-то, что останется ценным в мире с AGI. Подумайте, как такие системы, как AlphaFold, будут интегрироваться с универсальными моделями как инструменты, а не всё в одном массивном модели.

И последнее, что зацепило — он говорил о том, что междисциплинарная работа станет проще с ИИ, и что нам нужно перестать думать обо всём как о едином мозге. Специализированные инструменты будут сосуществовать с универсальными системами. Это, наверное, та рамка, о которой стоит думать, если вы что-то строите сегодня.