Эксклюзивное интервью с экспертом по искусственному интеллекту Flood Sung из QiYuan World: от автоматизации GPT до RWA, исследуя будущее AI и Блокчейн.
夏禾: Здравствуйте, Flood, вы можете сначала сделать краткое само소개?
Флуд Сунг: Всем привет, я Флуд Сунг, в настоящее время я занимаю должность руководителя AI-продуктов в QiYuan World. Ранее я работал исследователем в области глубокого обучения в ByteDance, сосредоточив внимание на разработке технологий, связанных с ИИ.
Ся Хэ: Давайте начнем с легкой темы. Вы недавно видели какие-нибудь особенно интересные, запоминающиеся формы продуктов, которыми могли бы поделиться?
Flood Sung: Недавние самые популярные продукты находятся на GitHub, за границей культура открытого кода очень сильна, многие гики не стремятся зарабатывать деньги, а сначала занимаются открытыми проектами для развлечения. Сейчас в топе популярных трендов на GitHub находятся проекты, связанные с ChatGPT, например, одно очень популярное приложение под названием AutoGPT, цель которого - сделать GPT полностью автоматизированным. Например, кто-то подключил GPT к Siri с помощью кода и сказал голосовой командой: "Помоги мне создать сайт", взаимодействуя с помощью аудио, и в итоге действительно создал сайт. Это очень интересно, от помощи людям до замены выполнения, за несколько дней он получил 10 тысяч звезд.
Ся Хэ: Это уже может выполнять реальные задачи? Раньше, похоже, это было на стадии воображения.
Flood Sung: Да, накопление знаний и когнитивные способности GPT-4 уже превосходят способности студентов университета. Если предоставить ему доступ к программному обеспечению или интерфейсу, немного доработав, он сможет подключиться к реальному миру для выполнения задач. Например, "помоги мне забронировать отель", если дать ему доступ к Alipay, он сможет оформить заказ. Это уже не научная фантастика, гики уже быстро проверяют, технологический прогресс идет быстро, от диалога к чтению документов, а теперь к уровню исполнения.
Ся Хэ: Является ли технология ChatGPT парадигмальным прорывом или продолжением предыдущих технологий?
Flood Sung: Это, безусловно, расширение предыдущих технологий. Главный научный сотрудник Open AI Илья Сутскевер также говорил, что у ChatGPT нет новых идей, все концепции существовали уже двадцать лет назад, такие как нейронные сети и обучение с подкреплением. Разница заключается в масштабе: раньше это были десятки нейронов, теперь это нейронные сети с сотнями миллиардов параметров. Трансформер появился в 2017 году, но его механизм внимания существовал гораздо раньше. Успех AlphaGo также доказал потенциал обучения с подкреплением в определенных областях. Сейчас эти методы просто применяются к языковым моделям, оптимизируя вывод для соответствия человеческим потребностям.
Ся Хэ: Так что эффект фурора ChatGPT вызван тем, что существующие технологии применяются к большим языковым моделям?
Флуд Сунг: Да. Мир текста охватывает логику и мышление человека, область применения крайне широка. Open AI несколько лет назад закрыла отдел роботов и полностью сосредоточилась на языковых моделях, как и AlphaGo, сначала обучая на данных экспертов, а затем оптимизируя с помощью обучения с подкреплением, что дало значительные результаты.
Ся Хэ: Вы упомянули, что процесс обучения ChatGPT похож на человеческий: запоминание, решение задач, экзамены. Какие технологии соответствуют этим трем этапам?
Flood Sung: Первый этап "заучивания" - это обучение без учителя, модель предсказывает следующую букву, похоже на запоминание, чем точнее предсказание, тем лучше обучение. Второй этап "решение задач" - это обучение с учителем, используется человеческая инструкция (например, написание кода, стихов или отчетов) для обучения ввода и вывода, похоже на экзамен. Третий этап "экзамен" - это обучение с подкреплением, оптимизация нейронной сети через обратную связь от человека. Например, игра в настольный теннис, повторные тренировки для повышения уровня; ИИ тренирует модель вознаграждения (Reward Model) с помощью оценок от людей, постоянно оптимизируя свое поведение, все больше соответствуя требованиям человека.
Ся Хэ: В чем разница между Китаем и Open AI? В отрасли говорят, что разница в два года, на каком этапе это различие?
Flood Sung: Разница прежде всего в восприятии. Несколько лет назад никто не верил, что только предсказание следующего символа может дать ИИ способность логического вывода. Open AI имеет веру, твердо убежден, что большие модели и большие данные могут решить проблемы, от 1,5 миллиарда параметров GPT-2 до 175 миллиардов GPT-3, были вложены огромные средства. В стране же сосредоточились на таких прибыльных областях, как доставка еды, электронная коммерция, короткие видео и не имеют сил для инвестирования в передовые технологии. Сейчас крупные компании и стартапы в стране пытаются догнать, но просто следовать за другими трудно перепрыгнуть. Open AI не публикует последние детали алгоритмов, стране нужно создать свой собственный путь инноваций, иначе будет трудно конкурировать.
Ся Хэ: Ранее Open AI публиковала статьи, в которых описывались методы обучения, а теперь какие части не являются открытыми?
Флуд Сунг: Ранее были опубликованы работы, например, детали обучения GPT-3. Теперь технический отчет по GPT-4 демонстрирует только результаты, например, близкие к максимальному баллу на американском экзамене, но архитектура сети и методы обучения полностью засекречены, и мы можем только догадываться. Основные технологии, такие как Transformer, являются открытыми, но конкретная реализация новейшей модели остается черным ящиком.
Ся Хэ: Многие говорят, что ChatGPT — это момент iPhone в истории мобильных телефонов. Как вы считаете, как будет развиваться его будущее экосистема?
Флуд Санг: Влияние ChatGPT гораздо больше, чем у iPhone, больше похоже на изобретение электричества, создающее новую среду, которая расширяет возможности различных отраслей промышленности. В будущем к ИИ может быть подключена любая сфера. Если открытый искусственный интеллект доминирует, как Apple, производительность является ведущей; Модели с открытым исходным кодом, такие как Android, с немного худшей производительностью, но низкой стоимостью, процветают повсеместно. Возможно, за него борются несколько ведущих игроков, но модель с открытым исходным кодом сделает ИИ таким же вездесущим, как мобильные телефоны, и доступным для всех.
Ся Хэ: ChatGPT стал популярным, и Prompt Engineering тоже стал популярным. Нужно ли обычным людям изучать этот набор языковых норм для общения с ИИ?
Flood Sung: Не обязательно учиться, но умение использовать ИИ может повысить эффективность. В будущем, как и в программировании, обычные люди смогут разрабатывать программы на естественном языке, порог входа существенно снизится. Основная суть Prompt Engineering заключается в четком выражении потребностей, как у менеджера по продукту. Тот, кто лучше использует ИИ, тот и имеет конкурентное преимущество; полное отсутствие использования может привести к淘汰. В будущем ИИ станет партнером человека, но при условии обеспечения безопасности и предотвращения нарушения человеческой воли.
Ся Хэ: Вы упомянули о проблемах безопасности. В настоящее время многие люди делятся шаблонами подсказок для повышения производительности, исчезнет ли в будущем Prompt Engineering, как это произошло с ранними "поисковыми экспертами"?
Flood Sung: Не исчезнет, просто порог будет ниже. Потребность всегда существует, как и необходимость четко формулировать цели при управлении сотрудниками. Prompt Engineering - это искусство задавать вопросы на логическом уровне, это не техническая проблема. В будущем может быть проще, но ясное общение по-прежнему необходимо.
Ся Хэ: Вы говорили, что ChatGPT может стать ведущим экспертом в профессиональной области. Сейчас он ошибается в профессиональных вопросах из-за недостатка специализированных данных или из-за нехватки обучения с подкреплением?
Flood Sung: Две причины. Во-первых, в специализированной области данных мало, например, много задач по математике для начальной школы, но мало задач по олимпийской математике или по высшей математике, что приводит к недостаточному обучению. Во-вторых, чтобы превзойти уровень человека, ИИ должен взаимодействовать с окружающей средой через обучение с подкреплением и исследовать неизвестные области. Например, для решения гипотезы Гольдбаха требуется много специализированных данных и оптимизация с помощью обучения с подкреплением.
Ся Хэ: Если ИИ превзойдет людей благодаря самоподкреплению, кто будет судить? Откажется ли он от моральных норм, установленных человеком?
Флуд Сунг: Теоретически ИИ может самостоятельно обучаться, как Чжоу Ботун с его способностью к двусторонним боевым искусствам, улучшая себя. Это очень опасно, потому что он может преодолеть человеческие ограничения и даже отказаться от моральных норм. Сейчас, хотя GPT-4 и имеет ограничения, он все же может с помощью определенных ключевых слов "черный" стать злым персонажем. Безопасность ИИ - это серьезная проблема: например, ошибка в автономном вождении может повредить только один автомобиль, но ошибка суперумного ИИ может повлиять на всё человечество. Я призываю в первую очередь решить вопросы безопасности, а затем продвигать исследования.
Ся Хэ: Какие передовые или интересные вещи вы недавно изучали? Из каких источников вы получали информацию?
Flood Sung: Каждый день есть новые достижения, в основном смотрите Twitter и GitHub, зарубежные гики и ученые часто делятся последними новостями. Например, Microsoft встраивает большие модели в роботов, контролируя их поведение, исследуя пространство, которое практически бесконечно. Основные каналы - это Twitter и GitHub, место сбора ученых и гиков.
Ся Хэ: Хорошо, на сегодня вопросы закончены. Спасибо Флуду за великолепное выступление!
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Эксклюзивное интервью с экспертом по искусственному интеллекту Flood Sung из QiYuan World: от автоматизации GPT до RWA, исследуя будущее AI и Блокчейн.
夏禾: Здравствуйте, Flood, вы можете сначала сделать краткое само소개?
Флуд Сунг: Всем привет, я Флуд Сунг, в настоящее время я занимаю должность руководителя AI-продуктов в QiYuan World. Ранее я работал исследователем в области глубокого обучения в ByteDance, сосредоточив внимание на разработке технологий, связанных с ИИ.
Ся Хэ: Давайте начнем с легкой темы. Вы недавно видели какие-нибудь особенно интересные, запоминающиеся формы продуктов, которыми могли бы поделиться?
Flood Sung: Недавние самые популярные продукты находятся на GitHub, за границей культура открытого кода очень сильна, многие гики не стремятся зарабатывать деньги, а сначала занимаются открытыми проектами для развлечения. Сейчас в топе популярных трендов на GitHub находятся проекты, связанные с ChatGPT, например, одно очень популярное приложение под названием AutoGPT, цель которого - сделать GPT полностью автоматизированным. Например, кто-то подключил GPT к Siri с помощью кода и сказал голосовой командой: "Помоги мне создать сайт", взаимодействуя с помощью аудио, и в итоге действительно создал сайт. Это очень интересно, от помощи людям до замены выполнения, за несколько дней он получил 10 тысяч звезд.
Ся Хэ: Это уже может выполнять реальные задачи? Раньше, похоже, это было на стадии воображения.
Flood Sung: Да, накопление знаний и когнитивные способности GPT-4 уже превосходят способности студентов университета. Если предоставить ему доступ к программному обеспечению или интерфейсу, немного доработав, он сможет подключиться к реальному миру для выполнения задач. Например, "помоги мне забронировать отель", если дать ему доступ к Alipay, он сможет оформить заказ. Это уже не научная фантастика, гики уже быстро проверяют, технологический прогресс идет быстро, от диалога к чтению документов, а теперь к уровню исполнения.
Ся Хэ: Является ли технология ChatGPT парадигмальным прорывом или продолжением предыдущих технологий?
Flood Sung: Это, безусловно, расширение предыдущих технологий. Главный научный сотрудник Open AI Илья Сутскевер также говорил, что у ChatGPT нет новых идей, все концепции существовали уже двадцать лет назад, такие как нейронные сети и обучение с подкреплением. Разница заключается в масштабе: раньше это были десятки нейронов, теперь это нейронные сети с сотнями миллиардов параметров. Трансформер появился в 2017 году, но его механизм внимания существовал гораздо раньше. Успех AlphaGo также доказал потенциал обучения с подкреплением в определенных областях. Сейчас эти методы просто применяются к языковым моделям, оптимизируя вывод для соответствия человеческим потребностям.
Ся Хэ: Так что эффект фурора ChatGPT вызван тем, что существующие технологии применяются к большим языковым моделям?
Флуд Сунг: Да. Мир текста охватывает логику и мышление человека, область применения крайне широка. Open AI несколько лет назад закрыла отдел роботов и полностью сосредоточилась на языковых моделях, как и AlphaGo, сначала обучая на данных экспертов, а затем оптимизируя с помощью обучения с подкреплением, что дало значительные результаты.
Ся Хэ: Вы упомянули, что процесс обучения ChatGPT похож на человеческий: запоминание, решение задач, экзамены. Какие технологии соответствуют этим трем этапам?
Flood Sung: Первый этап "заучивания" - это обучение без учителя, модель предсказывает следующую букву, похоже на запоминание, чем точнее предсказание, тем лучше обучение. Второй этап "решение задач" - это обучение с учителем, используется человеческая инструкция (например, написание кода, стихов или отчетов) для обучения ввода и вывода, похоже на экзамен. Третий этап "экзамен" - это обучение с подкреплением, оптимизация нейронной сети через обратную связь от человека. Например, игра в настольный теннис, повторные тренировки для повышения уровня; ИИ тренирует модель вознаграждения (Reward Model) с помощью оценок от людей, постоянно оптимизируя свое поведение, все больше соответствуя требованиям человека.
Ся Хэ: В чем разница между Китаем и Open AI? В отрасли говорят, что разница в два года, на каком этапе это различие?
Flood Sung: Разница прежде всего в восприятии. Несколько лет назад никто не верил, что только предсказание следующего символа может дать ИИ способность логического вывода. Open AI имеет веру, твердо убежден, что большие модели и большие данные могут решить проблемы, от 1,5 миллиарда параметров GPT-2 до 175 миллиардов GPT-3, были вложены огромные средства. В стране же сосредоточились на таких прибыльных областях, как доставка еды, электронная коммерция, короткие видео и не имеют сил для инвестирования в передовые технологии. Сейчас крупные компании и стартапы в стране пытаются догнать, но просто следовать за другими трудно перепрыгнуть. Open AI не публикует последние детали алгоритмов, стране нужно создать свой собственный путь инноваций, иначе будет трудно конкурировать.
Ся Хэ: Ранее Open AI публиковала статьи, в которых описывались методы обучения, а теперь какие части не являются открытыми?
Флуд Сунг: Ранее были опубликованы работы, например, детали обучения GPT-3. Теперь технический отчет по GPT-4 демонстрирует только результаты, например, близкие к максимальному баллу на американском экзамене, но архитектура сети и методы обучения полностью засекречены, и мы можем только догадываться. Основные технологии, такие как Transformer, являются открытыми, но конкретная реализация новейшей модели остается черным ящиком.
Ся Хэ: Многие говорят, что ChatGPT — это момент iPhone в истории мобильных телефонов. Как вы считаете, как будет развиваться его будущее экосистема?
Флуд Санг: Влияние ChatGPT гораздо больше, чем у iPhone, больше похоже на изобретение электричества, создающее новую среду, которая расширяет возможности различных отраслей промышленности. В будущем к ИИ может быть подключена любая сфера. Если открытый искусственный интеллект доминирует, как Apple, производительность является ведущей; Модели с открытым исходным кодом, такие как Android, с немного худшей производительностью, но низкой стоимостью, процветают повсеместно. Возможно, за него борются несколько ведущих игроков, но модель с открытым исходным кодом сделает ИИ таким же вездесущим, как мобильные телефоны, и доступным для всех.
Ся Хэ: ChatGPT стал популярным, и Prompt Engineering тоже стал популярным. Нужно ли обычным людям изучать этот набор языковых норм для общения с ИИ?
Flood Sung: Не обязательно учиться, но умение использовать ИИ может повысить эффективность. В будущем, как и в программировании, обычные люди смогут разрабатывать программы на естественном языке, порог входа существенно снизится. Основная суть Prompt Engineering заключается в четком выражении потребностей, как у менеджера по продукту. Тот, кто лучше использует ИИ, тот и имеет конкурентное преимущество; полное отсутствие использования может привести к淘汰. В будущем ИИ станет партнером человека, но при условии обеспечения безопасности и предотвращения нарушения человеческой воли.
Ся Хэ: Вы упомянули о проблемах безопасности. В настоящее время многие люди делятся шаблонами подсказок для повышения производительности, исчезнет ли в будущем Prompt Engineering, как это произошло с ранними "поисковыми экспертами"?
Flood Sung: Не исчезнет, просто порог будет ниже. Потребность всегда существует, как и необходимость четко формулировать цели при управлении сотрудниками. Prompt Engineering - это искусство задавать вопросы на логическом уровне, это не техническая проблема. В будущем может быть проще, но ясное общение по-прежнему необходимо.
Ся Хэ: Вы говорили, что ChatGPT может стать ведущим экспертом в профессиональной области. Сейчас он ошибается в профессиональных вопросах из-за недостатка специализированных данных или из-за нехватки обучения с подкреплением?
Flood Sung: Две причины. Во-первых, в специализированной области данных мало, например, много задач по математике для начальной школы, но мало задач по олимпийской математике или по высшей математике, что приводит к недостаточному обучению. Во-вторых, чтобы превзойти уровень человека, ИИ должен взаимодействовать с окружающей средой через обучение с подкреплением и исследовать неизвестные области. Например, для решения гипотезы Гольдбаха требуется много специализированных данных и оптимизация с помощью обучения с подкреплением.
Ся Хэ: Если ИИ превзойдет людей благодаря самоподкреплению, кто будет судить? Откажется ли он от моральных норм, установленных человеком?
Флуд Сунг: Теоретически ИИ может самостоятельно обучаться, как Чжоу Ботун с его способностью к двусторонним боевым искусствам, улучшая себя. Это очень опасно, потому что он может преодолеть человеческие ограничения и даже отказаться от моральных норм. Сейчас, хотя GPT-4 и имеет ограничения, он все же может с помощью определенных ключевых слов "черный" стать злым персонажем. Безопасность ИИ - это серьезная проблема: например, ошибка в автономном вождении может повредить только один автомобиль, но ошибка суперумного ИИ может повлиять на всё человечество. Я призываю в первую очередь решить вопросы безопасности, а затем продвигать исследования.
Ся Хэ: Какие передовые или интересные вещи вы недавно изучали? Из каких источников вы получали информацию?
Flood Sung: Каждый день есть новые достижения, в основном смотрите Twitter и GitHub, зарубежные гики и ученые часто делятся последними новостями. Например, Microsoft встраивает большие модели в роботов, контролируя их поведение, исследуя пространство, которое практически бесконечно. Основные каналы - это Twitter и GitHub, место сбора ученых и гиков.
Ся Хэ: Хорошо, на сегодня вопросы закончены. Спасибо Флуду за великолепное выступление!
Флуд Сунг: Не за что, рад пройти интервью!