GPT-5 появится? Выяснилось, что OpenAI ускорил обучение мультимодальной большой модели Gobi, убив Google Gimini одним махом!

**Источник:**Синьчжиюань

Введение: Некоторые люди уже заметили это на поле битвы мультимодальных больших моделей. По сообщениям зарубежных СМИ, новая мультимодальная модель Gobi от OpenAI, похоже, находится в стадии подготовки. Столкновение между Google и OpenAI кажется неизбежным.

Источник изображения: создано Unbounded AI.

С приближением этой осени битва мультимодальных моделей между Google и OpenAI также вступила в ожесточенную стадию.

Буквально на прошлой неделе Google открыла возможности своей мультимодальной большой модели Gemini некоторым сторонним компаниям.

И OpenAI, конечно, не будет сидеть на месте и ждать смерти. Они спешат на время интегрировать мультимодальные функции в GPT-4, стремясь запустить крупную мультимодальную модель с функциями, аналогичными Gemini, и убить Google одним махом.

Легендарная мультимодальная функция была продемонстрирована на конференции OpenAI GPT-4, которая потрясла мир в марте этого года.

Нарисуйте эскиз на бумаге, сфотографируйте и отправьте его в GPT-4 и скажите «Сделайте мне сайт с этим макетом», и он сразу напишет код веб-страницы.

Босс Грег Брокман лично продемонстрировал онлайн

Но с другой стороны, мультимодальность, казалось, была лишь вспышкой, и никто никогда не видел продуктивную физическую функцию.

Итак, приближается ли наконец мультимодальная война между Google и OpenAI?

Конкурируя с Google, OpenAI спешит выпускать большие мультимодальные модели

Столкнувшись со слухами о том, что Google собирается убить этого собственного большого убийцу, OpenAI наверняка не останется равнодушным.

Как сообщает зарубежное издание The Information, новая мультимодальная большая модель под названием Gobi уже находится на стадии интенсивной подготовки.

OpenAI планирует запустить мультимодальную LLM до выпуска Gemini, полностью победив Google.

Грег Брокман из OpenAI против Демиса Хассабиса из Google

Фактически, после запуска предварительной версии мультимодальной функции GPT-4 в марте, OpenAI запустила эту функцию для компании Be My Eyes, но не предоставила ее другим компаниям.

Как можно понять из названия, эта компания разрабатывает технологию, которая позволяет слепым или слабовидящим людям видеть более четко.

Недавно OpenAI планирует более широко развернуть функцию под названием GPT-Vision.

Почему OpenAI заняло так много времени?

Основная причина заключается в том, что они обеспокоены тем, что новые визуальные функции будут использоваться преступниками, например, для выдачи себя за людей путем автоматического взлома кодов проверки или отслеживания людей с помощью распознавания лиц.

Однако инженеры OpenAI, похоже, устранили эти юридические риски безопасности.

Аналогичным образом, представитель Google также заявил: Google принял некоторые меры, чтобы предотвратить злоупотребления Gemini.

В июле компания Google обязалась развивать ответственный искусственный интеллект во всех своих продуктах.

**Может ли Гоби стать GPT-5? **

После GPT-Vision OpenAI, скорее всего, выпустит более мощную мультимодальную большую модель под кодовым названием Gobi.

В отличие от GPT-4, Гоби изначально построен на мультимодальной модели.

Итак, является ли Гоби легендарным GPT-5?

Прямо сейчас мы не знаем. Точной информации о том, насколько далеко продвинулся Гоби в тренировках, нет.

В начале сентября Мустафа Сулейман, соучредитель DeepMind, а ныне генеральный директор Inflection AI, в интервью опубликовал сенсационную новость: по его предположениям, OpenAI тайно обучала GPT-5.

Сулейман считает, что Сэм Альтман, возможно, не говорит правду, когда недавно сказал, что они не обучали GPT-5. (Оригинальные слова: «Да ладно. Я не знаю. Думаю, будет лучше, если мы все прямо об этом скажем.)

Здесь, по мнению людей, испытавших Gemini, Gemini будет вызывать меньше галлюцинаций, чем существующие модели. Причины подробно описаны ниже.

Короче говоря, войну мультимодальных моделей между Google и OpenAI можно назвать AI-версией противостояния iPhone и Android.

Один из них — гигант Кремниевой долины, который доминировал в области искусственного интеллекта на протяжении многих лет, а другой — первоклассный стартап в сфере искусственного интеллекта, которому нет равных в центре внимания. жду затаив дыхание.

### Google тайно тестирует Gemini

С другой стороны, Google также начала приглашать некоторых внешних разработчиков для ускорения тестирования будущей мультимодальной большой модели Gemini следующего поколения.

На прошлой неделе The Information эксклюзивно сообщила, что Gemini вскоре может быть готова к выпуску бета-версии и интегрирована в такие сервисы, как Google Cloud Vertex AI.

На конференции разработчиков Google I/O в этом году Пичаи публично представил Gemini, мультимодальную модель, эффективный инструмент интеграции и API.

Чтобы вместе работать над достижением больших целей, Google также объединил Google Brain с DeepMind Labs.

Говорят, что в исследованиях и разработках Gemini участвовало как минимум более 20 руководителей во главе с Демисом Хассабисом, основателем DeepMind, а также в исследованиях и разработках участвовал Сергей Брин, основатель Google.

В Google DeepMind также работают сотни сотрудников, в том числе бывший директор Google Brain Джефф Дин и другие.

Один человек, испытавший ее, сказал, что Gemini имеет преимущество перед GPT-4 по крайней мере в одном отношении: помимо общедоступной информации в Интернете, модель также использует большое количество частных данных из потребительских продуктов Google (поиск, YouTube). .

Таким образом, Gemini должен быть особенно точным в понимании намерений пользователя по конкретному запросу и, похоже, дает меньше неправильных ответов, то есть галлюцинаций.

Согласно предыдущим отчетам аналитиков SemiAnalysis, большая модель Gemini от Google следующего поколения начала обучение на новом поде TPUv5 с вычислительной мощностью до ~1e26 FLOPS, что в 5 раз превышает вычислительную мощность обучения GPT-4.

Кроме того, обучающая база данных Gemini содержит 93,6 миллиарда минут видеосубтитров на Youtube, а общий размер набора данных примерно вдвое больше, чем у GPT-4.

Говорят, что большая модель Google следующего поколения также состоит из нескольких масштабов и может использовать архитектуру MoE и технологию спекулятивной выборки.

Токен заранее генерируется маленькой моделью и передается в большую модель для оценки, чтобы улучшить общую скорость расчета модели.

Хассабис, глава Google DeepMind, заявил в интервью, что Gemini, как ожидается, будет стоить от десятков до сотен миллионов долларов, что эквивалентно стоимости разработки GPT-4.

Gemini интегрирует технологию, используемую в AlphaGo, что предоставит системе новые возможности планирования и решения проблем.

Можно сказать, что Gemini сочетает в себе некоторые преимущества системы AlphaGo с потрясающими языковыми возможностями больших языковых моделей. И у нас есть еще несколько интересных новинок.

Технология, лежащая в основе AlphaGo, — это обучение с подкреплением, технология, впервые разработанная DeepMind.

Агенты RL взаимодействуют с окружающей средой с течением времени, изучая политику методом проб и ошибок, тем самым максимизируя долгосрочные совокупные выгоды.

Благодаря обучению с подкреплением ИИ может корректировать свою производительность методом проб и ошибок и получать обратную связь, тем самым учась решать сложные проблемы, например, выбирать, как сделать следующий ход в го или видеоиграх.

Кроме того, AlphaGo также использует метод поиска по дереву Монте-Карло (MCTS) для изучения и запоминания всех возможных ходов на доске.

По сравнению с существующими моделями Gemini значительно улучшит возможности разработчиков программного обеспечения по генерации кода, и Google надеется использовать его, чтобы догнать помощника по написанию кода GitHub Copilot от Microsoft.

Google также обсуждал использование Gemini для реализации таких функций, как анализ диаграмм, например, запрос модели интерпретировать значение заполненных диаграмм и использование текстовых или голосовых команд для просмотра веб-браузеров или другого программного обеспечения.

Google Cloud Vertex AI, платформа разработчиков Google Cloud, также будет поддерживаться Gemini, причем доступны как большие, так и малые версии, поэтому разработчики смогут платить за приобретение небольших моделей для запуска на персональных устройствах.

Теперь Google полностью готовится к войне, ожидая, когда Gemini начнет контрнаступление.

выпущена инструкция gpt-3.5-turbo

В июле OpenAI объявила, что API GPT-4 полностью доступен и в ближайшие несколько месяцев выпустит новые модели.

Нет, только сегодня пользователи сети получили электронные письма с описанием новой модели gpt-3.5-turbo-instruct, которая заменит старую модель text-davinci-003.

По имеющимся данным, gpt-3.5-turbo-instruct представляет собой модель стиля InstructGPT, а ее метод обучения аналогичен text-davinci-003.

Способ использования аналогичен предыдущему – Завершение, завершение по указаниям слова-подсказки.

Что касается цены, gpt-3.5-turbo 4K остается неизменной.

Некоторые пользователи сети начали использовать новейшую модель для игры в шахматы, имея рейтинг Эло около 1800.

Ранее он обнаружил, что GPT вообще не может этого сделать, но теперь кажется, что это проблема только модели чата RLHF, а чистая модель завершения работает успешно.

В игре gpt-3.5-turbo-instruct легко победил Stockfish 4 уровня (1700 очков) и так же не отстал на 5 уровне (2000 очков).

Он никогда не делает незаконных ходов, использует умные дебютные жертвы и невероятные маты пешкам и королям, позволяя своим противникам продвигаться вперед без какого-либо реального смысла.

Пользователи сети используют следующие подсказки в стиле PGN для имитации основной игры. Подсветка немного неправильная. GPT делает свои собственные ходы, а он вручную вводит ходы Stockfish.

Кстати, началась регистрация на первую конференцию разработчиков OpenAI, которая пройдет в ноябре, так что поспешите подать заявку.

Использованная литература: