ChatGPT глупый или старый?

Первоисточник: Новые знания в области науки и технологий.

Источник изображения: Создано Unbounded AI ‌

«Прошлые результаты не являются гарантией будущих результатов» — это мелкий шрифт большинства моделей финансового менеджмента. В продуктовом бизнесе это называется дрейфом, упадком или устареванием модели. Все меняется, и производительность модели со временем ухудшается. Окончательным стандартом измерения является показатель качества модели, которым может быть точность, средняя частота ошибок или некоторые ключевые показатели эффективности последующего бизнеса, такие как рейтинг кликов. Ни одна модель не работает вечно, но темпы снижения различны. ‍ Некоторые продукты могут использоваться годами без необходимости обновлений, например определенные компьютерное зрение или языковые модели, или любая система принятия решений в изолированной, стабильной среде, например, в обычных экспериментальных условиях. Если вы хотите обеспечить точность модели, вам необходимо каждый день обучать новые данные. Это парадигмальный недостаток модели машинного обучения, который также делает развертывание искусственного интеллекта невозможным раз и навсегда, как развертывание программного обеспечения. . Последний создавался десятилетиями, и в настоящее время в самых передовых продуктах искусственного интеллекта все еще используются программные технологии предыдущих лет. Пока они остаются полезными, даже если технология устареет, они будут жить в каждом байте. Однако крупные модели, представленные ChatGPT, известные как самые передовые продукты искусственного интеллекта, столкнулись с вопросами о том, не устаревают ли они после падения популярности. ** Ни ветра, ни волны. Пользователи тратят все меньше и меньше времени на ChatGPT: с 8,7 минут в марте до 7 минут в августе. С другой стороны, это отражает то, что, когда предложение инструментов для крупных моделей быстро растет, ChatGPT, который является всего лишь инструментом повышения производительности, кажется недостаточным, чтобы стать фаворитом поколения Z, основной группы пользователей. Временной популярности недостаточно, чтобы поколебать доминирование OpenAI, которая стремится стать магазином приложений в эпоху искусственного интеллекта. Более серьезная проблема заключается в том, что старение производительности ChatGPT является основной причиной снижения доверия среди многих старых пользователей. С мая на форуме OpenAI появляются сообщения о том, что производительность GPT-4 не так хороша, как раньше. Итак, ChatGPT устарел? Будут ли большие модели, представленные ChatGPT, стареть, как предыдущие модели машинного обучения? Без понимания этих проблем мы не сможем найти путь устойчивого развития для людей и машин в условиях бесконечного увлечения большими моделями.

**01 Устарел ли ChatGPT? **

Последние данные поставщика программных услуг Salesforce AI показывают, что 67% пользователей крупных моделей — это поколение Z или миллениалы; более 68% людей, которые редко используют генеративный ИИ или отстают в этом отношении, — это поколение X или бэби-бумеры. Разница поколений показывает, что поколение Z становится основной группой, охватывающей большие модели. Келли Элиягу, маркетолог Salesforce, сказала: «Поколение Z на самом деле представляет собой поколение ИИ, и они составляют группу суперпользователей. 70% представителей поколения Z используют генеративный ИИ, и по крайней мере половина использует его каждую неделю или более». более." Однако, будучи лидером в производстве крупных моделей, эффективность ChatGPT среди людей поколения Z не является выдающейся.

По данным агентства маркетинговых исследований Likeweb за июль, **ChatGPT использовали 27% людей поколения Z по сравнению с 30% в апреле. Для сравнения, другой крупномасштабный модельный продукт, который позволяет пользователям создавать собственных персонажей с искусственным интеллектом, имеет уровень проникновения 60% среди людей в возрасте 18-24 лет. ** Благодаря популярности поколения Z, приложения Character.ai для iOS и Android в настоящее время имеют 4,2 миллиона активных пользователей в месяц в США, что все ближе и ближе приближается к 6 миллионам активных пользователей в месяц мобильного ChatGPT. В отличие от диалогового искусственного интеллекта ChatGPT, Character.AI добавляет на этой основе две основные функции персонализации и пользовательского контента, предоставляя ему более широкие сценарии использования, чем первый. С одной стороны, пользователи могут настраивать роли ИИ в соответствии с личными потребностями, чтобы удовлетворить потребности поколения Z в персонализированной настройке. В то же время созданные этими пользователями персонажи ИИ также могут использоваться всеми пользователями платформы для создания атмосферы сообщества ИИ. Например, виртуальные персонажи, такие как Сократ и Бог, ранее распространялись на платформах социальных сетей, а также искусственные изображения бизнес-знаменитостей, таких как Маск, созданные правительством независимо. С другой стороны, персонализированная глубокая настройка + функция группового чата также заставляют пользователей полагаться на платформу в плане эмоционального интеллекта. Публичные комментарии пользователей многих социальных сетей указывают на то, что чат слишком реалистичен, как будто «у созданных вами персонажей есть жизнь, как при разговоре с реальным человеком» и «это больше всего похоже на воображаемого друга или ангела-хранителя». до сих пор." Вероятно, из-за давления со стороны Character.AI, OpenAI 16 августа 2023 года опубликовала на своем официальном сайте краткое заявление, объявив о приобретении американского стартапа Global Illumination и взятии всей команды под свое крыло. Эта небольшая компания с двухлетней историей и восемью сотрудниками в основном занимается использованием искусственного интеллекта для создания интеллектуальных инструментов, цифровой инфраструктуры и цифрового опыта. Вполне вероятно, что благодаря этому приобретению OpenAI будет стремиться значительно улучшить текущий опыт работы с большими моделями в области цифровых технологий.

02 Старение искусственного интеллекта

Устаревание ChatGPT на уровне цифровых технологий больших моделей влияет на его эффект убийства времени. Поскольку он является инструментом повышения производительности, точность получаемых результатов нестабильна, что также влияет на его привязку к пользователю.

Согласно предыдущему опросу Salesforce, почти 60% пользователей крупных моделей считают, что они осваивают эту технологию благодаря накопленному времени обучения. Однако нынешний уровень владения этой технологией со временем меняется.

Еще в мае старые пользователи крупных моделей начали жаловаться на форуме OpenAI, что GPT-4 «испытывает трудности с выполнением задач, которые раньше выполнялись хорошо». В июле Business Insider сообщил, что многие старые пользователи описывали GPT-4 как «ленивый» и «тупой» по сравнению с его предыдущими возможностями вывода и другими результатами. Поскольку чиновник на это не отреагировал, люди начали размышлять о причинах снижения производительности GPT-4.Могло ли это быть связано с предыдущими проблемами с денежными потоками OpenAI? Основные предположения сосредоточены на снижении производительности из-за оптимизации затрат. Некоторые исследователи говорят, что OpenAI может использовать меньшие модели API, чтобы снизить стоимость использования ChatGPT. Однако позже эту возможность опроверг Питер Велиндер, вице-президент по продуктам OpenAI. В социальных сетях он заявил: «Мы не делаем GPT-4 глупее. Одно из текущих предположений заключается в том, что когда вы будете использовать его чаще, вы начнете замечать проблемы, которых раньше не замечали». Все больше людей и более длительное использование выявили ограничения ChatGPT. Что касается этой гипотезы, исследователи попытались представить «изменения во взаимосвязи между производительностью ChatGPT и временем» посредством более строгих экспериментов.

Исследовательская статья под названием «Как поведение ChatGPT меняется со временем?», представленная Стэнфордским университетом и Калифорнийским университетом в Беркли в июле, показывает, что: **Одна и та же версия большой модели действительно может измениться за относительно короткий период времени. …Произошли большие перемены. ** С марта по июнь исследователи тестировали две версии GPT-3.5 и GPT-4, собирали и оценивали результаты генерации четырех общих эталонных задач: математические вопросы, ответы на деликатные вопросы, генерацию кода и визуальное мышление. Результаты показывают, что будь то GPT-3.5 или GPT-4, производительность и результаты генерации обоих могут со временем меняться. Что касается математических способностей, GPT-4 (март 2023 г.) довольно хорошо справляется с определением простых и составных чисел (точность 84%), но GPT-4 (июнь 2023 г.) плохо справляется с той же задачей (точность 51%). Интересно, что CPT-3.5 справился с этой задачей в июне гораздо лучше, чем в марте. Однако, что касается деликатных вопросов, GPT-4 был менее готов отвечать на деликатные вопросы в июне, чем в марте; что касается возможностей кодирования, и GPT-4, и GPT-3.5 показали больше ошибок в июне, чем в марте. Исследователи полагают, что, хотя очевидной линейной зависимости между производительностью ChatGPT и временем не существует, точность колеблется.

Это проблема не только самого ChatGPT, но и общая проблема всех предыдущих моделей ИИ. **Согласно исследованию Массачусетского технологического института, Гарвардского университета, Университета Монтерея и Кембриджского университета, проведенного в 2022 году, 91% моделей машинного обучения со временем деградируют. Исследователи называют это явление «искусственным интеллектом» «Интеллектуальное старение». ** Например, компания Google Health однажды разработала модель глубокого обучения, которая может выявлять заболевания сетчатки посредством сканирования глаз пациента. Модель достигла точности 90% на этапе обучения, но не смогла обеспечить точные результаты в реальной жизни. Главным образом потому, что в лаборатории используются высококачественные обучающие данные, а реальные снимки глаз имеют более низкое качество. Из-за устаревания моделей машинного обучения технологии искусственного интеллекта, вышедшие из лабораторий в прошлом, в основном основывались на технологии распознавания речи, а такие продукты, как интеллектуальные колонки, стали первыми, кто стал популярным. Согласно опросу Бюро переписи населения США, проведенному в 2018 году среди 583 000 американских компаний, только 2,8% использовали модели машинного обучения для повышения эффективности своей деятельности. Однако с прорывом в интеллектуальных возможностях появления больших моделей скорость старения моделей машинного обучения значительно ослабла, и они постепенно выходят из лаборатории к более широкой аудитории. Однако под «черным ящиком» новых возможностей по-прежнему скрывается непредсказуемость, из-за чего многие люди задаются вопросом, сможет ли ChatGPT поддерживать постоянное улучшение производительности ИИ в долгосрочной перспективе.

03 Борьба со старением под черным ящиком

Суть старения искусственного интеллекта на самом деле заключается в недостатке парадигмы моделей машинного обучения.

Раньше модели машинного обучения обучались на основе соответствия между конкретными задачами и конкретными данными. С помощью большого количества примеров сначала научите модель, что хорошо, а что плохо в этой области, а затем отрегулируйте вес модели для получения соответствующих результатов. Согласно этой идее, каждый раз, когда вы делаете что-то новое или существенно меняется распределение данных, модель необходимо переобучить. Есть бесконечное количество новых вещей и новых данных, и модель можно только обновлять. Однако обновление модели также приведет к тому, что вещи, которые раньше делались хорошо, внезапно перестанут выполняться хорошо, что еще больше ограничит возможности применения. **Подводя итог, в традиционных моделях машинного обучения суть маховика данных заключается в повторении модели и использовании новых моделей для решения новых проблем. ** Однако появились крупные модели, представленные ChatGPT, с возможностями автономного обучения и прорвавшие эту парадигму. Раньше машинное обучение сначала «съедало» данные, а затем «имитировало» их на основе отношений соответствия; большие модели, такие как ChatGPT, «обучали» данные, а затем «понимали» их, основываясь на «внутренней логике». При этом сама большая модель не меняется и теоретически может оставаться молодой вечно. Однако некоторые практики заявили, что, как и возникновение интеллекта в больших моделях, он развивается нелинейно, непредсказуемо и появляется внезапно. Также неизвестно, будут ли большие модели стареть с течением времени, что приводит к непредсказуемым неопределенностям. **Другими словами, после того, как ChatGPT появился с интеллектуальной производительностью, которую было трудно определить теоретически, он также начал проявлять непредсказуемость и неопределенность. ** Что касается природы «черного ящика» «появления», на конференции по запуску большой модели с открытым исходным кодом Baichuan Intelligent Baichuan2 6 сентября Чжан Бо, академик Китайской академии наук и почетный декан Института искусственного интеллекта Университета Цинхуа, сказал: «До сих пор мир не доверяет большой модели с открытым исходным кодом. Теоретический принцип работы модели и возникающие явления неясны, и все выводы сделаны для создания феномена возникновения. Так называемое возникновение заключается в том, чтобы дайте себе отступление. Когда объяснение неясно, говорят, что это возникновение. На самом деле это отражает Мы ничего об этом не знаем». По его мнению, вопрос о том, почему большие модели вызывают галлюцинации, затрагивает разницу между ChatGPT и принципами генерации человеческого естественного языка. Самое фундаментальное отличие заключается в том, что язык, создаваемый ChatGPT, управляется извне, в то время как человеческий язык управляется собственными намерениями, поэтому правильность и рациональность содержимого ChatGPT не могут быть гарантированы. После серии концептуальных ажиотажей перед теми, кто занимается разработкой базовых моделей производительности, стоит задача обеспечить надежность и точность непрерывного выпуска своей продукции. Но что касается развлекательных продуктов, связанных с большими моделями, как сказал в газете New York Times соучредитель Feature.AI Ноам Шазир: “Эти системы не созданы для истины. Они созданы для разумного диалога”. Другими словами, они уверены в себе. ерундовые художники. Огромные волны большой модели начали ответвляться.

Ссылка:

• Gizmodo – ChatGPT становится хуже?
• Приложение TechCrunch-Al Character.ai догоняет ChatGPT в США
• Мониторинг машинного обучения: почему вам следует беспокоиться о данных и отклонении концепций
• Отчет об учебе мисс М. Пять самых важных вопросов о ChatGPT
• Международный институт управления искусственным интеллектом Университета Цинхуа. Исследования больших моделей очень срочны, и мы не можем просто сказать «появление», если объяснение неясно