ChatGPT дурний чи старий?

Перше джерело: New Knowledge of Science and Technology

Джерело зображення: створено Unbounded AI

«Минулі результати не є гарантією майбутніх результатів», — це дрібний шрифт більшості моделей фінансового менеджменту. У продуктовому бізнесі це називається дрейфом моделі, занепадом або моральним старінням. Все змінюється, і продуктивність моделі з часом погіршується. Остаточним стандартом вимірювання є індикатор якості моделі, який може бути точністю, середнім коефіцієнтом помилок або деякими ключовими показниками ефективності бізнесу, такими як частота переходів. Жодна модель не працює вічно, але швидкість падіння різна. Деякі продукти можна використовувати роками, не потребуючи оновлення, як-от певні моделі комп’ютерного бачення чи мови чи будь-яка система прийняття рішень в ізольованому стабільному середовищі, наприклад у звичайних експериментальних умовах. Якщо ви хочете забезпечити точність моделі, вам потрібно щодня тренувати нові дані. Це недолік парадигми моделі машинного навчання, і це також робить розгортання штучного інтелекту неможливим раз і назавжди, як розгортання програмного забезпечення . Останній створювався десятиліттями, і наразі найдосконаліші продукти штучного інтелекту все ще використовують програмні технології попередніх років. Поки вони залишаються корисними, навіть якщо технологія застаріє, вони продовжуватимуть жити в кожному байті. Однак великі моделі, представлені ChatGPT, відомі як найсучасніші продукти штучного інтелекту, зіткнулися з питанням про те, чи не застаріли вони та старіють після падіння популярності. ** Ні вітру, ні хвилі. Користувачі витрачають все менше часу на ChatGPT, впавши з 8,7 хвилин у березні до 7 хвилин у серпні. Збоку це відображає те, що, коли пропозиція інструментів для великих моделей швидко зростає, ChatGPT, який є просто інструментом продуктивності, здається недостатнім, щоб стати фаворитом покоління Z, основної групи користувачів. Тимчасової популярності недостатньо, щоб похитнути домінування OpenAI, який прагне стати магазином додатків в епоху ШІ. Більш важливою проблемою є те, що старіння продуктивності ChatGPT є основною причиною зниження довіри серед багатьох старих користувачів. З травня на форумі OpenAI з’являються повідомлення про те, що продуктивність GPT-4 не така висока, як раніше. Отже, ChatGPT застарів? Чи старітимуть великі моделі, представлені ChatGPT, як попередні моделі машинного навчання? Без розуміння цих проблем ми не зможемо знайти шлях сталого розвитку для людей і машин серед нескінченного захоплення великими моделями.

**01 ChatGPT застарів? **

Останні дані постачальника програмного забезпечення для штучного інтелекту Salesforce показують, що 67% користувачів великих моделей належать до покоління Z або міленіалів; більше 68% людей, які рідко використовують генеративний штучний інтелект або відстають у цьому відношенні, належать до покоління X або до покоління бебі-буму. Різниця між поколіннями показує, що покоління Z стає основною групою, яка приймає великі моделі. Келлі Еліяху, маркетолог Salesforce, сказала: «Покоління Z — це насправді покоління ШІ, і вони складають групу суперкористувачів. 70% покоління Z використовують генеративний ШІ, і принаймні половина використовує його щотижня або щотижня. більше». Однак ChatGPT, як лідера у виробництві великих моделей продуктів, не є видатним серед людей покоління Z.

Згідно з даними агентства маркетингових досліджень Similarweb у липні, **ChatGPT використовували 27% людей покоління Z, порівняно з 30% у квітні. Для порівняння, Character.ai, інший масштабний модельний продукт, який дозволяє користувачам створювати власних персонажів зі штучним інтелектом, має рівень проникнення 60% серед людей віком 18-24 років. ** Завдяки популярності покоління Z програми Character.ai для iOS та Android наразі мають 4,2 мільйона активних користувачів у Сполучених Штатах, що стає все ближче до 6 мільйонів активних користувачів мобільного ChatGPT. На відміну від розмовного штучного інтелекту ChatGPT, Character.AI додає дві основні функції персоналізації та UGC на цій основі, надаючи йому більш багаті сценарії використання, ніж перша. З одного боку, користувачі можуть налаштовувати ролі штучного інтелекту відповідно до особистих потреб, щоб задовольнити персоналізовані потреби покоління Z. У той же час персонажі AI, створені цими користувачами, також можуть використовуватися всіма користувачами платформи для створення атмосфери спільноти AI. Наприклад, такі віртуальні персонажі, як Сократ і Бог, уже поширювалися на платформах соціальних мереж раніше, а також образи бізнес-знаменитостей, таких як Маск, незалежно від уряду, створені ШІ. З іншого боку, персоналізована поглиблена настройка + функція групового чату також змушує користувачів покладатися на платформу для емоційного інтелекту. Публічні коментарі користувачів багатьох платформ соціальних медіа свідчать про те, що спілкування в чаті надто реалістичне, ніби «персонажі, які ви створили, живуть так само, як розмова з реальною людиною» і «найближче до уявного друга чи ангела-охоронця». так далеко." Можливо, через тиск з боку Character.AI OpenAI опублікував коротку заяву на своєму офіційному веб-сайті 16 серпня 2023 року, оголосивши про придбання американського стартапу Global Illumination і взяття під своє крило всієї команди. Ця невелика компанія з дворічною історією та вісьмома співробітниками в основному займається використанням штучного інтелекту для створення розумних інструментів, цифрової інфраструктури та цифрового досвіду. Цілком ймовірно, що за придбанням OpenAI докладатиме зусиль для значного вдосконалення цифрового досвіду, який використовує великі моделі.

02 Старіння штучного інтелекту

Старіння ChatGPT на рівні цифрового досвіду великої моделі впливає на його ефект вбивства часу. Оскільки це інструмент підвищення продуктивності, точність згенерованих результатів є нестабільною, що також впливає на його постійність користувача.

Згідно з попереднім опитуванням Salesforce, майже 60% користувачів великих моделей вважають, що вони опановують цю технологію завдяки накопиченому часу навчання. Однак поточне володіння цією технологією з часом змінюється.

Вже в травні старі користувачі великих моделей почали скаржитися на форумі OpenAI, що GPT-4 «має труднощі з виконанням того, що добре працювало раніше». У липні Business Insider повідомляв, що багато старих користувачів описували GPT-4 як «ледачий» і «тупий» у порівнянні з його попередніми можливостями висновків та іншими результатами. Оскільки чиновник не відповів на це, люди почали припускати причини зниження продуктивності GPT-4. Чи може це бути пов’язано з попередніми проблемами OpenAI з грошовими потоками? Основні спекуляції зосереджені на зниженні продуктивності через оптимізацію витрат. Деякі дослідники кажуть, що OpenAI може використовувати менші моделі за API, щоб зменшити вартість запуску ChatGPT. Однак цю можливість пізніше спростував Пітер Веліндер, віце-президент із продуктів OpenAI. Він сказав у соціальних мережах: «Ми не робимо GPT-4 дурнішим. Одне з поточних припущень полягає в тому, що коли ви використовуєте його частіше, ви почнете помічати проблеми, яких не помічали раніше». Більше людей і тривале використання виявили обмеження ChatGPT. Що стосується цієї гіпотези, дослідники спробували представити «зміни у зв’язку між продуктивністю ChatGPT і часом» за допомогою більш суворих експериментів.

Дослідницька стаття під назвою «Як поведінка ChatGPT змінюється з часом?», представлена Стенфордським університетом і Каліфорнійським університетом у Берклі в липні, показує, що: **Та сама версія великої моделі може справді змінитися за відносно короткий проміжок часу. Відбулися великі зміни. ** З березня по червень дослідники протестували дві версії GPT-3.5 і GPT-4, зібрали й оцінили результати генерації чотирьох поширених контрольних завдань: математичні запитання, відповіді на делікатні запитання, генерація коду та візуальне міркування. Результати показують, що незалежно від того, GPT-3.5 чи GPT-4, продуктивність і результати генерації обох можуть змінюватися з часом. Що стосується математичних здібностей, GPT-4 (березень 2023 р.) досить добре розпізнає прості та складені числа (точність 84%), але GPT-4 (червень 2023 р.) погано працює з тією ж задачею (точність 51%). Цікаво, що CPT-3.5 впорався з цим завданням у червні набагато краще, ніж у березні. Однак щодо делікатних запитань GPT-4 був менш готовий відповідати на делікатні запитання в червні, ніж у березні; щодо можливостей кодування як GPT-4, так і GPT-3.5 показали більше помилок у червні, ніж у березні. Дослідники вважають, що хоча немає явної лінійної залежності між продуктивністю ChatGPT і часом, точність коливається.

Це проблема не лише самого ChatGPT, а й загальної проблеми всіх попередніх моделей ШІ. **Згідно з дослідженням 2022 року Массачусетського технологічного інституту, Гарвардського університету, Монтерейського університету та Кембриджського університету, 91% моделей машинного навчання з часом погіршуються. Дослідники називають це явище «штучного інтелекту» інтелектуальним старінням». ** Наприклад, колись Google Health розробила модель глибокого навчання, яка може виявляти захворювання сітківки за допомогою сканування очей пацієнта. Модель досягла 90% точності під час фази навчання, але не змогла забезпечити точні результати в реальному житті. Головним чином тому, що в лабораторії використовуються високоякісні навчальні дані, але сканування очей у реальному світі має нижчу якість. Через старіння моделей машинного навчання технології штучного інтелекту, які раніше виходили з лабораторії, в основному базувалися на одній технології розпізнавання мовлення, а такі продукти, як розумні колонки, стали першими популярними. Згідно з опитуванням Бюро перепису населення США в 2018 році серед 583 000 американських компаній, лише 2,8% використовували моделі машинного навчання для надання переваг своїй діяльності. Однак із проривом у можливостях інтелектуального створення великих моделей швидкість старіння моделей машинного навчання значно послабилася, і вони поступово виходять з лабораторії до ширшої аудиторії. Однак під чорною скринькою нових можливостей все ще є непередбачуваність, що змушує багатьох людей сумніватися, чи зможе ChatGPT постійно покращувати продуктивність ШІ в довгостроковій перспективі.

03 Омолодження під чорною скринькою

Суть старіння штучного інтелекту насправді полягає в недоліку парадигми моделей машинного навчання.

У минулому моделі машинного навчання навчалися на основі відповідності між конкретними завданнями та конкретними даними. За допомогою великої кількості прикладів спочатку навчіть модель, що добре, а що погано в цій галузі, а потім відрегулюйте вагу моделі, щоб отримати відповідні результати. Згідно з цією ідеєю, щоразу, коли ви робите щось нове або розподіл даних суттєво змінюється, модель потрібно перенавчати. Існує нескінченна кількість нових речей і нових даних, а модель можна лише оновлювати. Однак оновлення моделі також призведе до того, що речі, які були зроблені добре в минулому, раптово стануть неякісними, що ще більше обмежить застосування. ** Підводячи підсумок, у традиційних моделях машинного навчання суть маховика даних полягає в ітерації моделі та використанні нових моделей для вирішення нових проблем. ** Однак великі моделі, представлені ChatGPT, з’явилися з можливостями автономного навчання та зламали цю парадигму. У минулому машинне навчання спочатку «з’їдає» дані, а потім «імітує» їх на основі зв’язків відповідності; великі моделі, такі як ChatGPT, «навчають» дані, а потім «розуміють» їх на основі «внутрішньої логіки». При цьому сама велика модель не змінюється і теоретично може залишатися молодою назавжди. Однак деякі практики кажуть, що, як і поява інтелекту у великих моделях, він розвивається нелінійно, є непередбачуваним і з’являється раптово. Також невідомо, чи старітимуть великі моделі з часом, з’являючись із непередбачуваною невизначеністю. **Іншими словами, після появи ChatGPT з інтелектуальною продуктивністю, яку було важко вивести теоретично, він також почав з’являтися з непередбачуваністю та невизначеністю. ** Стосовно «чорної скриньки» на конференції з запуску великої моделі Baichuan Intelligent Baichuan2 6 вересня Чжан Бо, академік Китайської академії наук і почесний декан Інституту штучного інтелекту Університету Цінхуа, сказав: «Поки що світ не довіряє великій моделі з відкритим вихідним кодом. Теоретичний принцип роботи моделі та вироблені явища незрозумілі, і всі висновки зроблені для створення явища виникнення. Так зване виникнення — це дати Коли пояснення незрозуміле, кажуть, що це поява. Насправді це відображає Ми нічого про це не знаємо». На його думку, питання про те, чому великі моделі викликають галюцинації, включає різницю між ChatGPT і принципами створення природної мови людини. Найфундаментальніша відмінність полягає в тому, що мова, створена ChatGPT, керується зовні, тоді як мова людини керується її власними намірами, тому правильність і раціональність вмісту ChatGPT не можна гарантувати. Після серії ажіотажу щодо концепції, завдання для тих, хто хоче розробити базові моделі продуктивності, полягатиме в тому, як забезпечити надійність і точність безперервної продукції своїх продуктів. Але для розважальних продуктів, пов’язаних із великими моделями, як сказав співзасновник Character.AI Ноам Шазір у New York Times: «Ці системи не створені для правди. Вони створені для розумного діалогу». Іншими словами, вони впевнені. фігня артисти. Величезні хвилі великої моделі почали розгалужуватися.

Довідка:

• Gizmodo-Чи стає ChatGPT гірше?
• Додаток TechCrunch-Al Character.ai наздоганяє ChatGPT у США
• Моніторинг машинного навчання - Чому ви повинні дбати про дані та дрейф концепції
• Дослідження міс М. П’ять найважливіших запитань про ChatGPT
• Міжнародний інститут управління штучним інтелектом Університету Цінхуа — дослідження великих моделей є дуже актуальним, і ми не можемо просто сказати «поява», якщо пояснення незрозуміле