Співзасновник OpenAI стверджує, що $110 мільярдів досі не вистачає для задоволення попиту, попереднє навчання переходить до вартості спільної оптимізації

Згідно з моніторингом від 1M AI News, співзасновник OpenAI Ґрег Брокман під час інтерв’ю розмірковував про стрибок у можливостях програмування за допомогою ШІ, який очікують до грудня 2025 року. Він використав тестовий промпт, який тримав роками, щоб оцінювати прогрес: попросив ШІ побудувати вебсайт, на створення якого у нього пішли місяці, коли він лише вчився програмувати. Протягом 2025 року для виконання цього завдання потрібно було кілька промптів і близько чотирьох годин; до грудня його можна було завершити одним промптом і з високою якістю. Він заявив, що нова модель дала змогу ШІ перейти від «здатності виконувати приблизно 20% завдань» до «приблизно 80%», зміна, яка змушує всіх «перебудовувати робочі процеси навколо ШІ». Щодо розподілу фінансування в розмірі $110 мільярдів Брокман порівняв обчислювальні потужності з «наймом продавців»: доки в продукту є масштабований канал збуту, найм більшої кількості продавців може приносити більше доходу. Обчислювальні потужності — це не витратний центр, а центр доходу. Він пригадав розмову з командою напередодні релізу ChatGPT: «Питають: “Скільки обчислювальної потужності нам потрібно купити?” Я відповів: “Усе”. Вони сказали: “Ні-ні-ні, серйозно, скільки нам треба купити?” Я відповів: “Незалежно від того, як ми це будуємо, ми не зможемо встигнути за попитом”. Це судження актуальне й сьогодні, і закупівлі обчислювальних потужностей потрібно зафіксувати за 18–24 місяці наперед. Щодо того, як використовувати ці обчислювальні потужності, Брокман розкрив, що OpenAI більше не переслідує лише найбільший масштаб докомп’ютерного навчання, а натомість спільно оптимізує можливості докомп’ютерного навчання та витрати на інференс: “Вам не обов’язково робити її максимально великою, бо вам також потрібно враховувати численні прикладні сценарії інференсу нижчого рівня; вам насправді потрібне оптимальне рішення інтелекту, помноженого на вартість”. Однак він рішуче виступив проти ідеї, що “докомп’ютерне навчання більше не важливе”, вважаючи, що що розумніша базова модель, то вища ефективність наступних етапів підкріплювального навчання та інференсу, і що все ще є “абсолютна потреба” в графічних процесорах Nvidia для підтримки великомасштабного централізованого тренування.