Altman майже визнав, що створив модель, натреновану на чистих даних штучного інтелекту, і сказав, що з математичної точки зору людські дані вже не потрібні.

Згідно з моніторингом Beating, Altman у подкасті генерального директора Nicholas Thompson з журналу «The Atlantic Monthly» обговорював синтетичні дані. Thompson сказав, що зараз у мережі повно контенту, створеного штучним інтелектом, люди навіть навчаються стилю написання у ШІ, і в майбутньому моделі не зможуть уникнути використання даних, згенерованих ШІ. Він зазначив: «GPT-4 — це остання модель, яка майже не використовувала дані ШІ», і Altman кивнув у знак згоди.

Thompson прямо запитав: чи був у когось досвід тренування моделі виключно на синтетичних даних (використовуючи вихідні дані ШІ для навчання наступного покоління ШІ)? Altman зробив паузу і сказав: «Я не впевнений, чи варто це говорити». Ця фраза фактично означає погодження. Він одразу додав, що основа моделі — навчитися робити висновки, і цю здатність цілком може забезпечити суто синтетичні дані. Він навів математичний приклад: чи може модель, яка ніколи не бачила людських даних, працювати краще за людину у обчисленнях? «Я думаю, так». Але навпаки, чи може модель, яка не контактувала з людською культурою, зрозуміти людські цінності? «Мабуть, ні».

Синтетичні дані мають репутацію «божевільної корови»: чи не зіпсується інформація, якщо ШІ постійно їсть свої вихідні дані? За словами Altman, навчати ШІ математик — не потребує людства, а навчати ШІ розуміти людство — потребує людей.