Altman почти признал, что использовал модели, обученные на чистых AI-данных, и заявил, что с математической точки зрения человеческие данные уже не нужны

По данным мониторинга Beating, в подкасте генерального директора Nicholas Thompson из журнала The Atlantic обсуждались синтетические данные. Thompson сказал, что сейчас в интернете повсюду контент, созданный ИИ, люди даже учатся писать в стиле ИИ, и в будущем модели не смогут избежать использования данных, созданных ИИ. Он отметил: «GPT-4 — это последняя модель, которая почти не использовала данные ИИ», и Altman кивнул в знак согласия.

Thompson прямо спросил: есть ли модели, полностью обученные на синтетических данных (используя выводы ИИ для обучения следующего поколения ИИ)? Altman задержался на мгновение и сказал: «Я не уверен, стоит ли говорить». Эта фраза фактически означала согласие. Он сразу добавил, что основная задача модели — научиться делать выводы, и это полностью возможно с помощью синтетических данных. Он привёл пример из математики: сможет ли модель, которая никогда не видела человеческих данных, считать лучше человека? «Я думаю, да». Но, с другой стороны, сможет ли модель, не знакомая с человеческой культурой, понять человеческие ценности? «Наверное, нет».

Синтетические данные постоянно обвиняют в «свиной болезни»: повторное использование собственных выводов ИИ может привести к деградации информации из поколения в поколение. По словам Altman, обучение ИИ математике не требует участия человека, а обучение пониманию человеческих ценностей — требует.