Altman quase admitiu ter treinado modelos com dados puramente de IA e disse que, matematicamente, já não é necessário o envolvimento de dados humanos

De acordo com o monitoramento Beating, Altman falou sobre dados sintéticos no podcast do CEO Nicholas Thompson da “The Atlantic Monthly”. Thompson disse que atualmente há conteúdo criado por IA por toda parte na internet, as pessoas estão até aprendendo o estilo de escrita da IA, e no futuro os modelos não poderão evitar consumir dados gerados por IA. Ele afirmou que “o GPT-4 é o último modelo que não utilizou muito dados de IA”, e Altman concordou com um aceno de cabeça.

Thompson perguntou diretamente: já treinou algum modelo usando completamente dados sintéticos (usando a saída da IA para treinar a próxima geração de IA)? Altman hesitou por um momento e disse: “Não tenho certeza se devo dizer isso”. Essa frase equivale a uma confirmação. Ele logo acrescentou que o núcleo do modelo é aprender a raciocinar, e essa tarefa pode ser totalmente realizada com dados sintéticos. Ele usou uma analogia matemática: um modelo que nunca viu dados humanos, pode ele calcular melhor que os humanos? “Acho que sim.” Mas, por outro lado, um modelo que nunca teve contato com a cultura humana, pode entender os valores humanos? “Provavelmente não.”

Dados sintéticos sempre tiveram a reputação de “doença da vaca louca”: a IA consumir repetidamente suas próprias saídas, será que a informação vai se deteriorar de geração em geração? Segundo Altman, ensinar IA a fazer matemática não precisa de humanos, mas ensinar IA a entender pessoas precisa de humanos.