L’IA peut vraiment devenir de plus en plus bête à force d’être nourrie.

Des chercheurs d’Oxford et de Cambridge ont donné à ce phénomène le nom de « effondrement du modèle ».

Cela signifie que lorsque l’IA commence à entraîner la génération suivante d’IA avec du contenu généré par l’IA, le modèle devient de plus en plus obtus, génération après génération, jusqu’à finir par oublier à quoi ressemblent réellement les données humaines.

C’est un peu comme dans le monde réel, où il y a 50% de fleurs rouges, 30% de fleurs bleues, 15% de fleurs jaunes et 5% de fleurs noires.

Après avoir appris ces données, la première génération d’IA pourrait produire 55% de fleurs rouges, 30% de fleurs bleues, 14% de fleurs jaunes et 1% de fleurs noires.

La prochaine génération d’IA réutilise alors ces contenus pour continuer à s’entraîner : elle pourrait obtenir 60% de fleurs rouges, 30% de fleurs bleues, 10% de fleurs jaunes et 0% de fleurs noires.

En répétant la boucle sur quelques générations, les fleurs noires disparaissent, les fleurs jaunes deviennent de moins en moins nombreuses, et finalement le modèle en vient à croire que, dans le monde, il n’y a presque que des fleurs rouges et des fleurs bleues.

Transposé au monde réel, cela revient à dire que les contenus rares mais authentiques sont dilués, tour après tour, jusqu’à ce que ce qui reste devienne de plus en plus « sûr », et aussi de plus en plus semblable.