L’IA deviendra-t-elle de plus en plus stupide à force de l’entraîner ?

Des chercheurs d’Oxford et de Cambridge ont donné un nom à ce phénomène : « effondrement du modèle ».
Cela signifie que, quand une IA commence à entraîner la génération suivante d’IA avec du contenu généré par une IA, le modèle devient de génération en génération de plus en plus obtus, jusqu’à finir par oublier à quoi ressemblent les données humaines réelles.
C’est comme dans le monde réel : 50 % de fleurs rouges, 30 % de fleurs bleues, 15 % de fleurs jaunes, 5 % de fleurs noires.
Après avoir appris ces données, la première génération d’IA pourrait générer 55 % de fleurs rouges, 30 % de fleurs bleues, 14 % de fleurs jaunes et 1 % de fleurs noires.
La génération suivante, qui réutilise ces contenus pour s’entraîner, pourrait ensuite passer à 60 % de fleurs rouges, 30 % de fleurs bleues, 10 % de fleurs jaunes et 0 % de fleurs noires.
En continuant le cycle sur quelques générations, les fleurs noires disparaissent, les fleurs jaunes deviennent de moins en moins nombreuses, et finalement le modèle finit par croire que, dans le monde, il n’y a presque que des fleurs rouges et des fleurs bleues.
Transposé au monde réel, cela revient à dire que ces contenus rares mais authentiques sont dilués tour après tour, jusqu’à ce que ce qui reste devienne de plus en plus « sûr », et aussi de plus en plus semblable.