ChatGPT est-il stupide ou vieux ?

Source originale : Nouvelles connaissances en science et technologie

Source de l’image : générée par Unbounded AI ‌

« Les performances passées ne garantissent pas les résultats futurs. » Tels sont les petits caractères de la plupart des modèles de gestion financière. Dans le secteur des produits, cela s’appelle la dérive, la dégradation ou l’obsolescence du modèle. Les choses changent et les performances du modèle se dégradent avec le temps. La norme de mesure finale est l’indicateur de qualité du modèle, qui peut être la précision, le taux d’erreur moyen ou certains KPI commerciaux en aval, tels que le taux de clics. Aucun modèle ne fonctionne éternellement, mais le taux de déclin varie. ‍ Certains produits peuvent être utilisés pendant des années sans nécessiter de mises à jour, comme certains modèles de vision par ordinateur ou de langage, ou tout système de prise de décision dans un environnement isolé et stable, comme des conditions expérimentales courantes. Si vous souhaitez garantir l’exactitude du modèle, vous devez entraîner de nouvelles données chaque jour. Il s’agit d’un défaut paradigmatique du modèle d’apprentissage automatique, et cela fait également que le déploiement de l’intelligence artificielle ne peut pas se faire une fois pour toutes comme le déploiement de logiciels. . Ce dernier existe depuis des décennies et, actuellement, les produits d’IA les plus avancés utilisent encore la technologie logicielle des années précédentes. Tant qu’ils restent utiles, même si la technologie devient obsolète, ils perdureront dans chaque octet. Cependant, les grands modèles représentés par ChatGPT, connus comme les produits d’intelligence artificielle les plus avancés, ont été confrontés à la question de savoir s’ils deviennent obsolètes et vieillissent après avoir connu une baisse de popularité. ** Pas de vent, pas de vague. Les utilisateurs passent de moins en moins de temps sur ChatGPT, passant de 8,7 minutes en mars à 7 minutes en août. Cela montre que, alors que l’offre d’outils de grands modèles augmente rapidement, ChatGPT, qui n’est qu’un outil de productivité, ne semble pas suffisant pour devenir le favori de la génération Z, le groupe d’utilisateurs principal. La popularité temporaire ne suffit pas à ébranler la domination d’OpenAI, qui s’engage à devenir un magasin d’applications à l’ère de l’IA. Le problème le plus fondamental est que le vieillissement de la productivité de ChatGPT est la principale raison du déclin de la confiance de nombreux anciens utilisateurs. Depuis mai, des articles sur le forum OpenAI ont été publiés indiquant que les performances de GPT-4 ne sont pas aussi bonnes qu’avant. Alors ChatGPT est-il obsolète ? Les grands modèles représentés par ChatGPT vieilliront-ils comme les anciens modèles d’apprentissage automatique ? Sans comprendre ces enjeux, on ne parviendra pas à trouver une voie de développement durable pour les humains et les machines dans un engouement sans fin pour les grands modèles.

**01 ChatGPT est-il obsolète ? **

Les dernières données du fournisseur de services logiciels Salesforce AI montrent que 67 % des utilisateurs de grands modèles appartiennent à la génération Z ou aux Millennials ; plus de 68 % des personnes qui utilisent rarement l’IA générative ou qui sont en retard à cet égard appartiennent à la génération X ou aux baby-boomers. La différence générationnelle montre que la génération Z est en train de devenir le groupe dominant qui adopte les grands modèles. Kelly Eliyahu, spécialiste du marketing produit chez Salesforce, a déclaré : « La génération Z est en fait la génération de l’IA, et elle constitue le groupe des super utilisateurs. 70 % de la génération Z utilisent l’IA générative, et au moins la moitié l’utilisent chaque semaine ou plus." Cependant, en tant que leader des produits grand modèle, les performances de ChatGPT auprès des personnes de la génération Z ne sont pas exceptionnelles.

Selon les données de l’agence d’études de marché Similarweb de juillet, **ChatGPT a été utilisé par 27 % des personnes de la génération Z, contre 30 % en avril. À titre de comparaison, Character.ai, un autre produit modèle à grande échelle qui permet aux utilisateurs de concevoir leurs propres personnages d’intelligence artificielle, a un taux de pénétration de 60 % chez les 18-24 ans. ** Grâce à la popularité de la génération Z, les applications iOS et Android de Character.ai comptent actuellement 4,2 millions d’utilisateurs actifs mensuels aux États-Unis, ce qui se rapproche de plus en plus des 6 millions d’utilisateurs actifs mensuels de ChatGPT mobile. Différent de l’IA conversationnelle de ChatGPT, Character.AI ajoute deux fonctions principales de personnalisation et d’UGC sur cette base, lui offrant des scénarios d’utilisation plus riches que la première. D’une part, les utilisateurs peuvent personnaliser les rôles d’IA en fonction de leurs besoins personnels pour répondre aux besoins de personnalisation personnalisés de la génération Z. Dans le même temps, les personnages IA créés par ces utilisateurs peuvent également être utilisés par tous les utilisateurs de la plateforme pour créer une atmosphère communautaire IA. Par exemple, des personnages virtuels tels que Socrate et Dieu ont déjà circulé sur les plateformes de médias sociaux, ainsi que des images d’IA de célébrités du monde des affaires telles que Musk créées indépendamment par le gouvernement. D’autre part, la fonction de personnalisation approfondie + de discussion de groupe permet également aux utilisateurs de s’appuyer sur la plateforme pour l’intelligence émotionnelle. Les commentaires publics des utilisateurs de nombreuses plateformes de médias sociaux indiquent que l’expérience de chat est trop réaliste, comme si « les personnages que vous avez créés avaient la vie, tout comme parler à une personne réelle » et « étaient ce qui se rapproche le plus d’un ami imaginaire ou d’un ange gardien ». jusqu’à présent." Peut-être sous la pression de Character.AI, OpenAI a publié le 16 août 2023 un bref communiqué sur son site officiel annonçant l’acquisition de la start-up américaine Global Illumination et mettant toute l’équipe sous son aile. Cette petite entreprise avec seulement deux ans d’histoire et huit employés est principalement engagée dans l’utilisation de l’intelligence artificielle pour créer des outils intelligents, une infrastructure numérique et des expériences numériques. Derrière cette acquisition, il est probable qu’OpenAI s’engage à améliorer de manière riche l’expérience numérique actuelle à grande échelle.

02 Le vieillissement de l’intelligence artificielle

Le vieillissement de ChatGPT au niveau de l’expérience numérique à grande échelle affecte son effet chronophage. En tant qu’outil de productivité, la précision des résultats générés est irrégulière, ce qui affecte également la réactivité de l’utilisateur.

Selon une précédente enquête de Salesforce, près de 60 % des utilisateurs de grands modèles estiment maîtriser cette technologie grâce au temps de formation accumulé. Cependant, la maîtrise actuelle de cette technologie évolue avec le temps.

Dès le mois de mai, d’anciens utilisateurs de grands modèles ont commencé à se plaindre sur le forum OpenAI que GPT-4 « avait des difficultés à réaliser des choses qui fonctionnaient bien auparavant ». Business Insider a rapporté en juillet que de nombreux anciens utilisateurs avaient décrit GPT-4 comme « paresseux » et « stupide » par rapport à ses capacités d’inférence précédentes et à d’autres résultats. Comme le responsable n’a pas répondu, les gens ont commencé à spéculer sur les raisons de la baisse des performances de GPT-4. Cela pourrait-il être dû aux problèmes de trésorerie antérieurs d’OpenAI ? La spéculation dominante se concentre sur la dégradation des performances due à l’optimisation des coûts. Certains chercheurs affirment qu’OpenAI pourrait utiliser des modèles plus petits derrière l’API pour réduire le coût d’exécution de ChatGPT. Cependant, cette possibilité a ensuite été niée par Peter Welinder, vice-président des produits d’OpenAI. Il a déclaré sur les réseaux sociaux : “Nous ne rendons pas GPT-4 plus stupide. L’une des hypothèses actuelles est que lorsque vous l’utiliserez plus fréquemment, vous commencerez à remarquer des problèmes que vous n’aviez pas remarqués auparavant.” Un plus grand nombre de personnes et une utilisation plus longue ont exposé les limites de ChatGPT. Concernant cette hypothèse, les chercheurs ont tenté de présenter « les changements dans la relation entre les performances de ChatGPT et le temps » à travers des expériences plus rigoureuses.

Un document de recherche intitulé “Comment le comportement de ChatGPT change-t-il au fil du temps ?”, soumis par l’Université de Stanford et l’Université de Californie à Berkeley, en juillet, montre que : **La même version d’un grand modèle peut en effet changer dans un laps de temps relativement court. De grands changements ont eu lieu. ** De mars à juin, les chercheurs ont testé deux versions de GPT-3.5 et GPT-4, collecté et évalué les résultats de génération de quatre tâches de référence courantes : questions mathématiques, réponse à des questions sensibles, génération de code et raisonnement visuel. Les résultats montrent que qu’il s’agisse de GPT-3.5 ou de GPT-4, les performances et les résultats de génération des deux peuvent changer au fil du temps. En termes de capacité mathématique, GPT-4 (mars 2023) fonctionne assez bien dans l’identification des nombres premiers et des nombres composés (précision de 84 %), mais GPT-4 (juin 2023) fonctionne mal sur le même problème (précision de 51 %). Il est intéressant de noter que le CPT-3.5 a réalisé de bien meilleures performances dans cette tâche en juin qu’en mars. Cependant, en termes de questions sensibles, GPT-4 était moins disposé à répondre aux questions sensibles en juin qu’en mars ; en termes de capacités de codage, GPT-4 et GPT-3.5 ont montré plus d’erreurs en juin qu’en mars. Les chercheurs pensent que même s’il n’existe pas de relation linéaire évidente entre les performances de ChatGPT et le temps, la précision fluctue.

Ce n’est pas seulement un problème de ChatGPT lui-même, mais aussi un problème commun à tous les modèles d’IA précédents. **Selon une étude réalisée en 2022 par le MIT, l’Université Harvard, l’Université de Monterey et l’Université de Cambridge, 91 % des modèles d’apprentissage automatique se dégraderont avec le temps. Les chercheurs appellent ce phénomène « intelligence artificielle » Vieillissement intelligent ». ** Par exemple, Google Health a déjà développé un modèle d’apprentissage profond capable de détecter les maladies de la rétine grâce à des scanners oculaires des patients. Le modèle a atteint une précision de 90 % pendant la phase de formation, mais n’a pas réussi à fournir des résultats précis dans la vie réelle. Principalement parce qu’en laboratoire, des données d’entraînement de haute qualité sont utilisées, mais les analyses oculaires réelles sont de moindre qualité. En raison du vieillissement des modèles d’apprentissage automatique, les technologies d’IA issues des laboratoires dans le passé étaient principalement basées sur une seule technologie de reconnaissance vocale, et des produits tels que les haut-parleurs intelligents ont été les premiers à devenir populaires. Selon une enquête du US Census Bureau menée en 2018 auprès de 583 000 entreprises américaines, seules 2,8 % ont utilisé des modèles d’apprentissage automatique pour apporter des avantages à leurs opérations. Cependant, avec la percée des capacités d’émergence intelligente des grands modèles, la vitesse de vieillissement des modèles d’apprentissage automatique s’est considérablement affaiblie et ils sortent progressivement du laboratoire pour atteindre un public plus large. Cependant, l’imprévisibilité demeure sous la boîte noire des capacités émergentes, ce qui amène de nombreuses personnes à se demander si ChatGPT peut maintenir une amélioration continue des performances de l’IA sur le long terme.

03 Anti-âge sous la boîte noire

L’essence du vieillissement de l’intelligence artificielle est en fait le défaut paradigmatique des modèles d’apprentissage automatique.

Dans le passé, les modèles d’apprentissage automatique étaient formés sur la base de la correspondance entre des tâches spécifiques et des données spécifiques. À l’aide d’un grand nombre d’exemples, enseignez d’abord au modèle ce qui est bon et ce qui est mauvais dans ce domaine, puis ajustez le poids du modèle pour produire des résultats appropriés. Selon cette idée, chaque fois que vous faites quelque chose de nouveau ou que la distribution des données change de manière significative, le modèle doit être recyclé. Il existe une infinité de nouvelles choses et de nouvelles données, et le modèle ne peut qu’être actualisé. Cependant, l’actualisation du modèle entraînera également que des choses qui ont été bien faites dans le passé ne le seront plus soudainement, ce qui limitera encore davantage l’application. **Pour résumer, dans les modèles d’apprentissage automatique traditionnels, l’essence du volant de données est d’itérer le modèle et d’utiliser de nouveaux modèles pour résoudre de nouveaux problèmes. ** Cependant, de grands modèles représentés par ChatGPT ont émergé avec des capacités d’apprentissage autonomes et ont dépassé ce paradigme. Dans le passé, l’apprentissage automatique « mange » d’abord les données puis les « imite », sur la base de relations de correspondance ; les grands modèles comme ChatGPT « enseignent » les données puis les « comprennent », sur la base de la « logique interne ». Dans ce cas, le grand modèle lui-même ne change pas et peut théoriquement rester jeune pour toujours. Cependant, certains praticiens ont déclaré que, tout comme l’émergence de l’intelligence dans les grands modèles, elle se développe de manière non linéaire, est imprévisible et apparaît soudainement. On ne sait pas non plus si les grands modèles vieilliront avec le temps et émergeront avec des incertitudes imprévisibles. **En d’autres termes, après que ChatGPT ait émergé avec des performances intelligentes difficiles à dériver théoriquement, il a également commencé à émerger avec de l’imprévisibilité et de l’incertitude. ** Concernant la nature de la boîte noire de « l’émergence », lors de la conférence de lancement du grand modèle open source Baichuan Intelligent Baichuan2 le 6 septembre, Zhang Bo, académicien de l’Académie chinoise des sciences et doyen honoraire de l’Institut d’intelligence artificielle de l’Université Tsinghua, a déclaré : "Jusqu’à présent, le monde n’a aucune confiance dans le grand modèle open source. Le principe de fonctionnement théorique du modèle et les phénomènes produits ne sont pas clairs, et toutes les conclusions sont déduites pour produire le phénomène d’émergence. La soi-disant émergence est de " Accordez-vous une retraite. Lorsque l’explication n’est pas claire, on dit que c’est l’émergence. En fait, cela reflète que nous n’en savons rien. " Selon lui, la question de savoir pourquoi les grands modèles produisent des hallucinations implique la différence entre ChatGPT et les principes de génération du langage naturel humain. La différence la plus fondamentale est que le langage généré par ChatGPT est piloté de l’extérieur, tandis que le langage humain est piloté par ses propres intentions, de sorte que l’exactitude et la rationalité du contenu de ChatGPT ne peuvent être garanties. Après avoir pris le train en marche grâce à une série de battage médiatique conceptuel, le défi pour ceux qui s’engagent à développer des modèles de productivité de base sera de savoir comment garantir la fiabilité et la précision de la production continue de leurs produits. Mais pour les produits de divertissement liés aux grands modèles, comme l’a déclaré Noam Shazeer, co-fondateur de Character.AI, dans le New York Times : "Ces systèmes ne sont pas conçus pour la vérité. Ils sont conçus pour un dialogue raisonnable. " En d’autres termes, ils sont confiants. artistes de conneries. Les immenses vagues du grand modèle ont commencé à bifurquer.

Référence:

• Gizmodo – ChatGPT s’aggrave-t-il ?
• L’application TechCrunch-Al Character.ai rattrape ChatGPT aux États-Unis
• Surveillance de l’apprentissage automatique - Pourquoi vous devriez vous soucier de la dérive des données et des concepts
• Dossier d’étude de Miss M - Les cinq questions les plus importantes sur ChatGPT
• Institut de gouvernance internationale sur l’intelligence artificielle de l’Université Tsinghua - La recherche sur les grands modèles est très urgente, et nous ne pouvons pas simplement parler d’« émergence » si l’explication n’est pas claire