Kimi publie un rapport technique approuvé par Musk, signé par les co-fondateurs Yang Zhilin, Wu Yuxin et Zhou Xinyu

Le 16 mars, Kimi du côté obscur de la lune a publié un rapport technique, réinventant la connexion résiduelle au cœur de la structure inchangée des grands modèles depuis dix ans, permettant à chaque couche de sélectionner de manière sélective les sorties des couches précédentes plutôt que de les additionner uniformément. L’efficacité de formation du modèle 48B a été améliorée de 1,25 fois, ce qui a été interprété par l’industrie comme une pré-annonce d’un module clé pour la prochaine génération de modèles.

Les trois co-fondateurs du côté obscur de la lune, Yang Zhilin, Wu Yuxin et Zhou Xinyu, ont dirigé une dizaine de chercheurs pour mener cette étude.

Après la publication de l’article, Elon Musk a salué la recherche de Kimi comme impressionnante, l’ancien scientifique de recherche d’OpenAI, Andrej Karpathy, a déclaré que cette recherche incarnait véritablement le principe de “Attention is All You Need”, et Jerry Tworek, père de la logique de raisonnement et ancien vice-président de la recherche chez OpenAI, a affirmé que l’ère de l’apprentissage profond 2.0 était arrivée.

Source de l’article : Pengpai News

Avertissements de risque et clauses de non-responsabilité

Le marché comporte des risques, l’investissement doit être prudent. Cet article ne constitue pas un conseil d’investissement personnel et ne prend pas en compte les objectifs d’investissement, la situation financière ou les besoins spécifiques de chaque utilisateur. Les utilisateurs doivent considérer si les opinions, points de vue ou conclusions présentés dans cet article conviennent à leur situation particulière. En investissant sur cette base, la responsabilité en incombe à l’investisseur.