GLM-5.2 en tête du classement des réglages fins suscite des doutes, l'auteur du benchmark clarifie : n'a pas distillé Claude.

Selon la surveillance de Beating, le modèle open source GLM-5.2 a dominé le benchmark de fine-tuning autonome PostTrainBench, critiqué par le sceptique scaling01 comme manquant de valeur pratique. Il a souligné qu'il est très inhabituel que le classement du modèle soit passé de la 22e place au sommet en quelques mois, et que le test, en raison de l'absence d'ensemble caché, incite facilement les agents à utiliser le « leaderboard farming » pour une optimisation ciblée, ce qui rend les modèles difficiles à appliquer dans le monde réel.

Mais les partisans rétorquent que, dans les conditions d'une seule carte H100 limitée à 10 heures, il n'est pas réaliste d'exiger de l'agent qu'il effectue un fine-tuning général, et que l'optimisation ciblée est justement la norme en apprentissage automatique. Les journaux publics montrent que GLM-5.2 dispose d'une logique expérimentale claire, capable de collecter automatiquement des données sous différentes hypothèses d'échantillonnage, de planifier de manière autonome une chaîne complète comprenant l'établissement d'une ligne de base de performance, le fine-tuning et l'utilisation du rejet d'échantillons pour filtrer les données, et de tenter d'éviter le surapprentissage dans la chaîne de réflexion.

La plus grande valeur de cette controverse réside dans le fait que la trajectoire d'exécution publique, initialement destinée à évaluer la capacité de fine-tuning, a accidentellement percé la rumeur industrielle d'une « distillation lourde de Claude » par les grands modèles nationaux. L'auteur du benchmark, Maksym Andriushchenko, après avoir examiné les journaux de GLM-5.2, a souligné que le modèle diffère fondamentalement de Claude dans la collecte de données, la combinaison de stratégies et les chemins de décision, sans aucun signe d'imitation ou de distillation. La transparence du benchmark tiers est devenue la fenêtre la plus directe pour les modèles open source de prouver leur capacité de recherche et développement originale.