GLM-5.2 memuncaki papan peringkat fine-tuning memunculkan keraguan, penulis tolok ukur mengklarifikasi: tidak menyuling Claude.

Menurut pemantauan Beating, model open-source GLM-5.2 menduduki puncak tolok ukur fine-tuning otonom PostTrainBench, dan dikritik oleh scaling01 sebagai tidak memiliki nilai praktis. Ia menunjukkan bahwa peringkat model yang melompat dari peringkat ke-22 ke puncak dalam beberapa bulan sangat tidak biasa, dan karena kurangnya set tersembunyi, pengujian mudah mendorong agen untuk menggunakan optimasi terarah dengan memanipulasi papan peringkat, sehingga model yang dihasilkan sulit diterapkan di dunia nyata.

Namun, pihak pendukung membantah bahwa dalam kondisi satu kartu grafis H100 dengan batas waktu 10 jam, meminta agen untuk menjalankan fine-tuning umum tidak realistis, dan optimasi terarah adalah hal yang normal dalam pembelajaran mesin. Log publik menunjukkan bahwa GLM-5.2 memiliki logika eksperimen yang jelas, mampu secara otomatis mengumpulkan data dari berbagai hipotesis sampling, merencanakan secara mandiri rantai lengkap untuk membangun baseline kinerja, fine-tuning, dan menyaring data menggunakan penolakan sampling, serta mencoba menghindari overfitting dalam rantai pemikiran.

Nilai lebih besar dari kontroversi ini adalah bahwa lintasan operasi publik yang awalnya digunakan untuk mengevaluasi kemampuan fine-tuning secara tidak sengaja membongkar rumor industri tentang model besar domestik yang 'sangat mendistilasi Claude'. Penulis tolok ukur Maksym Andriushchenko setelah meninjau log GLM-5.2 menunjukkan bahwa model tersebut secara fundamental berbeda dari Claude dalam pengumpulan data, kombinasi strategi, dan jalur pengambilan keputusan, tanpa tanda-tanda imitasi atau distilasi. Transparansi publik dari tolok ukur pihak ketiga justru menjadi jendela paling langsung bagi model open-source besar untuk membuktikan kemampuan penelitian dan pengembangan asli mereka sendiri.