Технический отчет о модели Zhipu GLM-5V-Turbo: Design2Code сверх Claude Opus4.6, по скриншоту сразу пишите код

По данным мониторинга Beating, компания 智谱 AI опубликовала технический отчет по модели GLM-5V-Turbo. Модель была запущена в API Z.ai и OpenRouter в начале апреля, это публикация методологии, модель не была открыта. GLM-5V-Turbo — это первая мультимодальная модель программирования от 智谱, поддерживающая около 200K контекста, может подключаться к агентским фреймворкам Claude Code и OpenClaw. В отличие от большинства подходов, рассматривающих визуальные данные как дополнение к языковой модели, эта модель с этапа предварительного обучения интегрирует визуальное восприятие во весь процесс — от рассуждений, планирования, вызова инструментов и выполнения задач.

Архитектура модели включает три ключевых элемента. Первый — новый визуальный кодировщик CogViT, обученный с помощью двойного учителя SigLIP2 и DINOv3 через дистилляцию, затем выполнено контрастное обучение на 80 миллиардах двуязычных китайско-английских графических и текстовых данных для выравнивания. Второй — мультимодальное предсказание с несколькими токенами (MMTP), использующее общий обучаемый специальный токен <|image|> вместо прямой передачи визуальных вложений, что снижает сложность коммуникации между этапами пайплайна и делает обучение более стабильным. Третий — совместное обучение с усилением по более чем 30 задачам, охватывающим уровни восприятия, рассуждений и выполнения агентских задач.

Улучшения на этапе RL охватывают широкий спектр: локализация 2D изображений +4.8%, понимание видео +5.6%, локализация 3D +7.7%, OCR +4.2%, понимание графиков +7.7%, GUI-агент (OSWorld) +4.9%, мультимодальный поиск и вызов инструментов +3.5%. В статье команда отмечает, что многозадачное RL отличается от обычного SFT, так как разные способности могут стабильно развиваться вместе, и модели, обученные в одной области, могут переносить рассуждательные паттерны в другие области.

Конкретные показатели: Design2Code — 94.8, превзошедший Claude Opus на 4.6; OSWorld — 62.3, AndroidWorld — 75.7; мультимодальный поиск MMSearch — 72.9, BrowseComp-VL — 51.9; чисто текстовое программирование по показателям CC-Bench-V2: бэкенд — 22.8, фронтенд — 68.4, исследование репозиториев — 72.2, превзошли их чисто текстовую базу GLM-5-Turbo. MMSearch-Plus набрал 30.0, что почти в 8 раз больше предыдущего поколения GLM-4.6V; собственный визуальный поисковый бенчмарк ImageMining — 30.7.