【AI+2513】Zhipu lança o modelo de base multimodal de programação visual Coding GLM-5V-Turbo

Um dos principais líderes de IA no continente, （02513） Na quinta-feira (2), foi divulgado um modelo base de programação multimodal GLM-5V-Turbo, desenvolvido para programação visual.

A Zhipu afirmou que o GLM-5V-Turbo integra de forma profunda as capacidades visuais e de texto desde a fase de pré-treino; a programação já não se limita à entrada apenas em texto. O modelo entende maquetes, capturas de ecrã e interfaces de páginas web, e com base nisso gera código completo e executável, cumprindo verdadeiramente o objetivo de “entender o que aparece no ecrã” e “escrever código”.

Três destaques do GLM-5V-Turbo

• Base nativa multimodal para coding: compreensão nativa de imagens, vídeo, maquetes, layouts de documentos, etc., com suporte à chamada de ferramentas multimodais como molduras, capturas de ecrã, navegação na web, etc., e a janela de contexto ampliada para 200k
• Equilíbrio entre capacidades visuais e de programação: obtém desempenho destacado em benchmarks fundamentais como multimodal Coding, Tool Use, GUI Agent, entre outros. Através de meios técnicos como RL de coordenação multi-tarefa, garante que capacidades em cenários de texto puro, como programação, raciocínio e chamada de ferramentas, não se degradam.
• Adaptação profunda ao Claude Code e a cenários de “facing a lagosta”: com cooperação profunda com agentes como Claude Code e OpenClaw/AutoClaw, suporta um ciclo fechado completo de “entender o ambiente → planear ações → executar tarefas” e disponibiliza um conjunto completo de Skills oficiais, pronto a usar.

A Zhipu indica que, nos benchmarks de multimodal Coding, tarefas agentic e dimensões de coding em texto puro, o GLM-5V-Turbo alcançou desempenho líder com um tamanho ainda menor.

	![](https://img-cdn.gateio.im/social/moments-d1c5841902-024843c1ac-8b7abd-badf29)

O GLM-5V-Turbo obteve desempenho destacado em benchmarks como a reconstrução de maquetes, geração de código visual, pesquisa e perguntas e respostas multimodais, exploração visual, etc.; e nos benchmarks que medem a capacidade real de controlo em ambientes GUI, como AndroidWorld e WebVoyager, também apresentou desempenho notável.

No desempenho de coding em texto puro, o GLM-5V-Turbo mantém desempenho estável nos três benchmarks principais de CC-Bench-V2: Backend, Frontend e Repo Exploration, mostrando que, após a introdução das capacidades visuais, as capacidades de programação e raciocínio em texto puro mantêm o mesmo nível.

	![](https://img-cdn.gateio.im/social/moments-ad1d8e7241-eb753f4f45-8b7abd-badf29)

De acordo com a apresentação, a obtenção de liderança em desempenho deve-se a melhorias sistémicas em quatro dimensões: arquitetura do modelo, métodos de treino, construção de dados e toolchain:

Perante os desafios da indústria, como a escassez de dados de agentes e a dificuldade de verificação, a Zhipu construiu uma estrutura hierárquica, desde a perceção de elementos até à previsão de ações a nível de sequência. Com base em ambientes sintéticos, gerou em larga escala dados de treino controláveis e verificáveis, e desde a fase de pré-treino injectou capacidades meta-agentic (por exemplo, adicionar dados PRM do GUI Agent ao pré-treino para reduzir alucinações). Em paralelo, explorou otimizações assimétricas, usando tarefas de avaliação multimodal para “desbloquear” capacidades mais fortes de agentes.

Capaz de programar diretamente por imagens

Em termos de aplicação, a Zhipu deu exemplos:

1. Imagem é código

O GLM-5V-Turbo é especialmente forte nos cenários centrais de programação visual.

Reprodução no front-end: enviar esboços, maquetes, capturas de ecrã ou gravações de ecrãs de sites de referência; o modelo consegue então compreender diretamente o layout, a combinação de cores, o nível de componentes e a lógica de interação, gerando um projeto front-end completo e executável, reproduzindo com precisão detalhes visuais como o layout, cores e animações.

Reprodução por exploração autónoma de GUI: em conjunto com frameworks como o Claude Code, o GLM-5V-Turbo consegue, graças às suas capacidades fortes de GUI Agent, explorar de forma autónoma o site-alvo, navegar pela estrutura das páginas, organizar as relações de salto entre páginas, recolher materiais visuais e detalhes de interação; por fim, com base no resultado registado da exploração, gera diretamente código para reproduzir todo o site, permitindo uma evolução de “reproduzir a partir de imagens” para “reproduzir via exploração de GUI”.

Edição interativa: suporta adicionar e remover módulos de páginas conforme as necessidades, modificar texto e estilos, ajustar a estrutura de layout, e também acrescentar funcionalidades de interação como feedback de botões, alternância de janelas e interligação de formulários, realizando edição iterativa visual.

2. Pôr olhos no lagostim

Os limites de tarefas do lagostim foram alargados de forma significativa; por exemplo, é possível navegar em páginas web e documentos, gerar relatórios e PPT ricos em imagens e texto, e ainda consultar e interpretar gráficos complexos como gráficos de velas.

O AutoClaw já disponibilizou a Skill “analista de ações”. Usando as capacidades visuais nativas do GLM-5V-Turbo, o lagostim consegue compreender diretamente as tendências de preço da ação, os gráficos de intervalos de avaliação e os gráficos dos relatórios de corretoras, concretizando a recolha paralela de quatro fontes de dados em 60 segundos e gerando relatórios de pesquisa com alternância de imagem e texto. Atualmente, é possível alternar para o GLM-5V-Turbo no AutoClaw e experimentar fazer perguntas como “ajuda-me a analisar a cotação de hoje do XXX e gerar um relatório de análise profissional”.

Além da programação visual e das tarefas do lagostim, o GLM-5V-Turbo também alcançou melhorias de desempenho notáveis em cenários agentic mais abrangentes, como pesquisa multimodal, pesquisa aprofundada, GUI Agent e grounding de perceção.

Para isso, foi disponibilizado um conjunto de Skills oficiais, que abrangem capacidades nativas como captioning de imagem, grounding visual, escrita baseada em documentos, triagem de currículos, geração de prompts, entre outras; além disso, inclui capacidades de reconhecimento de texto, reconhecimento de tabelas, reconhecimento de caligrafia, reconhecimento de fórmulas e capacidades de geração de texto-para-imagem construídas com base no GLM-OCR e no GLM-Image. Estas funcionalidades ajudam os utilizadores a libertar o potencial multimodal do modelo em mais cenários. As Skills acima já foram publicadas no ClawHub; basta instalar com um clique para experimentar todas as capacidades.

		Finanças Hot Talk
	





	Será que a guerra potencial entre EUA e Irão vai arrastar-se por muito tempo? O mercado está a subestimar o risco de recessão económica global?