Esta IA Frankenstein combina Claude Opus, GLM e Qwen—e supera os principais modelos

Resumidamente

• O engenheiro de IA Kyle Hessling fundiu duas finetunes de Jackrong, Claude Opus 4.6 e GLM-5.1, numa única “frankenmerge”.
• Uma “cura de fine-tune” pós-fusão foi necessária para corrigir a saída de código confusa causada pela fronteira de camadas entre os dois modelos treinados independentemente.
• O modelo tende a raciocinar demais em algumas tarefas, mas é um problema que pode ser resolvido.

Achavas que o Qwopus era fixe porque fundia Qwen e Opus? Bem, Kyle Hessling, um engenheiro de IA com bastante conhecimento e tempo livre, pegou nessa receita e misturou o GLM—um dos melhores modelos de raciocínio disponíveis—na mistura. O resultado é uma frankenmerge de 18 bilhões de parâmetros que cabe numa GPU barata e supera o mais recente modelo de 35B da Alibaba. Para quem não sabe, os parâmetros são os valores numéricos incorporados numa rede neural durante o treino, como botões que a rede pode ajustar — quanto mais, maior o conhecimento e a complexidade que o modelo consegue lidar, e mais memória precisa para funcionar. Hessling, um engenheiro de infraestrutura de IA, empilhou duas finetunes do Qwen3.5 de Jackrong uma por cima da outra: camadas 0 a 31 do Qwopus 3.5-9B-v3.5, que destila o estilo de raciocínio do Claude 4.6 Opus para o Qwen como modelo base, e camadas 32 a 63 do Qwen 3.5-9B-GLM5.1-Distill-v1, treinado com dados de raciocínio do modelo professor GLM-5.1 da z.AI, sobre o mesmo Qwen base.

A hipótese: Dar ao modelo uma estrutura de planeamento ao estilo Opus na primeira metade do raciocínio e a decomposição de problemas do GLM na segunda—64 camadas no total, num único modelo.  A técnica chama-se uma passthrough frankenmerge—sem mistura, sem média de pesos, apenas empilhamento bruto de camadas. Hessling teve que escrever o seu próprio script de fusão do zero porque as ferramentas existentes não suportam a arquitetura híbrida de atenção linear/completa do Qwen 3.5. O modelo resultante passou em 40 de 44 testes de capacidade, superando o Qwen 3.6-35B-A3B MoE da Alibaba—que requer 22 GB de VRAM—enquanto roda com apenas 9,2 GB em quantização Q4_K_M. Um NVIDIA RTX 3060 aguenta bem… teoricamente.

Hessling explica que fazer este modelo não foi fácil. A fusão bruta costumava gerar código confuso. Mas mesmo assim, os modelos de teste que publicou tornaram-se quase virais entre entusiastas. A última correção de Hessling foi uma “cura de fine-tune”—basicamente um QLoRA (um pouco de código embutido no modelo como um apêndice, que condiciona fortemente a saída final ) direcionando toda a atenção e projeções. Experimentámos, e mesmo que a ideia de ter Qwen, Claude Opus e GLM 5.1 a correr localmente no nosso computador seja tentadora, na prática descobrimos que o modelo raciocina tão bem que acaba por pensar demais. Testámos num MacBook M1 com uma versão quantizada de MLX (um modelo otimizado para Macs). Quando pedimos para gerar o nosso teste habitual, a cadeia de raciocínio foi tão longa que atingiu o limite de tokens e deu-nos um raciocínio extenso sem um resultado funcional numa interação zero-shot. Um obstáculo diário para quem quer correr isto localmente em hardware de consumo para aplicações sérias. Ficámos um pouco mais suaves e as coisas continuaram desafiantes. Um simples pedido de “escreve um jogo da Serpente” levou mais de 40 minutos a raciocinar… grande parte dele.

Podes ver os resultados no nosso repositório Github. Esta é uma tensão conhecida na linhagem Qwopus: as finetunes v2 de Jackrong foram criadas para resolver a tendência do Qwen 3.5 para ciclos internos repetitivos e “pensar de forma mais económica.” Empilhar 64 camadas de duas destilações de raciocínio parece amplificar esse comportamento em certos prompts.

Este é um problema que pode ser resolvido, e a comunidade de código aberto provavelmente irá resolvê-lo. O que importa aqui é o padrão mais amplo: um desenvolvedor pseudónimo publica finetunes especializados com guias de treino completos, outro entusiasta empilha-os com um script personalizado, executa 1.000 passos de cura, e consegue um modelo que supera uma versão de 35 bilhões de parâmetros de um dos maiores laboratórios de IA do mundo. Tudo cabe num ficheiro pequeno. É isto que torna o código aberto interessante—não só os grandes laboratórios a lançar pesos, mas as soluções camada por camada, a especialização que acontece abaixo do radar. A diferença entre um projeto de fim de semana e uma implementação de fronteira é menor quanto mais desenvolvedores se juntarem à comunidade. Desde então, Jackrong espelhou o repositório de Hessling, e o modelo já teve mais de três mil downloads nas primeiras duas semanas de disponibilidade.