2,8 biliões de parâmetros é só o começo: Kimi K3 está a levar a corrida de modelos de linguagem para a ideia de “IA a criar IA”

Autor: Climber, CryptoPulse Labs

A 16 de julho, o Mianfang (Moon’s Dark Side) lançou oficialmente a nova geração de modelo open source Kimi K3. O modelo conta com 2,8 biliões de parâmetros, uma janela de contexto de 1 milhão de Tokens, suporta nativamente a compreensão visual e recorre a tecnologias como Kimi Delta Attention e Attention Residuals.

Este é o primeiro modelo open source a nível de 3 biliões de parâmetros a nível global. Embora o desempenho geral do Kimi K3 ainda fique aquém de modelos fechados de topo como o Claude Fable 5 e o GPT-5.6 Sol, em várias avaliações tem demonstrado um nível de vanguarda; o Mianfang afirma que o seu desempenho geral se mantém estável e supera outros modelos testados.

O que merece ainda mais atenção é que o Kimi K3 também concluiu de forma autónoma o design de um chip. Um modelo de grande dimensão, ao começar a tentar conceber o hardware necessário para executar IA, talvez seja ainda mais digno de foco do que os próprios 2,8 biliões de parâmetros.

1. Por detrás dos 2,8 biliões de parâmetros: a concorrência em modelos de grande dimensão passa da escala para a eficiência

Nos últimos anos, o indicador mais fácil de compreender no setor de modelos de grande dimensão tem sido a contagem de parâmetros. Dos milhares de milhões para os milhares de milhões de milhares de milhões e depois para os biliões, a escala de parâmetros tornou-se quase um símbolo importante para medir a capacidade do modelo.

Mas quando a escala do modelo chega aos 2,8 biliões de parâmetros, o problema real já não é “quão grande é o modelo”, e sim: como treinar um modelo tão vasto? Em cada tarefa, quantos parâmetros participam efetivamente no cálculo? Como dotar o modelo de capacidades mais fortes, controlando simultaneamente os custos de operação?

A resposta dada pelo Kimi K3 passa por uma expansão adicional de uma arquitetura esparsa.

De acordo com o Mianfang, o Kimi K3 utiliza Mixture of Experts (mistura de especialistas), ou seja, uma arquitetura de mistura de especialistas. O modelo tem 896 módulos de especialistas, mas em cada tarefa apenas ativa 16 especialistas.

Isto significa que o modelo pode ter uma grande capacidade de conhecimento, mas não precisa de invocar todos os parâmetros em todas as ocasiões. Como uma super-instituição com 896 departamentos especializados: perante problemas diferentes, basta ativar apenas os 16 departamentos mais relevantes.

O valor central desta arquitetura é separar o tamanho total do modelo do custo de computação por execução.

No futuro, a concorrência entre modelos de grande dimensão pode não ser sobre quem tem mais parâmetros, mas sim quem consegue fazer com que mais parâmetros sejam ativados de forma eficaz com custos mais baixos.

Outra inovação central do Kimi K3 é o Kimi Delta Attention, ou KDA. Numa arquitetura tradicional Transformer, ao processar texto extremamente longo, a carga de computação e a pressão de memória aumentam de forma evidente. O objetivo do KDA é melhorar a eficiência do processamento de sequências longas.

Em simultâneo, o Kimi K3 introduz Attention Residuals, ou seja, um mecanismo de residuais de atenção. Modelos tradicionais tendem a transmitir informação passo a passo por camadas, com a informação a acumular-se até às camadas posteriores; no entanto, também podem surgir redundâncias e atenuação.

Os Attention Residuals tentam permitir que o modelo salte entre diferentes profundidades, selecionando de forma seletiva informação de estágios mais iniciais.

Se a fluidez de informação de um modelo tradicional for como um rio que vai do ponto de partida ao destino, então os Attention Residuals são mais como um sistema de pesquisa de informação montado ao longo do caminho, permitindo ao modelo reativar informação de diferentes profundidades conforme a tarefa.

O Mianfang afirma que, em comparação com o Kimi K2, o Kimi K3 obteve uma melhoria de cerca de 2,5 vezes na eficiência global de escalabilidade.

Isto mostra que a indústria de IA está a mudar de “quanto maior a escala, mais forte” para “como transformar uma escala maior em maior eficiência”.

O significado do Kimi K3 não reside apenas em lançar um modelo com 2,8 biliões de parâmetros, mas também em elevar ainda mais o limite de escala dos modelos open source.

No passado, os modelos open source eram vistos sobretudo como seguidores que tentavam alcançar modelos fechados. Hoje em dia, os modelos open source começam a tentar provar que modelos de escala extrema também podem ser divulgados, estudados e desenvolvidos em segunda instância.

2. Dos chatbots para os trabalhadores digitais: o Kimi K3 mira trabalho complexo

Se 2,8 biliões de parâmetros são o rótulo mais fácil de divulgar do Kimi K3, a sua verdadeira direção de produto é, na realidade, o trabalho de longo alcance.

No passado, a maioria das vezes em que os assistentes de IA respondem a perguntas. O utilizador faz uma pergunta e o modelo dá a resposta. Se pedir para escrever código, ele devolve código. Se pedir para resumir um artigo, ele gera um resumo.

Mas o trabalho complexo do mundo real raramente pode ser concluído numa única ronda de perguntas e respostas.

Um investigador pode precisar de ler artigos, organizar dados, construir modelos, executar experiências, analisar resultados e, por fim, escrever um relatório. Um programador pode precisar de ler muitos ficheiros, compreender a estrutura do projeto, modificar código para correr testes, localizar erros e iterar continuamente.

Essas tarefas têm em comum uma duração longa, muitos passos, grande quantidade de informação e a necessidade de ajustar a próxima ação continuamente com base em resultados intermédios — precisamente o problema que o Kimi K3 tenta resolver.

Num caso apresentado pelo Mianfang, o Kimi K3 concluiu uma tarefa de investigação em física de corpos celestes. Através da leitura e validação cruzada de mais de 20 artigos, conseguiu realizar cálculos numéricos, efetuou a avaliação de centenas de equações de estado, identificou inconsistências nas fórmulas publicadas e gerou mais de 3000 linhas de código Python e um painel HTML interativo.

A versão oficial indica que esta tarefa demorou cerca de duas horas, enquanto no cenário tradicional poderia exigir uma a duas semanas de um investigador experiente.

Isto não significa que a IA já possa substituir investigadores; na investigação científica, a parte mais importante é muitas vezes formular questões, avaliar hipóteses e explicar resultados.

Mas o Kimi K3 mostra uma mudança importante: a IA está a passar de ajudar os humanos a concluir uma etapa específica para passar a concluir autonomamente um fluxo de trabalho completo. Esta é a diferença entre a era dos Agents e a era dos chatbots tradicionais.

Os chatbots tradicionais resolvem o que quer que você pergunte, respondendo ao que é perguntado. Os Agents resolvem outra coisa: você diz o objetivo, e eu decomponho a tarefa, chamo ferramentas, executo passos, verifico resultados e corrijo continuamente.

A janela de contexto de 1 milhão de Tokens do Kimi K3 tem aqui um significado importante.

Para grandes repositórios de código, relatórios de investigação, materiais empresariais e documentação complexa de projetos, se o modelo conseguir compreender mais informação de uma só vez, isso significa que não precisa de esquecer o contexto com tanta frequência e não precisa de o utilizador repetir continuamente o histórico.

Além disso, o Kimi K3 suporta nativamente a compreensão visual, permitindo à IA formar um ciclo fechado de trabalho mais completo.

Por exemplo, após a IA escrever código, pode ver os resultados da execução na web; após a IA criar um PPT, pode verificar a disposição das páginas; após a IA gerar conteúdo, também pode julgar o resultado com base em feedback visual.

No passado, a IA parecia escrever código de olhos fechados; no futuro, a IA pode formar uma cadeia completa: compreender a tarefa, gerar resultados, observar resultados, detetar problemas e modificar resultados.

O Mianfang também estendeu as capacidades do Kimi para cenários como Kimi Work, Kimi Code e Kimi API, orientados para investigação, documentação, apresentações, tabelas, painéis e tarefas de programação complexas, respetivamente.

No futuro, a IA com verdadeiro valor comercial talvez já não seja o modelo que responde a mais perguntas, mas sim o que consegue concluir mais trabalho.

Os softwares tradicionais exigem que os utilizadores aprendam fluxos de operação complexos; e o objetivo dos AI Agents é ligar pesquisa, base de dados, programação, análise de dados e ferramentas de produtividade, para que o utilizador só precise descrever o objetivo final.

Isto implica que, na indústria de software do futuro, a concorrência pode deixar de ser “quem tem mais ferramentas” e passar a ser “quem tem um sistema de execução de IA mais forte”.

3. O que merece mais atenção não é o modelo, mas sim o facto de a IA começar a desenhar chips

A parte mais impressionante do Kimi K3 pode ser o facto de ele ter concluído autonomamente o design de um chip.

De acordo com as informações divulgadas pelo Mianfang, durante uma execução autónoma de 48 horas, o Kimi K3 utilizou ferramentas open source de EDA e uma biblioteca de processo Nangate 45nm para concluir o design, otimização e validação de um chip para um modelo pequeno voltado para a sua própria arquitetura.

Isto não significa que o Kimi K3 já consiga realizar sozinho a produção em massa comercial de chips avançados de processos modernos para IA. O processo de 45nm está muito distante dos aceleradores de IA mais avançados atuais; do design até à produção em massa, ainda há uma série de etapas complexas, incluindo IP, processos, fabrico, encapsulamento e cadeia de abastecimento.

Ainda assim, esta tentativa tem um significado importante, porque o design de chips não é simplesmente escrever código. Envolve múltiplas etapas como design lógico, síntese, floorplanning e roteamento, análise de temporização, otimização de consumo de energia e validação física.

No passado, na indústria de chips, a IA era mais frequentemente usada para ajudar engenheiros a completar tarefas parciais, como otimizar o layout, prever temporização e detetar falhas de design.

O que o Kimi K3 demonstra é outra possibilidade: a IA deixa de ser apenas uma ferramenta a ser utilizada e começa a organizar autonomamente ferramentas para completar um fluxo completo de engenharia.

Isto é muito semelhante à trajetória do desenvolvimento de IA que escreve código: no início, a IA só conseguia gerar um pequeno trecho de código; depois, conseguiu escrever programas completos; mais tarde, podia ler repositórios de código, executar testes e corrigir bugs. Agora, a IA começa a tentar desenhar o hardware necessário para executar IA.

Isto poderá formar um novo ciclo de auto-aperfeiçoamento em que a IA ajuda a desenhar chips mais fortes; chips mais fortes treinam modelos mais fortes; e modelos mais fortes ajudam a desenhar a próxima geração de chips.

O que merece ainda mais atenção é que o Kimi K3 também demonstra capacidade de desenvolver autonomamente um sistema de programação de GPU.

De acordo com o Mianfang, o Kimi K3 desenvolveu o MiniTriton, um sistema de compilador compacto semelhante ao Triton, incluindo uma camada própria de representação intermédia, fluxos de otimização e fluxos de geração de código PTX.

Isto indica que os limites das capacidades da IA estão a expandir-se de usar software para criar ferramentas de software.

No futuro, o próprio modelo pode participar diretamente na otimização de chips, no desenvolvimento de compiladores, na adaptação de operadores e no ajuste de sistemas — e isto pode ser o maior valor estratégico do Kimi K3.

Não é apenas um produto de modelo; é uma exploração de um modo de desenvolvimento nativo de IA. Do modelo ao compilador, do algoritmo ao chip, dos dados à aplicação, a IA vai-se tornando parte da infraestrutura.

Naturalmente, os chips desenhados autonomamente por IA ainda precisam de validação rigorosa; os resultados de investigação gerados por IA também precisam de revisão de profissionais; e ao executar tarefas complexas de forma autónoma, também podem ocorrer erros.

Mas o Kimi K3 já libertou um sinal importante: a IA está a passar de objeto a ser criado para, gradualmente, se tornar a entidade envolvida na criação da próxima geração de IA.

Conclusão

O lançamento do Kimi K3, à primeira vista, é uma atualização de modelo; por detrás, porém, representa uma mudança na lógica de concorrência em modelos de grande dimensão.

Do aumento de escala em parâmetros para arquiteturas mais eficientes. De responder a perguntas para concluir trabalho complexo. E depois, para desenvolver autonomamente compiladores e desenhar chips: a IA está gradualmente a participar na criação da próxima geração de IA.

Os 2,8 biliões de parâmetros talvez sejam apenas um número; o que realmente merece atenção é o facto de a IA começar a tentar desenhar o seu próprio futuro.