2,8 trilhões de parâmetros é só o começo: Kimi K3 está levando a competição de grandes modelos para o “IA que cria IA”

Autor: Climber, CryptoPulse Labs

Em 16 de julho, o Moomoon Dark (Lado Oculto da Lua) lançou oficialmente o novo modelo open source de próxima geração Kimi K3. O modelo conta com 2,8 trilhões de parâmetros, uma janela de contexto de 1 milhão de tokens, suporte nativo à compreensão visual e usa tecnologias como Kimi Delta Attention e Attention Residuals.

Este é o primeiro modelo open source global de nível de 3 trilhões, e embora o desempenho geral do Kimi K3 ainda fique atrás de modelos closed-source mais fortes como Claude Fable 5 e GPT-5.6 Sol, em várias avaliações ele mostra um nível de ponta. O Moomoon Dark afirma que seu desempenho geral é consistentemente mais estável do que o de outros modelos testados.

O que chama ainda mais atenção é que o Kimi K3 também concluiu de forma autônoma o design de um chip. Um modelo grande começando a tentar projetar o hardware necessário para executar IA — isso talvez seja ainda mais digno de observação do que os próprios 2,8 trilhões de parâmetros.

1. O que há por trás de 2,8 trilhões de parâmetros: a disputa de modelos grandes passa de escala para eficiência

Nos últimos anos, o indicador mais fácil de entender na indústria de modelos grandes é a quantidade de parâmetros. De dezenas de bilhões a trilhões, e depois para quatrilhões e além, o tamanho dos parâmetros quase virou um símbolo importante para medir a capacidade do modelo.

Mas quando o modelo atinge 2,8 trilhões de parâmetros, o verdadeiro problema já não é mais “quão grande é o modelo”, e sim: como treinar um modelo tão gigantesco? A cada tarefa, quantos parâmetros exatamente precisam entrar no cálculo? Como dar ao modelo capacidades mais fortes, ao mesmo tempo controlando os custos de execução?

A resposta dada pelo Kimi K3 é um novo passo em direção à expansão da arquitetura esparsa.

Segundo a descrição do Moomoon Dark, o Kimi K3 adota Mixture of Experts, ou seja, a arquitetura de especialistas em mistura. O modelo possui 896 módulos de especialistas, mas em cada tarefa apenas 16 especialistas são ativados.

Isso significa que o modelo pode ter uma enorme capacidade de conhecimento, mas sem precisar acionar todos os parâmetros toda vez. É como uma superinstituição com 896 departamentos especializados: ao lidar com problemas diferentes, basta ativar os 16 departamentos mais relevantes.

O valor central dessa arquitetura está em separar o tamanho total do modelo do custo de computação de cada rodada.

No futuro, a disputa entre modelos grandes pode não ser sobre quem tem mais parâmetros, mas sobre quem consegue fazer com que mais parâmetros sejam chamados de forma eficiente com um custo menor.

Outra inovação central do Kimi K3 é o Kimi Delta Attention, ou KDA. Na arquitetura tradicional de Transformer, ao processar textos extremamente longos, a complexidade de computação e a pressão de memória aumentam de forma evidente. O objetivo do KDA é melhorar a eficiência do modelo ao lidar com informações de sequências longas.

Ao mesmo tempo, o Kimi K3 introduz os Attention Residuals, ou mecanismo de resíduos de atenção. Modelos tradicionais costumam transmitir informações gradualmente por camadas: a informação vai se acumulando nas camadas seguintes, mas isso também pode gerar redundância e atenuação.

O Attention Residuals tenta permitir que o modelo “salte” entre diferentes profundidades e selecione de forma adaptativa informações de estágios mais precoces.

Se modelos tradicionais têm um fluxo de informação como um rio que vai do ponto de partida ao destino final, então os Attention Residuals são como um sistema de recuperação de informações montado ao longo do caminho, permitindo que o modelo chame informações de profundidades diferentes conforme a tarefa.

O Moomoon Dark afirma que, em comparação com o Kimi K2, o Kimi K3 alcançou uma melhoria de eficiência de expansão geral de aproximadamente 2,5 vezes.

Isso indica que a indústria de IA está saindo de “quanto maior, melhor” e indo para “como converter uma escala maior em eficiência mais alta”.

O significado do Kimi K3 não é apenas lançar um modelo open source de 2,8 trilhões de parâmetros, mas também elevar ainda mais o limite de escala dos modelos open source.

Antes, modelos open source eram vistos com mais frequência como seguidores que buscavam alcançar modelos closed source. Hoje, os modelos open source começam a tentar provar que modelos de escala gigantesca também podem ser abertos, pesquisados e desenvolvidos novamente.

2. De chatbots a funcionários digitais: o Kimi K3 mira trabalho complexo

Se 2,8 trilhões de parâmetros é o rótulo mais fácil de espalhar do Kimi K3, sua direção de produto de verdade é tarefas de longo alcance.

No passado, a maioria das vezes os assistentes de IA respondia a perguntas. O usuário fazia uma pergunta, e o modelo devolvia uma resposta. Se você pedisse para ele escrever código, ele retornava código. Se pedisse para resumir um artigo, ele gerava um resumo.

Mas, na realidade, o trabalho complexo geralmente não pode ser concluído com uma única rodada de perguntas e respostas.

Um pesquisador pode precisar ler artigos, organizar dados, construir modelos, rodar experimentos, analisar resultados e então escrever um relatório. Um programador pode precisar ler muitos arquivos, entender a estrutura do projeto, modificar o código para rodar testes, localizar erros e iterar continuamente.

Essas tarefas têm em comum: ciclos longos, muitas etapas, grande volume de informação e necessidade de ajustar a próxima ação com base nos resultados intermediários — exatamente o tipo de problema que o Kimi K3 tenta resolver.

Nos casos demonstrados pelo Moomoon Dark, o Kimi K3 chegou a concluir uma tarefa de pesquisa em astrofísica computacional. Ao ler e validar de forma cruzada mais de 20 artigos, ele realizou cálculos numéricos, avaliou centenas de equações de estado, identificou inconsistências nas fórmulas publicadas e gerou mais de 3000 linhas de código Python e um painel HTML interativo.

A versão oficial afirma que essa tarefa levou cerca de duas horas; no cenário tradicional, possivelmente levaria de 1 a 2 semanas para um pesquisador experiente concluir.

Isso não significa que a IA já consiga substituir pesquisadores; na pesquisa científica, a parte mais importante costuma ser levantar questões, avaliar hipóteses e interpretar resultados.

Mas o Kimi K3 mostra uma mudança importante: a IA está saindo de ajudar humanos a concluir uma etapa específica e avançando para concluir um fluxo de trabalho inteiro de forma autônoma. Essa é a diferença entre a era de Agent e a era de chatbots tradicionais.

Chatbots tradicionais resolvem “o que você pergunta, eu respondo”. Já Agents resolvem “você me diz o objetivo”: eu decomponho a tarefa, chamo ferramentas, executo etapas, verifico resultados e vou corrigindo continuamente.

A janela de contexto de 1 milhão de tokens do Kimi K3 tem um papel importante nesse processo.

Para grandes repositórios de código, relatórios de pesquisa, materiais de empresas e documentação complexa de projetos, quando o modelo consegue compreender mais informações de uma só vez, isso significa que ele não precisa esquecer o contexto com tanta frequência e nem que o usuário precise repetir continuamente o contexto.

Além disso, o Kimi K3 tem suporte nativo a compreensão visual, permitindo que a IA forme um ciclo de trabalho mais completo e fechado.

Por exemplo: depois que a IA escreve código, ela pode verificar o resultado de execução na web; depois que a IA cria um PPT, pode checar o layout da página; depois que a IA gera conteúdo, ela também pode avaliar o resultado com base em feedback visual.

No passado, a IA era como se escrevesse código com os olhos fechados; no futuro, a IA poderá entender a tarefa, gerar resultados, observar resultados, identificar problemas e corrigir resultados.

O Moomoon Dark também estendeu as capacidades do Kimi para cenários como Kimi Work, Kimi Code e Kimi API, com foco em pesquisa, documentos, apresentações, tabelas, painéis e tarefas de programação complexas, respectivamente.

No futuro, a IA com verdadeiro valor comercial talvez não seja a que responde mais perguntas, mas a que consegue concluir mais trabalho.

Softwares tradicionais exigem que os usuários aprendam fluxos de operação complexos. O objetivo de um AI Agent é conectar busca, bancos de dados, programação, ferramentas de análise de dados e ferramentas de escritório, para que o usuário só precise descrever o objetivo final.

Isso implica que, no futuro, a concorrência na indústria de software pode não ser mais sobre quem tem mais ferramentas, e sim sobre quem tem um sistema de execução de IA mais forte.

3. O que vale mais a pena observar não é o modelo, e sim o fato de a IA começar a projetar chips

A parte mais impressionante do Kimi K3 pode ser o fato de ele ter concluído, de forma autônoma, o design de um chip.

De acordo com informações divulgadas pelo Moomoon Dark, em uma execução autônoma de 48 horas, o Kimi K3 usou ferramentas open source de EDA e a biblioteca de processo Nangate de 45nm para concluir um design de chip, otimização e validação de um modelo pequeno voltado à própria arquitetura.

Isso não significa que o Kimi K3 já consiga fazer produção comercial independente de chips avançados de processo moderno. Existe uma grande diferença entre 45nm e os aceleradores de IA mais avançados de hoje; e do design até a produção em massa, ainda há um ecossistema complexo que envolve IP, processo, fabricação, empacotamento e cadeia de suprimentos.

Ainda assim, essa tentativa tem importância, porque o design de chips não é simplesmente escrever código: é preciso lidar com múltiplas etapas como design lógico, síntese, floorplanning e roteamento, análise de temporização, otimização de consumo de energia e verificação física.

No passado, na indústria de chips, a IA atuava mais como assistente de engenheiros para tarefas locais, como otimizar layout, prever temporização e descobrir falhas de design.

O Kimi K3, porém, mostra uma possibilidade diferente: a IA deixa de ser apenas usuária de ferramentas e começa a organizar ferramentas de forma autônoma para completar um fluxo de engenharia completo.

Isso é muito semelhante ao caminho de evolução da IA para escrever código. No começo, a IA só conseguia gerar um pequeno trecho de código; depois, passou a escrever programas completos; em seguida, conseguiu ler repositórios de código, rodar testes e corrigir bugs. Hoje, a IA começa a tentar projetar o hardware necessário para executar a própria IA.

Isso pode formar um novo ciclo de autoaperfeiçoamento da IA: a IA ajuda a projetar chips mais fortes; chips mais fortes treinam modelos mais fortes; e modelos mais fortes ajudam a projetar chips da próxima geração.

O que merece atenção especial é que o Kimi K3 também demonstra capacidade de desenvolver um sistema próprio de programação para GPU.

O Moomoon Dark revelou que o Kimi K3 desenvolveu o MiniTriton, um sistema de compilação compacto semelhante ao Triton, incluindo sua própria camada de representação intermediária, fluxos de otimização e processo de geração de código PTX.

Isso mostra que os limites das capacidades da IA estão se expandindo de usar softwares para também criar ferramentas de software.

No futuro, o próprio modelo pode participar diretamente da otimização de chips, desenvolvimento de compiladores, adaptação de operadores e tuning de sistema. Isso pode ser o maior valor estratégico do Kimi K3.

Ele não é apenas um produto de modelo: está explorando um modo de desenvolvimento AI-native. Do modelo ao compilador; do algoritmo ao chip; dos dados à aplicação; a IA vai se tornando parte de toda a infraestrutura.

É claro que chips projetados de forma autônoma pela IA ainda precisam de validação rigorosa. Resultados de pesquisa gerados pela IA também precisam da revisão de profissionais. E quando a IA executa tarefas complexas de forma autônoma, também podem ocorrer erros.

Mas o Kimi K3 já emitiu um sinal importante: a IA está deixando de ser apenas objeto criado e, aos poucos, se tornando a entidade que participa da criação da próxima geração de IA.

Conclusão

O lançamento do Kimi K3, na superfície, é uma atualização de modelo. Por trás disso, porém, representa uma mudança na lógica da concorrência entre modelos grandes.

Da escala maior de parâmetros para uma arquitetura mais eficiente. De responder perguntas para concluir trabalhos complexos. E então para o desenvolvimento autônomo de compiladores e a concepção de chips: a IA está cada vez mais participando da criação da próxima geração de IA.

2,8 trilhões de parâmetros talvez sejam apenas um número. O que realmente merece atenção é o fato de a IA começar a tentar projetar o próprio futuro.