O desempenho dos dados do lançamento em código aberto do Kimi K3 na noite passada mostra que todos estão a desejar modelos abertos de alto desempenho até ao limite.
Em apenas uma noite, quase 2900 downloads; tendo em conta exigências absolutamente brutais de hardware para este modelo, o valor destes downloads é extremamente alto.
Afinal, isto tem um custo de arranque de dezenas de milhões de servidores em cluster.
O Lado Oculto da Lua desta vez não veio com migalhas.
Uma arquitetura MoE de 2,8 T: a densidade de inteligência subiu 2,5 vezes em relação ao que havia antes.
Isto significa que não é uma melhoria de desempenho trocando por mais parâmetros; é uma otimização de eficiência a nível de arquitetura.
Com compreensão visual nativa mais contexto de cerca de 1 M, esta configuração está, basicamente, virada para enfrentar os modelos proprietários mais fortes atualmente.
O que mais vale a pena discutir é que eles disponibilizaram em código aberto a biblioteca de comunicação MoE.
Quem já mexeu com grandes modelos sabe que, no que toca à arquitetura MoE, a parte mais difícil é a eficiência de comunicação entre múltiplos GPUs.
O Kimi simplesmente mordeu este osso, resolveu-o e disponibilizou-o em código aberto. No futuro, quando toda a gente construir modelos com parâmetros maiores, já não precisa de recomeçar do zero a afinar as estruturas de comunicação a nível de base.
Esta série de ações puxou diretamente a diferença entre código aberto e código fechado para dentro de meio ano.
Agora, a situação ficou muito mais interessante:
Os modelos de código fechado defendem-se com efeitos de escala e vantagem de pioneirismo, enquanto forças abertas como o K3 estão a desmantelar a muralha do outro através de uma abertura total da stack.
Esta abertura não é postura; é entregar de forma concreta o código e a toolchain.
Para programadores e equipas de startups, este é um ponto de viragem.
Finalmente, tens na mão uma espada pesada que pode substituir e até ultrapassar algumas APIs de código fechado. Embora esta espada seja pesada e exija capacidade de computação cara para a fazer rodar, pelo menos agora está mesmo nas tuas mãos.
Em apenas uma noite, quase 2900 downloads; tendo em conta exigências absolutamente brutais de hardware para este modelo, o valor destes downloads é extremamente alto.
Afinal, isto tem um custo de arranque de dezenas de milhões de servidores em cluster.
O Lado Oculto da Lua desta vez não veio com migalhas.
Uma arquitetura MoE de 2,8 T: a densidade de inteligência subiu 2,5 vezes em relação ao que havia antes.
Isto significa que não é uma melhoria de desempenho trocando por mais parâmetros; é uma otimização de eficiência a nível de arquitetura.
Com compreensão visual nativa mais contexto de cerca de 1 M, esta configuração está, basicamente, virada para enfrentar os modelos proprietários mais fortes atualmente.
O que mais vale a pena discutir é que eles disponibilizaram em código aberto a biblioteca de comunicação MoE.
Quem já mexeu com grandes modelos sabe que, no que toca à arquitetura MoE, a parte mais difícil é a eficiência de comunicação entre múltiplos GPUs.
O Kimi simplesmente mordeu este osso, resolveu-o e disponibilizou-o em código aberto. No futuro, quando toda a gente construir modelos com parâmetros maiores, já não precisa de recomeçar do zero a afinar as estruturas de comunicação a nível de base.
Esta série de ações puxou diretamente a diferença entre código aberto e código fechado para dentro de meio ano.
Agora, a situação ficou muito mais interessante:
Os modelos de código fechado defendem-se com efeitos de escala e vantagem de pioneirismo, enquanto forças abertas como o K3 estão a desmantelar a muralha do outro através de uma abertura total da stack.
Esta abertura não é postura; é entregar de forma concreta o código e a toolchain.
Para programadores e equipas de startups, este é um ponto de viragem.
Finalmente, tens na mão uma espada pesada que pode substituir e até ultrapassar algumas APIs de código fechado. Embora esta espada seja pesada e exija capacidade de computação cara para a fazer rodar, pelo menos agora está mesmo nas tuas mãos.
