Google DeepMind lança o modelo multimodal Gemma 4 da família de modelos de código aberto

ME News Notícias, 3 de abril (UTC+8), a Google DeepMind recentemente open-soube a família de modelos multimodais Gemma 4.
Essa série de modelos suporta entrada de texto e imagem (modelos menores também suportam áudio), gerando saída de texto, incluindo variantes de pré-treinamento e ajuste por instruções, com janela de contexto de até 256K tokens, e suporta mais de 140 idiomas.
O modelo utiliza arquiteturas densas (Dense) e de especialistas mistos (MoE), com quatro tamanhos: E2B, E4B, 26B A4B e 31B.
Suas capacidades principais incluem inferência de alto desempenho, processamento multimodal escalável, otimização para dispositivos, aumento da janela de contexto, aprimoramento de codificação e capacidades de agentes inteligentes, além de suporte nativo a dicas do sistema.
Em detalhes técnicos, o modelo usa mecanismo de atenção híbrido, com camadas globais usando chaves e valores unificados e RoPE (p-RoPE) proporcional.
Entre eles, os modelos E2B e E4B usam tecnologia de incorporação camada por camada (PLE), com menos parâmetros efetivos do que o total.
Já o modelo MoE 26B A4B ativa apenas 3,8B de parâmetros durante a inferência, com velocidade de execução próxima ao modelo de 4B parâmetros. (Fonte: InFoQ)