Google DeepMind lança o modelo multimodal Gemma 4 da família de modelos de código aberto

ME News Notícias, 3 de abril (UTC+8), a Google DeepMind recentemente open-soube a família de modelos multimodais Gemma 4. Esta série de modelos suporta entrada de texto e imagem (modelos menores também suportam áudio), gerando saída de texto, incluindo variantes de pré-treinamento e ajuste por instruções, com uma janela de contexto de até 256K tokens, e suporta mais de 140 idiomas. Os modelos utilizam arquiteturas densas (Dense) e de especialistas mistos (MoE), com quatro tamanhos: E2B, E4B, 26B A4B e 31B. Suas capacidades principais incluem inferência de alto desempenho, processamento multimodal escalável, otimização para dispositivos, aumento da janela de contexto, aprimoramento de codificação e capacidades de agentes inteligentes, além de suporte nativo a prompts do sistema. Em detalhes técnicos, os modelos usam mecanismo de atenção híbrido, com camadas globais que adotam chaves e valores unificados e RoPE (p-RoPE) proporcional. Entre eles, os modelos E2B e E4B usam tecnologia de incorporação camada a camada (PLE), com menos parâmetros efetivos do que o total. Já o modelo MoE 26B A4B ativa apenas 3,8B de parâmetros durante a inferência, com velocidade de execução próxima a modelos de 4B de parâmetros. (Fonte: InFoQ)