O Google lançou o modelo de código aberto Gemma 4 12B, que pode ser executado localmente com um portátil de consumo de 16GB

Google anuncia novamente a lacuna na família Gemma 4: um novo modelo de 12B de parâmetros que pode ser executado localmente em laptops de consumo com apenas 16GB de memória, com pontuações oficiais próximas ao modelo MoE de 26B, quase o dobro.

（Contexto anterior: Google lança nova aplicação de IA Dreambeans! Transforme sua rotina diária em uma "história em quadrinhos" de edição limitada）
（Informação adicional: Google investe fortemente em IA! Alphabet amplia financiamento de ações para 85 bilhões de dólares, recebendo um aporte de 10 bilhões de dólares da Berkshire Hathaway）

Em 3 de junho, o Google lançou o Gemma 4 12B, um modelo que não exige hardware de mais de 20 mil dólares, apenas um computador com 16GB de memória RAM ou VRAM para rodar localmente.

Lacuna na família Gemma 4

Em abril deste ano, o Google lançou quatro modelos na família Gemma 4: o E2B e E4B otimizados para dispositivos móveis, além do 26B MoE e 31B Dense voltados para servidores. Essa é uma linha de produtos que cobre desde dispositivos leves até a nuvem pesada, mas deixou uma lacuna clara no meio: a versão móvel é muito leve, enquanto acima de 26B requer hardware bastante potente, deixando quase nenhuma opção para laptops locais.

O modelo de 12B foi criado exatamente para preencher essa lacuna.

Para esclarecer, o 26B MoE é um "modelo de especialistas híbridos", onde MoE significa: o modelo chama especialistas neurais sob demanda, sem precisar ativar todos os parâmetros a cada inferência. Simplificando, essa arquitetura permite que o modelo ative apenas um subconjunto durante o cálculo, com cada token usando cerca de 4B de parâmetros. Mas o custo é que todos os 260 bilhões de parâmetros ainda precisam estar carregados na memória para manter a velocidade de roteamento e inferência, consumindo quase a mesma quantidade de memória de um modelo denso de tamanho equivalente.

O Dense de 31B é um "modelo denso" tradicional, que usa todos os parâmetros a cada inferência. Ou seja, não há economia, cada resposta é gerada com toda a força. Em comparação, o Gemma 4 12B usa aproximadamente 8,1GB de memória, cerca de metade do MoE de 26B.

Ao mesmo tempo, a família Gemma 4 adota a licença Apache 2.0, que permite uso comercial, modificação e redistribuição, uma licença de código aberto que permite aos desenvolvedores usar diretamente em seus produtos sem necessidade de solicitar permissão caso a caso.

"Quase tão forte"

No anúncio, o Google afirma que o Gemma 4 12B apresenta desempenho "quase tão forte" em várias métricas de benchmark, rivalizando com o modelo MoE de 26B de duas vezes o tamanho. As pontuações oficiais incluem GPQA Diamond (raciocínio científico de nível de pós-graduação), MMLU Pro (conhecimento multidisciplinar), DocVQA (perguntas e respostas visuais de documentos), entre outros, com números realmente próximos ao versão de 26B.

No entanto, há alguns pontos que merecem cautela ao interpretar esses números.

Primeiro, essas são pontuações oficiais autoavaliadas pelo Google, ainda não reproduzidas por terceiros independentes. As métricas são um ponto de partida, não o ponto final; na prática, a diferença de desempenho em cenários reais pode ser maior ou menor do que os números indicam. Segundo, "roda com 16GB" é tecnicamente verdadeiro, mas o uso real de memória é de cerca de 8,1GB. Para um laptop comum que mantém navegador e software de processamento de texto abertos, o espaço restante fica bastante apertado, não sendo acessível para todos rodarem sem problemas.

O Gemma 4 12B também é um modelo multimodal, usando uma arquitetura unificada sem codificador, o que significa que o mesmo modelo pode processar texto, imagens, áudio e vídeo diretamente, sem precisar de componentes adicionais de codificação.