27 bilhões de parâmetros em um modelo denso, enfiado no bolso. Essa taxa de compressão é absurda. Será que a Apple finalmente vai se mexer?

PrismML informou que comprimiu o modelo de código aberto da Alibaba, Qwen3.6-27B, para cerca de 4 GB e o executou com sucesso no iPhone 17 Pro. O Qwen3.6-27B é um modelo denso com 27 bilhões de parâmetros, onde todos os parâmetros participam da inferência, ao contrário de modelos MOE que ativam apenas parte dos parâmetros. A PrismML afirma que o tamanho do modelo foi reduzido de cerca de 54 GB para menos de 4 GB, sem perda significativa de desempenho, sendo adequado para conversas complexas, raciocínio, agentes e tarefas de codificação. A Apple já entrou em contato com a PrismML para discutir como aplicar essa tecnologia em seus dispositivos, embora a Siri avançada ainda dependa de modelos na nuvem.