Modelo denso de 27B enfiado no bolso, esta taxa de compressão é absurda, será que a Apple finalmente não aguentou mais?

Notícias do Coin World, a PrismML afirmou ter comprimido o modelo open source da Alibaba, Qwen3.6-27B, para aproximadamente 4 GB e executado-o com sucesso no iPhone 17 Pro. O Qwen3.6-27B é um modelo denso com 27 mil milhões de parâmetros, onde todos os parâmetros participam no cálculo durante a inferência, ao contrário de modelos MOE que apenas ativam parte dos parâmetros. A PrismML afirma que o tamanho do modelo foi reduzido de cerca de 54 GB para menos de 4 GB, sem perda significativa de desempenho, sendo adequado para tarefas de conversação complexa, raciocínio, agentes e código. A Apple já contactou a PrismML para discutir como aplicar esta tecnologia aos seus dispositivos, embora o Siri avançado ainda dependa de modelos na nuvem.