PrismML comprimiu o Qwen3.6 para 4GB, o modelo de 27B enfiado no iPhone

De acordo com a monitorização do Beating, o laboratório de IA PrismML, cofundado pelo matemático do Instituto de Tecnologia da Califórnia Babak Hassibi, afirmou ter comprimido o modelo open-source da Alibaba, Qwen3.6-27B, e executado-o num iPhone 17 Pro.

O Qwen3.6-27B é um modelo denso com 27 mil milhões de parâmetros. Durante a inferência, todos os parâmetros são utilizados, não sendo um modelo MoE onde apenas parte dos parâmetros é ativada.

A PrismML afirma que o tamanho do modelo foi reduzido de cerca de 54 GB para menos de 4 GB, sem perda significativa de desempenho. Pode ser utilizado para conversas complexas, raciocínio, agentes e tarefas de código.

A Apple já contactou a PrismML para discutir a utilização desta tecnologia. A Apple tem vindo a tentar colocar mais IA nos dispositivos locais, mas a Siri avançada ainda depende de modelos na nuvem.