Caltech Open Source Modelo 1-bit Bonsai: 8B parâmetros com apenas 1,15GB, rodando a 44 tokens/s no iPhone

Segundo o monitorização de 1M AI News, o laboratório de IA PrismML, co-fundado pelo matemático Babak Hassibi, do California Institute of Technology, terminou o seu período de ocultação e lançou em open source a série de grandes modelos de linguagem 1-bit Bonsai. O modelo de topo, 1-bit Bonsai 8B, tem 8,2 mil milhões de parâmetros, com apenas 1,15 GB de utilização de memória, o que representa uma compressão de cerca de 14x face a modelos 16-bit do mesmo nível (aprox. 16 GB). Os pesos estão disponíveis para download aberto no HuggingFace sob a licença Apache 2.0, e foram disponibilizados também dois modelos mais pequenos: 4B (0,5 GB) e 1,7B (0,24 GB).

Bonsai 8B é um modelo verdadeiro de ponta a ponta 1-bit: a camada de embeddings, as camadas de atenção, a camada de MLP e a cabeça de saída usam apenas pesos representados por +1 ou -1, sem quaisquer patches de alta precisão. A PrismML afirma que as capacidades de inferência e de compreensão de linguagem em benchmarks padrão são equivalentes às de um modelo 16-bit de precisão total. A compressão matemática central foi desenvolvida pela equipa ao longo de vários anos no California Institute of Technology; a propriedade intelectual pertence ao California Institute of Technology, e a PrismML é o único detentor da licença exclusiva. O modelo foi treinado com Google v4 TPU.

Velocidade medida: 136 token/s no M4 Pro Mac, 440 token/s no RTX 4090 e cerca de 44 token/s no iPhone 17 Pro Max, enquanto o modelo padrão 16-bit 8B não consegue caber em nenhum iPhone. O consumo energético é reduzido em cerca de 4-5x face ao modelo 16-bit. A PrismML aponta que o hardware existente não foi concebido para inferência 1-bit; a vantagem de velocidade e eficiência energética deve-se principalmente à redução da ocupação de memória; se no futuro surgir hardware especificamente desenhado para 1-bit (que requer apenas operações de adição e subtracção, sem multiplicação), a eficiência poderá ainda aumentar mais uma ordem de grandeza.

A PrismML concluiu uma ronda de financiamento SAFE e seed no valor de 16,25 milhões de dólares, com investidores como Khosla Ventures, Cerberus Capital e o California Institute of Technology. Vinod Khosla, fundador da Khosla Ventures, afirma que este «não é uma pequena iteração; é uma grande ruptura tecnológica, uma ruptura matemática, e não apenas mais um pequeno modelo».