MiniMax disparou diretamente para 2,7 triliões de parâmetros. Se realmente abrir o código, a estrutura dos grandes modelos nacionais vai mudar.

Notícias da CoinWorld: a MiniMax está a desenvolver um modelo de linguagem grande com 2,7 biliões de parâmetros, que poderá ser lançado no terceiro trimestre e que se planeia tornar de código aberto. O nome de código interno do modelo é m3 pro, mas o nome final de lançamento ainda não foi definido. Se os pesos forem abertos conforme planeado, este modelo poderá tornar-se o maior modelo de código aberto do mundo em termos de parâmetros. O atual modelo emblemático da MiniMax, o m3, tem 428 mil milhões de parâmetros, e o novo modelo terá cerca de 6,3 vezes o tamanho do m3, ultrapassando também vários modelos atuais de código aberto com biliões de parâmetros. Uma escala de parâmetros maior é geralmente benéfica para tarefas de raciocínio complexo e instruções de múltiplos passos, mas o desempenho final ainda dependerá da qualidade do treino, dos parâmetros ativados, do custo de inferência e dos resultados da avaliação.