MiniMax прямо взлетел до 2,7 триллиона параметров. Если действительно откроют исходный код, ландшафт отечественных больших моделей изменится.

Сообщение BiJieWang: MiniMax разрабатывает большую языковую модель с 2,7 триллиона параметров, которая может быть выпущена уже в третьем квартале, и планирует сделать её открытой. Внутреннее кодовое имя модели — m3 pro, окончательное название ещё не определено. Если по плану будут открыты веса, эта модель может стать крупнейшей в мире открытой большой языковой моделью по числу параметров. Текущая флагманская модель MiniMax, m3, имеет 428 миллиардов параметров, новая модель примерно в 6,3 раза больше m3 и также превзойдёт несколько существующих моделей с открытым весом триллионного уровня. Большее число параметров обычно способствует решению сложных задач рассуждения и многошаговых инструкций, но конечная производительность будет зависеть от качества обучения, активированных параметров, стоимости инференса и результатов оценки.