Сообщение от Coin World: В новейшем техническом отчете Google Gemma 4 показано, как с помощью минималистичной архитектуры заставить большую модель работать быстрее на мобильных устройствах и на стороне клиента, экономя больше памяти. Модель Gemma 4 12B впервые реализует «бескодировочную» минималистичную интеграцию визуального и аудио-дуального модального, напрямую сокращая визуальный переводчик на 93%, полностью избавляясь от аудио-переводчика, решая проблему потери видеопамяти, вызванную «внешним переводчиком». Кроме того, при обработке длинных текстов модель использует повторное использование глобального внимания, сокращая занимаемую память на 37,5%. Ускоритель прогнозирования в её легковесной версии на стороне клиента также сокращает диапазон словаря с 260 000 до 4096, значительно улучшая скорость декодирования.

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • 5
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
MultisigOnRocks
· 3ч назад
Если архитектура без кодировщика действительно заработает, то в будущем даже небольшие модели смогут локально работать с мультимодальностью.
Посмотреть ОригиналОтветить0
AirdropTaxPanic
· 7ч назад
Эта волна оптимизации на стороне устройств от Google прокладывает путь для мобильного ИИ, и у Apple возникает давление.
Посмотреть ОригиналОтветить0
DepegDaydream
· 7ч назад
Словарь объемом 4096 слов немного интересен для ускорения декодирования, но не пожертвует ли это многоязычным охватом?
Посмотреть ОригиналОтветить0
GateUser-f78f1f3e
· 7ч назад
Сократить 93% визуального переводчика и не нуждаться в аудиокодеке — такая степень «похудения» даже жестче, чем у меня.
Посмотреть ОригиналОтветить0
LimitOrderMonk
· 7ч назад
Глобальное повторное использование внимания экономит 37,5% видеопамяти, наконец-то не нужно беспокоиться о переполнении памяти при работе с длинными текстами.
Посмотреть ОригиналОтветить0
  • Закреплено