Повідомлення Coin World: Нещодавно опублікований технічний звіт Google Gemma 4 демонструє, як за допомогою мінімалістичної архітектури зробити великі моделі швидшими на телефонах та кінцевих пристроях, заощаджуючи більше пам'яті. Модель Gemma 4 12B вперше реалізує «безкодовий» мінімалістичний уніфікований підхід для візуального та аудіо дуального режиму, безпосередньо скорочуючи візуальний перекладач на 93%, а аудіо перекладач повністю вилучаючи, вирішуючи проблему витрати відеопам'яті, спричинену «зовнішніми перекладачами». Крім того, ця модель при обробці довгих текстів завдяки повторному використанню глобальної уваги зменшує використання пам'яті на 37,5%. Її легкова версія для кінцевих пристроїв прогнозного прискорювача також скорочує діапазон словника з 260 000 до 4096, значно підвищуючи швидкість декодування.

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 5
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
MultisigOnRocks
· 3год тому
Якщо архітектура без енкодера дійсно запрацює, то в майбутньому навіть малі моделі зможуть локально працювати з мультимодальністю.
Переглянути оригіналвідповісти на0
AirdropTaxPanic
· 7год тому
Ця хвиля оптимізації на стороні пристрою від Google прокладає шлях для мобільного ШІ, Apple відчуває тиск.
Переглянути оригіналвідповісти на0
DepegDaydream
· 7год тому
4096 словниковий запас трохи покращує швидкість декодування, але чи не пожертвує це багатомовним охопленням?
Переглянути оригіналвідповісти на0
GateUser-f78f1f3e
· 7год тому
Відрізати 93% візуального перекладача та ще й не вимагати аудіокодек — ця сила схуднення жорсткіша за мене.
Переглянути оригіналвідповісти на0
LimitOrderMonk
· 7год тому
Глобальне повторне використання уваги економить 37,5% пам'яті відеокарти, довгі тексти нарешті не вичерпують пам'ять.
Переглянути оригіналвідповісти на0
  • Закріплено