Google збирається вбудувати архітектуру Gemini в чипи, а ефективність виведення (inferencing) зможе зрости до 10 разів

robot
Генерація анотацій у процесі
ME AI повідомлення, за даними моніторингу Beating, Google, як повідомляється, наразі розробляє AI-інференс-чіп Frozen v2. Він безпосередньо «застигне» в чипі частину архітектури Gemini, зменшуючи обчислення та перенесення даних під час запуску моделі. Всередині очікують, що кількість токенів на ват досягне 6–10 разів від найновіших TPU. Google планує розгорнути його щонайраніше у 2028 році. Google хоче використати його, щоб пом’якшити дефіцит обчислювальної потужності. Дефіцит уже змусив Google Cloud відхилити частину замовлень від зовнішніх клієнтів. Frozen v2 існуватиме паралельно з TPU. TPU можуть запускати різні моделі, тоді як Frozen v2 отримує гнучкість в обмін на ефективність. Це також ставка на архітектуру. У майбутньому, якщо Gemini сильно змінить базовий дизайн, ця партія чіпів може більше не підходити для використання. (Джерело: BlockBeats)
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено