Дещо тихо перевернулося в обчисленнях ШІ цього року, і це змінює те, для чого насправді призначена розбудова.


У 2023 році 2/3 обчислень ШІ йшли на тренування, власне роботу зі створення моделі. Інша, менша частина йшла на інференс, роботу з її безпосереднього запуску після створення. Але це співвідношення почало тихо змінюватися.
Інференс зараз становить 2/3 і все ще зростає, за даними Deloitte, а чипи, створені для його виконання, перетнули $50B цього року.
Основна причина, чому цей переворот важливий (і це не у відсотках): тренування та інференс — це різні речі. Тренування відбувається сплесками, на одному гігантському кластері, потім воно завершується. Інференс ніколи не зупиняється. Він запускається кожного разу, коли хтось надсилає запит або агент робить крок, і масштабується з кожним доданим користувачем. Одне — будівельний проєкт. Інше — комунальний рахунок, який зростає вічно.
Кожне припущення про інфраструктуру ШІ було побудоване навколо тренування, тому що туди йшли гроші. Гроші просто перейшли до навантаження, якому не потрібно сидіти в одному кластері для виконання.
Переглянути оригінал
post-image
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено