Модель помещается на одной DGX Spark и работает со скоростью 30–40 токенов в секунду, обгоняя open-weight-системы примерно в 10 раз по размеру.


Мы делаем запас по мощности, потому что предполагаем, что масштаб — единственный рычаг, но они вытащили персистентность и backtracking из небольшой модели.
Если команда из менее чем 70 человек может собрать инфраструктуру такой плотности, что это говорит о том, насколько «стройно» могли бы работать остальные из нас — мейкеры и операторы — если бы воспроизводимость была первой функцией, а не последней?
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено