Бывший инженер ByteDance Seed: одна итерация ByteDance занимает полгода, Google, по слухам, всего три месяца.

robot
Генерация тезисов в процессе
ME News сообщает, 24 апреля (UTC+8), по данным мониторинга Beating, бывший инженер команды Seed компании ByteDance, ныне доцент Пекинского университета Чжан Чи, в подкасте «Into Asia» рассказал, что для завершения обучения большой модели (предварительное обучение и последующее обучение) в ByteDance требуется около полугода, в то время как у Google, по слухам, это занимает всего три месяца. Он считает, что скорость итераций является одной из ключевых причин, почему китайским компаниям трудно догнать. Чжан Чи проработал в ByteDance около года, его математическая команда носила в основном исследовательский характер, и он отметил, что позиционирование этой группы «больше для пиара», в отличие от команд предварительного и последующего обучения, отвечающих за поставку моделей. Чжан Чи описал культуру «benchmaxxing» (накручивания баллов) внутри Seed: руководители команд оценивают производительность по бенчмаркам, все гонятся за баллами, «но это не приводит к хорошему пользовательскому опыту». Он сказал, что на бумаге модели крупных китайских компаний догоняют передовые американские модели, но на практике они «недостаточно хороши». Цель Seed — быть мировым лидером, «но, к сожалению, я не думаю, что мы догнали», даже цель стать первыми в Китае «не была достигнута». В конце 2024 года Seed считал, что догнал GPT-4o, но затем DeepSeek выпустил свою модель, и команда осознала, что разрыв все еще существует; когда он присоединился, вся группа срочно переключалась на обучение с подкреплением. (Источник: BlockBeats)
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено