Бывший инженер Seed в ByteDance: одна итерация в ByteDance занимает полгода, по слухам, в Google — всего три месяца.

robot
Генерация тезисов в процессе
ME News сообщение, 24 апреля (UTC+8), согласно мониторингу Dongcha Beating, бывший инженер команды Seed компании ByteDance, ныне доцент Пекинского университета Чжан Чи в подкасте «Into Asia» рассказал, что ByteDance требуется около полугода для завершения одного цикла обучения большой модели (предварительное обучение и пост-обучение), в то время как Google, по слухам, справляется за три месяца. Он считает, что скорость итерации является одной из основных причин, почему китайским компаниям трудно догнать. Чжан Чи проработал в ByteDance около года, его математическая команда была в большей степени исследовательской, он сам отметил, что позиционирование этой группы «больше для пиара», в отличие от команд предварительного и пост-обучения, отвечающих за поставку моделей. Чжан Чи описал внутреннюю культуру «benchmaxxing» (накрутка бенчмарков) в Seed: руководители команд оценивают производительность по закрепленным за ними бенчмаркам, все гонятся за баллами, «но это не приводит к хорошему опыту в реальном использовании». Он сказал, что на бумаге модели крупных китайских компаний могут догнать передовые американские модели, но в реальном использовании они «недостаточно хороши». Цель Seed — быть мировым лидером, «но, к сожалению, я не считаю, что мы догнали», даже цель быть первыми в Китае «не была достигнута». В конце 2024 года Seed признала, что сравнялась с GPT-4o, затем DeepSeek выпустил свою модель, и команда осознала, что разрыв все еще существует. Когда он присоединился, вся группа срочно переключилась на обучение с подкреплением. (Источник: BlockBeats)
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено