Через полгода после ухода вернулся в Byte, эксперт по распределённым системам Линь Хайбин вновь присоединился к команде Byte Seed

ME AI Сообщение, согласно мониторингу Beating, бывший руководитель обучения крупной модели ByteDance Lin Haibin официально вернулся в команду Seed, продолжая координировать разработку инфраструктуры распределенного обучения. Lin Haibin ушел в декабре прошлого года, прежде чем присоединиться к OpenAI, где был главным ученым Илья Сутскевер (Ilya Sutskever), основавшим компанию SSI (Safe Superintelligence) для суперинтеллекта, и менее чем за полгода вернулся. Lin Haibin, специалист по ИИ, магистр Карнеги-Меллонского университета (CMU), учился у известного эксперта по базам данных Энди Павло (Andy Pavlo), ранее руководил открытым фреймворком обучения с усилением veRL и распределенной системой MegaScale, способной работать с тысячами GPU. Быстрая возвращение Lin Haibin отражает изменения в потоках ведущих талантов в области крупных моделей между Китаем и США.

До присоединения к команде AML (Applied Machine Learning) ByteDance в 2020 году, Lin Haibin участвовал в разработке фреймворка MXNet в Amazon AWS. Во время работы в ByteDance он руководил разработкой системы обучения на GPU для рекомендаций и библиотеки коллективной коммуникации ByteCCL, а также возглавлял команду по решению задач параллельной работы с более чем десятью тысячами GPU для создания системы MegaScale. В настоящее время ежедневный вызов крупной модели Doubao находится на высоком уровне, а требования к стабильности обучающих кластеров для мультимодальных и интеллектуальных систем очень высоки. Знание Lin Haibin всей технической системы ByteDance позволяет ему напрямую поддерживать итерации базовой системы распределенного обучения.

Кроме того, разработанный Lin Haibin открытый фреймворк для обучения с усилением veRL уже принят Alibaba и Shanghai AI Laboratory. Правила возврата сотрудников ByteDance позволяют сотрудникам, уволенным более чем на 3 месяца и не имеющим нарушений, повторно возвращаться в компанию, при этом их должность и зарплата остаются без изменений, если прошло менее года. Возвращение Lin Haibin в ByteDance соответствует недавним мерам по стимулированию ключевой команды крупных моделей.

ByteDance предоставила сотрудникам отдела Seed специальные опционы на акции «Doubao stock» по цене 13 долларов за акцию. В настоящее время борьба за таланты в области крупных моделей перешла в стадию «опционы + автономия + вычислительные ресурсы». Ранее в лаборатории Seed около 70 участников перешли к внешним крупным моделям, и ByteDance пытается изменить ситуацию с помощью специальных схем распределения акций.

(Источник: BlockBeats)