AIMPACT повідомлення, 15 травня (UTC+8), на PyTorchCon Europe 2026, Едвард Ян з Meta у своїй основній доповіді пояснив причини, через які розробники вважають, що тензорне паралелізування важко використовувати, і представив дослідження PyTorch щодо виявлення помилок на етапі перевірки типів за допомогою типів SPMD. Доповідь також охоплює кілька останніх досягнень PyTorch: стабілізацію torch.compile, підтримку обробки динамічних форм та змінних розмірів вхідних даних; покращення розподіленого навчання через інтеграцію FSDP та DDP для зменшення комунікаційних витрат; посилення інструментів кількісного перетворення з додаванням підтримки INT4 та FP8 точності; оновлення TorchRec та TorchServe; покращення нативної підтримки Apple Silicon (MPS) та AMD GPU (ROCm); введення нових інструментів аудиту та функцій сканування залежностей для безпеки. Внески спільноти включають бібліотеки оптимізації алгоритмів torchao та легкий фреймворк для передбачення torchchat. Майбутні напрямки включають більш ефективне автоматичне диференціювання, оптимізацію розріджених обчислень та глибоку інтеграцію з фреймворками тренування LLM. (Джерело: InFoQ)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

Нагородити
подобається
Прокоментувати
Репост
Поділіться

Прокоментувати

Додати коментар

Немає коментарів

Популярні теми
Дізнатися більше
#
TradfiTradingChallenge
229.83K Популярність
#
GrayscaleBuysAndStakesOver510KHYPE
8.91M Популярність
#
IsraelStrikesIranBTCPlunges
48.48K Популярність
#
#DailyPolymarketHotspot
1.02M Популярність
#
SpaceXOfficiallyFilesforIPO
748.75K Популярність

Закріплено

карта сайту

Едвард Янг детально пояснює паралелізм тензорів та перевірку типів SPMD на PyTorchCon Europe

Популярні теми

TradfiTradingChallenge

GrayscaleBuysAndStakesOver510KHYPE

IsraelStrikesIranBTCPlunges

#DailyPolymarketHotspot

SpaceXOfficiallyFilesforIPO

Закріплено