Lors de PyTorchCon Europe 2026, Edward Yang a expliqué les difficultés du parallélisme tensoriel, proposant de capturer les erreurs lors de la vérification de type à l'aide du type SPDM. La présentation a introduit la stabilisation de torch.compile avec le support des formes dynamiques, l'intégration de FSDP/DDP pour réduire la communication, l'ajout d'outils de quantification INT4/FP8, les mises à jour de TorchRec/TorchServe, ainsi que la prise en charge native de Apple Silicon et AMD ROCm et la mise à niveau des outils de sécurité. La contribution communautaire inclut torchao, torchchat, avec un futur axé sur le différentiation automatique efficace, le calcul sparse, et une intégration approfondie avec les frameworks d'entraînement LLM.

MeNews

2026-05-20 07:30:22

Création du résumé en cours

AIMPACT message, le 15 mai (UTC+8), lors de PyTorchCon Europe 2026, Edward Yang de Meta a expliqué dans son discours principal les raisons pour lesquelles les développeurs trouvent difficile d'utiliser le parallélisme de tenseurs, et a présenté les efforts de PyTorch pour explorer la capture d'erreurs lors de la phase de vérification de type via des types SPMD. La présentation a également couvert plusieurs avancées récentes de PyTorch : torch.compile est passé en phase stable, supportant la gestion des formes dynamiques et des tailles d'entrée variables ; l'amélioration de l'entraînement distribué avec une meilleure intégration de FSDP et DDP pour réduire la surcharge de communication ; le renforcement des outils de quantification avec le support accru de la précision INT4 et FP8 ; des mises à jour pour TorchRec et TorchServe ; un support natif renforcé pour Apple Silicon (backend MPS) et GPU AMD (pile ROCm) ; l'introduction de nouveaux outils d'audit et de détection de dépendances pour la sécurité. Les contributions communautaires incluent la bibliothèque d'algorithmes d'optimisation torchao et le cadre léger d'inférence torchchat. Les orientations futures comprennent une différentiation automatique plus efficace, l'optimisation du calcul sparse, et une intégration approfondie avec les cadres d'entraînement LLM. (Source : InFoQ)

Voir l'original

Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.

Récompense
J'aime
Commentaire
Reposter
Partager

Commentaire

Ajouter un commentaire

Aucun commentaire

Sujets populaires
Afficher plus
#
TradfiTradingChallenge
232.26K Popularité
#
GrayscaleBuysAndStakesOver510KHYPE
8.91M Popularité
#
IsraelStrikesIranBTCPlunges
48.48K Popularité
#
#DailyPolymarketHotspot
1.02M Popularité
#
SpaceXOfficiallyFilesforIPO
749.23K Popularité

Épinglé

Edward Yang explique en détail la parallélisation de tenseurs et la vérification de type SPMD lors de PyTorchCon Europe

Sujets populaires

TradfiTradingChallenge

GrayscaleBuysAndStakesOver510KHYPE

IsraelStrikesIranBTCPlunges

#DailyPolymarketHotspot

SpaceXOfficiallyFilesforIPO

Épinglé