Edward Yang di PyTorchCon Eropa menjelaskan secara rinci paralelisme tensor dan pemeriksaan tipe SPDM

robot
Pembuatan abstrak sedang berlangsung
AIMPACT Pesan, 15 Mei 2026 (UTC+8), di PyTorchCon Eropa 2026, Edward Yang dari Meta menjelaskan alasan mengapa pengembang menganggap tensor paralel sulit digunakan dalam pidato utama, dan memperkenalkan upaya PyTorch dalam mengeksplorasi penangkapan kesalahan selama tahap pemeriksaan tipe melalui tipe SPMD. Pidato tersebut juga mencakup berbagai perkembangan terbaru PyTorch: torch.compile memasuki tahap stabil, mendukung penanganan bentuk dinamis dan ukuran input yang berubah-ubah; peningkatan pelatihan terdistribusi dengan integrasi FSDP dan DDP untuk mengurangi biaya komunikasi; peningkatan alat kuantisasi, penambahan dukungan presisi INT4 dan FP8; TorchRec dan TorchServe mendapatkan pembaruan; peningkatan dukungan native untuk Apple Silicon (backend MPS) dan GPU AMD (tumpukan ROCm); serta pengenalan alat audit baru dan fitur pemindaian ketergantungan untuk keamanan. Kontribusi komunitas termasuk perpustakaan optimisasi algoritma torchao dan kerangka inferensi ringan torchchat. Arah masa depan meliputi diferensiasi otomatis yang lebih efisien, optimisasi perhitungan jarang, dan integrasi mendalam dengan kerangka pelatihan LLM. (Sumber: InFoQ)
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan