$AMD terus membuat kemajuan pada perangkat lunak

Perusahaan memperkenalkan vLLM-ATOM, sebuah plugin yang dirancang untuk membuat model AI besar berjalan lebih baik di $AMD Instinct GPU, termasuk MI350 dan MI400
Pengembang dapat terus menggunakan perintah, API, dan alur kerja vLLM yang sama, sementara ATOM bekerja di latar belakang untuk meningkatkan kinerja pada perangkat keras AMD, tanpa memerlukan alat baru atau konfigurasi yang rumit
Ini juga memberikan pengguna akses instan ke optimisasi terbaru AMD, termasuk dukungan FP4 pada MI355X, inferensi skala rak pada MI400, perhatian gabungan, AllReduce kustom, dan peningkatan kernel lainnya
ATOM juga berfungsi sebagai sandbox inovasi, di mana AMD dapat menguji optimisasi baru sebelum mereka kemudian ditambahkan ke backend vLLM ROCm utama