ME News Berita, 18 April (UTC+8), menurut pemantauan Beating dari Dongcha, Moonshot AI dan Universitas Tsinghua pada 16 April mempublikasikan makalah baru di arXiv berjudul "Prefill-as-a-Service", yang mengusulkan agar tahap pra-pengisian (prefill) inference model besar berjalan lintas pusat data. Inferensi model besar dilakukan dalam dua langkah: prefill membaca input sekaligus dan menghasilkan cache KV; decode kemudian mengeluarkan hasil secara per karakter berdasarkan cache tersebut. Kedua langkah membutuhkan karakteristik perangkat keras yang sama sekali berbeda, prefill membutuhkan daya komputasi, decode membutuhkan memori GPU dan bandwidth. Pendekatan utama di industri adalah memisahkan kedua langkah ke mesin berbeda (PD terpisah), tetapi ini mengharuskan kedua sisi terhubung melalui RDMA di pusat data yang sama, karena cache KV dari model attention padat yang mengeluarkan puluhan Gbps per detik, jika lambat, GPU akan idle. Perubahan datang dari model attention hybrid generasi baru. Makalah menguji secara nyata model Kimi Linear, MiMo-V2-Flash, Ring-2.5-1T dan lainnya yang menggabungkan beberapa lapisan attention lengkap dengan banyak lapisan linear, sehingga mengurangi throughput cache KV sekitar satu tingkat magnitudo, dengan rasio kompresi total Ring-2.5-1T mencapai 36 kali lipat. Pada titik ini, cache KV dapat dipindahkan dari jaringan khusus RDMA ke jaringan Ethernet biasa untuk pengunggahan. Pendekatan PrfaaS secara spesifik: membentuk "cluster pra-pengisian" independen, hanya mengarahkan permintaan konteks panjang dan prefix cache yang belum terpenuhi, sementara permintaan pendek tetap di cluster PD lokal; setelah pra-pengisian selesai, cache KV dikirim kembali melalui Ethernet ke cluster lokal untuk decode. Dilengkapi dengan pengenalan ambang panjang, pengatur jadwal yang peka bandwidth, dan kolam cache prefix hybrid. Makalah melakukan serangkaian pengujian dengan model hybrid internal 1T parameter (berbasis arsitektur Kimi Linear), secara keseluruhan throughput layanan meningkat 54% dibandingkan dengan deployment PD yang serupa, 32% lebih tinggi dari solusi heterogen sederhana, dan setiap mesin hanya menggunakan bandwidth lintas pusat data yang moderat. (Sumber: BlockBeats)

Lihat Asli

Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.

13 Suka

Hadiah
13
7
1
Bagikan

Komentar

Tambahkan komentar

GateUser-57ab9c02

· 3jam yang lalu

Permintaan singkat untuk menyimpan di lokal sangat masuk akal, menghindari hal kecil menjadi besar

Lihat AsliBalas0

Cream-ColoredCross-ChainBridge

· 3jam yang lalu

Heterogen sederhana dapat dikalahkan hingga 32%, jarak infrastruktur dasar yang besar

Lihat AsliBalas0

CandleSitter

· 3jam yang lalu

PD memisahkan bermain ke tingkat baru

Lihat AsliBalas0

MidnightReconciler

· 3jam yang lalu

Sisi gelap bulan ini bisa

Lihat AsliBalas0

WatercolorGlassBottle

· 4jam yang lalu

Penjadwalan Berbasis Kesadaran Bandwidth Mereka Benar-Benar Pernah Menginjak Lubang

Lihat AsliBalas0

MistValleySignpost

· 4jam yang lalu

Bagaimana mekanisme sinkronisasi pengembalian decoding dirancang?

Lihat AsliBalas0

SeaSaltMintCandy

· 4jam yang lalu

Merasa sangat ramah terhadap skenario konteks panjang

Lihat AsliBalas0

Topik Trending
Lihat Lebih Banyak
#
WinGoldBarsWithGrowthPoints
1.22M Popularitas
#
WTICrudeFallsBelow90Dollars
1.18M Popularitas
#
IsraelStrikesIranBTCPlunges
51.36K Popularitas
#
StockTradingChallengeUpTo17000U
187.69K Popularitas
#
USIranNegotiationGame
9.41M Popularitas

Disematkan

peta situs

Sisi Gelap Bulan dan Makalah Baru Tsinghua: Pra-pengisian LLM dapat melintasi pusat data, throughput model 1T meningkat 54%

Topik Trending

WinGoldBarsWithGrowthPoints

WTICrudeFallsBelow90Dollars

IsraelStrikesIranBTCPlunges

StockTradingChallengeUpTo17000U

USIranNegotiationGame

Disematkan