42 juta! Yuntian Lifei memulai tahun dengan keberhasilan, memenangkan proyek klaster inferensi AI Zhanjiang dengan kapasitas satu ribu kalori

(Sumber: Yuntian Lifei)

Baru-baru ini, Yuntian Lifei memenangkan proyek pembangunan infrastruktur dasar produktivitas baru yang mendukung penetrasi AI di Zhanjiang. Berdasarkan rencana proyek, perusahaan akan berpartisipasi dalam pembangunan klaster daya komputasi inferensi AI menggunakan kartu percepat inferensi AI buatan dalam negeri yang dikembangkan sendiri, serta mendorong adaptasi dan penerapan model besar buatan dalam negeri seperti DeepSeek dalam berbagai skenario aplikasi terkait, guna menyediakan infrastruktur daya komputasi yang mendukung digitalisasi pemerintahan dan industri.

Membangun Infrastruktur Daya Komputasi Inferensi untuk Aplikasi Model Besar

Klaster daya komputasi inferensi AI yang dibangun dalam proyek ini akan dirancang secara sistematis sesuai kebutuhan tugas inferensi model besar.

Dalam proses inferensi model besar, kebutuhan sumber daya sistem berbeda pada setiap tahap komputasi. Saat ini, industri secara umum mengadopsi arsitektur inferensi yang memisahkan tahap “Prefill–Decode”, dengan mengoptimalkan alokasi sumber daya untuk setiap tahap guna meningkatkan efisiensi operasional sistem secara keseluruhan.

Dalam arsitektur ini, tahap Prefill bertanggung jawab untuk pemahaman konteks panjang dan perhitungan, dengan kebutuhan daya dan bandwidth yang tinggi; sedangkan tahap Decode terus-menerus menghasilkan Token dan lebih sensitif terhadap latensi sistem. Selama pembangunan proyek, alokasi sumber daya daya komputasi dan optimisasi sistem akan disesuaikan dengan karakteristik masing-masing tahap.

Selain itu, seiring bertambahnya panjang konteks model, sejumlah besar status tengah harus disimpan dalam bentuk KV Cache. Mengingat hal ini, desain sistem akan mengoptimalkan kolaborasi antara komputasi, penyimpanan, dan jaringan untuk meningkatkan efisiensi akses data dan kinerja sistem secara keseluruhan.

Dalam hal arsitektur jaringan, sistem akan mengadopsi arsitektur konektivitas berkecepatan tinggi terpadu, membangun jaringan lapisan fisik klaster melalui jaringan optik 400G, untuk mencapai komunikasi berbandwidth tinggi dan latensi rendah antar node, serta mendukung perluasan dari skala puluhan kartu per node hingga klaster berjumlah ribuan kartu, guna memenuhi kebutuhan berbagai skala aplikasi AI.

Setelah pembangunan keseluruhan proyek selesai, akan terbentuk infrastruktur daya komputasi yang mendukung tugas inferensi model besar, menyediakan dukungan daya komputasi yang stabil untuk berbagai skenario aplikasi terkait.

Terus Meningkatkan R&D Chip Inferensi AI dan Sistem Daya Komputasi

Berdasarkan rencana proyek, klaster daya komputasi inferensi AI ini akan dibangun dalam tiga tahap, menggunakan kartu percepat inferensi AI buatan dalam negeri yang dikembangkan sendiri oleh Yuntian Lifei.

Proyek tahap pertama akan menempatkan kartu percepat inferensi X6000 dari Yuntian Lifei; di masa depan, akan menjadi yang pertama mengadopsi produk chip generasi terbaru perusahaan.

Dalam pengembangan chip inferensi AI, Yuntian Lifei terus mendorong penataan teknologi untuk berbagai tahap inferensi. Sesuai strategi perusahaan, produk chip yang dihasilkan akan secara bertahap dirilis untuk mengoptimalkan tahap Prefill dan memenuhi kebutuhan latensi rendah pada tahap Decode, serta meningkatkan efisiensi inferensi secara keseluruhan melalui kolaborasi sistem tingkat tinggi.

Salah satu produk pertama perusahaan, chip Prefill DeepVerse100 yang dioptimalkan untuk skenario inferensi konteks panjang, diperkirakan akan selesai proses wafering dalam tahun ini dan direncanakan akan didistribusikan dalam sistem daya komputasi terkait.

Dalam rencana jangka panjang, perusahaan mengusung “Rencana 1001”, yaitu target jangka panjang “100 miliar Token dengan biaya satu sen”, melalui kolaborasi optimal antara arsitektur chip dan sistem daya komputasi untuk terus menurunkan biaya inferensi model besar.

Ke depan, perusahaan akan terus mendorong R&D teknologi terkait chip inferensi AI, mempromosikan penerapan teknologi kecerdasan buatan yang lebih luas di berbagai industri.