Batasan perangkat keras yang paling sering dihadapi semua orang? RAM.
Mari kita uraikan spesifikasi untuk berbagai ukuran model. Menjalankan model dengan 7B hingga 13B parameter biasanya membutuhkan 16 hingga 32GB RAM. Naik ke 20B parameter dan Anda memerlukan sekitar 48 hingga 64GB. Untuk model besar seperti 120B, siapkan 120GB atau lebih.
Inilah halnya—kami menginvestasikan $15k dalam pengaturan perangkat keras dan sekarang kami dapat menerapkan hampir semua model. Itu adalah kemampuan nyata di sana. Bagian yang menguatkan? Biaya ini seharusnya turun seiring pasar matang dan perangkat keras menjadi lebih terjangkau. Lebih banyak orang akan memiliki kemampuan untuk menjalankan model serius secara lokal tanpa menguras kantong.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
18 Suka
Hadiah
18
6
Posting ulang
Bagikan
Komentar
0/400
HypotheticalLiquidator
· 13jam yang lalu
Mau masuk dengan 15k? Tunggu dulu, model 120B membutuhkan 120G VRAM sejak awal, faktor kesehatan ini terlalu berbahaya. Biaya turun nanti? Mudah diucapkan, benar-benar?
Lihat AsliBalas0
LiquiditySurfer
· 13jam yang lalu
Saya sekarang bisa bermain dengan model apa pun, tetapi apakah menghabiskan 15k ini sepadan atau tidak, benar-benar sulit untuk dikatakan
Lihat AsliBalas0
gas_fee_therapy
· 13jam yang lalu
15k benar-benar tidak terlalu berarti, yang utama adalah melihat model apa yang bisa dijalankan dan apakah nilainya layak
Lihat AsliBalas0
MeaninglessApe
· 13jam yang lalu
15k dikeluarkan dan bisa sembarang menjalankan model, ini baru disebut pemain
Lihat AsliBalas0
CommunityLurker
· 14jam yang lalu
15k memang benar-benar tidak murah... Kebanyakan orang yang bermain deployment lokal masih harus menunggu harga perangkat keras turun lagi
Lihat AsliBalas0
StakeWhisperer
· 14jam yang lalu
15k dikeluarkan untuk menjalankan model dengan bebas, apakah bisnis ini layak... Saya masih menggunakan mesin rusak 16G untuk santai-santai.
Batasan perangkat keras yang paling sering dihadapi semua orang? RAM.
Mari kita uraikan spesifikasi untuk berbagai ukuran model. Menjalankan model dengan 7B hingga 13B parameter biasanya membutuhkan 16 hingga 32GB RAM. Naik ke 20B parameter dan Anda memerlukan sekitar 48 hingga 64GB. Untuk model besar seperti 120B, siapkan 120GB atau lebih.
Inilah halnya—kami menginvestasikan $15k dalam pengaturan perangkat keras dan sekarang kami dapat menerapkan hampir semua model. Itu adalah kemampuan nyata di sana. Bagian yang menguatkan? Biaya ini seharusnya turun seiring pasar matang dan perangkat keras menjadi lebih terjangkau. Lebih banyak orang akan memiliki kemampuan untuk menjalankan model serius secara lokal tanpa menguras kantong.