Vitalik berbagi solusi LLM lokal privat, menekankan prioritas privasi dan keamanan

robot
Pembuatan abstrak sedang berlangsung

Berita ME, pesan pada 2 April (UTC+8), Vitalik Buterin memposting untuk membagikan rencana penerapan LLM lokal dan privatisasi yang telah ia lakukan hingga April 2026, dengan tujuan inti menjadikan privasi, keamanan, dan kendali yang berdaulat sebagai prasyarat, meminimalkan kesempatan agar model jarak jauh dan layanan eksternal bersentuhan dengan data pribadi, serta menurunkan risiko kebocoran data, jailbreak model, dan pemanfaatan konten berbahaya melalui inferensi lokal, penyimpanan lokal berkas, dan isolasi sandbox. Dalam aspek perangkat keras, ia menguji laptop yang dipasangi GPU NVIDIA 5090, perangkat dengan memori terintegrasi 128 GB AMD Ryzen AI Max Pro, serta skema seperti DGX Spark, dan menjalankan inferensi lokal menggunakan model Qwen3.5 35B dan 122B. Di antaranya, laptop 5090 pada model 35B dapat mencapai sekitar 90 tokens/s, skema AMD sekitar 51 tokens/s, dan DGX Spark sekitar 60 tokens/s. Vitalik menyatakan bahwa ia lebih memilih membangun lingkungan AI lokal berdasarkan laptop berperforma tinggi, sambil menggunakan alat seperti llama-server, llama-swap, dan NixOS untuk menyusun keseluruhan alur kerja. (Sumber: ODAILY)

Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Sematkan