Vitalik berbagi solusi LLM lokal privat, menekankan prioritas privasi dan keamanan

Berita ME: Pesan, 2 April (UTC+8). Vitalik Buterin membagikan dalam sebuah postingan rencananya untuk penerapan LLM yang sudah dilokalkan dan diprivatisasi hingga April 2026. Tujuan utamanya adalah menjadikan privasi, keamanan, dan kendali yang mandiri sebagai landasan, mengurangi sejauh mungkin kesempatan bagi model jarak jauh serta layanan eksternal untuk bersentuhan dengan data pribadi, dan menurunkan risiko kebocoran data, jailbreak model, serta pemanfaatan konten berbahaya melalui inferensi lokal, penyimpanan file secara lokal, dan isolasi dalam sandbox. Dari sisi perangkat keras, ia menguji skenario seperti laptop yang dipasangi GPU NVIDIA 5090, perangkat dengan memori terintegrasi (unified memory) AMD Ryzen AI Max Pro berkapasitas 128 GB, serta opsi seperti DGX Spark. Ia juga melakukan inferensi lokal menggunakan model Qwen3.5 35B dan 122B. Di antaranya, laptop 5090 pada model 35B dapat mencapai sekitar 90 tokens/s, skenario AMD sekitar 51 tokens/s, dan DGX Spark sekitar 60 tokens/s. Vitalik menyatakan bahwa ia lebih menyukai membangun lingkungan AI lokal berbasis laptop berperforma tinggi, sambil menggunakan alat seperti llama-server, llama-swap, dan NixOS untuk menyusun keseluruhan alur kerja. (Sumber: ODAILY)