Vitalik berbagi solusi LLM lokal pribadi, menekankan prioritas privasi dan keamanan

ME News Berita, 2 April (UTC+8), Vitalik Buterin memposting tentang rencana implementasi LLM lokal dan privat hingga April 2026, dengan tujuan utama menjadikan privasi, keamanan, dan kendali mandiri sebagai prioritas, serta meminimalkan peluang data pribadi terlibat dalam model jarak jauh dan layanan eksternal, melalui inferensi lokal, penyimpanan file lokal, dan isolasi sandbox untuk mengurangi risiko kebocoran data, jailbreak model, dan penyalahgunaan konten berbahaya. Dalam hal perangkat keras, ia menguji laptop dengan GPU NVIDIA 5090, perangkat dengan memori terpadu AMD Ryzen AI Max Pro 128 GB, dan solusi DGX Spark, serta melakukan inferensi lokal menggunakan model Qwen3.5 35B dan 122B. Di mana, laptop 5090 mampu mencapai sekitar 90 token/detik untuk model 35B, solusi AMD sekitar 51 token/detik, dan DGX Spark sekitar 60 token/detik. Vitalik menyatakan bahwa ia lebih cenderung membangun lingkungan AI lokal berbasis laptop berkinerja tinggi, sekaligus menggunakan alat seperti llama-server, llama-swap, dan NixOS untuk membangun alur kerja secara keseluruhan. (Sumber: ODAILY)