Vitalik berbagi solusi LLM lokal privat, menekankan prioritas privasi dan keamanan

ZkProver · 2026-04-02T07:06:09+00:00

Vitalik Buterin berbagi rencana penerapan LLM lokal dan privat hingga April 2026, bertujuan meningkatkan privasi dan keamanan, serta mengurangi risiko kebocoran data melalui inferensi lokal. Dia menguji berbagai perangkat keras dan menekankan penggunaan laptop berkinerja tinggi sebagai dasar lingkungan AI lokal.

ZkProver

2026-04-02 07:06:09

Pembuatan abstrak sedang berlangsung

Pesan ChainCatcher: Vitalik Buterin memublikasikan tulisan yang membagikan skema penerapan LLM terlokalisasi dan privat hingga April 2026. Tujuan utamanya adalah menjadikan privasi, keamanan, dan kendali yang mandiri sebagai prasyarat, dengan sebisa mungkin mengurangi peluang model jarak jauh dan layanan eksternal untuk bersentuhan dengan data pribadi, serta menurunkan risiko kebocoran data, jailbreaking model, dan pemanfaatan konten berbahaya melalui inferensi lokal, penyimpanan lokal berkas, dan isolasi sandbox.

Dari sisi perangkat keras, ia menguji laptop yang dipasangi GPU NVIDIA 5090, perangkat dengan memori unified 128 GB AMD Ryzen AI Max Pro, serta solusi seperti DGX Spark, dan menggunakan model Qwen3.5 35B serta 122B untuk inferensi lokal.

Di antaranya, laptop 5090 pada model 35B dapat mencapai sekitar 90 tokens/s, skema AMD sekitar 51 tokens/s, dan DGX Spark sekitar 60 tokens/s. Vitalik menyatakan bahwa ia lebih cenderung membangun lingkungan AI lokal berbasis laptop berperforma tinggi, sambil menggunakan alat seperti llama-server, llama-swap, dan NixOS untuk menyusun seluruh alur kerja.

Lihat Asli

Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.