Vitalik chia sẻ giải pháp LLM riêng tư cục bộ, nhấn mạnh ưu tiên về quyền riêng tư và an toàn

ME News: Thông báo ngày 2 tháng 4 (UTC+8), Vitalik Buterin đã đăng bài chia sẻ về phương án triển khai LLM bản địa hóa và tư nhân hóa của ông đến tháng 4 năm 2026. Mục tiêu cốt lõi là lấy quyền riêng tư, an toàn và khả năng tự chủ làm tiền đề, giảm thiểu tối đa khả năng các mô hình từ xa và dịch vụ bên ngoài tiếp xúc với dữ liệu cá nhân, đồng thời giảm thiểu rủi ro rò rỉ dữ liệu, mô hình bị “jailbreak” (vượt rào) và lợi dụng nội dung độc hại thông qua suy luận cục bộ, lưu trữ tệp cục bộ và cách ly bằng sandbox. Về phần cứng, ông đã thử nghiệm các giải pháp như laptop trang bị GPU NVIDIA 5090, thiết bị bộ nhớ hợp nhất AMD Ryzen AI Max Pro 128 GB và DGX Spark, đồng thời thực hiện suy luận cục bộ bằng các mô hình Qwen3.5 35B và 122B. Trong đó, laptop 5090 với mô hình 35B đạt khoảng 90 tokens/s, giải pháp AMD khoảng 51 tokens/s và DGX Spark khoảng 60 tokens/s. Vitalik cho biết ông có xu hướng ưu tiên xây dựng môi trường AI cục bộ dựa trên laptop hiệu năng cao, đồng thời sử dụng các công cụ như llama-server, llama-swap và NixOS để thiết lập toàn bộ quy trình làm việc. (Nguồn: ME News)