Vitalik chia sẻ giải pháp LLM riêng tư cục bộ, nhấn mạnh ưu tiên về quyền riêng tư và an toàn

robot
Đang tạo bản tóm tắt

Tin tức ME, ngày 2 tháng 4 (UTC+8), Vitalik Buterin đã đăng bài chia sẻ về kế hoạch triển khai LLM địa phương, riêng tư đến tháng 4 năm 2026, với mục tiêu cốt lõi là đặt quyền riêng tư, an toàn và kiểm soát tự chủ làm tiền đề, cố gắng giảm thiểu khả năng tiếp xúc dữ liệu cá nhân của mô hình từ xa và dịch vụ bên ngoài, đồng thời giảm thiểu rủi ro rò rỉ dữ liệu, thoát khỏi mô hình và lợi dụng nội dung độc hại thông qua suy luận tại chỗ, lưu trữ tệp cục bộ và cách ly sandbox.
Về phần phần cứng, ông đã thử nghiệm các giải pháp gồm laptop trang bị GPU NVIDIA 5090, thiết bị bộ nhớ thống nhất AMD Ryzen AI Max Pro 128 GB và DGX Spark, và sử dụng các mô hình Qwen3.5 35B và 122B để suy luận tại chỗ. Trong đó, laptop 5090 đạt khoảng 90 tokens/giây dưới mô hình 35B, giải pháp AMD khoảng 51 tokens/giây, DGX Spark khoảng 60 tokens/giây. Vitalik cho biết, ông thiên về xây dựng môi trường AI địa phương dựa trên laptop hiệu năng cao, đồng thời sử dụng các công cụ như llama-server, llama-swap và NixOS để xây dựng quy trình làm việc tổng thể. (Nguồn: ODAILY)

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Ghim