NVIDIA phát hành hướng dẫn xây dựng trợ lý AI cục bộ dựa trên NemoClaw

robot
Đang tạo bản tóm tắt
Tin ME News, ngày 18 tháng 4 (UTC+8), NVIDIA gần đây đã phát hành một hướng dẫn kỹ thuật, hướng dẫn các nhà phát triển cách xây dựng một trợ lý AI tự chủ an toàn, hoạt động lâu dài và hoàn toàn cục bộ. Hướng dẫn này dựa trên bộ tham chiếu mã nguồn mở của NVIDIA là NemoClaw, bộ này tích hợp OpenShell runtime an toàn và OpenClaw cổng dịch vụ tự quản, nhằm giải quyết các rủi ro về quyền riêng tư dữ liệu và kiểm soát khi triển khai AI代理 trên đám mây của bên thứ ba. Hướng dẫn trình bày chi tiết các bước triển khai trên hệ thống NVIDIA DGX Spark (GB10), bao gồm cấu hình môi trường, mô hình dịch vụ cục bộ, cài đặt bộ công cụ và kết nối với Telegram. Việc triển khai yêu cầu đáp ứng các điều kiện tiên quyết về phần cứng (DGX Spark chạy Ubuntu 24.04 LTS), phần mềm (Docker 28.x+, Ollama) cũng như tạo mã thông báo bot Telegram. Thời gian thao tác chủ động dự kiến là 20-30 phút, cộng thêm 15-30 phút tải mô hình ban đầu (khoảng 87 GB). Các thành phần chính gồm NemoClaw, OpenShell, OpenClaw, Nemotron 3 Super 120B LLM và triển khai suy luận NIM hoặc Ollama. Trong bài viết cũng chỉ ra rằng, mặc dù OpenShell cung cấp khả năng cô lập mạnh mẽ, nhưng không có sandbox nào có thể cung cấp sự bảo vệ hoàn toàn chống lại các tấn công tiêm nhiễm nâng cao, khuyên nên triển khai các công cụ mới trong hệ thống cô lập khi thử nghiệm. (Nguồn: InFoQ)
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 7
  • 2
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Half-SectionedSucculent
· 7giờ trước
Kiểm tra hệ thống cách ly là bài học đẫm nước mắt, trước đây chơi LLM suýt nữa làm sập môi trường chính
Xem bản gốcTrả lời0
FomoLibrarian
· 7giờ trước
Chỉ mất 20 phút để chạy? Nhanh hơn cả việc tôi thiết lập một nút mạng
Xem bản gốcTrả lời0
ReefUnderTheMoonlight
· 8giờ trước
Lựa chọn suy luận kép NIM/Ollama, tối đa tính linh hoạt
Xem bản gốcTrả lời0
DaoPeripheralWorker
· 8giờ trước
Lợi ích lớn nhất của hệ thống mã nguồn mở là có thể tùy biến, chờ cộng đồng nhánh lại (fork).
Xem bản gốcTrả lời0
FloatingMirrorSphere
· 8giờ trước
Ubuntu 24.04+LTS,phiên bản kiểm soát vui mừng
Xem bản gốcTrả lời0
CapitalFlowInATeacup
· 8giờ trước
Chạy nội bộ 120B tham số, nếu sau khi lượng hóa thì hiệu quả còn có thể đánh bại được không
Xem bản gốcTrả lời0
ViewingNarrativesFromAHotAir
· 8giờ trước
Dưới mô hình 87GB, cạn kiệt bộ nhớ, ổ cứng đang bốc cháy
Xem bản gốcTrả lời0
  • Đã ghim