Dự án Darkbloom: Biến Mac Rảnh Rỗi Thành Hạ Tầng AI

Mỗi lần một công cụ AI được sử dụng, yêu cầu đó đi qua nhiều lớp hạ tầng trước khi đến phần cứng thực sự thực hiện công việc.
Luồng thường đi qua các lớp trung tâm dữ liệu khác nhau, hệ thống làm mát, phần cứng GPU và các lớp biên lợi nhuận → Tất cả đã được tích hợp vào những gì bạn đang trả tiền.
Đội @eigenlabs gọi đây là Thuế Phân tích suy luận.
Darkbloom là sáng kiến nghiên cứu của họ để giải quyết vấn đề này.
Giả thuyết: Hơn 100 triệu Mac chạy chip Apple Silicon đã tồn tại, đã được trả tiền, đang ngồi không hoạt động phần lớn trong ngày. Điều gì sẽ xảy ra nếu khả năng tính toán đó có thể được tổ chức thành một mạng lưới suy luận có thể sử dụng, với đảm bảo quyền riêng tư thực sự và kinh tế tốt hơn?
- - - - -
Tại sao chọn Apple Silicon
Apple Silicon không chỉ phong phú mà còn phù hợp về mặt kỹ thuật cho suy luận theo những cách quan trọng:
• Bộ nhớ thống nhất: CPU và GPU chia sẻ cùng một bộ, loại bỏ các nút thắt của GPU riêng biệt
• Hiệu quả mô hình: Apple Silicon chỉ xử lý các phần của mô hình cần thiết theo yêu cầu, thay vì toàn bộ → Các mô hình lớn chạy nhanh hơn và rẻ hơn
• Hiệu quả năng lượng: Khoảng 30W để chạy một mô hình 60 tỷ tham số, so với nhiều lần như vậy trên GPU trung tâm dữ liệu
• Chi phí biên cho chủ Mac: Chủ yếu là điện, vì phần cứng đã được mua rồi
- - - - -
Phần Khó: Làm Cho Nó Đáng Tin Cậy
Một câu hỏi cơ bản là nếu yêu cầu chạy trên Mac của người lạ, điều gì ngăn họ đọc nó?
Câu trả lời của Darkbloom là làm cho việc dò tìm kiến trúc trở nên không thể, không chỉ bị cấm theo hợp đồng:
• Trình gỡ lỗi: Chặn ở cấp kernel
• Đọc bộ nhớ: Bị từ chối qua Chạy Nâng cao Bảo mật (Hardened Runtime)
• Sửa đổi nhị phân: Phá vỡ chữ ký mã và macOS từ chối chạy nó
• Các nút sẽ được xác minh lại qua chứng thực 4 lớp mỗi 5 phút → Enclave Bảo mật, Quản lý thiết bị Apple (MDM), chứng chỉ thiết bị do Apple ký, thách thức-liên tục phản hồi
Cách duy nhất để phá vỡ các biện pháp bảo vệ này là khởi động lại máy, điều này ngay lập tức kết thúc quá trình và xóa mọi thứ. Apple sử dụng cùng phương pháp này trên hạ tầng Điện toán Đám mây Riêng của họ.
- - - - -
Điều Này Có Ý Nghĩa Gì Với Eigen
Darkbloom sẽ không hoạt động như một sản phẩm độc lập, mà như một minh chứng và tín hiệu về hướng đi của Eigen trong lớp hạ tầng AI.
Luận đề cốt lõi của EigenLayer luôn là khôi phục niềm tin vào các hệ thống phi tập trung.
Darkbloom mở rộng điều đó vào tính toán AI, làm cho suy luận có thể xác minh, chứ không chỉ khả dụng. Nếu chứng minh được rằng phần cứng tiêu dùng của bên thứ ba có thể được tin cậy bằng mật mã cho các khối lượng công việc nhạy cảm, điều đó mở ra cánh cửa cho một lớp hạ tầng AI phi tập trung mới không dựa vào việc tin tưởng nhà cung cấp đám mây hoặc nhà vận hành trung tâm dữ liệu.
Điều này đánh dấu sự bắt đầu của Eigen tham gia vào thị trường quyền riêng tư như hạ tầng.
- - - - -
Một Số Suy Nghĩ
Một vài điều đáng nhớ khi chúng ta xem qua bài nghiên cứu Darkbloom:
• Người điều phối vẫn là lớp trung tâm đáng tin cậy trong thời gian này; Đội ngũ minh bạch về điều này, nhưng chưa loại bỏ hoàn toàn
• Mô hình an ninh hiện tại giả định không có lỗ hổng kernel macOS chưa vá
• Các mẫu lưu lượng mạng vẫn có thể tiết lộ chi tiết sơ bộ về yêu cầu của bạn (ví dụ, thời gian, độ phức tạp) ngay cả khi nội dung bị ẩn
Thử thách thực sự là liệu các đảm bảo quyền riêng tư có giữ vững khi nhiều nút tham gia mạng lưới và liệu mọi người có thực sự tin tưởng đủ để chạy các khối lượng công việc nhạy cảm qua đó mà không cần phần thưởng.
Từ khóa: không có phần thưởng
Thử thách lớn nhất là niềm tin; Làm sao để ai đó cảm thấy thoải mái khi chạy dữ liệu và yêu cầu của họ qua máy của người lạ. Đây là một việc khó thuyết phục và rất ít dự án cố gắng giải quyết một cách nghiêm túc.
Dù vậy, các phép tính dường như khá ổn khi đội ngũ tại @mementoresearch tính toán → Xem các trang đính kèm
Thông báo: Dự án Darkbloom là sáng kiến nghiên cứu của Eigen Labs: Truy cập tại đây + Tôi là người giữ $EIGEN