Sự trỗi dậy của trí tuệ nhân tạo thật đáng kinh ngạc. Từ các thuật toán cơ bản đến các mô hình học ngôn ngữ (LLM) như ChatGPT và Copilot, AI đang đi đầu trong sự phát triển công nghệ. Mối quan tâm về quyền riêng tư dữ liệu trở nên đặc biệt quan trọng khi các mô hình này tương tác với người dùng và xử lý một lượng lớn dữ liệu và lời nhắc. Trong số đó, các công ty lớn như Amazon và Apple đã hạn chế quyền truy cập của nhân viên vào các API công khai như ChatGPT để ngăn chặn vi phạm dữ liệu có thể do tương tác AI gây ra. Ngoài ra, thật hợp lý khi hy vọng rằng các quy định sẽ sớm được đưa ra để bắt buộc một mức độ riêng tư nhất định của người dùng.
Làm thế nào để chúng tôi đảm bảo rằng dữ liệu chúng tôi tương tác, đặt câu hỏi và chia sẻ với các mô hình này vẫn ở chế độ riêng tư?
**-Mã hóa đồng cấu đầy đủ (FHE) **
Giới thiệu ngắn gọn
Trong lĩnh vực mật mã, mã hóa đồng cấu hoàn toàn là một khái niệm tinh thần. Sự quyến rũ của nó nằm ở khả năng độc đáo của nó: nó cho phép tính toán dữ liệu được mã hóa trực tiếp mà không cần giải mã dữ liệu trước, cho phép lý luận riêng tư cho thông tin nhạy cảm.
Với tính năng này, hai điều quan trọng được đảm bảo: dữ liệu vẫn an toàn trong quá trình xử lý và bảo vệ hoàn toàn tài sản trí tuệ (IP) của mô hình.
** Lý luận về quyền riêng tư và bảo vệ sở hữu trí tuệ **
Ngày nay, "quyền riêng tư" và "trải nghiệm người dùng" dường như là mối quan hệ giữa cá và chân gấu, và cả hai không thể kết hợp với nhau. Mọi người thường tin tưởng các bên thứ ba xử lý thông tin của họ để có trải nghiệm người dùng tốt hơn. Chúng tôi tin rằng các công ty bên thứ ba này có thể tìm thấy sự cân bằng giữa quyền riêng tư của người dùng và dịch vụ người dùng chất lượng mà không phải lựa chọn giữa giải pháp tại chỗ nâng cao quyền riêng tư hơn thiếu chức năng hoặc dịch vụ hy sinh quyền riêng tư để có chức năng phong phú.
Mã hóa đồng cấu hoàn toàn cho phép suy luận quyền riêng tư với sự bảo vệ đầy đủ tài sản trí tuệ của mô hình. Bằng cách thực hiện các tính toán trên dữ liệu được mã hóa, nó đảm bảo tính bảo mật hoàn toàn của lời nhắc trong khi bảo vệ tài sản trí tuệ của các mô hình ngôn ngữ lớn.
**Phương pháp mã hóa truyền thống VS FHE **
Trong các sơ đồ mã hóa truyền thống, nếu bạn muốn thực hiện các thao tác có ý nghĩa trên dữ liệu ở dạng mã hóa, trước tiên bạn cần giải mã nó. Nhưng giải mã làm lộ bản rõ của dữ liệu, điều đó có nghĩa là dữ liệu trở nên dễ bị tấn công, ngay cả trong tích tắc.
Ngược lại, mã hóa đồng cấu hoàn toàn có thể trực tiếp hoạt động trên bản mã, đảm bảo rằng thông tin nhạy cảm là "vô hình" trong suốt quá trình hoạt động.
Tại sao FHE lại quan trọng
Tầm quan trọng của mã hóa đồng cấu hoàn toàn không giới hạn ở lý thuyết. Hãy tưởng tượng một dịch vụ điện toán đám mây nơi xử lý dữ liệu có thể được thực hiện mà không cần giải mã dữ liệu hoặc cơ sở dữ liệu y tế có thể được phân tích mà không cần lấy thông tin nhạy cảm của bệnh nhân. Các ứng dụng tiềm năng của mã hóa đồng cấu hoàn toàn rất rộng và đa dạng, bao gồm các hệ thống bỏ phiếu an toàn và tìm kiếm riêng tư các cơ sở dữ liệu được mã hóa.
**Cơ sở toán học của FHE **
Mã hóa đồng cấu hoàn toàn dựa trên vấn đề học tập chịu lỗi (LWE), một kỹ thuật mật mã mạng có khả năng chống lượng tử. Trong LWE, nhiễu ngẫu nhiên được sử dụng để làm cho dữ liệu không thể đọc được trừ khi sở hữu khóa. Các phép toán số học trên dữ liệu được mã hóa là có thể, nhưng điều này thường làm tăng độ ồn. Nếu quá nhiều thao tác được thực hiện liên tiếp, dữ liệu không thể được đọc bởi bất kỳ ai, kể cả những người giữ khóa. Đây được gọi là mã hóa đồng cấu một phần (SHE).
Chuyển đổi mã hóa đồng cấu một phần sang mã hóa đồng cấu hoàn toàn đòi hỏi một hoạt động làm giảm mức độ tiếng ồn. Hoạt động này được gọi là bootstrapping và được sử dụng bởi nhiều sơ đồ mã hóa hoàn toàn đồng cấu. Trong bài viết này, chúng tôi sẽ tập trung vào sơ đồ mã hóa đồng cấu hoàn toàn trên hình xuyến (Torus FHE), sử dụng cấu trúc đại số của các hình xuyến toán học để đạt được mã hóa đồng cấu hoàn toàn.
Ưu điểm của TFHE
Mặc dù mỗi sơ đồ mã hóa đồng cấu hoàn toàn đều có những ưu điểm và nhược điểm riêng, TFHE hiện có cách triển khai hiệu quả hơn trong các tình huống thực tế. Một ưu điểm quan trọng khác của TFHE là Programmable Bootstrapping (PBS), mở rộng các hoạt động bootstrap thông thường để bao gồm việc tính toán các hàm đơn biến, chẳng hạn như các hàm kích hoạt, rất quan trọng trong lĩnh vực học máy.
Một nhược điểm của TFHE là mọi phép toán số học trong tính toán đều yêu cầu hoạt động PBS, trong khi các sơ đồ khác cho phép một số hoạt động được thực hiện theo lô giữa các hoạt động bootstrap.
Giả định và xấp xỉ****
Để ước tính thời gian cần thiết cho suy luận Mô hình ngôn ngữ lớn (LLM) bằng cách sử dụng mã hóa đồng cấu hoàn toàn, chúng tôi đưa ra một số giả định để đánh giá:
Số phép toán số học cần thiết cho mỗi mã thông báo xấp xỉ 1–2 lần số lượng tham số trong mô hình. Đây là giới hạn thấp hơn, vì mỗi mã thông báo sử dụng toàn bộ mô hình và chúng tôi sẽ giả định rằng giới hạn dưới này đủ gần với nhu cầu thực tế.
Mỗi phép toán số học trong một mô hình ngôn ngữ lớn có thể được ánh xạ đến một phép toán số học trong TFHE. Về cơ bản, đây là một dấu hiệu cho thấy kích thước của loại biến trong cả hai kịch bản. Chúng tôi giả định rằng các biến INT4 là đủ cho các mô hình ngôn ngữ lớn và khả thi cho TFHE.
Mỗi phép toán số học trong một mô hình ngôn ngữ lớn cần được ánh xạ đến một phép toán số học trong một mã hóa đồng cấu hoàn toàn. Điều này có nghĩa là chúng ta không thể chạy một phần của mô hình mà không có mã hóa. Một bài đăng trên blog gần đây của Zama xem xét suy luận FHE không sử dụng giả định này, trong đó hầu hết mô hình được thực thi cục bộ bởi người dùng mà không cần bất kỳ mã hóa nào và chỉ một phần nhỏ (chẳng hạn như một đầu chú ý duy nhất) chạy với mã hóa đồng cấu hoàn toàn trên máy chủ công ty của mô hình. Theo quan điểm của chúng tôi, cách tiếp cận này không thực sự bảo vệ tài sản trí tuệ của mô hình, bởi vì trong trường hợp này, người dùng chỉ có thể chạy phần bị thiếu chỉ với một chút mất chính xác, như được hiển thị ở đây, hoặc đào tạo phần còn thiếu tương đối rẻ tiền để có được kết quả tương đương với mô hình ban đầu.
Mỗi phép toán số học trong TFHE yêu cầu PBS (programmable bootstrapping). PBS là nút cổ chai chính trong điện toán TFHE.
Triển khai TFHE tiên tiến nhất là FPT. Đây là một triển khai FPGA tính toán PBS cứ sau 35 micro giây.
Thách thức LLM và FHE ****
Với những tiến bộ trong công nghệ mới nhất, các triển khai mã hóa đồng cấu hoàn toàn tốt nhất hiện nay có thể thực hiện một phép toán số học chỉ trong 35 micro giây. Tuy nhiên, khi xem xét một mô hình phức tạp như GPT2, cần có 1,5 tỷ hoạt động đáng kinh ngạc cho một mã thông báo. Điều này có nghĩa là thời gian xử lý cho mỗi token là khoảng 52.000 giây.
Để hiểu rõ hơn, đối với các mô hình ngôn ngữ, mã thông báo có thể đại diện cho một cái gì đó giống như một ký tự hoặc một từ hoàn chỉnh. Hãy tưởng tượng tương tác với một mô hình ngôn ngữ trong đó thời gian phản hồi mất một hoặc hai tuần! Điều này là không thể chấp nhận được, và sự chậm trễ như vậy rõ ràng là không khả thi đối với bất kỳ ứng dụng thực tế nào của truyền thông hoặc mô hình thời gian thực.
Điều này cho thấy theo công nghệ mã hóa đồng cấu hoàn toàn hiện nay, suy luận thời gian thực vẫn là một thách thức lớn đối với các mô hình ngôn ngữ quy mô lớn. Mặc dù tầm quan trọng của mã hóa đồng cấu hoàn toàn trong bảo vệ dữ liệu, những hạn chế về hiệu suất của nó có thể gây khó khăn cho việc áp dụng trong các tình huống thực tế trong các tác vụ tính toán chuyên sâu. Nhu cầu tương tác thời gian thực và phản hồi nhanh có thể yêu cầu khám phá các giải pháp bảo vệ quyền riêng tư và điện toán an toàn khác.
Giải pháp tiềm năng****
Để áp dụng mã hóa đồng cấu hoàn toàn cho các mô hình ngôn ngữ lớn, sau đây là một lộ trình khả thi:
Gia công song song sử dụng nhiều máy:
Bắt đầu từ 52.000 giây/token.
Bằng cách triển khai 10.000 máy song song, chúng tôi đã giảm thời gian xuống còn 5 giây / token. Lưu ý rằng các mô hình ngôn ngữ lớn thực sự có thể được song song hóa cao và suy luận hiện tại thường được thực hiện song song trên hàng nghìn lõi GPU trở lên.
2 Chuyển đổi sang phần cứng tiên tiến:
Từ cải tiến - bắt đầu từ 5 giây / mã thông báo
Chuyển sang GPU hoặc ASIC, chúng tôi có thể đạt được thời gian xử lý 0,1 giây cho mỗi mã thông báo. Mặc dù GPU có thể mang lại tốc độ tăng ngay lập tức, ASIC có thể mang lại mức tăng cao hơn về cả tốc độ và mức tiêu thụ điện năng, chẳng hạn như ZPU đã đề cập trước đó trong blog.
Như thể hiện trong hình, bằng cách sử dụng công nghệ tăng tốc dữ liệu hiện có, suy luận riêng tư của các mô hình ngôn ngữ lớn có thể đạt được thông qua mã hóa đồng cấu hoàn toàn. Điều này có thể được hỗ trợ bởi một khoản đầu tư ban đầu quy mô lớn nhưng khả thi vào một trung tâm dữ liệu đủ lớn. Tuy nhiên, khả năng này vẫn còn mong manh và đối với các mô hình ngôn ngữ lớn hơn như Copilot (12 tỷ thông số) hoặc GPT3 (175 tỷ thông số), vẫn còn những khoảng trống cần được lấp đầy.
Đối với Copilot, thông lượng mã thông báo nhỏ hơn là đủ vì nó tạo ra đầu ra mã, thường ngắn gọn hơn ngôn ngữ của con người. Nếu chúng tôi giảm yêu cầu thông lượng xuống hệ số 8, Copilot cũng có thể đạt được mục tiêu khả thi.
Khoảng cách cuối cùng có thể được thu hẹp bằng cách kết hợp song song lớn hơn, triển khai tốt hơn và các thuật toán hiệu quả hơn hướng dẫn mã hóa đồng cấu hoàn toàn. Tại Ingonyama, chúng tôi tin rằng các thuật toán là một phần quan trọng trong việc thu hẹp khoảng cách này và nhóm của chúng tôi hiện đang tập trung vào nghiên cứu và phát triển các thuật toán liên quan.
Tóm tắt****
Sự kết hợp giữa bảo mật của mã hóa đồng cấu hoàn toàn và sức mạnh tính toán của các mô hình ngôn ngữ lớn có thể xác định lại các tương tác AI, đảm bảo cả hiệu quả và quyền riêng tư. Mặc dù có một số thách thức, thông qua nghiên cứu và đổi mới liên tục, chúng ta có thể đạt được một tương lai nơi các tương tác với các mô hình AI như ChatGPT là ngay lập tức và riêng tư. Điều này sẽ cung cấp cho người dùng trải nghiệm hiệu quả và an toàn hơn và thúc đẩy việc áp dụng rộng rãi công nghệ AI trong các lĩnh vực khác nhau
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Sử dụng hoàn toàn đồng cấu (FHE) để giải quyết các mối quan tâm về quyền riêng tư của LLM
Nguồn: Antalpha Labs
Hướng dẫn
Sự trỗi dậy của trí tuệ nhân tạo thật đáng kinh ngạc. Từ các thuật toán cơ bản đến các mô hình học ngôn ngữ (LLM) như ChatGPT và Copilot, AI đang đi đầu trong sự phát triển công nghệ. Mối quan tâm về quyền riêng tư dữ liệu trở nên đặc biệt quan trọng khi các mô hình này tương tác với người dùng và xử lý một lượng lớn dữ liệu và lời nhắc. Trong số đó, các công ty lớn như Amazon và Apple đã hạn chế quyền truy cập của nhân viên vào các API công khai như ChatGPT để ngăn chặn vi phạm dữ liệu có thể do tương tác AI gây ra. Ngoài ra, thật hợp lý khi hy vọng rằng các quy định sẽ sớm được đưa ra để bắt buộc một mức độ riêng tư nhất định của người dùng.
Làm thế nào để chúng tôi đảm bảo rằng dữ liệu chúng tôi tương tác, đặt câu hỏi và chia sẻ với các mô hình này vẫn ở chế độ riêng tư?
**-Mã hóa đồng cấu đầy đủ (FHE) **
Giới thiệu ngắn gọn
Trong lĩnh vực mật mã, mã hóa đồng cấu hoàn toàn là một khái niệm tinh thần. Sự quyến rũ của nó nằm ở khả năng độc đáo của nó: nó cho phép tính toán dữ liệu được mã hóa trực tiếp mà không cần giải mã dữ liệu trước, cho phép lý luận riêng tư cho thông tin nhạy cảm.
Với tính năng này, hai điều quan trọng được đảm bảo: dữ liệu vẫn an toàn trong quá trình xử lý và bảo vệ hoàn toàn tài sản trí tuệ (IP) của mô hình.
** Lý luận về quyền riêng tư và bảo vệ sở hữu trí tuệ **
Ngày nay, "quyền riêng tư" và "trải nghiệm người dùng" dường như là mối quan hệ giữa cá và chân gấu, và cả hai không thể kết hợp với nhau. Mọi người thường tin tưởng các bên thứ ba xử lý thông tin của họ để có trải nghiệm người dùng tốt hơn. Chúng tôi tin rằng các công ty bên thứ ba này có thể tìm thấy sự cân bằng giữa quyền riêng tư của người dùng và dịch vụ người dùng chất lượng mà không phải lựa chọn giữa giải pháp tại chỗ nâng cao quyền riêng tư hơn thiếu chức năng hoặc dịch vụ hy sinh quyền riêng tư để có chức năng phong phú.
Mã hóa đồng cấu hoàn toàn cho phép suy luận quyền riêng tư với sự bảo vệ đầy đủ tài sản trí tuệ của mô hình. Bằng cách thực hiện các tính toán trên dữ liệu được mã hóa, nó đảm bảo tính bảo mật hoàn toàn của lời nhắc trong khi bảo vệ tài sản trí tuệ của các mô hình ngôn ngữ lớn.
**Phương pháp mã hóa truyền thống VS FHE **
Trong các sơ đồ mã hóa truyền thống, nếu bạn muốn thực hiện các thao tác có ý nghĩa trên dữ liệu ở dạng mã hóa, trước tiên bạn cần giải mã nó. Nhưng giải mã làm lộ bản rõ của dữ liệu, điều đó có nghĩa là dữ liệu trở nên dễ bị tấn công, ngay cả trong tích tắc.
Ngược lại, mã hóa đồng cấu hoàn toàn có thể trực tiếp hoạt động trên bản mã, đảm bảo rằng thông tin nhạy cảm là "vô hình" trong suốt quá trình hoạt động.
Tại sao FHE lại quan trọng
Tầm quan trọng của mã hóa đồng cấu hoàn toàn không giới hạn ở lý thuyết. Hãy tưởng tượng một dịch vụ điện toán đám mây nơi xử lý dữ liệu có thể được thực hiện mà không cần giải mã dữ liệu hoặc cơ sở dữ liệu y tế có thể được phân tích mà không cần lấy thông tin nhạy cảm của bệnh nhân. Các ứng dụng tiềm năng của mã hóa đồng cấu hoàn toàn rất rộng và đa dạng, bao gồm các hệ thống bỏ phiếu an toàn và tìm kiếm riêng tư các cơ sở dữ liệu được mã hóa.
**Cơ sở toán học của FHE **
Mã hóa đồng cấu hoàn toàn dựa trên vấn đề học tập chịu lỗi (LWE), một kỹ thuật mật mã mạng có khả năng chống lượng tử. Trong LWE, nhiễu ngẫu nhiên được sử dụng để làm cho dữ liệu không thể đọc được trừ khi sở hữu khóa. Các phép toán số học trên dữ liệu được mã hóa là có thể, nhưng điều này thường làm tăng độ ồn. Nếu quá nhiều thao tác được thực hiện liên tiếp, dữ liệu không thể được đọc bởi bất kỳ ai, kể cả những người giữ khóa. Đây được gọi là mã hóa đồng cấu một phần (SHE).
Chuyển đổi mã hóa đồng cấu một phần sang mã hóa đồng cấu hoàn toàn đòi hỏi một hoạt động làm giảm mức độ tiếng ồn. Hoạt động này được gọi là bootstrapping và được sử dụng bởi nhiều sơ đồ mã hóa hoàn toàn đồng cấu. Trong bài viết này, chúng tôi sẽ tập trung vào sơ đồ mã hóa đồng cấu hoàn toàn trên hình xuyến (Torus FHE), sử dụng cấu trúc đại số của các hình xuyến toán học để đạt được mã hóa đồng cấu hoàn toàn.
Ưu điểm của TFHE
Mặc dù mỗi sơ đồ mã hóa đồng cấu hoàn toàn đều có những ưu điểm và nhược điểm riêng, TFHE hiện có cách triển khai hiệu quả hơn trong các tình huống thực tế. Một ưu điểm quan trọng khác của TFHE là Programmable Bootstrapping (PBS), mở rộng các hoạt động bootstrap thông thường để bao gồm việc tính toán các hàm đơn biến, chẳng hạn như các hàm kích hoạt, rất quan trọng trong lĩnh vực học máy.
Một nhược điểm của TFHE là mọi phép toán số học trong tính toán đều yêu cầu hoạt động PBS, trong khi các sơ đồ khác cho phép một số hoạt động được thực hiện theo lô giữa các hoạt động bootstrap.
Giả định và xấp xỉ****
Để ước tính thời gian cần thiết cho suy luận Mô hình ngôn ngữ lớn (LLM) bằng cách sử dụng mã hóa đồng cấu hoàn toàn, chúng tôi đưa ra một số giả định để đánh giá:
Thách thức LLM và FHE ****
Với những tiến bộ trong công nghệ mới nhất, các triển khai mã hóa đồng cấu hoàn toàn tốt nhất hiện nay có thể thực hiện một phép toán số học chỉ trong 35 micro giây. Tuy nhiên, khi xem xét một mô hình phức tạp như GPT2, cần có 1,5 tỷ hoạt động đáng kinh ngạc cho một mã thông báo. Điều này có nghĩa là thời gian xử lý cho mỗi token là khoảng 52.000 giây.
Để hiểu rõ hơn, đối với các mô hình ngôn ngữ, mã thông báo có thể đại diện cho một cái gì đó giống như một ký tự hoặc một từ hoàn chỉnh. Hãy tưởng tượng tương tác với một mô hình ngôn ngữ trong đó thời gian phản hồi mất một hoặc hai tuần! Điều này là không thể chấp nhận được, và sự chậm trễ như vậy rõ ràng là không khả thi đối với bất kỳ ứng dụng thực tế nào của truyền thông hoặc mô hình thời gian thực.
Điều này cho thấy theo công nghệ mã hóa đồng cấu hoàn toàn hiện nay, suy luận thời gian thực vẫn là một thách thức lớn đối với các mô hình ngôn ngữ quy mô lớn. Mặc dù tầm quan trọng của mã hóa đồng cấu hoàn toàn trong bảo vệ dữ liệu, những hạn chế về hiệu suất của nó có thể gây khó khăn cho việc áp dụng trong các tình huống thực tế trong các tác vụ tính toán chuyên sâu. Nhu cầu tương tác thời gian thực và phản hồi nhanh có thể yêu cầu khám phá các giải pháp bảo vệ quyền riêng tư và điện toán an toàn khác.
Giải pháp tiềm năng****
Để áp dụng mã hóa đồng cấu hoàn toàn cho các mô hình ngôn ngữ lớn, sau đây là một lộ trình khả thi:
2 Chuyển đổi sang phần cứng tiên tiến:
Như thể hiện trong hình, bằng cách sử dụng công nghệ tăng tốc dữ liệu hiện có, suy luận riêng tư của các mô hình ngôn ngữ lớn có thể đạt được thông qua mã hóa đồng cấu hoàn toàn. Điều này có thể được hỗ trợ bởi một khoản đầu tư ban đầu quy mô lớn nhưng khả thi vào một trung tâm dữ liệu đủ lớn. Tuy nhiên, khả năng này vẫn còn mong manh và đối với các mô hình ngôn ngữ lớn hơn như Copilot (12 tỷ thông số) hoặc GPT3 (175 tỷ thông số), vẫn còn những khoảng trống cần được lấp đầy.
Đối với Copilot, thông lượng mã thông báo nhỏ hơn là đủ vì nó tạo ra đầu ra mã, thường ngắn gọn hơn ngôn ngữ của con người. Nếu chúng tôi giảm yêu cầu thông lượng xuống hệ số 8, Copilot cũng có thể đạt được mục tiêu khả thi.
Khoảng cách cuối cùng có thể được thu hẹp bằng cách kết hợp song song lớn hơn, triển khai tốt hơn và các thuật toán hiệu quả hơn hướng dẫn mã hóa đồng cấu hoàn toàn. Tại Ingonyama, chúng tôi tin rằng các thuật toán là một phần quan trọng trong việc thu hẹp khoảng cách này và nhóm của chúng tôi hiện đang tập trung vào nghiên cứu và phát triển các thuật toán liên quan.
Tóm tắt****
Sự kết hợp giữa bảo mật của mã hóa đồng cấu hoàn toàn và sức mạnh tính toán của các mô hình ngôn ngữ lớn có thể xác định lại các tương tác AI, đảm bảo cả hiệu quả và quyền riêng tư. Mặc dù có một số thách thức, thông qua nghiên cứu và đổi mới liên tục, chúng ta có thể đạt được một tương lai nơi các tương tác với các mô hình AI như ChatGPT là ngay lập tức và riêng tư. Điều này sẽ cung cấp cho người dùng trải nghiệm hiệu quả và an toàn hơn và thúc đẩy việc áp dụng rộng rãi công nghệ AI trong các lĩnh vực khác nhau