Munculnya kecerdasan buatan luar biasa. Dari algoritma dasar hingga model pembelajaran bahasa (LLM) seperti ChatGPT dan Copilot, AI berada di garis depan evolusi teknologi. Masalah privasi data menjadi sangat penting karena model ini berinteraksi dengan pengguna dan memproses sejumlah besar data dan petunjuk. Di antara mereka, perusahaan besar seperti Amazon dan Apple telah membatasi akses karyawan ke API publik seperti ChatGPT untuk mencegah pelanggaran data yang mungkin disebabkan oleh interaksi AI. Selain itu, masuk akal untuk mengharapkan bahwa peraturan akan segera diperkenalkan untuk mengamanatkan tingkat privasi pengguna tertentu.
Bagaimana kami memastikan bahwa data yang berinteraksi dengan kami, mengajukan pertanyaan, dan berbagi dengan model ini tetap pribadi?
-Enkripsi Homomorfik Penuh (FHE)
Perkenalan singkat
Di bidang kriptografi, enkripsi homomorfik sepenuhnya adalah konsep mani. Pesonanya terletak pada kemampuannya yang unik: memungkinkan perhitungan data terenkripsi secara langsung tanpa terlebih dahulu mendekripsi data, memungkinkan penalaran pribadi untuk informasi sensitif.
Dengan fitur ini, dua hal penting dipastikan: data tetap aman selama pemrosesan, dan perlindungan lengkap atas kekayaan intelektual (IP) model.
** Penalaran Privasi dan Perlindungan Kekayaan Intelektual **
Saat ini, "privasi" dan "pengalaman pengguna" tampaknya menjadi hubungan antara kaki ikan dan beruang, dan keduanya tidak dapat digabungkan. Orang sering mempercayai pihak ketiga untuk memproses informasi mereka untuk pengalaman pengguna yang lebih baik. Kami percaya bahwa perusahaan pihak ketiga ini dapat menemukan keseimbangan antara privasi pengguna dan layanan pengguna berkualitas tanpa harus memilih antara solusi lokal yang lebih meningkatkan privasi yang tidak memiliki fungsionalitas atau layanan yang mengorbankan privasi demi fungsionalitas yang kaya.
Enkripsi homomorfik sepenuhnya memungkinkan inferensi privasi dengan perlindungan penuh terhadap kekayaan intelektual model. Dengan melakukan perhitungan pada data terenkripsi, ini memastikan kerahasiaan lengkap petunjuk sambil melindungi kekayaan intelektual model bahasa besar.
Metode enkripsi tradisional VS FHE
Dalam skema enkripsi tradisional, jika Anda ingin melakukan operasi yang berarti pada data dalam bentuk terenkripsi, Anda harus mendekripsinya terlebih dahulu. Tetapi dekripsi mengekspos plaintext data, yang berarti bahwa data menjadi rentan terhadap serangan, bahkan untuk sepersekian detik.
Sebaliknya, enkripsi homomorfik sepenuhnya dapat langsung beroperasi pada ciphertext, memastikan bahwa informasi sensitif "tidak terlihat" selama operasi.
Mengapa FHE penting
Pentingnya enkripsi homomorfik sepenuhnya tidak terbatas pada teori. Bayangkan layanan komputasi awan di mana pemrosesan data dapat dilakukan tanpa mendekripsi data, atau basis data medis dapat dianalisis tanpa mendapatkan detail pasien yang sensitif. Aplikasi potensial dari enkripsi homomorfik sepenuhnya luas dan beragam, termasuk sistem pemungutan suara yang aman dan pencarian pribadi dari database terenkripsi.
** Dasar-dasar Matematika FHE **
Enkripsi homomorfik sepenuhnya didasarkan pada masalah pembelajaran toleran kesalahan (LWE), teknik kriptografi kisi yang tahan kuantum. Di LWE, noise acak digunakan untuk membuat data tidak dapat dibaca kecuali kunci dimiliki. Operasi aritmatika pada data terenkripsi dimungkinkan, tetapi ini biasanya meningkatkan tingkat kebisingan. Jika terlalu banyak operasi dilakukan berturut-turut, data tidak dapat dibaca oleh siapa pun, termasuk mereka yang memegang kunci. Ini disebut enkripsi homomorfik parsial (SHE).
Mengubah enkripsi homomorfik parsial menjadi enkripsi homomorfik sepenuhnya memerlukan operasi yang mengurangi tingkat kebisingan. Operasi ini dikenal sebagai bootstrapping, dan digunakan oleh banyak skema enkripsi homomorfik sepenuhnya. Pada artikel ini, kita akan fokus pada skema enkripsi homomorfik sepenuhnya atas torus (Torus FHE), yang menggunakan struktur aljabar toroid matematika untuk mencapai enkripsi homomorfik sepenuhnya.
Keuntungan TFHE
Meskipun setiap skema enkripsi homomorfik sepenuhnya memiliki kelebihan dan kekurangannya sendiri, TFHE saat ini memiliki implementasi yang lebih efisien dalam skenario praktis. Keuntungan penting lainnya dari TFHE adalah Programmable Bootstrapping (PBS), yang memperluas operasi bootstrap biasa untuk memasukkan perhitungan fungsi univariat, seperti fungsi aktivasi, yang sangat penting di bidang pembelajaran mesin.
Salah satu kelemahan TFHE adalah bahwa setiap operasi aritmatika dalam perhitungan memerlukan operasi PBS, sementara skema lain memungkinkan beberapa operasi dilakukan dalam batch antara operasi bootstrap.
Asumsi dan perkiraan ****
Untuk memperkirakan waktu yang diperlukan untuk inferensi Large Language Model (LLM) menggunakan enkripsi homomorfik sepenuhnya, kami membuat beberapa asumsi untuk mengevaluasi:
Jumlah operasi aritmatika yang diperlukan per token adalah sekitar 1-2 kali jumlah parameter dalam model. Ini adalah batas bawah, karena setiap token menggunakan seluruh model, dan kami akan mengasumsikan bahwa batas bawah ini cukup dekat dengan permintaan aktual.
Setiap operasi aritmatika dalam model bahasa besar dapat dipetakan ke operasi aritmatika di TFHE. Ini pada dasarnya merupakan indikasi ukuran jenis variabel di kedua skenario. Kami berasumsi bahwa variabel INT4 cukup untuk model bahasa besar dan layak untuk TFHE.
Setiap operasi aritmatika dalam model bahasa besar perlu dipetakan ke operasi aritmatika dalam enkripsi homomorfik sepenuhnya. Ini berarti bahwa kita tidak dapat menjalankan bagian dari model tanpa enkripsi. Sebuah posting blog baru-baru ini oleh Zama mempertimbangkan inferensi FHE yang tidak menggunakan asumsi ini, di mana sebagian besar model dijalankan secara lokal oleh pengguna tanpa enkripsi apa pun, dan hanya sebagian kecil (seperti kepala perhatian tunggal) berjalan dengan enkripsi homomorfik sepenuhnya pada server perusahaan model. Dalam pandangan kami, pendekatan ini sebenarnya tidak melindungi kekayaan intelektual model, karena dalam hal ini, pengguna hanya dapat menjalankan kepala yang hilang dengan hanya sedikit kehilangan presisi, seperti yang ditunjukkan di sini, atau melatih bagian yang hilang relatif murah untuk mendapatkan hasil yang sebanding dengan model asli.
Setiap operasi aritmatika di TFHE membutuhkan PBS (programmable bootstrapping). PBS adalah hambatan utama dalam komputasi TFHE.
Implementasi TFHE yang paling canggih adalah FPT. Ini adalah implementasi FPGA yang menghitung PBS setiap 35 mikrodetik.
LLM dan Tantangan FHE ****
Dengan kemajuan teknologi terbaru, implementasi enkripsi homomorfik sepenuhnya terbaik yang tersedia saat ini dapat melakukan operasi aritmatika hanya dalam 35 mikrodetik. Namun, ketika mempertimbangkan model serumit GPT2, diperlukan 1,5 miliar operasi yang mengejutkan untuk satu token. Ini berarti waktu pemrosesan untuk setiap token adalah sekitar 52.000 detik.
Untuk pemahaman yang lebih baik, untuk model bahasa, token dapat mewakili sesuatu seperti karakter atau kata lengkap. Bayangkan berinteraksi dengan model bahasa di mana waktu respons memakan waktu satu atau dua minggu! Ini tidak dapat diterima, dan penundaan seperti itu jelas tidak layak untuk aplikasi praktis komunikasi atau model real-time.
Ini menunjukkan bahwa di bawah teknologi enkripsi homomorfik sepenuhnya saat ini, inferensi real-time masih merupakan tantangan besar untuk model bahasa skala besar. Terlepas dari pentingnya enkripsi homomorfik sepenuhnya dalam perlindungan data, keterbatasan kinerjanya dapat menyulitkan untuk diterapkan dalam skenario dunia nyata dalam tugas yang sangat intensif komputasi. Kebutuhan akan interaksi real-time dan respons cepat mungkin memerlukan eksplorasi komputasi aman lainnya dan solusi pelestarian privasi.
Solusi Potensial****
Untuk menerapkan enkripsi homomorfik sepenuhnya ke model bahasa besar, berikut ini adalah peta jalan yang mungkin:
Pemrosesan paralel menggunakan beberapa mesin:
Mulai dari 52.000 detik/token.
Dengan menggunakan 10.000 mesin paralel, kami mengurangi waktu menjadi 5 detik/token. Perhatikan bahwa model bahasa besar memang bisa sangat paralel, dan inferensi saat ini biasanya dilakukan secara paralel pada ribuan atau lebih core GPU.
2 Transisi ke perangkat keras canggih:
Dari yang ditingkatkan - mulai dari 5 detik / token
Beralih ke GPU atau ASIC, kita dapat mencapai waktu pemrosesan 0,1 detik per token. Sementara GPU dapat menawarkan peningkatan kecepatan yang lebih cepat, ASIC dapat menawarkan peningkatan kecepatan dan konsumsi daya yang lebih tinggi, seperti ZPU yang disebutkan sebelumnya di blog.
Seperti yang ditunjukkan pada gambar, menggunakan teknologi akselerasi data yang ada, inferensi pribadi model bahasa besar dapat dicapai melalui enkripsi homomorfik sepenuhnya. Ini dapat didukung oleh investasi awal berskala besar tetapi layak di pusat data yang cukup besar. Namun, kemungkinan ini masih tipis, dan untuk model bahasa besar yang lebih besar seperti Copilot (12 miliar parameter) atau GPT3 (175 miliar parameter), masih ada celah yang harus diisi.
Untuk Copilot, throughput token yang lebih kecil sudah cukup karena menghasilkan output kode, yang biasanya lebih ringkas daripada bahasa manusia. Jika kita mengurangi persyaratan throughput dengan faktor 8, Copilot juga dapat mencapai tujuan kelayakan.
Kesenjangan terakhir dapat dijembatani dengan menggabungkan paralelisasi yang lebih besar, implementasi yang lebih baik, dan algoritma yang lebih efisien yang memandu dalam enkripsi homomorfik sepenuhnya. Di Ingonyama, kami percaya algoritma adalah bagian penting untuk menjembatani kesenjangan ini, dan tim kami saat ini berfokus pada penelitian dan pengembangan algoritma terkait.
Ringkasan****
Kombinasi keamanan enkripsi homomorfik sepenuhnya dan kekuatan komputasi model bahasa besar dapat mendefinisikan kembali interaksi AI, memastikan efisiensi dan privasi. Meskipun ada beberapa tantangan, melalui penelitian dan inovasi yang berkelanjutan, kita dapat mencapai masa depan di mana interaksi dengan model AI seperti ChatGPT bersifat langsung dan pribadi. Ini akan memberi pengguna pengalaman yang lebih efisien dan aman dan mendorong adopsi teknologi AI secara luas di berbagai bidang
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Gunakan sepenuhnya homomorfik (FHE) untuk memecahkan masalah privasi LLM
Sumber: Antalpha Labs
Memandu
Munculnya kecerdasan buatan luar biasa. Dari algoritma dasar hingga model pembelajaran bahasa (LLM) seperti ChatGPT dan Copilot, AI berada di garis depan evolusi teknologi. Masalah privasi data menjadi sangat penting karena model ini berinteraksi dengan pengguna dan memproses sejumlah besar data dan petunjuk. Di antara mereka, perusahaan besar seperti Amazon dan Apple telah membatasi akses karyawan ke API publik seperti ChatGPT untuk mencegah pelanggaran data yang mungkin disebabkan oleh interaksi AI. Selain itu, masuk akal untuk mengharapkan bahwa peraturan akan segera diperkenalkan untuk mengamanatkan tingkat privasi pengguna tertentu.
Bagaimana kami memastikan bahwa data yang berinteraksi dengan kami, mengajukan pertanyaan, dan berbagi dengan model ini tetap pribadi?
-Enkripsi Homomorfik Penuh (FHE)
Perkenalan singkat
Di bidang kriptografi, enkripsi homomorfik sepenuhnya adalah konsep mani. Pesonanya terletak pada kemampuannya yang unik: memungkinkan perhitungan data terenkripsi secara langsung tanpa terlebih dahulu mendekripsi data, memungkinkan penalaran pribadi untuk informasi sensitif.
Dengan fitur ini, dua hal penting dipastikan: data tetap aman selama pemrosesan, dan perlindungan lengkap atas kekayaan intelektual (IP) model.
** Penalaran Privasi dan Perlindungan Kekayaan Intelektual **
Saat ini, "privasi" dan "pengalaman pengguna" tampaknya menjadi hubungan antara kaki ikan dan beruang, dan keduanya tidak dapat digabungkan. Orang sering mempercayai pihak ketiga untuk memproses informasi mereka untuk pengalaman pengguna yang lebih baik. Kami percaya bahwa perusahaan pihak ketiga ini dapat menemukan keseimbangan antara privasi pengguna dan layanan pengguna berkualitas tanpa harus memilih antara solusi lokal yang lebih meningkatkan privasi yang tidak memiliki fungsionalitas atau layanan yang mengorbankan privasi demi fungsionalitas yang kaya.
Enkripsi homomorfik sepenuhnya memungkinkan inferensi privasi dengan perlindungan penuh terhadap kekayaan intelektual model. Dengan melakukan perhitungan pada data terenkripsi, ini memastikan kerahasiaan lengkap petunjuk sambil melindungi kekayaan intelektual model bahasa besar.
Metode enkripsi tradisional VS FHE
Dalam skema enkripsi tradisional, jika Anda ingin melakukan operasi yang berarti pada data dalam bentuk terenkripsi, Anda harus mendekripsinya terlebih dahulu. Tetapi dekripsi mengekspos plaintext data, yang berarti bahwa data menjadi rentan terhadap serangan, bahkan untuk sepersekian detik.
Sebaliknya, enkripsi homomorfik sepenuhnya dapat langsung beroperasi pada ciphertext, memastikan bahwa informasi sensitif "tidak terlihat" selama operasi.
Mengapa FHE penting
Pentingnya enkripsi homomorfik sepenuhnya tidak terbatas pada teori. Bayangkan layanan komputasi awan di mana pemrosesan data dapat dilakukan tanpa mendekripsi data, atau basis data medis dapat dianalisis tanpa mendapatkan detail pasien yang sensitif. Aplikasi potensial dari enkripsi homomorfik sepenuhnya luas dan beragam, termasuk sistem pemungutan suara yang aman dan pencarian pribadi dari database terenkripsi.
** Dasar-dasar Matematika FHE **
Enkripsi homomorfik sepenuhnya didasarkan pada masalah pembelajaran toleran kesalahan (LWE), teknik kriptografi kisi yang tahan kuantum. Di LWE, noise acak digunakan untuk membuat data tidak dapat dibaca kecuali kunci dimiliki. Operasi aritmatika pada data terenkripsi dimungkinkan, tetapi ini biasanya meningkatkan tingkat kebisingan. Jika terlalu banyak operasi dilakukan berturut-turut, data tidak dapat dibaca oleh siapa pun, termasuk mereka yang memegang kunci. Ini disebut enkripsi homomorfik parsial (SHE).
Mengubah enkripsi homomorfik parsial menjadi enkripsi homomorfik sepenuhnya memerlukan operasi yang mengurangi tingkat kebisingan. Operasi ini dikenal sebagai bootstrapping, dan digunakan oleh banyak skema enkripsi homomorfik sepenuhnya. Pada artikel ini, kita akan fokus pada skema enkripsi homomorfik sepenuhnya atas torus (Torus FHE), yang menggunakan struktur aljabar toroid matematika untuk mencapai enkripsi homomorfik sepenuhnya.
Keuntungan TFHE
Meskipun setiap skema enkripsi homomorfik sepenuhnya memiliki kelebihan dan kekurangannya sendiri, TFHE saat ini memiliki implementasi yang lebih efisien dalam skenario praktis. Keuntungan penting lainnya dari TFHE adalah Programmable Bootstrapping (PBS), yang memperluas operasi bootstrap biasa untuk memasukkan perhitungan fungsi univariat, seperti fungsi aktivasi, yang sangat penting di bidang pembelajaran mesin.
Salah satu kelemahan TFHE adalah bahwa setiap operasi aritmatika dalam perhitungan memerlukan operasi PBS, sementara skema lain memungkinkan beberapa operasi dilakukan dalam batch antara operasi bootstrap.
Asumsi dan perkiraan ****
Untuk memperkirakan waktu yang diperlukan untuk inferensi Large Language Model (LLM) menggunakan enkripsi homomorfik sepenuhnya, kami membuat beberapa asumsi untuk mengevaluasi:
LLM dan Tantangan FHE ****
Dengan kemajuan teknologi terbaru, implementasi enkripsi homomorfik sepenuhnya terbaik yang tersedia saat ini dapat melakukan operasi aritmatika hanya dalam 35 mikrodetik. Namun, ketika mempertimbangkan model serumit GPT2, diperlukan 1,5 miliar operasi yang mengejutkan untuk satu token. Ini berarti waktu pemrosesan untuk setiap token adalah sekitar 52.000 detik.
Untuk pemahaman yang lebih baik, untuk model bahasa, token dapat mewakili sesuatu seperti karakter atau kata lengkap. Bayangkan berinteraksi dengan model bahasa di mana waktu respons memakan waktu satu atau dua minggu! Ini tidak dapat diterima, dan penundaan seperti itu jelas tidak layak untuk aplikasi praktis komunikasi atau model real-time.
Ini menunjukkan bahwa di bawah teknologi enkripsi homomorfik sepenuhnya saat ini, inferensi real-time masih merupakan tantangan besar untuk model bahasa skala besar. Terlepas dari pentingnya enkripsi homomorfik sepenuhnya dalam perlindungan data, keterbatasan kinerjanya dapat menyulitkan untuk diterapkan dalam skenario dunia nyata dalam tugas yang sangat intensif komputasi. Kebutuhan akan interaksi real-time dan respons cepat mungkin memerlukan eksplorasi komputasi aman lainnya dan solusi pelestarian privasi.
Solusi Potensial****
Untuk menerapkan enkripsi homomorfik sepenuhnya ke model bahasa besar, berikut ini adalah peta jalan yang mungkin:
2 Transisi ke perangkat keras canggih:
Seperti yang ditunjukkan pada gambar, menggunakan teknologi akselerasi data yang ada, inferensi pribadi model bahasa besar dapat dicapai melalui enkripsi homomorfik sepenuhnya. Ini dapat didukung oleh investasi awal berskala besar tetapi layak di pusat data yang cukup besar. Namun, kemungkinan ini masih tipis, dan untuk model bahasa besar yang lebih besar seperti Copilot (12 miliar parameter) atau GPT3 (175 miliar parameter), masih ada celah yang harus diisi.
Untuk Copilot, throughput token yang lebih kecil sudah cukup karena menghasilkan output kode, yang biasanya lebih ringkas daripada bahasa manusia. Jika kita mengurangi persyaratan throughput dengan faktor 8, Copilot juga dapat mencapai tujuan kelayakan.
Kesenjangan terakhir dapat dijembatani dengan menggabungkan paralelisasi yang lebih besar, implementasi yang lebih baik, dan algoritma yang lebih efisien yang memandu dalam enkripsi homomorfik sepenuhnya. Di Ingonyama, kami percaya algoritma adalah bagian penting untuk menjembatani kesenjangan ini, dan tim kami saat ini berfokus pada penelitian dan pengembangan algoritma terkait.
Ringkasan****
Kombinasi keamanan enkripsi homomorfik sepenuhnya dan kekuatan komputasi model bahasa besar dapat mendefinisikan kembali interaksi AI, memastikan efisiensi dan privasi. Meskipun ada beberapa tantangan, melalui penelitian dan inovasi yang berkelanjutan, kita dapat mencapai masa depan di mana interaksi dengan model AI seperti ChatGPT bersifat langsung dan pribadi. Ini akan memberi pengguna pengalaman yang lebih efisien dan aman dan mendorong adopsi teknologi AI secara luas di berbagai bidang