Yapay zekanın yükselişi inanılmaz. Temel algoritmalardan ChatGPT ve Copilot gibi dil öğrenme modellerine (LLM'ler) kadar yapay zeka, teknolojik evrimin ön saflarında yer alıyor. Veri gizliliği endişeleri, bu modeller kullanıcılarla etkileşime girdikçe ve büyük miktarda veri ve istemleri işledikçe özellikle önemli hale gelir. Bunlar arasında Amazon ve Apple gibi büyük şirketler, yapay zeka etkileşimlerinden kaynaklanabilecek veri ihlallerini önlemek için çalışanların ChatGPT gibi genel API'lere erişimini kısıtladı. Ek olarak, belirli bir düzeyde kullanıcı gizliliğini zorunlu kılmak için düzenlemelerin yakında getirileceğini beklemek mantıklıdır.
Bu modellerle etkileşimde bulunduğumuz, soru sorduğumuz ve paylaştığımız verilerin gizli kalmasını nasıl sağlarız?
-Tam Homomorfik Şifreleme (FHE)
Kısa tanıtım
Kriptografi alanında, tamamen homomorfik şifreleme ufuk açıcı bir kavramdır. Cazibesi, benzersiz yeteneğinde yatmaktadır: şifrelenmiş verilerin, önce verilerin şifresini çözmeden doğrudan hesaplanmasına izin vererek, hassas bilgiler için özel akıl yürütmeyi mümkün kılar.
Bu özellik ile iki önemli şey sağlanır: verilerin işlenmesi sırasında güvende kalması ve modelin fikri mülkiyetinin (IP) tam olarak korunması.
** Gizlilik Gerekçesi ve Fikri Mülkiyet Koruması **
Günümüzde, "gizlilik" ve "kullanıcı deneyimi", balık ve ayının pençesi arasındaki ilişki gibi görünüyor ve ikisi birleştirilemez. İnsanlar genellikle daha iyi bir kullanıcı deneyimi için bilgilerini işlemeleri için üçüncü taraflara güvenirler. Bu üçüncü taraf şirketlerin, işlevselliği olmayan, gizliliği daha fazla artıran bir şirket içi çözüm veya zengin işlevsellik için gizlilikten ödün veren bir hizmet arasında seçim yapmak zorunda kalmadan kullanıcı gizliliği ile kaliteli kullanıcı hizmeti arasında bir denge kurabileceğine inanıyoruz.
Tamamen homomorfik şifreleme, modelin fikri mülkiyetinin tam olarak korunmasıyla gizlilik çıkarımına olanak tanır. Şifrelenmiş veriler üzerinde hesaplamalar yaparak, büyük dil modellerinin fikri mülkiyetini korurken istemlerin tam gizliliğini sağlar.
Geleneksel şifreleme yöntemi VS FHE
Geleneksel şifreleme şemalarında, şifrelenmiş biçimdeki veriler üzerinde anlamlı işlemler gerçekleştirmek istiyorsanız, önce şifresini çözmeniz gerekir. Ancak şifre çözme, verilerin düz metnini ortaya çıkarır, bu da verilerin bir saniyeliğine bile olsa saldırılara karşı savunmasız hale geldiği anlamına gelir.
Buna karşılık, tamamen homomorfik şifreleme, doğrudan şifreli metin üzerinde çalışabilir ve hassas bilgilerin işlem boyunca "görünmez" olmasını sağlar.
FHE neden önemlidir
Tamamen homomorfik şifrelemenin önemi teori ile sınırlı değildir. Verilerin şifresini çözmeden veri işlemenin gerçekleştirilebildiği veya hassas hasta detaylarına ulaşılmadan tıbbi veri tabanlarının analiz edilebildiği bir bulut bilişim hizmeti hayal edin. Tamamen homomorfik şifrelemenin potansiyel uygulamaları, güvenli oylama sistemleri ve şifreli veritabanlarının özel aramaları dahil olmak üzere geniş ve çeşitlidir.
FHE'nin Matematiksel Temelleri
Tamamen homomorfik şifreleme, kuantuma dayanıklı bir kafes şifreleme tekniği olan hataya dayanıklı öğrenme (LWE) problemine dayanır. LWE'de, bir anahtar elde olmadığı sürece verileri okunamaz hale getirmek için rastgele gürültü kullanılır. Şifrelenmiş veriler üzerinde aritmetik işlemler mümkündür, ancak bu genellikle gürültü seviyesini artırır. Art arda çok fazla işlem yapılırsa, veriler anahtarları elinde tutanlar da dahil olmak üzere hiç kimse tarafından okunamaz. Buna kısmi homomorfik şifreleme (SHE) denir.
Kısmi homomorfik şifrelemeyi tam homomorfik şifrelemeye dönüştürmek, gürültü düzeylerini azaltan bir işlem gerektirir. Bu işlem önyükleme olarak bilinir ve birçok tam homomorfik şifreleme şeması tarafından kullanılır. Bu yazıda, tamamen homomorfik şifreleme elde etmek için matematiksel toroidlerin cebirsel yapısını kullanan torus (Torus FHE) üzerinden tam homomorfik şifreleme şemasına odaklanacağız.
TFHE'nin Avantajları
Her tamamen homomorfik şifreleme şemasının kendi avantajları ve dezavantajları olmasına rağmen, TFHE şu anda pratik senaryolarda daha verimli bir uygulamaya sahiptir. TFHE'nin bir diğer önemli avantajı, olağan önyükleme işlemlerini, makine öğrenimi alanında kritik olan aktivasyon işlevleri gibi tek değişkenli işlevlerin hesaplanmasını içerecek şekilde genişleten Programlanabilir Önyüklemedir (PBS).
TFHE'nin bir dezavantajı, hesaplamadaki her aritmetik işlemin bir PBS işlemi gerektirmesi, diğer şemaların ise bazı işlemlerin önyükleme işlemleri arasında toplu olarak gerçekleştirilmesine izin vermesidir.
Varsayımlar ve yaklaşımlar****
Tamamen homomorfik şifreleme kullanarak Büyük Dil Modeli (LLM) çıkarımı için gereken süreyi tahmin etmek için, değerlendirmek üzere bazı varsayımlarda bulunuruz:
Belirteç başına gereken aritmetik işlem sayısı, modeldeki parametre sayısının yaklaşık 1-2 katıdır. Bu bir alt sınırdır, çünkü her token tüm modeli kullanır ve bu alt sınırın gerçek talebe yeterince yakın olduğunu varsayacağız.
Büyük bir dil modelindeki her aritmetik işlem, TFHE'deki bir aritmetik işlemle eşlenebilir. Bu, temel olarak her iki senaryoda da değişken türünün boyutunun bir göstergesidir. INT4 değişkenlerinin büyük dil modelleri için yeterli olduğunu ve TFHE için uygun olduğunu varsayıyoruz.
Büyük bir dil modelindeki her aritmetik işlemin, tamamen homomorfik bir şifrelemede bir aritmetik işlemle eşlenmesi gerekir. Bu, modelin bir bölümünü şifreleme olmadan çalıştıramayacağımız anlamına gelir. Zama'nın yakın tarihli bir blog gönderisi, modelin çoğunun kullanıcı tarafından herhangi bir şifreleme olmadan yerel olarak yürütüldüğü ve yalnızca küçük bir kısmının (tek bir dikkat başlığı gibi) modelin kurumsal sunucusunda tamamen homomorfik şifreleme ile çalıştığı bu varsayımı kullanmayan FHE çıkarımını dikkate alır. Bizim görüşümüze göre, bu yaklaşım aslında modelin fikri mülkiyetini korumaz, çünkü bu durumda kullanıcı, burada gösterildiği gibi, yalnızca eksik kafayı yalnızca küçük bir hassasiyet kaybıyla çalıştırabilir veya orijinal modelle karşılaştırılabilir sonuçlar elde etmek için eksik parçayı nispeten ucuza eğitebilir.
TFHE'deki her aritmetik işlem bir PBS (programlanabilir önyükleme) gerektirir. PBS, TFHE bilgi işlemdeki ana darboğazdır.
En gelişmiş TFHE uygulaması FPT'dir. Bu, PBS'yi her 35 mikrosaniyede bir hesaplayan bir FPGA uygulamasıdır.
LLM ve FHE Zorlukları ****
En son teknolojideki gelişmelerle, günümüzde mevcut olan en iyi tamamen homomorfik şifreleme uygulamaları, sadece 35 mikrosaniyede aritmetik bir işlem gerçekleştirebilir. Bununla birlikte, GPT2 kadar karmaşık bir model düşünüldüğünde, tek bir token için şaşırtıcı bir şekilde 1,5 milyar işlem gerekir. Bu, her bir token için işlem süresinin yaklaşık 52.000 saniye olduğu anlamına gelir.
Daha iyi anlamak için, dil modelleri için belirteç, bir karakter veya tam bir kelime gibi bir şeyi temsil edebilir. Yanıt süresinin bir veya iki hafta sürdüğü bir dil modeliyle etkileşim kurduğunuzu hayal edin! Bu kabul edilemez ve böyle bir gecikme, gerçek zamanlı iletişim veya modellerin herhangi bir pratik uygulaması için açıkça mümkün değildir.
Bu, mevcut tamamen homomorfik şifreleme teknolojisi altında, gerçek zamanlı çıkarımın büyük ölçekli dil modelleri için hala büyük bir zorluk olduğunu göstermektedir. Veri korumada tamamen homomorfik şifrelemenin önemine rağmen, performans sınırlamaları, yüksek oranda bilgi işlem gerektiren görevlerde gerçek dünya senaryolarında uygulanmasını zorlaştırabilir. Gerçek zamanlı etkileşim ve hızlı yanıt ihtiyacı, diğer güvenli bilgi işlem ve gizliliği koruyan çözümlerin araştırılmasını gerektirebilir.
Potansiyel Çözümler****
Büyük dil modellerine tamamen homomorfik şifreleme uygulamak için olası bir yol haritası aşağıdadır:
Birden fazla makine kullanarak paralel işleme:
52.000 saniye/jetondan başlayan fiyatlarla.
10.000 paralel makine dağıtarak süreyi 5 saniye/jetona düşürdük. Büyük dil modellerinin gerçekten de yüksek oranda paralelleştirilebileceğini ve mevcut çıkarımın genellikle binlerce veya daha fazla GPU çekirdeğinde paralel olarak gerçekleştirildiğini unutmayın.
2 Gelişmiş donanıma geçiş:
Geliştirilmişlerden - jeton başına 5 saniyeden başlayarak
GPU veya ASIC'e geçin, belirteç başına 0,1 saniyelik bir işlem süresi elde edebiliriz. GPU'lar hızda daha hızlı kazançlar sunabilirken, ASIC'ler, blogda daha önce bahsedilen ZPU gibi hem hız hem de güç tüketiminde daha yüksek kazançlar sunabilir.
Şekilde gösterildiği gibi, mevcut veri hızlandırma teknolojisi kullanılarak, tamamen homomorfik şifreleme yoluyla büyük dil modellerinin özel çıkarımı elde edilebilir. Bu, yeterince büyük bir veri merkezine yapılan büyük ölçekli ancak uygulanabilir bir ilk yatırımla desteklenebilir. Bununla birlikte, bu olasılık hala zayıftır ve Copilot (12 milyar parametre) veya GPT3 (175 milyar parametre) gibi daha büyük büyük dil modelleri için hala doldurulması gereken boşluklar vardır.
Copilot için, genellikle insan dilinden daha kısa olan kod çıktısı oluşturduğundan daha küçük bir belirteç aktarım hızı yeterlidir. Verim gereksinimini 8 kat azaltırsak, Copilot fizibilite hedefine de ulaşabilir.
Son boşluk, daha büyük paralelleştirme, daha iyi uygulamalar ve tamamen homomorfik şifrelemeye rehberlik eden daha verimli algoritmaların birleştirilmesiyle kapatılabilir. Ingonyama'da, algoritmaların bu boşluğu doldurmanın önemli bir parçası olduğuna inanıyoruz ve ekibimiz şu anda ilgili algoritmaların araştırılması ve geliştirilmesine odaklanıyor.
Özet****
Tamamen homomorfik şifrelemenin güvenliği ve büyük dil modellerinin bilgi işlem gücünün birleşimi, yapay zeka etkileşimlerini yeniden tanımlayarak hem verimlilik hem de gizlilik sağlayabilir. Bazı zorluklar olsa da, devam eden araştırma ve inovasyon yoluyla, ChatGPT gibi yapay zeka modelleriyle etkileşimlerin hem anında hem de özel olduğu bir geleceğe ulaşabiliriz. Bu, kullanıcılara daha verimli ve güvenli bir deneyim sağlayacak ve yapay zeka teknolojisinin çeşitli alanlarda yaygın olarak benimsenmesini sağlayacaktır
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
LLM'nin gizlilik endişelerini çözmek için tamamen homomorfik (FHE) kullanın
Kaynak: Antalpha Labs
Rehber
Yapay zekanın yükselişi inanılmaz. Temel algoritmalardan ChatGPT ve Copilot gibi dil öğrenme modellerine (LLM'ler) kadar yapay zeka, teknolojik evrimin ön saflarında yer alıyor. Veri gizliliği endişeleri, bu modeller kullanıcılarla etkileşime girdikçe ve büyük miktarda veri ve istemleri işledikçe özellikle önemli hale gelir. Bunlar arasında Amazon ve Apple gibi büyük şirketler, yapay zeka etkileşimlerinden kaynaklanabilecek veri ihlallerini önlemek için çalışanların ChatGPT gibi genel API'lere erişimini kısıtladı. Ek olarak, belirli bir düzeyde kullanıcı gizliliğini zorunlu kılmak için düzenlemelerin yakında getirileceğini beklemek mantıklıdır.
Bu modellerle etkileşimde bulunduğumuz, soru sorduğumuz ve paylaştığımız verilerin gizli kalmasını nasıl sağlarız?
-Tam Homomorfik Şifreleme (FHE)
Kısa tanıtım
Kriptografi alanında, tamamen homomorfik şifreleme ufuk açıcı bir kavramdır. Cazibesi, benzersiz yeteneğinde yatmaktadır: şifrelenmiş verilerin, önce verilerin şifresini çözmeden doğrudan hesaplanmasına izin vererek, hassas bilgiler için özel akıl yürütmeyi mümkün kılar.
Bu özellik ile iki önemli şey sağlanır: verilerin işlenmesi sırasında güvende kalması ve modelin fikri mülkiyetinin (IP) tam olarak korunması.
** Gizlilik Gerekçesi ve Fikri Mülkiyet Koruması **
Günümüzde, "gizlilik" ve "kullanıcı deneyimi", balık ve ayının pençesi arasındaki ilişki gibi görünüyor ve ikisi birleştirilemez. İnsanlar genellikle daha iyi bir kullanıcı deneyimi için bilgilerini işlemeleri için üçüncü taraflara güvenirler. Bu üçüncü taraf şirketlerin, işlevselliği olmayan, gizliliği daha fazla artıran bir şirket içi çözüm veya zengin işlevsellik için gizlilikten ödün veren bir hizmet arasında seçim yapmak zorunda kalmadan kullanıcı gizliliği ile kaliteli kullanıcı hizmeti arasında bir denge kurabileceğine inanıyoruz.
Tamamen homomorfik şifreleme, modelin fikri mülkiyetinin tam olarak korunmasıyla gizlilik çıkarımına olanak tanır. Şifrelenmiş veriler üzerinde hesaplamalar yaparak, büyük dil modellerinin fikri mülkiyetini korurken istemlerin tam gizliliğini sağlar.
Geleneksel şifreleme yöntemi VS FHE
Geleneksel şifreleme şemalarında, şifrelenmiş biçimdeki veriler üzerinde anlamlı işlemler gerçekleştirmek istiyorsanız, önce şifresini çözmeniz gerekir. Ancak şifre çözme, verilerin düz metnini ortaya çıkarır, bu da verilerin bir saniyeliğine bile olsa saldırılara karşı savunmasız hale geldiği anlamına gelir.
Buna karşılık, tamamen homomorfik şifreleme, doğrudan şifreli metin üzerinde çalışabilir ve hassas bilgilerin işlem boyunca "görünmez" olmasını sağlar.
FHE neden önemlidir
Tamamen homomorfik şifrelemenin önemi teori ile sınırlı değildir. Verilerin şifresini çözmeden veri işlemenin gerçekleştirilebildiği veya hassas hasta detaylarına ulaşılmadan tıbbi veri tabanlarının analiz edilebildiği bir bulut bilişim hizmeti hayal edin. Tamamen homomorfik şifrelemenin potansiyel uygulamaları, güvenli oylama sistemleri ve şifreli veritabanlarının özel aramaları dahil olmak üzere geniş ve çeşitlidir.
FHE'nin Matematiksel Temelleri
Tamamen homomorfik şifreleme, kuantuma dayanıklı bir kafes şifreleme tekniği olan hataya dayanıklı öğrenme (LWE) problemine dayanır. LWE'de, bir anahtar elde olmadığı sürece verileri okunamaz hale getirmek için rastgele gürültü kullanılır. Şifrelenmiş veriler üzerinde aritmetik işlemler mümkündür, ancak bu genellikle gürültü seviyesini artırır. Art arda çok fazla işlem yapılırsa, veriler anahtarları elinde tutanlar da dahil olmak üzere hiç kimse tarafından okunamaz. Buna kısmi homomorfik şifreleme (SHE) denir.
Kısmi homomorfik şifrelemeyi tam homomorfik şifrelemeye dönüştürmek, gürültü düzeylerini azaltan bir işlem gerektirir. Bu işlem önyükleme olarak bilinir ve birçok tam homomorfik şifreleme şeması tarafından kullanılır. Bu yazıda, tamamen homomorfik şifreleme elde etmek için matematiksel toroidlerin cebirsel yapısını kullanan torus (Torus FHE) üzerinden tam homomorfik şifreleme şemasına odaklanacağız.
TFHE'nin Avantajları
Her tamamen homomorfik şifreleme şemasının kendi avantajları ve dezavantajları olmasına rağmen, TFHE şu anda pratik senaryolarda daha verimli bir uygulamaya sahiptir. TFHE'nin bir diğer önemli avantajı, olağan önyükleme işlemlerini, makine öğrenimi alanında kritik olan aktivasyon işlevleri gibi tek değişkenli işlevlerin hesaplanmasını içerecek şekilde genişleten Programlanabilir Önyüklemedir (PBS).
TFHE'nin bir dezavantajı, hesaplamadaki her aritmetik işlemin bir PBS işlemi gerektirmesi, diğer şemaların ise bazı işlemlerin önyükleme işlemleri arasında toplu olarak gerçekleştirilmesine izin vermesidir.
Varsayımlar ve yaklaşımlar****
Tamamen homomorfik şifreleme kullanarak Büyük Dil Modeli (LLM) çıkarımı için gereken süreyi tahmin etmek için, değerlendirmek üzere bazı varsayımlarda bulunuruz:
LLM ve FHE Zorlukları ****
En son teknolojideki gelişmelerle, günümüzde mevcut olan en iyi tamamen homomorfik şifreleme uygulamaları, sadece 35 mikrosaniyede aritmetik bir işlem gerçekleştirebilir. Bununla birlikte, GPT2 kadar karmaşık bir model düşünüldüğünde, tek bir token için şaşırtıcı bir şekilde 1,5 milyar işlem gerekir. Bu, her bir token için işlem süresinin yaklaşık 52.000 saniye olduğu anlamına gelir.
Daha iyi anlamak için, dil modelleri için belirteç, bir karakter veya tam bir kelime gibi bir şeyi temsil edebilir. Yanıt süresinin bir veya iki hafta sürdüğü bir dil modeliyle etkileşim kurduğunuzu hayal edin! Bu kabul edilemez ve böyle bir gecikme, gerçek zamanlı iletişim veya modellerin herhangi bir pratik uygulaması için açıkça mümkün değildir.
Bu, mevcut tamamen homomorfik şifreleme teknolojisi altında, gerçek zamanlı çıkarımın büyük ölçekli dil modelleri için hala büyük bir zorluk olduğunu göstermektedir. Veri korumada tamamen homomorfik şifrelemenin önemine rağmen, performans sınırlamaları, yüksek oranda bilgi işlem gerektiren görevlerde gerçek dünya senaryolarında uygulanmasını zorlaştırabilir. Gerçek zamanlı etkileşim ve hızlı yanıt ihtiyacı, diğer güvenli bilgi işlem ve gizliliği koruyan çözümlerin araştırılmasını gerektirebilir.
Potansiyel Çözümler****
Büyük dil modellerine tamamen homomorfik şifreleme uygulamak için olası bir yol haritası aşağıdadır:
2 Gelişmiş donanıma geçiş:
Şekilde gösterildiği gibi, mevcut veri hızlandırma teknolojisi kullanılarak, tamamen homomorfik şifreleme yoluyla büyük dil modellerinin özel çıkarımı elde edilebilir. Bu, yeterince büyük bir veri merkezine yapılan büyük ölçekli ancak uygulanabilir bir ilk yatırımla desteklenebilir. Bununla birlikte, bu olasılık hala zayıftır ve Copilot (12 milyar parametre) veya GPT3 (175 milyar parametre) gibi daha büyük büyük dil modelleri için hala doldurulması gereken boşluklar vardır.
Copilot için, genellikle insan dilinden daha kısa olan kod çıktısı oluşturduğundan daha küçük bir belirteç aktarım hızı yeterlidir. Verim gereksinimini 8 kat azaltırsak, Copilot fizibilite hedefine de ulaşabilir.
Son boşluk, daha büyük paralelleştirme, daha iyi uygulamalar ve tamamen homomorfik şifrelemeye rehberlik eden daha verimli algoritmaların birleştirilmesiyle kapatılabilir. Ingonyama'da, algoritmaların bu boşluğu doldurmanın önemli bir parçası olduğuna inanıyoruz ve ekibimiz şu anda ilgili algoritmaların araştırılması ve geliştirilmesine odaklanıyor.
Özet****
Tamamen homomorfik şifrelemenin güvenliği ve büyük dil modellerinin bilgi işlem gücünün birleşimi, yapay zeka etkileşimlerini yeniden tanımlayarak hem verimlilik hem de gizlilik sağlayabilir. Bazı zorluklar olsa da, devam eden araştırma ve inovasyon yoluyla, ChatGPT gibi yapay zeka modelleriyle etkileşimlerin hem anında hem de özel olduğu bir geleceğe ulaşabiliriz. Bu, kullanıcılara daha verimli ve güvenli bir deneyim sağlayacak ve yapay zeka teknolojisinin çeşitli alanlarda yaygın olarak benimsenmesini sağlayacaktır