A ascensão da inteligência artificial é incrível. De algoritmos básicos a modelos de aprendizagem de línguas (LLMs), como o ChatGPT e o Copilot, a IA está na vanguarda da evolução tecnológica. As preocupações com a privacidade de dados tornam-se especialmente importantes à medida que esses modelos interagem com os usuários e processam grandes quantidades de dados e prompts. Entre elas, grandes empresas como Amazon e Apple restringiram o acesso dos funcionários a APIs públicas, como o ChatGPT, para evitar violações de dados que podem ser causadas por interações de IA. Além disso, é razoável esperar que em breve sejam introduzidos regulamentos que exijam um certo nível de privacidade do utilizador.
Como garantimos que os dados com os quais interagimos, fazemos perguntas e compartilhamos com esses modelos permaneçam privados?
-Encriptação homomórfica completa (FHE)
Breve introdução
No campo da criptografia, a criptografia totalmente homomórfica é um conceito seminal. O seu encanto reside na sua capacidade única: permite a computação de dados encriptados diretamente, sem primeiro desencriptar os dados, permitindo um raciocínio privado para informações sensíveis.
Com esse recurso, duas coisas importantes são garantidas: os dados permanecem seguros durante o processamento e a proteção completa da propriedade intelectual (IP) do modelo.
** Raciocínio de Privacidade e Proteção de Propriedade Intelectual **
Hoje em dia, "privacidade" e "experiência do usuário" parecem ser a relação entre o peixe e a pata do urso, e os dois não podem ser combinados. As pessoas geralmente confiam em terceiros para processar suas informações para uma melhor experiência do usuário. Acreditamos que essas empresas terceirizadas podem encontrar um equilíbrio entre a privacidade do usuário e o serviço de qualidade do usuário sem ter que escolher entre uma solução local mais aprimorada de privacidade que carece de funcionalidade ou um serviço que sacrifica a privacidade por uma funcionalidade rica.
A criptografia totalmente homomórfica permite a inferência de privacidade com proteção total da propriedade intelectual do modelo. Ao realizar cálculos em dados criptografados, ele garante total confidencialidade dos prompts enquanto protege a propriedade intelectual de grandes modelos de linguagem.
Método de encriptação tradicional VS FHE
Em esquemas de criptografia tradicionais, se você quiser executar operações significativas nos dados em forma criptografada, primeiro precisa descriptografá-los. Mas a desencriptação expõe o texto simples dos dados, o que significa que os dados se tornam vulneráveis a ataques, mesmo por uma fração de segundo.
Em contraste, a criptografia totalmente homomórfica pode operar diretamente no texto cifrado, garantindo que as informações confidenciais sejam "invisíveis" durante toda a operação.
Porque é que a FHE é importante
A importância da encriptação totalmente homomórfica não se limita à teoria. Imagine um serviço de computação em nuvem onde o processamento de dados pode ser realizado sem descriptografar dados, ou bancos de dados médicos podem ser analisados sem obter detalhes confidenciais do paciente. As aplicações potenciais da encriptação totalmente homomórfica são amplas e diversas, incluindo sistemas de votação seguros e pesquisas privadas de bases de dados encriptadas.
Fundamentos Matemáticos da FHE
A criptografia totalmente homomórfica é baseada no problema de aprendizagem tolerante a falhas (LWE), uma técnica de criptografia reticulada que é resistente ao quântico. No LWE, o ruído aleatório é usado para tornar os dados ilegíveis, a menos que uma chave esteja em posse. Operações aritméticas em dados criptografados são possíveis, mas isso geralmente aumenta o nível de ruído. Se muitas operações forem realizadas sucessivamente, os dados não podem ser lidos por ninguém, incluindo aqueles que possuem as chaves. Isso é chamado de criptografia homomórfica parcial (SHE).
A conversão de criptografia homomórfica parcial em criptografia totalmente homomórfica requer uma operação que reduza os níveis de ruído. Esta operação é conhecida como bootstrapping e é usada por muitos esquemas de encriptação totalmente homomórficos. Neste artigo, vamos nos concentrar no esquema de criptografia totalmente homomórfico sobre toro (Torus FHE), que usa a estrutura algébrica de toroides matemáticos para alcançar criptografia totalmente homomórfica.
Vantagens da TFHE
Embora cada esquema de criptografia totalmente homomórfico tenha suas próprias vantagens e desvantagens, o TFHE atualmente tem uma implementação mais eficiente em cenários práticos. Outra vantagem importante do TFHE é o seu Programmable Bootstrapping (PBS), que estende as operações habituais de bootstrap para incluir a computação de funções univariadas, como funções de ativação, que são críticas no campo do aprendizado de máquina.
Uma desvantagem do TFHE é que cada operação aritmética no cálculo requer uma operação PBS, enquanto outros esquemas permitem que algumas operações sejam executadas em lotes entre operações de bootstrap.
Pressupostos e aproximações****
Para estimar o tempo necessário para a inferência do Large Language Model (LLM) usando criptografia totalmente homomórfica, fazemos algumas suposições para avaliar:
O número de operações aritméticas necessárias por token é de aproximadamente 1 a 2 vezes o número de parâmetros no modelo. Este é um limite inferior, uma vez que cada token usa o modelo inteiro, e vamos assumir que esse limite inferior está perto o suficiente da demanda real.
Cada operação aritmética em um modelo de linguagem grande pode ser mapeada para uma operação aritmética em TFHE. Isso é basicamente uma indicação do tamanho do tipo de variável em ambos os cenários. Assumimos que as variáveis INT4 são suficientes para modelos de linguagem grandes e viáveis para a TFHE.
Cada operação aritmética em um modelo de linguagem grande precisa ser mapeada para uma operação aritmética em uma criptografia totalmente homomórfica. Isso significa que não podemos executar parte do modelo sem criptografia. Uma postagem recente no blog da Zama considera a inferência FHE que não usa essa suposição, onde a maioria do modelo é executada localmente pelo usuário sem qualquer criptografia, e apenas uma pequena parte (como uma única cabeça de atenção) é executada com criptografia totalmente homomórfica no servidor corporativo do modelo. Em nossa opinião, esta abordagem não protege realmente a propriedade intelectual do modelo, porque, neste caso, o usuário pode executar apenas a cabeça ausente com apenas uma ligeira perda de precisão, como mostrado aqui, ou treinar a peça faltante de forma relativamente barata para obter resultados comparáveis ao modelo original.
Cada operação aritmética em TFHE requer um PBS (bootstrapping programável). PBS é o principal gargalo na computação TFHE.
A implementação mais avançada do TFHE é a FPT. Esta é uma implementação FPGA que calcula PBS a cada 35 microssegundos.
Desafios LLM e FHE****
Com os avanços na tecnologia mais recente, as melhores implementações de criptografia totalmente homomórficas disponíveis atualmente podem executar uma operação aritmética em apenas 35 microssegundos. No entanto, ao considerar um modelo tão complexo quanto o GPT2, são necessárias 1,5 bilhão de operações para um único token. Isso significa que o tempo de processamento para cada token é de cerca de 52.000 segundos.
Para uma melhor compreensão, para modelos de linguagem, um token pode representar algo como um caractere ou uma palavra completa. Imagine interagir com um modelo de linguagem em que o tempo de resposta leva uma ou duas semanas! Isto é inaceitável, e tal atraso é obviamente inviável para qualquer aplicação prática de modelos ou comunicação em tempo real.
Isso mostra que, sob a atual tecnologia de criptografia totalmente homomórfica, a inferência em tempo real ainda é um grande desafio para modelos de linguagem em larga escala. Apesar da importância da criptografia totalmente homomórfica na proteção de dados, suas limitações de desempenho podem dificultar a aplicação em cenários do mundo real em tarefas altamente intensivas em computação. A necessidade de interação em tempo real e de resposta rápida pode exigir a exploração de outras soluções de computação segura e de preservação da privacidade.
Soluções potenciais****
A fim de aplicar criptografia totalmente homomórfica a grandes modelos de linguagem, o seguinte é um roteiro possível:
Processamento paralelo utilizando várias máquinas:
A partir de 52.000 segundos/token.
Ao implantar 10.000 máquinas paralelas, reduzimos o tempo para 5 segundos/token. Observe que modelos de linguagem grandes podem realmente ser altamente paralelizados, e a inferência atual normalmente é executada em paralelo em milhares ou mais núcleos de GPU.
2 Transição para hardware avançado:
A partir do melhorado - a partir de 5 segundos/token
Mude para GPU ou ASIC, podemos alcançar um tempo de processamento de 0,1 segundos por token. Enquanto as GPUs podem oferecer ganhos mais imediatos em velocidade, as ASICs podem oferecer ganhos mais altos em velocidade e consumo de energia, como a ZPU mencionada anteriormente no blog.
Como mostrado na figura, usando a tecnologia de aceleração de dados existente, a inferência privada de grandes modelos de linguagem pode ser alcançada por meio de criptografia totalmente homomórfica. Isso pode ser suportado por um investimento inicial em grande escala, mas viável, em um data center grande o suficiente. No entanto, essa possibilidade ainda é pequena e, para modelos de linguagem grande maiores, como Copilot (12 bilhões de parâmetros) ou GPT3 (175 bilhões de parâmetros), ainda há lacunas a serem preenchidas.
Para o Copilot, uma taxa de transferência de token menor é suficiente porque gera saída de código, que geralmente é mais concisa do que a linguagem humana. Se reduzirmos o requisito de taxa de transferência por um fator de 8, o Copilot também pode atingir o objetivo de viabilidade.
A última lacuna pode ser preenchida combinando maior paralelização, melhores implementações e algoritmos mais eficientes que guiam a criptografia totalmente homomórfica. Na Ingonyama, acreditamos que os algoritmos são uma parte importante para preencher essa lacuna, e nossa equipe está atualmente se concentrando na pesquisa e desenvolvimento de algoritmos relacionados.
Sumário****
A combinação da segurança da criptografia totalmente homomórfica e o poder de computação de grandes modelos de linguagem pode redefinir as interações de IA, garantindo eficiência e privacidade. Embora existam alguns desafios, através de pesquisa e inovação contínuas, podemos alcançar um futuro em que as interações com modelos de IA, como o ChatGPT, sejam imediatas e privadas. Isso proporcionará aos usuários uma experiência mais eficiente e segura e impulsionará a adoção generalizada da tecnologia de IA em vários campos
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
Use totalmente homomórfico (FHE) para resolver as preocupações de privacidade do LLM
Fonte: Antalpha Labs
Guia
A ascensão da inteligência artificial é incrível. De algoritmos básicos a modelos de aprendizagem de línguas (LLMs), como o ChatGPT e o Copilot, a IA está na vanguarda da evolução tecnológica. As preocupações com a privacidade de dados tornam-se especialmente importantes à medida que esses modelos interagem com os usuários e processam grandes quantidades de dados e prompts. Entre elas, grandes empresas como Amazon e Apple restringiram o acesso dos funcionários a APIs públicas, como o ChatGPT, para evitar violações de dados que podem ser causadas por interações de IA. Além disso, é razoável esperar que em breve sejam introduzidos regulamentos que exijam um certo nível de privacidade do utilizador.
Como garantimos que os dados com os quais interagimos, fazemos perguntas e compartilhamos com esses modelos permaneçam privados?
-Encriptação homomórfica completa (FHE)
Breve introdução
No campo da criptografia, a criptografia totalmente homomórfica é um conceito seminal. O seu encanto reside na sua capacidade única: permite a computação de dados encriptados diretamente, sem primeiro desencriptar os dados, permitindo um raciocínio privado para informações sensíveis.
Com esse recurso, duas coisas importantes são garantidas: os dados permanecem seguros durante o processamento e a proteção completa da propriedade intelectual (IP) do modelo.
** Raciocínio de Privacidade e Proteção de Propriedade Intelectual **
Hoje em dia, "privacidade" e "experiência do usuário" parecem ser a relação entre o peixe e a pata do urso, e os dois não podem ser combinados. As pessoas geralmente confiam em terceiros para processar suas informações para uma melhor experiência do usuário. Acreditamos que essas empresas terceirizadas podem encontrar um equilíbrio entre a privacidade do usuário e o serviço de qualidade do usuário sem ter que escolher entre uma solução local mais aprimorada de privacidade que carece de funcionalidade ou um serviço que sacrifica a privacidade por uma funcionalidade rica.
A criptografia totalmente homomórfica permite a inferência de privacidade com proteção total da propriedade intelectual do modelo. Ao realizar cálculos em dados criptografados, ele garante total confidencialidade dos prompts enquanto protege a propriedade intelectual de grandes modelos de linguagem.
Método de encriptação tradicional VS FHE
Em esquemas de criptografia tradicionais, se você quiser executar operações significativas nos dados em forma criptografada, primeiro precisa descriptografá-los. Mas a desencriptação expõe o texto simples dos dados, o que significa que os dados se tornam vulneráveis a ataques, mesmo por uma fração de segundo.
Em contraste, a criptografia totalmente homomórfica pode operar diretamente no texto cifrado, garantindo que as informações confidenciais sejam "invisíveis" durante toda a operação.
Porque é que a FHE é importante
A importância da encriptação totalmente homomórfica não se limita à teoria. Imagine um serviço de computação em nuvem onde o processamento de dados pode ser realizado sem descriptografar dados, ou bancos de dados médicos podem ser analisados sem obter detalhes confidenciais do paciente. As aplicações potenciais da encriptação totalmente homomórfica são amplas e diversas, incluindo sistemas de votação seguros e pesquisas privadas de bases de dados encriptadas.
Fundamentos Matemáticos da FHE
A criptografia totalmente homomórfica é baseada no problema de aprendizagem tolerante a falhas (LWE), uma técnica de criptografia reticulada que é resistente ao quântico. No LWE, o ruído aleatório é usado para tornar os dados ilegíveis, a menos que uma chave esteja em posse. Operações aritméticas em dados criptografados são possíveis, mas isso geralmente aumenta o nível de ruído. Se muitas operações forem realizadas sucessivamente, os dados não podem ser lidos por ninguém, incluindo aqueles que possuem as chaves. Isso é chamado de criptografia homomórfica parcial (SHE).
A conversão de criptografia homomórfica parcial em criptografia totalmente homomórfica requer uma operação que reduza os níveis de ruído. Esta operação é conhecida como bootstrapping e é usada por muitos esquemas de encriptação totalmente homomórficos. Neste artigo, vamos nos concentrar no esquema de criptografia totalmente homomórfico sobre toro (Torus FHE), que usa a estrutura algébrica de toroides matemáticos para alcançar criptografia totalmente homomórfica.
Vantagens da TFHE
Embora cada esquema de criptografia totalmente homomórfico tenha suas próprias vantagens e desvantagens, o TFHE atualmente tem uma implementação mais eficiente em cenários práticos. Outra vantagem importante do TFHE é o seu Programmable Bootstrapping (PBS), que estende as operações habituais de bootstrap para incluir a computação de funções univariadas, como funções de ativação, que são críticas no campo do aprendizado de máquina.
Uma desvantagem do TFHE é que cada operação aritmética no cálculo requer uma operação PBS, enquanto outros esquemas permitem que algumas operações sejam executadas em lotes entre operações de bootstrap.
Pressupostos e aproximações****
Para estimar o tempo necessário para a inferência do Large Language Model (LLM) usando criptografia totalmente homomórfica, fazemos algumas suposições para avaliar:
Desafios LLM e FHE****
Com os avanços na tecnologia mais recente, as melhores implementações de criptografia totalmente homomórficas disponíveis atualmente podem executar uma operação aritmética em apenas 35 microssegundos. No entanto, ao considerar um modelo tão complexo quanto o GPT2, são necessárias 1,5 bilhão de operações para um único token. Isso significa que o tempo de processamento para cada token é de cerca de 52.000 segundos.
Para uma melhor compreensão, para modelos de linguagem, um token pode representar algo como um caractere ou uma palavra completa. Imagine interagir com um modelo de linguagem em que o tempo de resposta leva uma ou duas semanas! Isto é inaceitável, e tal atraso é obviamente inviável para qualquer aplicação prática de modelos ou comunicação em tempo real.
Isso mostra que, sob a atual tecnologia de criptografia totalmente homomórfica, a inferência em tempo real ainda é um grande desafio para modelos de linguagem em larga escala. Apesar da importância da criptografia totalmente homomórfica na proteção de dados, suas limitações de desempenho podem dificultar a aplicação em cenários do mundo real em tarefas altamente intensivas em computação. A necessidade de interação em tempo real e de resposta rápida pode exigir a exploração de outras soluções de computação segura e de preservação da privacidade.
Soluções potenciais****
A fim de aplicar criptografia totalmente homomórfica a grandes modelos de linguagem, o seguinte é um roteiro possível:
2 Transição para hardware avançado:
Como mostrado na figura, usando a tecnologia de aceleração de dados existente, a inferência privada de grandes modelos de linguagem pode ser alcançada por meio de criptografia totalmente homomórfica. Isso pode ser suportado por um investimento inicial em grande escala, mas viável, em um data center grande o suficiente. No entanto, essa possibilidade ainda é pequena e, para modelos de linguagem grande maiores, como Copilot (12 bilhões de parâmetros) ou GPT3 (175 bilhões de parâmetros), ainda há lacunas a serem preenchidas.
Para o Copilot, uma taxa de transferência de token menor é suficiente porque gera saída de código, que geralmente é mais concisa do que a linguagem humana. Se reduzirmos o requisito de taxa de transferência por um fator de 8, o Copilot também pode atingir o objetivo de viabilidade.
A última lacuna pode ser preenchida combinando maior paralelização, melhores implementações e algoritmos mais eficientes que guiam a criptografia totalmente homomórfica. Na Ingonyama, acreditamos que os algoritmos são uma parte importante para preencher essa lacuna, e nossa equipe está atualmente se concentrando na pesquisa e desenvolvimento de algoritmos relacionados.
Sumário****
A combinação da segurança da criptografia totalmente homomórfica e o poder de computação de grandes modelos de linguagem pode redefinir as interações de IA, garantindo eficiência e privacidade. Embora existam alguns desafios, através de pesquisa e inovação contínuas, podemos alcançar um futuro em que as interações com modelos de IA, como o ChatGPT, sejam imediatas e privadas. Isso proporcionará aos usuários uma experiência mais eficiente e segura e impulsionará a adoção generalizada da tecnologia de IA em vários campos