El auge de la inteligencia artificial es asombroso. Desde algoritmos básicos hasta modelos de aprendizaje de idiomas (LLM) como ChatGPT y Copilot, la IA está a la vanguardia de la evolución tecnológica. Las preocupaciones sobre la privacidad de los datos se vuelven especialmente importantes a medida que estos modelos interactúan con los usuarios y procesan grandes cantidades de datos y avisos. Entre ellas, grandes empresas como Amazon y Apple han restringido el acceso de los empleados a API públicas como ChatGPT para evitar las violaciones de datos que pueden ser causadas por las interacciones de IA. Además, es razonable esperar que pronto se introduzcan regulaciones para exigir un cierto nivel de privacidad del usuario.
¿Cómo nos aseguramos de que los datos con los que interactuamos, hacemos preguntas y compartimos con estos modelos permanezcan privados?
-Cifrado homomórfico completo (FHE)
Breve introducción
En el campo de la criptografía, el cifrado totalmente homomórfico es un concepto seminal. Su encanto radica en su capacidad única: permite el cálculo de datos cifrados directamente sin descifrar primero los datos, lo que permite el razonamiento privado para información confidencial.
Con esta característica, se garantizan dos cosas importantes: los datos permanecen seguros durante el procesamiento y la protección completa de la propiedad intelectual (PI) del modelo.
** Razonamiento de Privacidad y Protección de la Propiedad Intelectual **
Hoy en día, la "privacidad" y la "experiencia del usuario" parecen ser la relación entre el pez y la pata de oso, y las dos no se pueden combinar. Las personas a menudo confían en terceros para procesar su información para una mejor experiencia de usuario. Creemos que estas empresas de terceros pueden encontrar un equilibrio entre la privacidad del usuario y un servicio de calidad sin tener que elegir entre una solución local que mejore más la privacidad y que carezca de funcionalidad o un servicio que sacrifique la privacidad por una funcionalidad enriquecida.
El cifrado totalmente homomórfico permite la inferencia de privacidad con una protección total de la propiedad intelectual del modelo. Al realizar cálculos en datos cifrados, garantiza la total confidencialidad de los avisos al tiempo que protege la propiedad intelectual de los grandes modelos de lenguaje.
Método de cifrado tradicional VS FHE
En los esquemas de cifrado tradicionales, si desea realizar operaciones significativas en los datos de forma cifrada, primero debe descifrarlos. Pero el descifrado expone el texto plano de los datos, lo que significa que los datos se vuelven vulnerables a los ataques, incluso por una fracción de segundo.
Por el contrario, el cifrado totalmente homomórfico puede operar directamente en el texto cifrado, lo que garantiza que la información confidencial sea "invisible" durante toda la operación.
Por qué es importante la FHE
La importancia de la encriptación totalmente homomórfica no se limita a la teoría. Imagine un servicio de computación en la nube en el que el procesamiento de datos se pueda realizar sin descifrar los datos, o en el que se puedan analizar bases de datos médicas sin obtener datos confidenciales del paciente. Las aplicaciones potenciales de la encriptación totalmente homomórfica son amplias y diversas, incluyendo sistemas de votación seguros y búsquedas privadas de bases de datos encriptadas.
Fundamentos matemáticos de FHE
El cifrado totalmente homomórfico se basa en el problema de aprendizaje tolerante a fallos (LWE), una técnica de criptografía de celosía que es resistente a la cuántica. En LWE, el ruido aleatorio se utiliza para hacer que los datos sean ilegibles a menos que haya una clave en posesión. Las operaciones aritméticas con datos cifrados son posibles, pero esto suele aumentar el nivel de ruido. Si se realizan demasiadas operaciones seguidas, los datos no pueden ser leídos por nadie, ni siquiera por los que poseen las claves. Esto se denomina cifrado homomórfico parcial (SHE).
La conversión del cifrado homomórfico parcial en un cifrado totalmente homomórfico requiere una operación que reduzca los niveles de ruido. Esta operación se conoce como bootstrapping y es utilizada por muchos esquemas de cifrado totalmente homomórficos. En este artículo, nos centraremos en el esquema de cifrado totalmente homomórfico sobre toroide (Torus FHE), que utiliza la estructura algebraica de toroides matemáticos para lograr un cifrado totalmente homomórfico.
Ventajas de TFHE
Aunque cada esquema de cifrado totalmente homomórfico tiene sus propias ventajas y desventajas, TFHE actualmente tiene una implementación más eficiente en escenarios prácticos. Otra ventaja importante de TFHE es su Programmable Bootstrapping (PBS), que amplía las operaciones habituales de bootstrap para incluir el cálculo de funciones univariantes, como las funciones de activación, que son críticas en el campo del aprendizaje automático.
Una desventaja de TFHE es que cada operación aritmética en el cálculo requiere una operación PBS, mientras que otros esquemas permiten que algunas operaciones se realicen en lotes entre operaciones de arranque.
Supuestos y aproximaciones****
Para estimar el tiempo requerido para la inferencia del modelo de lenguaje grande (LLM) utilizando el cifrado totalmente homomórfico, hacemos algunas suposiciones para evaluar:
El número de operaciones aritméticas necesarias por token es aproximadamente 1-2 veces el número de parámetros del modelo. Este es un límite inferior, ya que cada token utiliza todo el modelo, y asumiremos que este límite inferior está lo suficientemente cerca de la demanda real.
Cada operación aritmética en un modelo de lenguaje grande se puede asignar a una operación aritmética en TFHE. Esto es básicamente una indicación del tamaño del tipo de variable en ambos escenarios. Asumimos que las variables INT4 son suficientes para modelos de lenguaje grandes y factibles para TFHE.
Cada operación aritmética en un modelo de lenguaje grande debe asignarse a una operación aritmética en un cifrado totalmente homomórfico. Esto significa que no podemos ejecutar parte del modelo sin cifrado. Una publicación de blog reciente de Zama considera la inferencia FHE que no utiliza esta suposición, donde la mayor parte del modelo es ejecutado localmente por el usuario sin ningún tipo de cifrado, y solo una pequeña parte (como un solo cabezal de atención) se ejecuta con cifrado totalmente homomórfico en el servidor corporativo del modelo. En nuestra opinión, este enfoque no protege realmente la propiedad intelectual del modelo, porque en este caso, el usuario sólo puede ejecutar el cabezal que falta con sólo una ligera pérdida de precisión, como se muestra aquí, o entrenar la parte que falta de forma relativamente barata para obtener resultados comparables al modelo original.
Cada operación aritmética en TFHE requiere un PBS (bootstrapping programable). PBS es el principal cuello de botella en la computación TFHE.
La implementación más avanzada de TFHE es FPT. Se trata de una implementación de FPGA que calcula PBS cada 35 microsegundos.
Desafíos de LLM y FHE****
Con los avances en la última tecnología, las mejores implementaciones de cifrado totalmente homomórfico disponibles en la actualidad pueden realizar una operación aritmética en solo 35 microsegundos. Sin embargo, al considerar un modelo tan complejo como GPT2, se requieren la asombrosa cantidad de 1.5 mil millones de operaciones para un solo token. Esto significa que el tiempo de procesamiento de cada token es de unos 52.000 segundos.
Para una mejor comprensión, en el caso de los modelos de lenguaje, un token puede representar algo como un carácter o una palabra completa. ¡Imagínese interactuar con un modelo de lenguaje en el que el tiempo de respuesta es de una o dos semanas! Esto es inaceptable, y tal retraso obviamente no es factible para ninguna aplicación práctica de la comunicación o los modelos en tiempo real.
Esto demuestra que, bajo la actual tecnología de cifrado totalmente homomórfica, la inferencia en tiempo real sigue siendo un gran desafío para los modelos de lenguaje a gran escala. A pesar de la importancia del cifrado totalmente homomórfico en la protección de datos, sus limitaciones de rendimiento pueden dificultar su aplicación en escenarios del mundo real en tareas de gran uso de recursos informáticos. La necesidad de interacción en tiempo real y respuesta rápida puede requerir la exploración de otras soluciones informáticas seguras y que preserven la privacidad.
Posibles soluciones****
Con el fin de aplicar el cifrado totalmente homomórfico a modelos de lenguaje de gran tamaño, la siguiente es una posible hoja de ruta:
Procesamiento paralelo con varias máquinas:
A partir de 52.000 segundos/ficha.
Al implementar 10.000 máquinas paralelas, redujimos el tiempo a 5 segundos/token. Tenga en cuenta que, de hecho, los modelos de lenguaje grandes se pueden paralelizar en gran medida y la inferencia actual se realiza normalmente en paralelo en miles o más núcleos de GPU.
2 Transición a hardware avanzado:
De la mejora: a partir de 5 segundos/ficha
Cambiar a GPU o ASIC, podemos lograr un tiempo de procesamiento de 0.1 segundos por token. Mientras que las GPU pueden ofrecer ganancias más inmediatas en velocidad, los ASIC pueden ofrecer mayores ganancias tanto en velocidad como en consumo de energía, como ZPU mencionado anteriormente en el blog.
Como se muestra en la figura, con la tecnología de aceleración de datos existente, se puede lograr la inferencia privada de grandes modelos de lenguaje a través de un cifrado totalmente homomórfico. Esto puede ser respaldado por una inversión inicial a gran escala pero viable en un centro de datos lo suficientemente grande. Sin embargo, esta posibilidad sigue siendo escasa, y para los modelos de lenguaje grande más grandes, como Copilot (12.000 millones de parámetros) o GPT3 (175.000 millones de parámetros), todavía hay lagunas que hay que llenar.
En el caso de Copilot, un rendimiento de token más pequeño es suficiente porque genera una salida de código, que suele ser más concisa que el lenguaje humano. Si reducimos el requisito de rendimiento en un factor de 8, Copilot también puede lograr el objetivo de viabilidad.
La última brecha se puede cerrar mediante la combinación de una paralelización más grande, mejores implementaciones y algoritmos más eficientes que guíen el cifrado totalmente homomórfico. En Ingonyama, creemos que los algoritmos son una parte importante para cerrar esta brecha, y nuestro equipo se está centrando actualmente en la investigación y el desarrollo de algoritmos relacionados.
Resumen****
La combinación de la seguridad del cifrado totalmente homomórfico y la potencia informática de los grandes modelos lingüísticos puede redefinir las interacciones de la IA, garantizando tanto la eficiencia como la privacidad. Si bien existen algunos desafíos, a través de la investigación y la innovación continuas, podemos lograr un futuro en el que las interacciones con modelos de IA como ChatGPT sean tanto inmediatas como privadas. Esto proporcionará a los usuarios una experiencia más eficiente y segura e impulsará la adopción generalizada de la tecnología de IA en diversos campos
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Utilice el uso de la homomórfica completa (FHE) para resolver los problemas de privacidad de LLM
Fuente: Antalpha Labs
Guiar
El auge de la inteligencia artificial es asombroso. Desde algoritmos básicos hasta modelos de aprendizaje de idiomas (LLM) como ChatGPT y Copilot, la IA está a la vanguardia de la evolución tecnológica. Las preocupaciones sobre la privacidad de los datos se vuelven especialmente importantes a medida que estos modelos interactúan con los usuarios y procesan grandes cantidades de datos y avisos. Entre ellas, grandes empresas como Amazon y Apple han restringido el acceso de los empleados a API públicas como ChatGPT para evitar las violaciones de datos que pueden ser causadas por las interacciones de IA. Además, es razonable esperar que pronto se introduzcan regulaciones para exigir un cierto nivel de privacidad del usuario.
¿Cómo nos aseguramos de que los datos con los que interactuamos, hacemos preguntas y compartimos con estos modelos permanezcan privados?
-Cifrado homomórfico completo (FHE)
Breve introducción
En el campo de la criptografía, el cifrado totalmente homomórfico es un concepto seminal. Su encanto radica en su capacidad única: permite el cálculo de datos cifrados directamente sin descifrar primero los datos, lo que permite el razonamiento privado para información confidencial.
Con esta característica, se garantizan dos cosas importantes: los datos permanecen seguros durante el procesamiento y la protección completa de la propiedad intelectual (PI) del modelo.
** Razonamiento de Privacidad y Protección de la Propiedad Intelectual **
Hoy en día, la "privacidad" y la "experiencia del usuario" parecen ser la relación entre el pez y la pata de oso, y las dos no se pueden combinar. Las personas a menudo confían en terceros para procesar su información para una mejor experiencia de usuario. Creemos que estas empresas de terceros pueden encontrar un equilibrio entre la privacidad del usuario y un servicio de calidad sin tener que elegir entre una solución local que mejore más la privacidad y que carezca de funcionalidad o un servicio que sacrifique la privacidad por una funcionalidad enriquecida.
El cifrado totalmente homomórfico permite la inferencia de privacidad con una protección total de la propiedad intelectual del modelo. Al realizar cálculos en datos cifrados, garantiza la total confidencialidad de los avisos al tiempo que protege la propiedad intelectual de los grandes modelos de lenguaje.
Método de cifrado tradicional VS FHE
En los esquemas de cifrado tradicionales, si desea realizar operaciones significativas en los datos de forma cifrada, primero debe descifrarlos. Pero el descifrado expone el texto plano de los datos, lo que significa que los datos se vuelven vulnerables a los ataques, incluso por una fracción de segundo.
Por el contrario, el cifrado totalmente homomórfico puede operar directamente en el texto cifrado, lo que garantiza que la información confidencial sea "invisible" durante toda la operación.
Por qué es importante la FHE
La importancia de la encriptación totalmente homomórfica no se limita a la teoría. Imagine un servicio de computación en la nube en el que el procesamiento de datos se pueda realizar sin descifrar los datos, o en el que se puedan analizar bases de datos médicas sin obtener datos confidenciales del paciente. Las aplicaciones potenciales de la encriptación totalmente homomórfica son amplias y diversas, incluyendo sistemas de votación seguros y búsquedas privadas de bases de datos encriptadas.
Fundamentos matemáticos de FHE
El cifrado totalmente homomórfico se basa en el problema de aprendizaje tolerante a fallos (LWE), una técnica de criptografía de celosía que es resistente a la cuántica. En LWE, el ruido aleatorio se utiliza para hacer que los datos sean ilegibles a menos que haya una clave en posesión. Las operaciones aritméticas con datos cifrados son posibles, pero esto suele aumentar el nivel de ruido. Si se realizan demasiadas operaciones seguidas, los datos no pueden ser leídos por nadie, ni siquiera por los que poseen las claves. Esto se denomina cifrado homomórfico parcial (SHE).
La conversión del cifrado homomórfico parcial en un cifrado totalmente homomórfico requiere una operación que reduzca los niveles de ruido. Esta operación se conoce como bootstrapping y es utilizada por muchos esquemas de cifrado totalmente homomórficos. En este artículo, nos centraremos en el esquema de cifrado totalmente homomórfico sobre toroide (Torus FHE), que utiliza la estructura algebraica de toroides matemáticos para lograr un cifrado totalmente homomórfico.
Ventajas de TFHE
Aunque cada esquema de cifrado totalmente homomórfico tiene sus propias ventajas y desventajas, TFHE actualmente tiene una implementación más eficiente en escenarios prácticos. Otra ventaja importante de TFHE es su Programmable Bootstrapping (PBS), que amplía las operaciones habituales de bootstrap para incluir el cálculo de funciones univariantes, como las funciones de activación, que son críticas en el campo del aprendizaje automático.
Una desventaja de TFHE es que cada operación aritmética en el cálculo requiere una operación PBS, mientras que otros esquemas permiten que algunas operaciones se realicen en lotes entre operaciones de arranque.
Supuestos y aproximaciones****
Para estimar el tiempo requerido para la inferencia del modelo de lenguaje grande (LLM) utilizando el cifrado totalmente homomórfico, hacemos algunas suposiciones para evaluar:
Desafíos de LLM y FHE****
Con los avances en la última tecnología, las mejores implementaciones de cifrado totalmente homomórfico disponibles en la actualidad pueden realizar una operación aritmética en solo 35 microsegundos. Sin embargo, al considerar un modelo tan complejo como GPT2, se requieren la asombrosa cantidad de 1.5 mil millones de operaciones para un solo token. Esto significa que el tiempo de procesamiento de cada token es de unos 52.000 segundos.
Para una mejor comprensión, en el caso de los modelos de lenguaje, un token puede representar algo como un carácter o una palabra completa. ¡Imagínese interactuar con un modelo de lenguaje en el que el tiempo de respuesta es de una o dos semanas! Esto es inaceptable, y tal retraso obviamente no es factible para ninguna aplicación práctica de la comunicación o los modelos en tiempo real.
Esto demuestra que, bajo la actual tecnología de cifrado totalmente homomórfica, la inferencia en tiempo real sigue siendo un gran desafío para los modelos de lenguaje a gran escala. A pesar de la importancia del cifrado totalmente homomórfico en la protección de datos, sus limitaciones de rendimiento pueden dificultar su aplicación en escenarios del mundo real en tareas de gran uso de recursos informáticos. La necesidad de interacción en tiempo real y respuesta rápida puede requerir la exploración de otras soluciones informáticas seguras y que preserven la privacidad.
Posibles soluciones****
Con el fin de aplicar el cifrado totalmente homomórfico a modelos de lenguaje de gran tamaño, la siguiente es una posible hoja de ruta:
2 Transición a hardware avanzado:
Como se muestra en la figura, con la tecnología de aceleración de datos existente, se puede lograr la inferencia privada de grandes modelos de lenguaje a través de un cifrado totalmente homomórfico. Esto puede ser respaldado por una inversión inicial a gran escala pero viable en un centro de datos lo suficientemente grande. Sin embargo, esta posibilidad sigue siendo escasa, y para los modelos de lenguaje grande más grandes, como Copilot (12.000 millones de parámetros) o GPT3 (175.000 millones de parámetros), todavía hay lagunas que hay que llenar.
En el caso de Copilot, un rendimiento de token más pequeño es suficiente porque genera una salida de código, que suele ser más concisa que el lenguaje humano. Si reducimos el requisito de rendimiento en un factor de 8, Copilot también puede lograr el objetivo de viabilidad.
La última brecha se puede cerrar mediante la combinación de una paralelización más grande, mejores implementaciones y algoritmos más eficientes que guíen el cifrado totalmente homomórfico. En Ingonyama, creemos que los algoritmos son una parte importante para cerrar esta brecha, y nuestro equipo se está centrando actualmente en la investigación y el desarrollo de algoritmos relacionados.
Resumen****
La combinación de la seguridad del cifrado totalmente homomórfico y la potencia informática de los grandes modelos lingüísticos puede redefinir las interacciones de la IA, garantizando tanto la eficiencia como la privacidad. Si bien existen algunos desafíos, a través de la investigación y la innovación continuas, podemos lograr un futuro en el que las interacciones con modelos de IA como ChatGPT sean tanto inmediatas como privadas. Esto proporcionará a los usuarios una experiencia más eficiente y segura e impulsará la adopción generalizada de la tecnología de IA en diversos campos