AI x DePIN: ¿Qué nuevas oportunidades nacerán de la colisión de las pistas calientes?

Autores: Cynic, Shigeru

Este es el segundo volumen de la serie de informes de investigación Web3 x AI, y la parte introductoria se detalla en “Del paralelo a la convergencia: explorando la nueva ola de economía digital liderada por la convergencia de Web3 e IA”

A medida que el mundo continúa acelerando su transformación digital, la IA y DePIN (Infraestructura Física de Descentralización) se han convertido en tecnologías fundamentales que están impulsando el cambio en todas las industrias. La integración de la IA y DePIN no solo promoverá la rápida iteración y aplicación de la tecnología, sino que también abrirá un modelo de servicio más seguro, transparente y eficiente, lo que traerá cambios de gran alcance a la economía global.

DePIN: La descentralización de lo virtual a lo real, el pilar de la economía digital

DePIN es una abreviatura de Infraestructura Física Descentralizada de Descentralización. En un sentido estricto, DePIN se refiere principalmente a la red distribuida de infraestructura física tradicional respaldada por la tecnología Distributed Ledger, como redes de energía, redes de comunicación, redes de posicionamiento, etc. En términos generales, todas las redes distribuidas compatibles con dispositivos físicos, como las redes de almacenamiento y las redes informáticas, pueden denominarse DePIN.

de: Messari

Si Crypto trae la descentralización a nivel financiero, entonces DePIN es la solución de descentralización en la economía real. Se puede decir que PoW Mining Rig es una especie de DePIN. DePIN ha sido un pilar fundamental de la Web3 desde el primer día.

Los tres elementos de la IA: algoritmo, potencia informática y datos, DePIN ocupa exclusivamente el segundo

En general, se considera que el desarrollo de la IA se basa en tres elementos clave: algoritmo, potencia informática y datos. Los algoritmos se refieren a los modelos matemáticos y la lógica del programa que impulsan los sistemas de IA, la potencia de cálculo se refiere a los recursos informáticos necesarios para ejecutar estos algoritmos, y los datos son la base para entrenar y optimizar los modelos de IA.

Antes de la llegada de chatGPT, la gente solía pensar que era un algoritmo, de lo contrario, las conferencias académicas y los artículos de revistas no se llenarían con un algoritmo afinando tras otro. Sin embargo, cuando se dio a conocer ChatGPT y el gran modelo de lenguaje LLM que sustenta su inteligencia, la gente comenzó a darse cuenta de la importancia de los dos últimos. La potencia informática es un requisito previo para los modelos, la calidad y la diversidad de los datos son fundamentales para construir sistemas de IA robustos y eficientes, y los requisitos de los algoritmos ya no son tan refinados como de costumbre.

En la era de los grandes modelos, la IA ha pasado de una artesanía meticulosa a vigorosos ladrillos voladores, y la demanda de potencia informática y datos aumenta día a día, y DePIN puede proporcionar precisamente eso. Los incentivos de tokens aprovechan el mercado de cola larga, y la potencia informática y el almacenamiento masivos de nivel de consumidor se convertirán en el mejor alimento para los modelos grandes.

La descentralización de la IA no es opcional, sino obligatoria

Por supuesto, algunas personas preguntarán, la potencia informática y los datos están disponibles en la sala de computadoras de AWS, y son mejores que DePIN en términos de estabilidad y experiencia de usuario, ¿por qué elegir DePIN en lugar de servicios centralizados?

Esta afirmación naturalmente tiene sentido, después de todo, a lo largo del presente, casi todos los modelos grandes son desarrollados directa o indirectamente por grandes empresas de Internet, chatGPT está detrás de Microsoft, Gemini está detrás de Google, los fabricantes de Internet de China casi todos tienen un modelo grande. ¿Por qué? Porque solo las grandes empresas de Internet tienen suficientes datos de alta calidad y un fuerte apoyo financiero para la potencia de cómputo. Pero eso no está bien, la gente ya no quiere ser manipulada por los gigantes de Internet.

Por un lado, la IA centralizada tiene riesgos para la privacidad y la seguridad de los datos, que pueden ser censurados y controlados, y por otro lado, la IA creada por los gigantes de Internet aumentará aún más la dependencia de las personas, conducirá a la concentración del mercado y levantará barreras a la innovación.

De:

La humanidad no debería necesitar un Martín Lutero en la era de la IA, y la gente debería tener derecho a hablar directamente con Dios.

DePIN desde una perspectiva empresarial: la reducción de costes y el aumento de la eficiencia son clave

Incluso dejando de lado el debate de valores entre descentralización y centralización, desde una perspectiva empresarial, el uso de DePIN para la IA sigue teniendo sus méritos.

En primer lugar, debemos entender claramente que, aunque los gigantes de Internet tienen una gran cantidad de recursos de tarjetas gráficas de alta gama en sus manos, la combinación de tarjetas gráficas de consumo dispersas en el sector privado también puede formar una red de potencia de cómputo muy considerable, es decir, el efecto de cola larga de la potencia de cómputo. La tasa de inactividad de este tipo de tarjeta gráfica de consumo es realmente muy alta. Siempre que el incentivo otorgado por DePIN supere la factura de electricidad, los usuarios están motivados para contribuir con potencia de cómputo a la red. Al mismo tiempo, todas las instalaciones físicas son gestionadas por los propios usuarios, y la red DePIN no necesita asumir los costes operativos que no pueden ser evitados por los proveedores centralizados, sino que sólo se centra en el diseño del protocolo en sí.

En el caso de los datos, las redes DePIN pueden liberar la disponibilidad de datos potenciales y reducir los costes de transmisión a través de la computación perimetral y otros métodos. Al mismo tiempo, la mayoría de las redes de almacenamiento distribuidas tienen capacidades de deduplicación automática, lo que reduce el trabajo de limpieza de los datos de entrenamiento de la IA.

Finalmente, la criptoeconomía provocada por DePIN mejora el espacio de tolerancia a fallas del sistema, lo que se espera que logre una situación de ganar-ganar para proveedores, consumidores y plataformas.

de: UCLA

En caso de que no esté convencido, la última investigación de UCLA muestra que el uso de la computación de descentralización logra un rendimiento 2,75 veces mayor en comparación con los clústeres de GPU tradicionales al mismo costo, específicamente 1,22 veces más rápido y 4,83 veces más barato.

¿Cuáles son los desafíos de AIxDePIN?

Elegimos ir a la luna en esta década y hacer las otras cosas, no porque sean fáciles, sino porque son difíciles.

La construcción sin confianza de modelos de IA utilizando el almacenamiento distribuido y la computación distribuida de DePIN sigue presentando muchos desafíos.

Verificación de trabajo

Esencialmente, los modelos computacionales de aprendizaje de profundidad y la minería PoW son computación de propósito general, y la capa más baja es el cambio de señal entre puertas. Macroscópicamente, la minería de PoW es un “cálculo inútil” que intenta llegar a un valor hash con el prefijo n ceros a través de innumerables cálculos de generación de números aleatorios y funciones hash, mientras que el cálculo de aprendizaje de profundidad es un “cálculo útil” que calcula los valores de los parámetros de cada capa de aprendizaje de profundidad a través de la derivación directa y la derivación inversa, para construir un modelo de IA eficiente.

El hecho es que los “cálculos inútiles” como PoW Mining utilizan funciones hash, y es fácil calcular la imagen a partir de la preimagen, y es difícil calcular la preimagen a partir de la imagen, por lo que cualquiera puede verificar fácil y rápidamente la validez del cálculo, mientras que para el cálculo del modelo de aprendizaje de profundidad, debido a la estructura jerárquica, la salida de cada capa se utiliza como entrada de la siguiente capa, por lo que verificar la validez del cálculo requiere todo el trabajo previo, y no se puede verificar de manera simple y efectiva.

de: AWS

La verificación del trabajo es fundamental, de lo contrario, el proveedor del cálculo puede simplemente enviar un resultado generado aleatoriamente sin cálculo.

Un tipo de idea es hacer que diferentes servidores realicen la misma tarea de cómputo y verificar la validez del trabajo repitiéndolo y verificando que sea el mismo. Sin embargo, la gran mayoría de los cálculos de modelos no son deterministas, y los mismos resultados no se pueden reproducir incluso en el mismo entorno informático, y solo se pueden lograr similitudes estadísticas. Además, el doble conteo conduce a un rápido aumento de los costos, lo que es inconsistente con el objetivo clave de DePIN de reducir los costos y aumentar la eficiencia.

Otro tipo de idea es el mecanismo optimista, que primero cree con optimismo que el resultado está calculado válidamente, y al mismo tiempo permite que cualquier persona verifique los resultados del cálculo, y si se encuentra un error, se puede presentar una prueba de fraude, y el protocolo corta al estafador y recompensa al denunciante.

Paralelización

Como se mencionó anteriormente, DePIN aprovecha principalmente el mercado de potencia informática de cola larga para el consumidor, que está condenado a la potencia informática limitada que puede proporcionar un solo dispositivo. En el caso de los modelos de IA de gran tamaño, el entrenamiento en un solo dispositivo puede ser muy largo y se debe utilizar la paralelización para reducir el tiempo necesario para el entrenamiento.

La principal dificultad de la paralelización del entrenamiento de Deep Learning radica en la dependencia entre las tareas frontales y posteriores, lo que dificultará la paralelización.

En la actualidad, la paralelización del entrenamiento de Deep Learning se divide principalmente en paralelismo de datos y paralelismo de modelos.

El paralelismo de datos se refiere a la distribución de datos en varias máquinas, cada máquina almacena todos los parámetros de un modelo, utiliza datos locales para el entrenamiento y, por último, agrega los parámetros de cada máquina. El paralelismo de datos funciona bien cuando hay una gran cantidad de datos, pero se requiere una comunicación sincrónica para agregar parámetros.

El paralelismo del modelo significa que cuando el tamaño del modelo es demasiado grande para caber en una sola máquina, el modelo se puede dividir en varias máquinas y cada máquina guarda una parte de los parámetros del modelo. La propagación hacia adelante y hacia atrás requiere la comunicación entre diferentes máquinas. El paralelismo del modelo tiene ventajas cuando el modelo es grande, pero la sobrecarga de comunicación es grande cuando se propaga hacia atrás y hacia adelante.

Para la información de gradiente entre diferentes capas, se puede dividir en actualización síncrona y actualización asíncrona. Las actualizaciones sincrónicas son sencillas, pero aumentan los tiempos de espera; actualización asincrónica Los tiempos de espera del algoritmo son cortos, pero presentan problemas de estabilidad.

de: Universidad de Stanford, Aprendizaje profundo paralelo y distribuido

Privacidad

El mundo está desencadenando una tendencia de pensamiento para proteger la privacidad personal, y los gobiernos de todo el mundo están fortaleciendo la protección de la seguridad de la privacidad de los datos personales. Si bien la IA hace un uso extensivo de los conjuntos de datos disponibles públicamente, son los datos de usuario específicos de la empresa los que realmente separan los diferentes modelos de IA.

¿Cómo puedo obtener los beneficios de los datos patentados durante el proceso de entrenamiento sin exponer la privacidad, y cómo puedo asegurarme de que los parámetros del modelo de IA que construyo no se filtren?

Estos son dos aspectos de la privacidad, la privacidad de los datos y la privacidad del modelo. La privacidad de los datos protege a los usuarios, mientras que la privacidad del modelo protege a la organización que crea el modelo. En el escenario actual, la privacidad de los datos es mucho más importante que la privacidad del modelo.

Múltiples opciones están tratando de abordar los problemas de privacidad. El aprendizaje federado garantiza la privacidad de los datos mediante el entrenamiento en la fuente de los datos, manteniendo los datos locales mientras se transmiten los parámetros del modelo; Zero-Knowledge Proof puede convertirse en una estrella en ascenso.

Estudio de caso: ¿Cuáles son los proyectos de alta calidad en el mercado?

Gensyn

Gensyn es una red de computación distribuida para entrenar modelos de IA. La red utiliza una cadena de bloques de capa 1 basada en Polkadot para verificar que las tareas de aprendizaje en profundidad se hayan ejecutado correctamente y activar los pagos a través de comandos. Fundada en 2020, reveló una ronda de financiación Serie A de 43 millones de dólares en junio de 2023, liderada por a16z.

Gensyn utiliza los metadatos del proceso de optimización basado en gradientes para construir el certificado del trabajo realizado, y se ejecuta de manera consistente mediante un protocolo de precisión basado en gráficos y un evaluador cruzado de múltiples granularidades para permitir que el trabajo de validación se vuelva a ejecutar y comparar la consistencia, y finalmente se confirme por la propia cadena, lo que garantiza la validez del cálculo. Para fortalecer aún más la confiabilidad de la prueba de trabajo, Gensyn introdujo el staking para crear incentivos.

Hay cuatro tipos de participantes en el sistema: remitentes, solucionadores, validadores y denunciantes.

• El remitente es el usuario final del sistema, proporciona las tareas que se calcularán y paga por las unidades de trabajo que se han completado.
• El solucionador es el trabajador principal del sistema, que realiza el entrenamiento del modelo y genera pruebas para la inspección del verificador.
• El validador es la clave para vincular el proceso de entrenamiento no determinista con el cálculo lineal determinista, replicando parte de la prueba del solucionador y comparando la distancia con el umbral esperado.
• Los denunciantes son la última línea de defensa, verificando el trabajo de los validadores y solicitando desafíos, y las recompensas se otorgan cuando se superan los desafíos.

El solucionador debe hacer una promesa, y el denunciante prueba el trabajo del solucionador, si encuentra el mal, lo desafía, y después de que se supera el desafío, el token prometido por el solucionador se confisca y el denunciante obtiene una recompensa.

Según las predicciones de Gensyn, se espera que esta solución reduzca el costo de capacitación a 1/5 del de los proveedores centralizados.

de: Gensyn

FedML

FedML es una plataforma de aprendizaje automático colaborativo de descentralización para la descentralización y la IA colaborativa a cualquier escala y en cualquier lugar. Más específicamente, FedML proporciona un ecosistema de MLOps para entrenar, implementar, monitorear y mejorar continuamente los modelos de aprendizaje automático mientras colabora en datos, modelos y recursos informáticos combinados de una manera que preserva la privacidad. Fundada en 2022, FedML reveló una ronda de financiación inicial de 6 millones de dólares en marzo de 2023.

FedML consta de dos componentes clave, FedML-API y FedML-core, que representan la API de alto nivel y la API subyacente, respectivamente.

FedML-core consta de dos módulos separados: Comunicación distribuida y Entrenamiento de modelos. El módulo de comunicación es responsable de la comunicación subyacente entre diferentes trabajadores/clientes y se basa en MPI; el módulo de entrenamiento del modelo se basa en PyTorch.

FedML-API se basa en FedML-core. Con FedML-core, los nuevos algoritmos distribuidos se pueden implementar fácilmente mediante el empleo de interfaces de programación orientadas al cliente.

El último trabajo del equipo de FedML demuestra que la inferencia del modelo de IA en una GPU RTX 4090 de consumo que utiliza FedML Nexus AI es 20 veces más barata y 1,88 veces más rápida que la A100.

de: FedML

Perspectiva futura: DePIN democratiza la IA

Un día, la IA evolucionará aún más hacia AGI, y el poder de cómputo se convertirá en la moneda universal de facto, y DePIN hará que esto suceda antes.

La convergencia de la IA y DePIN ha abierto un nuevo punto de crecimiento tecnológico y ha brindado enormes oportunidades para el desarrollo de la inteligencia artificial. DePIN proporciona cantidades masivas de potencia informática distribuida y datos para la IA, lo que ayuda a entrenar modelos más grandes y lograr una mayor inteligencia. Al mismo tiempo, DePIN también permite que la IA sea más abierta, segura y confiable, lo que reduce la dependencia de una única infraestructura centralizada.

En el futuro, la IA y DePIN seguirán evolucionando en sinergia. Las redes distribuidas proporcionarán una base sólida para el entrenamiento de modelos muy grandes, que a su vez desempeñarán un papel importante en la aplicación de DePIN. Además de proteger la privacidad y la seguridad, la IA también ayudará a optimizar los protocolos y algoritmos de red DePIN. Esperamos un mundo digital más eficiente, justo y confiable con IA y DePIN.

Referencia:

_reports/seto_usmani.pdf