Tesis de nuestra IA criptográfica (Parte II): la computación descentralizada es el rey

原文作者：Teng Yan, investigador encriptación

原文编译：深潮 TechFlow

¡Buenos días! Finalmente ha llegado.

El contenido de todo nuestro documento es bastante rico. Para facilitar la comprensión de todos (y evitar exceder el límite de tamaño del proveedor de servicios de correo electrónico), he decidido dividirlo en varias partes y compartirlo gradualmente en el próximo mes. ¡Empecemos ahora!

Una gran pérdida que nunca he logrado olvidar.

Este asunto me atormenta hasta el día de hoy, porque fue una oportunidad evidente para cualquier persona en el mercado, pero la dejé pasar y no invertí ni un centavo.

No, esto no es el asesino de Solana, ni una memecoin de perro con sombrero gracioso.

Es...NVIDIA.

el rendimiento del precio de las acciones de NVDA en lo que va de año. Fuente: Google

En solo un año, la capitalización de mercado de NVIDIA ha aumentado de 1 billón a 3 billones de dólares, triplicando su precio de las acciones e incluso superando el rendimiento de BTC en el mismo período.

Por supuesto, parte de esto es impulsado por la fiebre de la inteligencia artificial. Pero lo más importante es que este crecimiento tiene una base sólida en la realidad. NVIDIA alcanzó una facturación de 600 mil millones de dólares en el año fiscal 2024, un aumento del 126% respecto al año anterior. Detrás de este asombroso crecimiento, hay una competencia mundial entre las grandes empresas de tecnología para comprar GPU y tomar la delantera en la carrera de armamentos de la inteligencia artificial general (AGI).

¿Por qué me estoy perdiendo?

Durante los últimos dos años, mi enfoque ha estado completamente en el campo de Activos Cripto, sin seguir las novedades en el campo de la IA. Ha sido un gran error, y hasta el día de hoy me arrepiento de ello.

Pero esta vez, no volveré a cometer el mismo error.

El Crypto AI de hoy me da una sensación de déjà vu.

Estamos al borde de una explosión de innovación. Tiene sorprendentes similitudes con la fiebre del oro de California a mediados del siglo XIX, donde la industria y las ciudades surgieron de la noche a la mañana, la infraestructura se desarrolló rápidamente y aquellos que se atrevieron a correr riesgos se hicieron muy ricos.

Al igual que NVIDIA en sus primeros días, Crypto AI parecerá tan obvio en retrospectiva en el futuro.

Crypto AI: Oportunidades de inversión ilimitadas

Mucha gente todavía lo ve como un "castillo en el aire".

· Crypto AI está actualmente en una etapa temprana y puede pasar de 1 a 2 años antes de alcanzar su punto máximo de especulación.

· Este campo tiene un potencial de subir de al menos 230 mil millones de dólares.

El núcleo de Crypto AI es combinar la inteligencia artificial con la infraestructura de encriptación. Esto lo hace más probable que se desarrolle a lo largo de la trayectoria de crecimiento exponencial de la IA en lugar de seguir el mercado de criptomonedas más amplio. Por lo tanto, para mantenerse a la vanguardia, necesitas seguir las últimas investigaciones en IA en Arxiv y comunicarte con los fundadores que creen que están construyendo el próximo gran evento.

Las cuatro áreas principales de Crypto AI

En la segunda parte de mi tesis, me centraré en el análisis de los cuatro subcampos más prometedores de Crypto AI:

1. Cálculo de descentralización: entrenamiento de modelos, inferencia y mercado de transacciones de GPU

2. Red de datos

3. Verificación AI

4. AI agent running on-chain

Este artículo es el resultado de varias semanas de investigación profunda y conversaciones con el fundador y el equipo de Crypto AI. No es un análisis detallado de cada área, sino un mapa de ruta de alto nivel diseñado para despertar tu curiosidad, ayudarte a optimizar tus áreas de investigación y guiar tus decisiones de inversión.

Crypto AI 的生态蓝图

Me imagino el ecosistema de AI Descentralización como una estructura jerárquica: desde el cálculo Descentralización y la red de datos abiertos en un extremo, que proporcionan la base para el entrenamiento de modelos de AI Descentralización.

Todas las entradas y salidas de inferencia se verifican a través de criptografía, incentivos económicos de encriptación y redes de evaluación. Estos resultados verificados fluyen hacia agentes de IA autónomos en la cadena (on-chain) y aplicaciones de IA confiables para consumidores y empresas.

La red de coordinación conecta todo el ecosistema para lograr una comunicación y colaboración perfectas.

En esta visión, cualquier equipo que se dedique al desarrollo de la IA puede acceder a uno o varios niveles del ecosistema según sus necesidades. Ya sea utilizando la computación descentralizada para el entrenamiento del modelo, o evaluando la red para garantizar una salida de alta calidad, este ecosistema ofrece una variedad de opciones.

Gracias a la componibilidad de la cadena de bloques, creo que estamos avanzando hacia un futuro modular. Cada capa será altamente especializada, el protocolo se optimizará para funciones específicas en lugar de adoptar una solución integrada.

En los últimos años, cada capa de la pila de tecnología de inteligencia artificial ha visto surgir numerosas startups, mostrando un crecimiento explosivo al estilo del Cámbrico. La mayoría de estas empresas se han establecido solo hace 1-3 años. Esto indica que todavía estamos en las etapas tempranas de esta industria.

En el ecosistema de startups de Crypto AI que he visto, la versión más completa y actualizada es mantenida por Casey y su equipo en topology.vc. Es un recurso imprescindible para cualquier persona que quiera seguir el desarrollo de este campo.

Cuando estudio en profundidad los diversos subcampos de Crypto AI, siempre me pregunto: ¿cuán grande es realmente la oportunidad aquí? No estoy siguiendo mercados pequeños, sino esas enormes oportunidades que pueden expandirse a una escala de Cientos de billones de dólares.

1. Tamaño del mercado

Cuando evalúo el tamaño del mercado, me pregunto: ¿Este subsector está creando un nuevo mercado o está perturbando un mercado existente?

Tomemos como ejemplo la Descentralización computacional, que es un campo típico de disrupción. Podemos estimar su potencial mediante el mercado actual de la computación en la nube. Actualmente, el tamaño del mercado de la computación en la nube es de aproximadamente 680 mil millones de dólares y se espera que alcance los 25 billones de dólares para el año 2032.

En comparación, el mercado completamente nuevo, como los agentes de IA, es más difícil de cuantificar. Debido a la falta de datos históricos, solo podemos estimar a través del juicio intuitivo y la especulación razonable sobre su capacidad para resolver problemas. Sin embargo, debemos tener cuidado, ya que a veces un producto que parece ser un mercado completamente nuevo puede ser simplemente un producto que busca soluciones para problemas.

2. Momento

El momento es clave para el éxito. Si bien la tecnología suele mejorar y volverse más barata con el tiempo, la velocidad de progreso en diferentes campos es muy diferente.

En un área determinada, ¿qué tan madura está la tecnología? ¿Está lo suficientemente madura como para ser aplicada a gran escala? ¿O todavía está en la etapa de investigación y faltan varios años para su aplicación práctica? El momento determina si un campo vale la pena seguir invirtiendo ahora o si se debe esperar temporalmente.

Tomemos el encriptación homomórfica completa (Fully Homomorphic Encryption, FHE) como ejemplo: su potencial es innegable, pero actualmente su rendimiento técnico sigue siendo demasiado lento para lograr una aplicación a gran escala. Es posible que necesitemos varios años más para ver su entrada en el mercado principal. Por lo tanto, priorizaré seguir aquellas áreas donde la tecnología ya está cerca de una aplicación a gran escala, concentrando mi tiempo y energía en oportunidades que están ganando impulso.

Si se representan estos subdominios en un gráfico de 'Tamaño del mercado vs. Oportunidad', podría verse así. Es importante tener en cuenta que esto es solo un boceto conceptual y no una guía estricta. También existe complejidad dentro de cada dominio, por ejemplo, en el razonamiento verificable, diferentes métodos (como zkML y opML) se encuentran en diferentes etapas de madurez tecnológica.

A pesar de ello, estoy firmemente convencido de que el futuro alcance de la inteligencia artificial será excepcionalmente grande. Incluso los campos que hoy en día parecen 'de nicho' podrían convertirse en mercados importantes en el futuro.

Al mismo tiempo, también debemos reconocer que el avance tecnológico no siempre es lineal, a menudo avanza en saltos. Cuando surgen nuevos avances tecnológicos, mi opinión sobre la oportunidad y la escala del mercado también se ajustará en consecuencia.

Basándonos en el marco anterior, a continuación desglosaremos uno por uno los diversos subcampos de Crypto AI y exploraremos su potencial de desarrollo y oportunidades de inversión.

Área 1: Descentralización de cálculo

Resumen

· La descentralización de la computación es el pilar central de toda la IA descentralizada.

El mercado de GPU, el entrenamiento descentralizado y la inferencia descentralizada están estrechamente relacionados y se desarrollan de manera conjunta.

· Los proveedores principales son los centros de datos de tamaño mediano y los dispositivos GPU de consumidores comunes.

· Actualmente, el tamaño del lado de la demanda es relativamente pequeño, pero está aumentando gradualmente, principalmente incluyendo a usuarios sensibles al precio, que no requieren latencia alta, y algunas startups de IA de pequeña escala.

· El mayor desafío al que se enfrenta actualmente el mercado de GPU de Web3 es cómo hacer que estas redes funcionen de manera realmente eficiente.

· Coordinar el uso de la GPU en la red de Descentralización requiere tecnología de ingeniería avanzada y un diseño de arquitectura de red sólido.

1.1 Mercado de GPU / Red de cálculo

Actualmente, algunos equipos de Crypto AI están construyendo una red de GPU Descentralización para aprovechar el pool de recursos informáticos subutilizados a nivel mundial, para hacer frente a la demanda de GPU que supera con creces la oferta actual.

Los valores centrales del mercado de GPU se pueden resumir en tres puntos principales:

El costo de cálculo puede ser hasta un 90% más bajo que AWS. Este bajo costo proviene de dos aspectos: la eliminación de intermediarios y la apertura del lado de suministro. Estos mercados permiten a los usuarios acceder a los recursos de cálculo con el costo marginal más bajo a nivel global.

1. No se requiere un contrato a largo plazo, no es necesario verificar la identidad (KYC) ni esperar aprobación.

2. Capacidad de resistencia a la censura

3. Para abordar el problema de la oferta en el mercado, estos mercados obtienen recursos de cálculo de las siguientes fuentes:

· GPU empresariales: como el A100 y el H100, que son GPU de alto rendimiento, estos dispositivos suelen provenir de centros de datos de tamaño mediano (que tienen dificultades para encontrar suficientes clientes cuando operan de forma independiente) o de BTCMinero, que busca diversificar sus fuentes de ingresos. Además, hay equipos que aprovechan proyectos de infraestructura a gran escala financiados por el gobierno, los cuales construyen una gran cantidad de centros de datos como parte del desarrollo tecnológico. Estos proveedores suelen estar motivados para continuar conectando las GPU a la red para ayudar a compensar los costos de depreciación de los equipos.

· GPU de nivel de consumidor: Millones de jugadores y usuarios domésticos conectan sus propias computadoras a la red y obtienen ganancias a través de recompensas de TOKEN.

Actualmente, la demanda de cálculo Descentralización está principalmente compuesta por los siguientes tipos de usuarios:

1. Para usuarios sensibles al precio y que no requieren una latencia alta: Por ejemplo, investigadores con presupuesto limitado, desarrolladores de IA independientes, etc. Ellos siguen más el costo que la capacidad de procesamiento en tiempo real. Debido a restricciones presupuestarias, a menudo les resulta difícil pagar los altos costos de los gigantes tradicionales de servicios en la nube como AWS o Azure. Es muy importante realizar un marketing preciso dirigido a este grupo.

**2. Pequeñas empresas emergentes de inteligencia artificial: Estas empresas necesitan recursos informáticos flexibles y escalables, pero no quieren firmar contratos a largo plazo con grandes proveedores de servicios en la nube. Atraer a este grupo requiere fortalecer la cooperación empresarial, ya que están buscando activamente alternativas fuera de la computación en la nube tradicional.

**3.Crypto AI 初创企业：**Estas empresas están desarrollando productos de inteligencia artificial descentralizada, pero si no tienen sus propios recursos de cálculo, necesitarán depender de estas redes descentralizadas.

4. Juegos en la nube: Aunque no está directamente relacionado con la IA, la demanda de recursos de GPU en los juegos en la nube está subiendo rápidamente.

La clave a recordar es que los desarrolladores siempre priorizan el costo y la confiabilidad.

El verdadero desafío: la demanda, no la oferta

Muchas startups consideran el tamaño de la red de suministro de GPU como un indicador de éxito, pero en realidad, esto es simplemente un "indicador de vanidad".

El verdadero cuello de botella está en el lado de la demanda, no en el lado de la oferta. El indicador clave para medir el éxito no es la cantidad de GPU en la red, sino la utilización de las GPU y la cantidad real de GPU alquiladas.

El mecanismo de incentivos del TOKEN es muy efectivo en el lado de la oferta, ya que puede atraer rápidamente recursos a la red. Sin embargo, no puede resolver directamente el problema de la escasez de demanda. El verdadero desafío radica en pulir el producto hasta alcanzar un estado lo suficientemente bueno como para estimular la demanda potencial.

Como dijo Haseeb Qureshi (de Dragonfly), aquí es donde radica la clave.

Hacer que la red de cálculo funcione realmente

El mayor reto al que se enfrenta el mercado de las GPU distribuidas Web3 en este momento es cómo hacer que estas redes sean realmente eficientes.

Esto no es algo sencillo.

Coordinar GPU en una red distribuida es una tarea extremadamente compleja que implica varios puntos técnicos, como asignación de recursos, expansión dinámica de la carga de trabajo, equilibrio de carga entre Nodo y GPU, gestión de latencia, transferencia de datos, capacidad de tolerancia a fallos, y cómo manejar una variedad de dispositivos de hardware distribuidos en todo el mundo. Estos problemas se acumulan para formar un gran desafío de ingeniería.

Para resolver estos problemas, se requiere una capacidad técnica de ingeniería muy sólida y una arquitectura de red robusta y bien diseñada.

Para comprender esto mejor, se puede hacer referencia al sistema Kubernetes de Google. Kubernetes se considera ampliamente como el estándar de oro en el ámbito de la orquestación de contenedores, ya que automatiza tareas como el equilibrio de carga y la escalabilidad en entornos distribuidos, problemas que son muy similares a los desafíos a los que se enfrentan las redes distribuidas de GPU. Es importante destacar que Kubernetes se desarrolló sobre la base de más de diez años de experiencia en cómputo distribuido de Google, y aún así llevó varios años perfeccionarlo a través de iteraciones constantes.

Actualmente, algunos mercados de cálculo de GPU que ya están en línea pueden manejar cargas de trabajo a pequeña escala, pero una vez que se intenta escalar a una escala mayor, los problemas se hacen evidentes. Esto puede ser debido a defectos fundamentales en su diseño de arquitectura.

Problemas de confiabilidad: desafíos y oportunidades

Otro problema importante que debe abordar una red de cálculo Descentralización es cómo garantizar la confiabilidad de los Nodo, es decir, cómo verificar si cada Nodo realmente proporciona la capacidad de cálculo que afirma. Actualmente, este proceso de verificación depende en gran medida del sistema de reputación de la red, a veces los proveedores de cálculo se clasifican según su puntuación de reputación. La tecnología blockchain tiene una ventaja natural en este campo, ya que puede lograr un mecanismo de verificación sin confianza. Algunas nuevas empresas, como Gensyn y Spheron, están explorando cómo abordar este problema a través de métodos sin confianza.

Actualmente, muchos equipos de Web3 siguen luchando con estos desafíos, lo que significa que todavía hay muchas oportunidades en este campo.

Tamaño del mercado de la descentralización

Entonces, ¿cuán grande es el mercado de la red de cálculo Descentralización?

Actualmente, puede representar solo una pequeña fracción del mercado global de computación en la nube (que oscila entre 6.8 billones y 25 billones de dólares). Sin embargo, siempre que el costo de la Descentralización computacional sea inferior al de los proveedores tradicionales de servicios en la nube, existirá una demanda, incluso si hay cierta fricción adicional en la experiencia del usuario.

Creo que a corto y medio plazo, el costo de cálculo de la descentralización seguirá siendo relativamente bajo. Esto se debe principalmente a dos aspectos: la subvención de TOKEN y el desbloqueo del suministro de usuarios no sensibles al precio. Por ejemplo, estaría satisfecho si pudiera alquilar mi computadora portátil de juego para obtener ingresos adicionales, ya sea $20 o $50 al mes.

La verdadera capacidad de subir de la red de cálculo de la Descentralización y la significativa expansión de su tamaño de mercado dependerán de varios factores clave:

**1. Viabilidad del entrenamiento de modelos de IA de Descentralización: Cuando la red de Descentralización sea capaz de soportar el entrenamiento de modelos de IA, habrá una gran demanda en el mercado.

2. Explosión de la demanda de inferencia: Con el aumento explosivo de la demanda de inferencia de IA, es posible que los centros de datos existentes no puedan satisfacer esta demanda. De hecho, esta tendencia ya ha comenzado a manifestarse. Jensen Huang de NVIDIA señaló que la demanda de inferencia aumentará "mil millones de veces".

3. Introducción de Service Level Agreements (SLAs): Actualmente, el cálculo de la Descentralización principalmente ofrece servicios de manera 'mejor esfuerzo', lo que puede resultar en incertidumbre en cuanto a la calidad del servicio (como el tiempo de funcionamiento normal). Con los SLAs, estas redes pueden proporcionar métricas de confiabilidad y rendimiento estandarizadas, lo que supera las barreras clave adoptadas por las empresas y hace que el cálculo de la Descentralización sea una alternativa viable a la computación en la nube tradicional.

La Descentralización y la computación sin permisos son la capa base del ecosistema de Descentralización AI y también una de sus infraestructuras más importantes.

A pesar de la expansión constante de la Cadena de suministro de hardware como las GPU, creo que todavía estamos en el amanecer de la 'era de la inteligencia humana'. En el futuro, la demanda de capacidad de cálculo será interminable.

Por favor seguir el punto de inflexión clave que puede desencadenar una reevaluación del mercado de GPU, este punto de inflexión podría llegar pronto.

Otros comentarios:

· El mercado de GPU puro es muy competitivo, no solo hay competencia entre plataformas de descentralización, sino también enfrenta el fuerte surgimiento de plataformas en la nube AI emergentes de Web2 (como Vast.ai y Lambda).

· Los nodos pequeños (como los que tienen 4 GPU H100) tienen una demanda limitada debido a su uso limitado. Sin embargo, es casi imposible encontrar proveedores que vendan grandes clusters debido a la gran demanda que aún existe.

· ¿Los recursos de cómputo del protocolo de descentralización serán integrados por un líder dominante o seguirán dispersos en múltiples mercados? Yo tiendo a creer en lo primero y considero que el resultado final mostrará una distribución de ley de potencias, ya que la integración tiende a mejorar la eficiencia de la infraestructura. Por supuesto, este proceso llevará tiempo, y durante este período, la descentralización y la confusión del mercado continuarán.

Los desarrolladores prefieren concentrarse en construir aplicaciones en lugar de lidiar con problemas de implementación y configuración. Por lo tanto, el mercado de la computación necesita simplificar esta complejidad y minimizar la fricción para que los usuarios obtengan recursos de computación.

1.2 Entrenamiento de Descentralización

Resumen

Si se cumplen las leyes de escala, en el futuro será físicamente inviable entrenar modelos de IA de vanguardia en un solo centro de datos.

· El entrenamiento de modelos de IA requiere una gran cantidad de transferencia de datos entre GPU, y la velocidad de interconexión de redes de GPU distribuidas suele ser la mayor barrera técnica.

· Los investigadores están explorando varias soluciones y han logrado avances significativos (como Open DiLoCo y DisTrO). Estas innovaciones tecnológicas se acumularán y acelerarán el desarrollo de la formación Descentralización.

El futuro del entrenamiento de descentralización puede centrarse más en modelos pequeños y especializados diseñados para campos específicos en lugar de modelos de vanguardia orientados a AGI.

· Con la popularización de modelos como o1 de OpenAI, la demanda de inferencia experimentará un crecimiento explosivo, lo que también creará una gran oportunidad para la descentralización de las redes de inferencia.

Imagina esto: un gigantesco modelo de IA que cambia el mundo, no desarrollado por laboratorios secretos de élite, sino completado por millones de personas comunes. Las GPU de los jugadores ya no solo se utilizan para renderizar impresionantes gráficos en 'Call of Duty', sino que se utilizan para respaldar un objetivo más grande: un modelo de IA de Código abierto y de propiedad colectiva, sin ningún ente centralizado de control.

En este futuro, los modelos de IA de escala básica ya no serán exclusivos de los laboratorios de vanguardia, sino que serán el resultado de la participación de todos.

Pero volviendo a la realidad, la mayoría de los entrenamientos de IA de alto peso siguen siendo centralizados en los centros de datos, y esta tendencia podría no cambiar en un futuro cercano.

Empresas como OpenAI continúan expandiendo su enorme escala de clústers de GPU. Elon Musk reveló recientemente que xAI está a punto de completar un centro de datos con un total de GPU equivalente a 200,000 H100.

Pero el problema no es solo la cantidad de GPU. Google propuso un indicador clave en el documento PaLM de 2022: la utilización de FLOPS del modelo (Model FLOPS Utilization, MFU), que mide la utilización real de la capacidad de cálculo máxima de la GPU. Sorprendentemente, esta utilización suele ser solo del 35-40%.

¿Por qué tan bajo? A pesar de que el rendimiento de la GPU ha aumentado rápidamente con el avance de la ley de Moore, la mejora de la red, la memoria y los dispositivos de almacenamiento ha quedado muy rezagada, lo que ha creado cuellos de botella significativos. Como resultado, la GPU a menudo está inactiva, esperando a que se complete la transferencia de datos.

Actualmente, la razón fundamental de la alta centralización del entrenamiento de IA es solo una: eficiencia.

El entrenamiento de modelos grandes depende de las siguientes tecnologías clave:

· Paralelismo de datos: dividir el conjunto de datos en múltiples GPU para procesamiento paralelo y acelerar el proceso de entrenamiento.

· Paralelismo del modelo: Distribuir diferentes partes del modelo en varias GPU para superar las limitaciones de memoria.

Estos requisitos técnicos implican una frecuente transferencia de datos entre las GPU, por lo que la velocidad de interconexión (es decir, la velocidad de transferencia de datos en la red) es crucial.

Cuando el costo de entrenar un modelo de IA puede llegar a 10 mil millones de dólares, cada mejora de eficiencia es crucial.

Los centros de datos centralizados, con su tecnología de interconexión de alta velocidad, pueden lograr una transferencia de datos rápida entre GPU, lo que permite ahorrar significativamente en costos de tiempo de entrenamiento. Esto es algo que la red de Descentralización actualmente no puede igualar... al menos por ahora.

Superar la lenta velocidad de interconexión

Si hablas con profesionales del sector de la IA, muchos dirían que el entrenamiento descentralizado es inviable.

En la arquitectura de Descentralización, los clústeres de GPU no se encuentran en la misma ubicación física, lo que resulta en una velocidad de transferencia de datos más lenta entre ellos, convirtiéndose en el principal cuello de botella. El proceso de entrenamiento requiere que las GPU sincronicen y intercambien datos en cada paso. Cuanto mayor sea la distancia, mayor será la latencia. Y una latencia más alta significa una velocidad de entrenamiento más lenta y mayores costos.

Una tarea de entrenamiento que se puede completar en solo unos días en un centro de datos centralizado puede llevar hasta dos semanas en un entorno de Descentralización y ser más costoso. Obviamente, esto no es factible.

Sin embargo, esta situación está cambiando.

Es emocionante ver que la investigación sobre el entrenamiento distribuido está aumentando rápidamente. Los investigadores están explorando desde diferentes direcciones al mismo tiempo, y la gran cantidad de resultados de investigación y documentos recientes es una prueba clara. Estos avances tecnológicos tendrán un efecto acumulativo y acelerarán el desarrollo de la descentralización del entrenamiento.

Además, las pruebas en entornos de producción reales también son de vital importancia, ya que nos ayudan a superar los límites tecnológicos existentes.

Actualmente, algunas tecnologías de entrenamiento de Descentralización ya pueden manejar modelos de escala pequeña en entornos de interconexión de baja velocidad. La investigación de vanguardia está trabajando para expandir estos métodos a modelos de mayor escala.

· Por ejemplo, el documento Open DiCoLo de Prime Intellect propone un método práctico: dividir la GPU en 'islas' y realizar 500 cálculos locales antes de la sincronización, lo que reduce la demanda de ancho de bandaSoltar a 1/500 de la original. Esta técnica fue inicialmente investigada por Google DeepMind en modelos pequeños, y ahora se ha expandido con éxito para entrenar un modelo con 100 mil millones de parámetros, y recientemente se ha vuelto completamenteCódigo abierto.

El marco DisTrO de Nous Research va un paso más allá al reducir las necesidades de comunicación entre las GPU en un factor de hasta 10,000 mediante la tecnología de optimización, y al mismo tiempo logra entrenar con éxito un modelo con 1.2 mil millones de parámetros.

· Esta tendencia continúa. Nous recientemente anunció que han completado un pre-entrenamiento de un modelo de 150 mil millones de parámetros, cuya curva de pérdida y velocidad de convergencia incluso superaron el rendimiento del entrenamiento centralizado tradicional.

(Detalles del tweet)

Además, también se están explorando métodos como SWARM Parallelism y DTFMHE para entrenar modelos de IA a gran escala en diferentes tipos de dispositivos, incluso si la velocidad y las condiciones de conexión de estos dispositivos son diferentes.

Otro desafío es cómo gestionar la diversidad de hardware de GPU, especialmente los GPU de consumo común en redes de Descentralización, que a menudo tienen una memoria limitada. Este problema se está resolviendo gradualmente mediante la técnica de paralelismo de modelo (distribuyendo las diferentes capas del modelo en múltiples dispositivos).

El futuro del entrenamiento de la Descentralización

Actualmente, el tamaño del modelo de entrenamiento de Descentralización todavía está muy por detrás de los modelos más avanzados (se informa que GPT-4 tiene aproximadamente un billón de parámetros, es 100 veces más grande que el modelo de 10 mil millones de parámetros de Prime Intellect). Para lograr una verdadera escalabilidad, necesitamos hacer avances significativos en el diseño de la arquitectura del modelo, la infraestructura de red y la estrategia de asignación de tareas.

Pero podemos imaginar audazmente: en el futuro, el entrenamiento de la Descentralización podría reunir incluso más potencia de cálculo de GPU que los centros de datos centralizados más grandes.

Pluralis Research (un equipo que vale la pena seguir en el campo de la Descentralización) cree que no solo es posible, sino inevitable. Los centros de datos centralizados están limitados por condiciones físicas como el espacio y el suministro de energía, mientras que las redes descentralizadas pueden aprovechar los recursos casi ilimitados en todo el mundo.

Incluso Jensen Huang de NVIDIA mencionó que el entrenamiento asincrónico puede ser clave para liberar el potencial de expansión de la IA. Además, la red de entrenamiento distribuido también tiene una mayor capacidad de tolerancia a fallos.

Por lo tanto, en una posible futura escenario, ** los modelos de IA más potentes del mundo serán entrenados de manera Descentralización**.

Esta visión es emocionante, pero por ahora sigo manteniendo una actitud de reserva. Necesitamos más pruebas contundentes para demostrar que el entrenamiento de modelos a gran escala es factible tanto técnicamente como económicamente.

Creo que el mejor escenario de aplicación para el entrenamiento Descentralización podría estar en modelos más pequeños y especializados de Código abierto, diseñados para casos de uso específicos en lugar de competir con modelos de vanguardia orientados a AGI a gran escala. Algunas arquitecturas, especialmente los modelos no basados en Transformer, ya han demostrado ser muy adecuados para el entorno de Descentralización.

Además, el mecanismo de incentivos de TOKEN también será una parte importante en el futuro. Una vez que la Descentralización del entrenamiento sea factible a gran escala, TOKEN puede incentivar y recompensar eficazmente a los contribuyentes, impulsando así el desarrollo de estas redes.

Aunque el camino por delante es largo, los avances actuales son alentadores. El avance de la formación en Descentralización no solo beneficiará a la red Descentralización, sino que también abrirá nuevas posibilidades para las grandes empresas de tecnología y los laboratorios de IA líderes...

1.3 Razonamiento de Descentralización

Actualmente, la mayor parte de los recursos informáticos de la IA se centran en entrenar modelos a gran escala. Los laboratorios de IA líderes están librando una carrera armamentística para desarrollar el modelo base más poderoso y, en última instancia, lograr AGI.

Pero creo que esta inversión concentrada de recursos de cálculo en el entrenamiento se trasladará gradualmente a la inferencia en los próximos años. Conforme la tecnología de IA se integre cada vez más en las aplicaciones que utilizamos a diario, desde la atención médica hasta la industria del entretenimiento, los recursos de cálculo necesarios para la inferencia serán enormes.

Esta tendencia no es algo que surja de la nada. La escala de cálculo en tiempo de inferencia (Inference-time Compute Scaling) se ha convertido en un tema candente en el campo de la inteligencia artificial. OpenAI recientemente lanzó una versión preliminar/miniatura de su último modelo o1 (conocido como: Strawberry), que se distingue por su característica notable: se toma su tiempo para pensar. En concreto, primero analiza qué pasos necesita tomar para responder a una pregunta, y luego completa estos pasos paso a paso.

Este modelo está diseñado específicamente para tareas más complejas y que requieren planificación, como resolver juegos de palabras, y puede manejar problemas que requieren razonamiento 01928374656574839201. Aunque su generación de respuestas es más lenta, los resultados son más detallados y reflexivos. Sin embargo, este diseño también conlleva costos operativos elevados, con un costo de razonamiento 25 veces mayor que el de GPT-4.

De esta tendencia se puede ver que el próximo salto en el rendimiento de AI dependerá no sólo de entrenar modelos más grandes, sino también de expandir la capacidad de cálculo en la etapa de inferencia.

Si quieres saber más, hay algunas investigaciones que han demostrado:

· La expansión del cálculo inferencial mediante muestreo repetido puede lograr mejoras significativas en muchas tareas.

· La etapa de razonamiento también sigue una ley de expansión exponencial (Ley de Escalado).

Una vez que se completa el entrenamiento de los modelos de IA potentes, sus tareas de razonamiento (es decir, la fase de aplicación real) pueden descargarse en una red de cómputo de Descentralización. Este enfoque es muy atractivo por las siguientes razones:

· El requisito de recursos para la inferencia es mucho menor que el entrenamiento. Después del entrenamiento, el modelo se puede comprimir y optimizar mediante técnicas como la cuantificación, la poda o la destilación. Incluso se puede dividir el modelo mediante paralelismo de tensores o paralelismo de tuberías para ejecutarlo en dispositivos de consumo comunes. La inferencia no requiere el uso de una GPU de gama alta.

· Esta tendencia ya ha comenzado a manifestarse. Por ejemplo, Exo Labs ha encontrado una forma de ejecutar un modelo Llama3 con 450 mil millones de parámetros en hardware de consumo como MacBook y Mac Mini. Al distribuir las tareas de inferencia en múltiples dispositivos, incluso los requisitos de cálculo a gran escala se pueden completar de manera eficiente y económica.

· Mejor experiencia de usuario: desplegar la capacidad de cálculo en ubicaciones más cercanas al usuario puede reducir significativamente la latencia, lo cual es crucial para aplicaciones en tiempo real como juegos, realidad aumentada (AR) o vehículos autónomos, donde cada milisegundo de latencia puede afectar la experiencia de uso.

Podemos comparar la inferencia de la Descentralización con el CDN (Red de Distribución de Contenidos) de AI. El CDN tradicional transfiere rápidamente el contenido del sitio web conectándose a servidores cercanos, mientras que la inferencia de la Descentralización utiliza recursos informáticos locales para generar respuestas de AI a una velocidad extremadamente rápida. De esta manera, las aplicaciones de AI pueden volverse más eficientes, responder más rápidamente y ser más confiables.

Esta tendencia ya está empezando a manifestarse. El último chip M4 Pro de Apple tiene un rendimiento cercano al de la RTX 3070 Ti de NVIDIA, que solía ser una GPU de alto rendimiento exclusiva para jugadores hardcore. Y ahora, el hardware que usamos a diario está cada vez más capacitado para manejar cargas de trabajo de inteligencia artificial complejas.

La activación del valor de la criptomoneda

Para que la Descentralización de la red de inferencia tenga éxito, es necesario proporcionar incentivos económicos lo suficientemente atractivos para los participantes. Los cálculos de los Nodos en la red requieren una compensación justa por su capacidad de cálculo y el sistema debe garantizar la equidad y eficiencia en la distribución de las recompensas. Además, la diversidad geográfica es también muy importante. No solo puede reducir la latencia de las tareas de inferencia, sino también mejorar la capacidad de tolerancia a fallos de la red, lo que fortalece la estabilidad general.

Entonces, ¿cuál es la mejor manera de construir una red de Descentralización? La respuesta es la criptomoneda.

Token es una herramienta poderosa que puede unir los intereses de todos los participantes y garantizar que todos estén trabajando hacia el mismo objetivo: ampliar el tamaño de la red y aumentar el valor de TOKEN.

Además, TOKEN también puede acelerar significativamente el crecimiento de la red. Ayudan a resolver el dilema clásico de '¿qué fue primero, el huevo o la gallina?' que enfrentan muchas redes en sus etapas iniciales de desarrollo. Al recompensar a los primeros usuarios, TOKEN puede impulsar la participación de más personas en la construcción de la red desde el principio.

El éxito de BTC y Ethereum ha demostrado la efectividad de este mecanismo. Han reunido el mayor grupo de capacidad de cálculo del mundo.

La red de inferencia descentralizada será el próximo sucesor. Con la característica de la diversidad geográfica, estas redes pueden reducir la latencia, mejorar la capacidad de tolerancia a fallos y acercar los servicios de AI a los usuarios. Y gracias al mecanismo de incentivos impulsado por la criptomoneda, la velocidad y la eficiencia de expansión de la red de descentralización superarán con creces a las redes tradicionales.

Saludo

Teng Yan

En los próximos artículos, exploraremos en profundidad las redes de datos y cómo ayudan a superar el cuello de botella de datos al que se enfrenta la inteligencia artificial.

Renuncia de responsabilidad

Este artículo es solo para fines educativos y no constituye un asesoramiento financiero. No es un respaldo para la compra, venta o decisión financiera de activos. Al tomar decisiones de inversión, asegúrese de investigar por su cuenta y ser cauteloso.

Enlace al texto original

：