Escrito después de la conferencia GTC, ¿puede Web3 resolver el problema de la escasa potencia informática de la IA?

Autor: Zuo Ye

La moda es cíclica, y también lo es la Web 3.

Near “re” se convirtió en una cadena pública de IA. Como uno de los fundadores de Transformer, pudo asistir a la conferencia NVIDIA GTC y hablar con Lao Huang, vestido de cuero, sobre el futuro de la IA generativa. Solana se ha transformado con éxito en un lugar de reunión. para io.net, Bittensor y Render Network. Para la cadena de conceptos de IA, también hay actores emergentes involucrados en la computación GPU como Akash, GAIMIN y Gensyn.

Si levantamos la vista, mientras el precio de la moneda sube, podemos encontrar varios datos interesantes:

1. ** La batalla por la potencia informática de la GPU ha llegado a la plataforma descentralizada. Cuanta más potencia informática, más fuerte será el efecto informático. La CPU, el almacenamiento y la GPU están vinculados entre sí; **
2. El paradigma informático está pasando de la nube a la descentralización. Detrás de ello está el cambio en la demanda del entrenamiento de IA al razonamiento. Los modelos en cadena ya no son palabras vacías;
3. **La composición subyacente de software y hardware y la lógica operativa de la arquitectura de Internet no han cambiado fundamentalmente, y la capa de potencia informática descentralizada desempeña un papel más importante en la estimulación de la creación de redes. **

Primero hagamos una distinción conceptual: el poder de la computación en la nube en el mundo Web3 nació en la era de la minería en la nube. Se refiere a empaquetar y vender la potencia de computación de las máquinas mineras, eliminando el enorme gasto de los usuarios para comprar máquinas mineras. Los fabricantes de energía a menudo “sobrevenden”, como mezclar y vender la potencia informática de 100 máquinas mineras a 105 personas para obtener ganancias excesivas, en última instancia, hace que el término sea equivalente a una mentira.

La potencia de la computación en la nube en este artículo se refiere específicamente a los recursos informáticos de los proveedores de nube basados en GPU. La pregunta aquí es si la plataforma de potencia de computación descentralizada es el títere frontal del proveedor de la nube o la próxima actualización de la versión.

La integración entre los proveedores tradicionales de la nube y blockchain es más profunda de lo que imaginábamos: por ejemplo, los nodos de la cadena pública, el desarrollo y el almacenamiento diario girarán básicamente en torno a AWS, Alibaba Cloud y Huawei Cloud, eliminando la costosa inversión de la compra de hardware físico. La causa no se puede ignorar: en casos extremos, desconectar el cable de red provocará la caída de la cadena pública, lo que viola gravemente el espíritu de descentralización.

Por otro lado, las plataformas de potencia informática descentralizadas construyen directamente “salas de computadoras” para mantener la estabilidad de la red o construyen directamente redes de incentivos, como la estrategia de lanzamiento aéreo de IO.NET para promover la cantidad de GPU y el almacenamiento de Filecoin para enviar tokens FIL. El punto de partida no es satisfacer las necesidades de uso, sino potenciar los tokens. Una evidencia es que los principales fabricantes, individuos o instituciones académicas rara vez los utilizan para capacitación, razonamiento o representación gráfica de ML, lo que resulta en un grave desperdicio de recursos.

**Es solo que ante el aumento de los precios de las divisas y el sentimiento FOMO, todas las acusaciones de que la potencia informática descentralizada es una estafa de potencia informática en la nube han desaparecido. **

¿Dos tipos de potencia informática tienen el mismo nombre y suerte?

Inferencia y FLOPS, cuantificando la potencia informática de la GPU

**Los requisitos de potencia informática de los modelos de IA están evolucionando desde el entrenamiento hasta la inferencia. **

Tomemos como ejemplo Sora de OpenAI. Aunque también se fabrica basándose en la tecnología Transformer, el tamaño de sus parámetros se compara con los billones de GPT-4. Los círculos académicos especulan que está por debajo de los cientos de miles de millones. Yang Likun incluso dijo que es solo 3 mil millones, es decir, el costo de capacitación es bajo, lo que también es muy fácil de entender, y los recursos informáticos necesarios para una pequeña cantidad de parámetros también se atenúan proporcionalmente.

Pero, a su vez, Sora puede necesitar capacidades de “razonamiento” más fuertes. El razonamiento puede entenderse como la capacidad de generar videos específicos de acuerdo con instrucciones. Los videos se han considerado durante mucho tiempo como contenido creativo, por lo que requieren capacidades de comprensión de IA más sólidas, y el entrenamiento es relativamente simple. Puede entenderse como un resumen de las reglas basadas en el contenido existente, acumulando potencia informática sin cerebro y trabajando duro para crear milagros.

En el pasado, la potencia informática de la IA se utilizaba principalmente para entrenamiento, con una pequeña cantidad para capacidades de razonamiento, y estaba básicamente cubierta por varios productos NVIDIA. Sin embargo, después de la llegada de Groq LPU (Unidad de procesamiento de lenguaje), las cosas comenzaron a cambiar. y mejores capacidades de razonamiento, modelos grandes superpuestos para adelgazar y mejorar la precisión, y tener el cerebro para hablar de lógica se están volviendo poco a poco algo común.

Además, me gustaría agregar la clasificación de GPU. A menudo se ve que son aquellos que juegan juegos los que salvan la IA. Lo que tiene sentido es que la fuerte demanda de GPU de alto rendimiento en el mercado de juegos cubre la investigación y el desarrollo. Costos. Por ejemplo, se pueden usar tarjetas gráficas 4090, aquellos que juegan juegos y alquimia de IA, pero debe tenerse en cuenta que la tarjeta de juego y la tarjeta de computadora se desacoplarán gradualmente. Este proceso es similar al desarrollo de las máquinas mineras de Bitcoin de Desde computadoras personales hasta máquinas de minería dedicadas, y los chips utilizados también siguen en orden desde CPU, GPU, FPGA y ASIC.

La tarjeta especial LLM está en desarrollo…

A medida que la tecnología de IA, especialmente la ruta LLM, madure y avance, habrá cada vez más intentos similares de TPU, DPU y LPU. Por supuesto, el producto principal actual es la GPU de NVIDIA. Todas las discusiones a continuación también se basan en GPU y LPU. Esperar más es un complemento de la GPU y llevará algún tiempo reemplazarla por completo.

**La competencia de potencia informática descentralizada no compite por los canales de adquisición de GPU, sino que intenta establecer un nuevo modelo de ganancias. **

A estas alturas de este escrito, NVIDIA casi se ha convertido en protagonista. Básicamente, NVIDIA ocupa el 80% del mercado de tarjetas gráficas. La disputa entre la tarjeta N y la tarjeta A sólo existe en teoría. En realidad, todo el mundo habla de integridad.

El monopolio absoluto ha creado una feroz competencia por las GPU, desde la RTX 4090 de nivel de consumidor hasta la A100/H100 de nivel empresarial, y varios proveedores de nube son la principal fuerza para abastecerse. Sin embargo, las empresas relacionadas con la IA, como Google, Meta, Tesla y OpenAI, tienen acciones o planes para producir chips de fabricación propia, y las empresas nacionales han recurrido a fabricantes nacionales como Huawei, y la pista de GPU todavía está muy concurrida.

Para los proveedores de nube tradicionales, lo que venden en realidad es potencia informática y espacio de almacenamiento, por lo que no es tan urgente como las empresas de inteligencia artificial utilizar sus propios chips, pero para los proyectos de potencia informática descentralizada, actualmente se encuentran en la primera mitad, es decir, En comparación con la nube tradicional, los fabricantes compiten por el negocio de la potencia informática, centrándose en la potencia informática barata y fácil de obtener, pero, al igual que la minería de Bitcoin en el futuro, hay pocas posibilidades de que aparezcan chips de IA Web3.

Un comentario adicional, desde que Ethereum cambió a PoS, ha habido cada vez menos hardware dedicado en el círculo monetario. Los mercados como los teléfonos móviles Saga, la aceleración de hardware ZK y DePIN son demasiado pequeños. Espero que se pueda explorar la potencia informática descentralizada para Tarjetas de potencia de computación de IA dedicadas. Cree una ruta única para Web3.

**La potencia informática descentralizada es el siguiente paso o complemento de la nube. **

La potencia informática de la GPU generalmente se compara en la industria con FLOPS (operaciones de punto flotante por segundo), que es el indicador de velocidad informática más utilizado. Independientemente de las especificaciones de la GPU o las medidas de optimización como el paralelismo de aplicaciones, en última instancia es basado en FLOPS en máximos y mínimos.

Ha transcurrido aproximadamente medio siglo desde la computación local hasta el paso a la nube, y el concepto de distribución ha existido desde el nacimiento de las computadoras. Impulsado por LLM, la combinación de descentralización y potencia informática ya no es tan vaga como antes. Resuma tantos proyectos de potencia informática descentralizada existentes como sea posible, con solo dos dimensiones:

1. La cantidad de hardware, como GPU, es decir, la velocidad de computación. Según la ley de Moore, cuanto más nueva es la GPU, mayor es la potencia de computación. Cuanto mayor es la cantidad de GPU con las mismas especificaciones, mayor es la potencia de computación;
2. Método de organización de la capa de incentivos, que es una característica de la industria de Web3. Los tokens duales, las funciones de gobernanza agregadas, los incentivos de lanzamiento aéreo, etc., hacen que sea más fácil comprender el valor a largo plazo de cada proyecto, en lugar de prestar demasiada atención a los factores de corto plazo. precios de divisas a largo plazo, solo mirando si puede poseer o cuántas GPU programar.

Desde esta perspectiva, la potencia informática descentralizada sigue siendo la ruta DePIN basada en “hardware existente + red de incentivos”, o la arquitectura de Internet sigue siendo la capa inferior, y la capa de potencia informática descentralizada es la monetización después de la “virtualización de hardware”, centrándose en el acceso. sin permiso La creación de redes reales aún requiere la cooperación del hardware.

La potencia informática debe estar descentralizada y la GPU debe estar centralizada.

Con la ayuda del marco del trilema blockchain, no es necesario considerar especialmente la seguridad de la potencia informática descentralizada. Los principales problemas son la descentralización y la escalabilidad, este último es el propósito de la red GPU, que actualmente está a la vanguardia de la IA. .

Partiendo de una paradoja, si se quiere completar el proyecto de potencia informática descentralizada, el número de GPU en la red debe ser lo mayor posible. No hay otra razón. Los parámetros de modelos grandes como GPT se están disparando, y hay No hay GPU de cierta escala. No puede tener efectos de entrenamiento o inferencia.

Por supuesto, en comparación con el control absoluto de los proveedores de la nube, en la etapa actual los proyectos de potencia informática descentralizada pueden al menos establecer mecanismos como la ausencia de acceso y la libre migración de los recursos de GPU, pero, debido a la mejora de la eficiencia del capital, ¿habrá ¿Habrá un pool de minería similar en el futuro? El producto puede no ser el mismo.

En términos de escalabilidad, la GPU no solo se puede utilizar para la IA, sino que la computación en la nube y el renderizado también son caminos viables. Por ejemplo, Render Network se centra en el trabajo de renderizado, mientras que Bittensor y otros se centran en proporcionar entrenamiento de modelos. Desde una perspectiva más sencilla, la escalabilidad es equivalente a escenarios y propósitos de uso.

Por lo tanto, se pueden agregar dos parámetros adicionales a la GPU y a la red de incentivos, a saber, descentralización y escalabilidad, para formar un indicador de comparación desde cuatro ángulos. Tenga en cuenta que este método es diferente de la comparación técnica y es puramente una imagen.

Proyecto GPU cantidad red de incentivos escalabilidad descentralizada Token no anunciado de Gensyn + mecanismo de verificación para evaluar el entrenamiento e inferencia de IA después del lanzamiento Red de renderizado 12,000 GPU + 503 tokens de CPU + base de incentivo adicional + propuesta + renderizado de código abierto + entrenamiento de IA Akash 20,000 CPU + 262 tokens de GPU + tokens del sistema de compromiso en plena circulación Inferencia de IA io.net 180.000 GPU + 28.000 CPUGPU a cambio de monedas no emitidas lanzadas desde el aire Inferencia de IA + entrenamiento.

En los proyectos mencionados anteriormente, Render Network es en realidad muy especial. Es esencialmente una red de renderizado distribuido y su relación con la IA no es directa. En el entrenamiento y el razonamiento de la IA, todos los enlaces están entrelazados, ya sea SGD (descenso de gradiente estocástico). , Algoritmos como el descenso de gradiente estocástico) o la retropropagación requieren coherencia, pero el renderizado y otras tareas no necesariamente tienen que serlo. Los videos y las imágenes a menudo se segmentan para facilitar la distribución de las tareas.

Sus capacidades de entrenamiento de IA están integradas principalmente con io.net y existen como complementos de io.net. De todos modos, la GPU está funcionando, no importa lo difícil que sea, lo que es más prospectivo es su deserción a Solana en el momento de subestimación. Más tarde se demostró que Solana era más adecuada para los requisitos de alto rendimiento del renderizado y otras redes.

El segundo es la ruta de desarrollo a escala de io.net para el reemplazo violento de GPU. Actualmente, el sitio web oficial enumera un total de 180.000 GPU. Se encuentra en el primer nivel del proyecto de potencia informática descentralizada. Hay una diferencia de orden de magnitud con otros oponentes, y En términos de escalabilidad, io.net se centra en el razonamiento de la IA y la capacitación en IA es una forma práctica de trabajar.

Estrictamente hablando, el entrenamiento de IA no es adecuado para la implementación distribuida. Incluso para LLM livianos, el número absoluto de parámetros no será mucho menor. El método de computación centralizada es más rentable en términos de costo económico. Web 3 y el punto de integración de La IA en el entrenamiento implica más operaciones de cifrado y privacidad de datos, como las tecnologías ZK y FHE, y la inferencia de IA Web 3 tiene un gran potencial. Por un lado, tiene requisitos relativamente bajos en cuanto al rendimiento informático de la GPU y puede tolerar un cierto grado de pérdida. Por otro lado, el razonamiento de la IA está más cerca del lado de la aplicación y los incentivos desde la perspectiva del usuario son más sustanciales.

Otra empresa que extrae e intercambia tokens, Filecoin, también ha llegado a un acuerdo de utilización de GPU con io.net. Filecoin utilizará sus 1.000 GPU en paralelo con io.net. Puede considerarse como un esfuerzo conjunto entre sus predecesores. mucha suerte a ambos…

El siguiente es Gensyn, que aún no se ha lanzado. También venimos a la nube para su evaluación. Debido a que aún se encuentra en las primeras etapas de construcción de la red, no se ha anunciado la cantidad de GPU. Sin embargo, su principal escenario de uso es el entrenamiento de IA. Personalmente, creo que la cantidad de GPU de alto rendimiento no es pequeña, al menos más allá del nivel de Render Network. En comparación con la inferencia de IA, la capacitación de IA tiene una relación competitiva directa con los proveedores de la nube, y el diseño del mecanismo específico será más complicado.

Específicamente, Gensyn necesita garantizar la efectividad del entrenamiento del modelo. Al mismo tiempo, para mejorar la eficiencia del entrenamiento, utiliza paradigmas informáticos fuera de la cadena a gran escala. Por lo tanto, la verificación del modelo y los sistemas anti-trampas requieren un rol multipartito. juegos:

• Presentadores: Iniciadores de tareas, quienes en última instancia pagan los costos de capacitación.
• Solvers: entrenan el modelo y proporcionan pruebas de efectividad. *Verificadores: Verifican la validez del modelo.
• Denunciantes: Verifique los trabajos de validador.

En general, el método de operación es similar a la minería PoW + mecanismo de prueba optimista. La arquitectura es muy compleja. Tal vez transferir los cálculos a fuera de la cadena pueda ahorrar costos, pero la complejidad de la arquitectura traerá costos operativos adicionales. En la actualidad, el principal sistema descentralizado potencia informática Centrándonos en la coyuntura del razonamiento de la IA, también le deseo buena suerte a Gensyn.

Finalmente, está el viejo Akash, que básicamente comenzó con Render Network. Akash se centró en la descentralización de la CPU, y Render Network fue el primero en centrarse en la descentralización de la GPU. Inesperadamente, después del estallido de la IA, ambas partes entraron en el campo de la computación GPU + AI. La diferencia Akash está más preocupada por el razonamiento.

La clave para el rejuvenecimiento de Akash es darse cuenta de los problemas de minería después de la actualización de Ethereum. La GPU inactiva no solo puede ser utilizada por estudiantes universitarias de segunda mano para uso personal, sino que ahora también pueden trabajar juntas en IA. todos ellos están contribuyendo a la civilización humana.

Sin embargo, una cosa buena de Akash es que los tokens básicamente circulan por completo. Después de todo, es un proyecto muy antiguo y también adopta activamente el sistema de apuestas comúnmente utilizado en PoS. Sin embargo, el equipo parece ser más budista y No son tan jóvenes como se siente io.net.

Además, están THETA para la computación en la nube de borde, Phoenix para proporcionar soluciones de nicho para la potencia informática de la IA y empresas informáticas antiguas y nuevas como Bittensor y Ritual. Debido a limitaciones de espacio, no podemos enumerarlas todas, principalmente porque algunas de ellas son realmente difícil de encontrar Menos que la cantidad de GPU y otros parámetros.

Conclusión

A lo largo de la historia del desarrollo informático, se pueden construir versiones descentralizadas de varios paradigmas informáticos. Lo único que lamento es que no tienen ningún impacto en las aplicaciones convencionales. El actual proyecto informático Web3 es principalmente la autopromoción dentro de la industria. El fundador de Near fue a la conferencia GTC también se debe a la autoría de Transformer, no al estatus de fundador de Near.

Lo que es aún más pesimista es que el tamaño actual del mercado de computación en la nube y los jugadores son demasiado poderosos. ¿Puede io.net reemplazar a AWS? Si hay suficientes GPU, es realmente posible. Después de todo, AWS ha utilizado durante mucho tiempo Redis de código abierto como base componente.

En cierto sentido, el poder del código abierto y la descentralización no son iguales: los proyectos descentralizados están demasiado concentrados en campos financieros como DeFi, y la IA puede ser un camino clave para ingresar al mercado principal.

referencias:

_2024-03-06_Ai.pdf