Écrit après la conférence GTC, Web3 peut-il résoudre le problème de la puissance de calcul limitée de l'IA ?

Auteur : Zuo Ye

La mode est cyclique, tout comme le Web 3.

Near “re” est devenu une chaîne publique d’IA. En tant que l’un des fondateurs de Transformer, il a pu assister à la conférence NVIDIA GTC et discuter avec Lao Huang, vêtu de cuir, de l’avenir de l’IA générative. Solana s’est transformée avec succès en un lieu de rassemblement. pour io.net, Bittensor et Render Network. Pour la chaîne de concepts d’IA, il existe également des acteurs émergents impliqués dans le calcul GPU tels qu’Akash, GAIMIN et Gensyn.

Si nous relevons notre regard, alors que le prix de la monnaie augmente, nous pouvons trouver plusieurs faits intéressants :

1. **La bataille pour la puissance de calcul des GPU s’est portée sur la plate-forme décentralisée. Plus la puissance de calcul est élevée, plus l’effet de calcul est fort. Le CPU, le stockage et le GPU sont liés les uns aux autres ; **
2. Le paradigme informatique passe de la cloudisation à la décentralisation. Derrière cela se cache le changement de la demande de la formation en IA au raisonnement. Les modèles en chaîne ne sont plus de vains discours ;
3. **La composition logicielle et matérielle sous-jacente ainsi que la logique de fonctionnement de l’architecture Internet n’ont pas fondamentalement changé, et la couche de puissance de calcul décentralisée joue davantage un rôle dans la stimulation de la mise en réseau. **

Faisons d’abord une distinction conceptuelle. La puissance du cloud computing dans le monde Web3 est née à l’ère du cloud mining. Elle fait référence au conditionnement et à la vente de la puissance de calcul des machines de minage, éliminant ainsi les énormes dépenses des utilisateurs pour l’achat de machines de minage. Les fabricants d’énergie « survendent » souvent, comme par exemple Mélanger et vendre la puissance de calcul de 100 machines minières à 105 personnes afin d’obtenir des profits excédentaires, ce qui rend finalement le terme équivalent à un mensonge.

La puissance de calcul du cloud dans cet article fait spécifiquement référence aux ressources informatiques des fournisseurs de cloud basés sur GPU.La question ici est de savoir si la plate-forme de puissance de calcul décentralisée est la marionnette frontale du fournisseur de cloud ou la prochaine mise à jour de la version.

L’intégration entre les fournisseurs de cloud traditionnels et la blockchain est plus profonde que nous l’imaginions. Par exemple, les nœuds de la chaîne publique, le développement et le stockage quotidien tourneront essentiellement autour d’AWS, d’Alibaba Cloud et de Huawei Cloud, éliminant ainsi l’investissement coûteux lié à l’achat de matériel physique. Les causes ne peuvent être ignorées. Dans des cas extrêmes, le débranchement du câble réseau entraînera la panne de la chaîne publique, ce qui viole gravement l’esprit de décentralisation.

D’un autre côté, les plates-formes de puissance de calcul décentralisées construisent directement des « salles informatiques » pour maintenir la stabilité du réseau, ou construisent directement des réseaux incitatifs, comme la stratégie de largage d’IO.NET pour promouvoir le nombre de GPU et le stockage de Filecoin pour envoyer des jetons FIL. Le point de départ n’est pas de répondre aux besoins d’utilisation, mais de responsabiliser les jetons. Une preuve est que les grands fabricants, les particuliers ou les établissements universitaires les utilisent rarement pour la formation, le raisonnement ou le rendu graphique en ML, ce qui entraîne un grave gaspillage de ressources.

**C’est juste que face à la hausse des prix des devises et au sentiment FOMO, toutes les accusations selon lesquelles la puissance de calcul décentralisée est une arnaque à la puissance du cloud computing ont disparu. **

Deux types de puissance de calcul ont-ils le même nom et la même chance ?

Inférence et FLOPS, quantification de la puissance de calcul du GPU

**Les exigences en matière de puissance de calcul des modèles d’IA évoluent de la formation à l’inférence. **

Prenons l’exemple de Sora d’OpenAI. Bien qu’il soit également fabriqué sur la base de la technologie Transformer, la taille de ses paramètres est comparée aux milliards de GPT-4. Les milieux universitaires spéculent qu’elle est inférieure aux centaines de milliards. Yang Likun a même dit que c’est seulement 3 milliards, soit la formation Le coût est faible, ce qui est également très simple à comprendre : les ressources de calcul nécessaires pour un petit nombre de paramètres sont également proportionnellement atténuées.

Mais à son tour, Sora peut avoir besoin de capacités de « raisonnement » plus fortes. Le raisonnement peut être compris comme la capacité de générer des vidéos spécifiques selon des instructions. Les vidéos ont longtemps été considérées comme du contenu créatif, elles nécessitent donc de plus grandes capacités de compréhension de l’IA, et la formation est relativement simple. Cela peut être compris comme résumant les règles basées sur le contenu existant, empilant la puissance de calcul sans cerveau et travaillant dur pour créer des miracles.

Dans le passé, la puissance de calcul de l’IA était principalement utilisée pour la formation, avec une petite quantité utilisée pour les capacités de raisonnement, et était essentiellement couverte par divers produits NVIDIA. Cependant, après l’avènement du Groq LPU (Language Processing Unit), les choses ont commencé à changer : et de meilleures capacités de raisonnement, de grands modèles superposés pour affiner et améliorer la précision, et avoir un cerveau pour parler logique deviennent lentement courants.

De plus, je voudrais ajouter la classification des GPU. On voit souvent que ce sont ceux qui jouent à des jeux qui sauvent l’IA. Ce qui est logique, c’est que la forte demande de GPU hautes performances sur le marché des jeux couvre la recherche et le développement. Par exemple, les cartes graphiques 4090, celles qui jouent à des jeux et l’alchimie de l’IA peuvent être utilisées, mais il convient de noter que la carte de jeu et la carte informatique seront progressivement découplées. Ce processus est similaire au développement des machines de minage Bitcoin de des ordinateurs personnels aux machines minières dédiées, et les puces utilisées suivent également dans l’ordre du CPU, du GPU, du FPGA et de l’ASIC.

La carte spéciale LLM est en cours de développement…

À mesure que la technologie de l’IA, en particulier la voie LLM, mûrit et progresse, il y aura de plus en plus de tentatives similaires en matière de TPU, DPU et LPU. Bien entendu, le produit principal actuel est le GPU de NVIDIA. Toutes les discussions ci-dessous sont également basées sur le GPU et le LPU. Attendre plus est un complément au GPU, et il faudra un certain temps pour le remplacer complètement.

**La concurrence en matière de puissance de calcul décentralisée ne vise pas les canaux d’acquisition de GPU, mais tente d’établir un nouveau modèle de profit. **

A ce stade de la rédaction, NVIDIA est presque devenu le protagoniste. En gros, NVIDIA occupe 80% du marché des cartes graphiques. Le différend entre la carte N et la carte A n’existe qu’en théorie. En réalité, tout le monde parle d’intégrité.

Le monopole absolu a créé une concurrence féroce pour les GPU, du RTX 4090 grand public au A100/H100 niveau entreprise, et divers fournisseurs de cloud sont la principale force de stockage. Cependant, les sociétés liées à l’IA telles que Google, Meta, Tesla et OpenAI ont toutes des actions ou des plans pour produire des puces fabriquées par elles-mêmes, et les entreprises nationales se sont tournées vers des fabricants nationaux tels que Huawei, et le secteur des GPU est toujours extrêmement encombré.

Pour les fournisseurs de cloud traditionnels, ce qu’ils vendent, c’est en fait de la puissance de calcul et de l’espace de stockage, donc l’utilisation de leurs propres puces n’est pas aussi urgente que les entreprises d’IA. Cependant, pour les projets de puissance de calcul décentralisés, ils en sont actuellement au premier semestre, c’est-à-dire Par rapport au cloud traditionnel, les fabricants se battent pour le secteur de la puissance de calcul, en se concentrant sur une puissance de calcul bon marché et facile à obtenir.Cependant, comme pour l’exploitation minière de Bitcoin à l’avenir, il y a peu de chances que des puces d’IA Web3 apparaissent.

Un commentaire supplémentaire : depuis qu’Ethereum est passé au PoS, il y a de moins en moins de matériel dédié dans le cercle des devises. Les marchés tels que les téléphones mobiles Saga, l’accélération matérielle ZK et DePIN sont trop petits. J’espère que la puissance de calcul décentralisée pourra être explorée pour Cartes de puissance de calcul dédiées à l’IA. Créez un chemin unique pour le Web3.

**La puissance de calcul décentralisée est la prochaine étape ou un complément au cloud. **

La puissance de calcul du GPU est généralement comparée dans l’industrie au FLOPS (Floating Point Operations Per Second), qui est l’indicateur de vitesse de calcul le plus couramment utilisé. Quelles que soient les spécifications du GPU ou les mesures d’optimisation telles que le parallélisme des applications, il est finalement basé sur les FLOPS en haut et en bas.

Il a fallu environ un demi-siècle entre l’informatique locale et le passage au cloud, et le concept de distribution existe depuis la naissance de l’ordinateur. Sous l’impulsion du LLM, la combinaison de la décentralisation et de la puissance de calcul n’est plus aussi vague qu’avant. Résumez autant de projets de puissance de calcul décentralisés existants que possible, avec seulement deux dimensions :

1. Le nombre de GPU et d’autres matériels, c’est-à-dire la vitesse de calcul, est mesuré. Selon la loi de Moore, plus le GPU est récent, plus la puissance de calcul est élevée. Plus le nombre est élevé pour les mêmes spécifications, plus la puissance de calcul est élevée.
2. Méthode d’organisation de la couche d’incitation, qui est une caractéristique de l’industrie du Web 3. Les doubles jetons, les fonctions de gouvernance ajoutées, les incitations au parachutage, etc. facilitent la compréhension de la valeur à long terme de chaque projet, plutôt que de prêter trop d’attention aux projets à court terme. prix en devises à terme. À long terme, il s’agit uniquement de déterminer si vous pouvez posséder ou combien de GPU planifier.

De ce point de vue, la puissance de calcul décentralisée est toujours la voie DePIN basée sur « le matériel existant + le réseau d’incitation », ou l’architecture Internet est toujours la couche inférieure, et la couche de puissance de calcul décentralisée est la monétisation après la « virtualisation matérielle », en se concentrant sur l’accès. sans autorisation. Un véritable réseau nécessite toujours la coopération du matériel.

La puissance de calcul doit être décentralisée et le GPU doit être centralisé.

Avec l’aide du cadre du trilemme blockchain, il n’est pas nécessaire de prendre en compte spécialement la sécurité de la puissance de calcul décentralisée. Les principaux problèmes sont la décentralisation et l’évolutivité. Cette dernière est l’objectif de la mise en réseau GPU, qui est actuellement à la pointe de l’IA. .

Partant d’un paradoxe, pour mener à bien le projet de puissance de calcul décentralisé, il faut que le nombre de GPU sur le réseau soit le plus grand possible. Il n’y a pas d’autre raison. Les paramètres des grands modèles comme le GPT explosent, et il n’y a pas d’autre raison. pas de GPU d’une certaine échelle. Ne peut pas avoir d’effets d’entraînement ou d’inférence.

Bien sûr, par rapport au contrôle absolu des fournisseurs de cloud, au stade actuel, les projets de puissance de calcul décentralisés peuvent au moins mettre en place des mécanismes tels que l’absence d’accès et la migration gratuite des ressources GPU. Y aura-t-il un pool minier similaire à l’avenir ? Le produit n’est peut-être pas le même.

En termes d’évolutivité, le GPU peut non seulement être utilisé pour l’IA, mais le cloud computing et le rendu sont également des voies réalisables. Par exemple, Render Network se concentre sur le travail de rendu, tandis que Bittensor et d’autres se concentrent sur la formation de modèles. D’un point de vue plus simple, l’évolutivité est équivalente aux scénarios et objectifs d’utilisation.

Par conséquent, deux paramètres supplémentaires peuvent être ajoutés au GPU et au réseau d’incitation, à savoir la décentralisation et l’évolutivité, pour former un indicateur de comparaison sous quatre angles. Veuillez noter que cette méthode est différente de la comparaison technique et n’est qu’une image.

Projet GPU quantité incitative réseau évolutivité décentralisée Jeton inopiné Gensyn + mécanisme de vérification pour évaluer la formation et l’inférence de l’IA après le lancement Réseau de rendu 12 000 GPU + 503 jetons CPU + fondation d’incitation supplémentaire + proposition + rendu open source + formation IA Akash 20 000 CPU + 262 jetons GPU + jetons du système de gage en pleine circulation Inférence IA io.net 180 000 GPU + 28 000 CPUGPU en échange de pièces non émises larguées par IA Inférence + formation.

Dans les projets mentionnés ci-dessus, Render Network est en fait très spécial. Il s’agit essentiellement d’un réseau de rendu distribué, et sa relation avec l’IA n’est pas directe. Dans la formation et le raisonnement de l’IA, tous les liens sont imbriqués, qu’il s’agisse de SGD (descente de gradient stochastique , Les algorithmes tels que la descente de gradient stochastique) ou la rétropropagation nécessitent une cohérence, mais le rendu et d’autres tâches ne doivent pas nécessairement l’être. Les vidéos et les images sont souvent segmentées pour faciliter la répartition des tâches.

Ses capacités de formation en IA sont principalement intégrées à io.net et existent sous forme de plug-in d’io.net. Quoi qu’il en soit, le GPU fonctionne, peu importe à quel point il est dur, ce qui est plus prospectif, c’est sa défection au profit de Solana au moment de sous-estimation., Il a été prouvé plus tard que Solana était plus adapté aux exigences de haute performance du rendu et d’autres réseaux.

Le deuxième est la voie de développement à grande échelle d’io.net consistant à remplacer violemment les GPU. Actuellement, le site officiel répertorie 180 000 GPU. Il s’agit du premier niveau du projet de puissance de calcul décentralisé. Il existe une différence d’ordre de grandeur avec les autres opposants, et En termes d’évolutivité, io.net se concentre sur le raisonnement de l’IA, et la formation à l’IA est une méthode de travail pratique.

À proprement parler, la formation en IA n’est pas adaptée au déploiement distribué. Même pour les LLM légers, le nombre absolu de paramètres ne sera pas beaucoup moins. La méthode informatique centralisée est plus rentable en termes de coût économique. Web 3 et Le point d’intégration de L’IA en formation consiste davantage en des opérations de confidentialité et de cryptage des données, telles que les technologies ZK et FHE, et l’inférence IA Web 3 a un grand potentiel. D’une part, il a des exigences relativement faibles en matière de performances de calcul GPU et peut tolérer un certain degré de perte. D’un autre côté, le raisonnement de l’IA est plus proche du côté applicatif et les incitations du point de vue de l’utilisateur sont plus substantielles.

Une autre société qui exploite et échange des jetons, Filecoin, a également conclu un accord d’utilisation de GPU avec io.net. Filecoin utilisera ses 1 000 GPU en parallèle avec io.net. Cela peut être considéré comme un effort conjoint entre les prédécesseurs. bonne chance à tous les deux. .

Vient ensuite Gensyn, qui n’a pas encore été lancé. Nous aborderons également le cloud pour évaluation. Comme il en est encore aux premiers stades de la construction du réseau, le nombre de GPU n’a pas été annoncé. Cependant, son principal scénario d’utilisation est l’IA. formation. Personnellement, je pense que le nombre de GPU hautes performances n’est pas petit. , du moins au-delà du niveau de Render Network. Par rapport à l’inférence de l’IA, la formation de l’IA a une relation concurrentielle directe avec les fournisseurs de cloud, et la conception spécifique du mécanisme sera être plus compliqué.

Plus précisément, Gensyn doit garantir l’efficacité de la formation des modèles. Dans le même temps, afin d’améliorer l’efficacité de la formation, il utilise à grande échelle des paradigmes informatiques hors chaîne. Par conséquent, la vérification des modèles et les systèmes anti-triche nécessitent un rôle multipartite. Jeux:

• Soumissionnaires : initiateurs de tâches, qui paient en fin de compte les frais de formation.
• Solveurs : entraîner le modèle et fournir la preuve de son efficacité.
• Vérificateurs : Vérifier la validité du modèle.
• Lanceurs d’alerte : vérifiez les emplois des validateurs.

Dans l’ensemble, la méthode de fonctionnement est similaire à celle du PoW mining + mécanisme de preuve optimiste. L’architecture est très complexe. Peut-être que le transfert de calculs hors chaîne peut permettre de réduire les coûts, mais la complexité de l’architecture entraînera des coûts d’exploitation supplémentaires. À l’heure actuelle, les principaux systèmes décentralisés puissance de calcul En me concentrant sur le raisonnement de l’IA, je souhaite également bonne chance à Gensyn.

Enfin, il y a l’ancien Akash, qui a essentiellement commencé avec Render Network. Akash s’est concentré sur la décentralisation du CPU, et Render Network a été le premier à se concentrer sur la décentralisation du GPU. De manière inattendue, après l’apparition de l’IA, les deux parties sont entrées dans domaine du calcul GPU + IA. La différence Akash est plus préoccupé par le raisonnement.

La clé du rajeunissement d’Akash est de s’intéresser aux problèmes miniers après la mise à niveau d’Ethereum. Le GPU inactif peut non seulement être utilisé d’occasion par les étudiantes pour un usage personnel, mais elles peuvent désormais également travailler ensemble sur l’IA. Quoi qu’il en soit, ils contribuent tous à la civilisation humaine.

Cependant, une bonne chose à propos d’Akash est que les jetons sont fondamentalement entièrement distribués. Après tout, il s’agit d’un projet très ancien, et il adopte également activement le système de staking couramment utilisé dans PoS. Cependant, l’équipe semble être plus bouddhiste, et ils ne sont pas aussi jeunes que io.net.

En outre, il existe THETA pour le cloud computing de pointe, Phoenix pour fournir des solutions de niche pour la puissance de calcul de l’IA, et d’anciennes et nouvelles sociétés informatiques telles que Bittensor et Ritual. En raison du manque d’espace, nous ne pouvons pas tous les énumérer, principalement parce que certains d’entre eux sont vraiment difficile à trouver. Moins que le nombre de GPU et d’autres paramètres.

Conclusion

Tout au long de l’histoire du développement informatique, des versions décentralisées de divers paradigmes informatiques ont pu être construites. Le seul regret est qu’elles n’aient aucun impact sur les applications grand public. Le projet informatique Web3 actuel est principalement une auto-promotion au sein de l’industrie. Le fondateur de Near est allé à la conférence GTC C’est aussi à cause de la paternité de Transformer, et non du statut de fondateur de Near.

Ce qui est encore plus pessimiste, c’est que la taille actuelle du marché du cloud computing et les acteurs sont trop puissants. io.net peut-il remplacer AWS ? S’il y a suffisamment de GPU, c’est vraiment possible. Après tout, AWS utilise depuis longtemps Redis open source comme sous-jacent. composant.

Dans un sens, le pouvoir de l’open source et de la décentralisation n’est pas égal : les projets décentralisés sont trop concentrés dans des domaines financiers tels que DeFi, et l’IA peut être une voie clé pour entrer sur le marché grand public.

les références:

_2024-03-06_Ai.pdf