Titre de l'article original : Our Crypto AI Thesis (Part II): Decentralised Compute is King

L'auteur original : Teng Yan, chiffrement chercheur

Original translation: Deep Tide TechFlow

Bonjour! Il est enfin arrivé.

Le contenu de notre document est assez riche. Afin de faciliter la compréhension de tous (et d'éviter de dépasser la limite de taille du fournisseur de messagerie), j'ai décidé de le diviser en plusieurs parties et de le partager progressivement au cours du prochain mois. Maintenant, commençons!

Une énorme perte que je n'arrive pas à oublier.

Cette affaire me hante encore aujourd'hui, car c'était une opportunité évidente que tout suiveur de marché aurait pu voir, mais j'ai manqué l'occasion de ne pas investir un centime.

Non, ce n'est pas le prochain Solana killer, ce n'est pas non plus un memecoin avec un chien portant un chapeau drôle.

C'est... NVIDIA.

Performance des actions NVDA depuis le début de l'année. Source: Google

En seulement un an, la capitalisation boursière de NVIDIA a grimpé de 1 billion de dollars à 3 billion de dollars, le prix des actions a triplé, dépassant même celui du BTC sur la même période.

Bien sûr, une partie de cela est stimulée par l'engouement pour l'IA. Mais plus important encore, cette hausse repose sur des bases solides dans la réalité. Les revenus de NVIDIA pour l'exercice 2024 atteindront 60 milliards de dollars, soit une hausse de 126% par rapport à 2023. Derrière cette hausse stupéfiante, les grandes entreprises technologiques du monde entier se précipitent pour acheter des GPU afin de prendre une longueur d'avance dans la course aux armements de l'Intelligence Artificielle Générale (AGI).

Pourquoi ai-je manqué ?

Au cours des deux dernières années, toute mon attention a été entièrement concentrée sur le domaine des Cryptoactifs, sans suivre les développements dans le domaine de l'IA. C'était une énorme erreur et cela me tourmente encore aujourd'hui.

Mais cette fois, je ne ferai pas la même erreur.

Aujourd'hui, Crypto AI me donne un sentiment de déjà vu.

Nous sommes actuellement sur le point d'une explosion d'innovation. Il présente des similitudes frappantes avec la ruée vers l'or en Californie au milieu du 19e siècle - l'industrie et la ville ont surgi du jour au lendemain, les infrastructures se sont rapidement développées, et ceux qui ont osé prendre des risques ont fait fortune.

Comme pour les premiers jours de NVIDIA, Crypto AI apparaîtra si évident à l'avenir.

Crypto AI: Opportunités d'investissement illimitées

· Beaucoup de gens le considèrent toujours comme un "château en l'air".

· La cryptographie AI est actuellement à un stade précoce et il pourrait y avoir encore 1 à 2 ans avant le pic de la spéculation.

· Ce domaine a un potentiel de hausse d'au moins 2300 milliards de dollars.

Le cœur de Crypto AI est de combiner l'intelligence artificielle avec l'infrastructure de chiffrement. Cela le rend plus susceptible de se développer sur une hausse exponentielle de l'IA plutôt que de suivre un marché de chiffrement plus large. Ainsi, pour rester en avance, vous devez suivre les dernières recherches en IA sur Arxiv et interagir avec des fondateurs qui croient qu'ils construisent le prochain grand événement.

Les quatre domaines principaux de Crypto AI

Dans la deuxième partie de mon mémoire, je me concentrerai sur l'analyse des quatre sous-domaines les plus prometteurs de Crypto AI :

1. Calcul de la Décentralisation : formation de modèles, déduction et marché des GPU

2. Réseau de données

3. AI vérifiable

4. Agent d'intelligence artificielle en cours d'exécution hors-chaîne

Cet article est le fruit de plusieurs semaines de recherche approfondie et de discussions avec les fondateurs et l'équipe du domaine de l'IA Crypto. Il ne s'agit pas d'une analyse détaillée de chaque domaine, mais plutôt d'une feuille de route à haut niveau conçue pour stimuler votre curiosité, vous aider à optimiser votre orientation de recherche et guider vos décisions d'investissement.

La feuille de route de l'écosystème Crypto AI

Je pense à l'écosystème de l'IA de Décentralisation comme une structure en couches : commençant par le calcul de Décentralisation et le réseau de données ouvert d'un côté, ceux-ci fournissent la base pour l'entraînement des modèles d'IA de Décentralisation.

Toutes les entrées et sorties de raisonnement sont vérifiées par cryptographie, incitations économiques chiffrées et évaluation du réseau. Ces résultats vérifiés sont dirigés vers des agents d'intelligence artificielle autonomes hors chaîne, ainsi que des applications d'IA grand public et d'entreprise fiables.

Le réseau de coordination connecte tout l'écosystème pour permettre une communication et une collaboration transparentes.

Dans cette vision, toute équipe travaillant sur le développement de l'IA peut accéder à un ou plusieurs niveaux de l'écosystème en fonction de ses besoins. Qu'il s'agisse de l'entraînement de modèles via le calcul Décentralisation ou de l'évaluation des réseaux pour garantir des sorties de haute qualité, cet écosystème offre une diversité de choix.

Grâce à la combinaison possible de la blockchain, je crois que nous nous dirigeons vers un avenir modulaire. Chaque couche sera hautement spécialisée et les protocoles seront optimisés pour des fonctions spécifiques plutôt que d'utiliser une solution intégrée.

Ces dernières années, chaque couche de la pile technologique Décentralisation AI a vu émerger un grand nombre de startups, ce qui montre une hausse explosive de style "Cambrien". La plupart de ces entreprises ont été créées il y a seulement 1 à 3 ans. Cela indique que nous sommes toujours au stade précoce de cette industrie.

Dans l'ensemble des écosystèmes des start-up Crypto AI que j'ai vus, la version la plus complète et la plus récente est entretenue par Casey de topology.vc et son équipe. C'est une ressource indispensable pour quiconque souhaite suivre le développement de ce domaine.

Lorsque j'explore en profondeur les différents sous-domaines de la Crypto AI, je me demande toujours : quelle est réellement l'ampleur des opportunités ici ? Je ne suis pas intéressé par les marchés de petite taille, mais par les énormes opportunités pouvant atteindre 100 milliards de dollars.

1.Taille du marché

Lorsque j'évalue la taille du marché, je me demande : ce sous-domaine crée-t-il un tout nouveau marché ou perturbe-t-il un marché existant ?

En prenant le calcul de la Décentralisation comme exemple, il s'agit d'un domaine typique de perturbation. Nous pouvons estimer son potentiel à travers le marché actuel de l'informatique en nuage. Actuellement, la taille du marché de l'informatique en nuage est d'environ 6800 milliards de dollars et devrait atteindre 25 billions de dollars d'ici 2032.

En revanche, il est plus difficile de quantifier un tout nouveau marché tel que l'agent d'intelligence artificielle AI. En raison du manque de données historiques, nous ne pouvons estimer sa capacité à résoudre les problèmes qu'intuitivement et par des conjectures raisonnables. Cependant, il est important de rester vigilant, car parfois, un produit qui semble être un tout nouveau marché peut en réalité n'être que le fruit de la recherche de solutions à des problèmes.

2. Timing

Le timing est la clé du succès. Bien que la technologie s'améliore et devienne généralement moins chère avec le temps, la vitesse de progression dans différents domaines est très variable.

Dans un domaine particulier, comment la maturité technologique se situe-t-elle? Est-elle suffisamment mature pour une application à grande échelle? Ou est-elle encore à l'étape de la recherche, à des années de distance de l'application pratique? Le moment décide si un domaine mérite un suivi immédiat ou s'il convient d'attendre un certain temps.

En prenant le chiffrement homomorphique intégral (Fully Homomorphic Encryption, FHE) comme exemple : son potentiel est incontestable, mais sa performance technique actuelle est encore trop lente pour permettre une application à grande échelle. Il faudra probablement encore quelques années avant de le voir entrer sur le marché grand public. C'est pourquoi je donnerai la priorité à suivre les domaines où la technologie est déjà proche d'une application à grande échelle, et je concentrerai mon temps et mon énergie sur les opportunités en pleine croissance.

Si ces sous-domaines étaient représentés dans un graphique "taille du marché vs opportunité", cela pourrait ressembler à ceci. Il est important de noter qu'il ne s'agit que d'un schéma conceptuel et non pas d'un guide strict. Chaque domaine a sa propre complexité - par exemple, dans le raisonnement vérifiable, différentes méthodes (telles que zkML et opML) se trouvent à des stades de maturité technologique différents.

Malgré cela, je suis convaincu que l'ampleur future de l'IA sera exceptionnellement énorme. Même les domaines qui semblent "niche" aujourd'hui pourraient évoluer en un marché important à l'avenir.

En même temps, nous devons également reconnaître que le progrès technologique n'est pas toujours linéaire - il avance souvent de manière disruptive. Lorsque de nouvelles percées technologiques se produisent, ma perception des opportunités et de l'échelle du marché s'ajuste également.

Sur la base du cadre ci-dessus, nous allons maintenant décomposer les différents sous-domaines de Crypto AI un par un, explorer leur potentiel de développement et les opportunités d'investissement.

Domaine 1: Calcul de la Décentralisation

Résumé

· Le calcul de la Décentralisation est le pilier central de l'IA Décentralisation.

Le marché des GPU, la formation à la Décentralisation et la décentralisation de la décentralisation sont étroitement liés et se développent de concert.

Les principaux approvisionnements proviennent de petits et moyens centres de données ainsi que des dispositifs GPU des consommateurs ordinaires.

· La demande est actuellement de petite taille, mais elle est en hausse progressive, principalement constituée d'utilisateurs sensibles aux prix, peu exigeants en termes de latence, ainsi que de petites startups en IA.

Le plus grand défi actuel du marché Web3 GPU en Chine est de faire fonctionner efficacement ces réseaux.

· Pour coordonner l'utilisation des GPU sur le réseau Décentralisation, une expertise technique avancée et une conception d'architecture réseau solide sont nécessaires.

1.1 Marché GPU / Réseau de calcul

Actuellement, certaines équipes d'IA Crypto mettent en place un réseau GPU Décentralisation afin d'utiliser les ressources de calcul mondiales largement sous-utilisées pour faire face à la demande de GPU largement supérieure à l'offre actuelle.

Les valeurs fondamentales de ces marchés GPU peuvent être résumées en trois points suivants :

Le coût de calcul peut être jusqu'à 90% inférieur à celui d'AWS. Cette faible coût provient de deux aspects : l'élimination des intermédiaires et l'ouverture de l'offre. Ces marchés permettent aux utilisateurs d'accéder à des ressources de calcul au coût marginal le plus bas au monde.

1. Aucun contrat à long terme, aucune vérification d'identité (KYC) ni attente d'approbation requise.

2. Capacité de résistance à l'examen

3. Pour résoudre le problème de l'offre sur le marché, ces marchés obtiennent des ressources de calcul auprès des sources suivantes :

· GPU d'entreprise : comme l'A100 et le H100, des GPU haute performance qui proviennent généralement de petits et moyens centres de données (difficiles à trouver suffisamment de clients lorsqu'ils fonctionnent de manière autonome), ou de Mineurs BTC cherchant à diversifier leurs sources de revenus. De plus, certaines équipes exploitent des projets d'infrastructure de grande envergure financés par le gouvernement, qui ont construit de nombreux centres de données en tant que composante du développement technologique. Ces fournisseurs sont souvent incités à connecter continuellement des GPU au réseau pour aider à compenser le coût de la dépréciation de l'équipement.

· Carte graphique grand public : Des millions de joueurs et d'utilisateurs domestiques connectent leur ordinateur au réseau et gagnent des récompenses en jetons.

Actuellement, la demande de calcul Décentralisation est principalement de la part des utilisateurs suivants :

1. Pour les utilisateurs sensibles aux prix et peu exigeants en matière de latence : Par exemple, des chercheurs avec un budget limité, des développeurs d'IA indépendants, etc. Ils suivent davantage les coûts que les capacités de traitement en temps réel. En raison de contraintes budgétaires, ils ont souvent du mal à supporter les coûts élevés des géants traditionnels du cloud (tels qu'AWS ou Azure). Un marketing précis pour ce groupe est très important.

2. Petites entreprises de démarrage d'IA : Ces entreprises ont besoin de ressources informatiques flexibles et évolutives, mais ne souhaitent pas signer de contrats à long terme avec de grands fournisseurs de services cloud. Pour attirer ce groupe, il est nécessaire de renforcer la coopération commerciale, car ils cherchent activement des alternatives en dehors du cloud computing traditionnel.

**3.Crypto AI 初创企业：**这些企业正在开发Décentralisation AI 产品，但如果没有自己的计算资源，就需要依赖这些Décentralisation网络。

4. Jeu en nuage : Bien qu'il n'ait pas de lien direct avec l'IA, la demande de ressources GPU pour les jeux en nuage augmente rapidement.

La clé à retenir est que les développeurs donnent toujours la priorité au coût et à la fiabilité.

Le véritable défi : la demande, pas l'offre

De nombreuses start-ups considèrent la taille du réseau d'approvisionnement en GPU comme un signe de réussite, mais en réalité, il s'agit simplement d'un "indicateur de vanité".

Le véritable goulot d'étranglement réside du côté de la demande, pas de l'offre. La clé pour mesurer le succès n'est pas le nombre de GPU dans le réseau, mais le taux d'utilisation des GPU et le nombre réel de GPU loués.

Les mécanismes d'incitation des jetons sont très efficaces pour attirer rapidement des ressources dans le réseau du côté de l'offre. Cependant, ils ne peuvent pas résoudre directement le problème de la demande insuffisante. Le véritable défi réside dans la capacité à perfectionner le produit à un niveau suffisamment élevé pour susciter une demande potentielle.

Comme l'a dit Haseeb Qureshi (de Dragonfly), c'est là que réside la clé.

Faire fonctionner réellement le réseau de calcul

Actuellement, le plus grand défi auquel est confronté le marché distribué des GPU Web3 est en fait de faire fonctionner ces réseaux de manière vraiment efficace.

Ce n'est pas une tâche simple.

La coordination des GPU dans un réseau distribué est une tâche extrêmement complexe qui implique plusieurs problèmes techniques tels que l'allocation des ressources, l'extension dynamique de la charge de travail, l'équilibrage de charge des Nœuds et des GPU, la gestion de la latence, le transfert de données, la tolérance aux pannes, ainsi que la manière de gérer des équipements matériels diversifiés répartis dans le monde entier. Ces problèmes s'accumulent et constituent un énorme défi d'ingénierie.

Pour résoudre ces problèmes, une solide capacité technique en génie et une architecture réseau robuste et bien conçue sont nécessaires.

Pour mieux comprendre cela, vous pouvez vous référer au système Kubernetes de Google. Kubernetes est largement considéré comme la norme d'or dans le domaine de l'orchestration de conteneurs, il peut automatiser des tâches telles que l'équilibrage de charge et l'extensibilité dans des environnements distribués, des problèmes qui sont très similaires aux défis auxquels sont confrontés les réseaux GPU distribués. Il est à noter que Kubernetes a été développé sur la base de plus de dix ans d'expérience de calcul distribué chez Google, et malgré cela, il a fallu plusieurs années pour le perfectionner à travers des itérations constantes.

Actuellement, certains marchés de calcul GPU en ligne peuvent traiter des charges de travail à petite échelle, mais une fois qu'ils essaient de s'étendre à plus grande échelle, les problèmes se révèlent. Cela peut être dû à des défauts fondamentaux dans leur conception architecturale.

Problème de crédibilité : défis et opportunités

Un autre problème important auquel le réseau de calcul Décentralisation doit faire face est comment assurer la fiabilité des Nœuds, c'est-à-dire comment vérifier si chaque Nœud fournit réellement la puissance de calcul qu'il prétend avoir. Actuellement, ce processus de vérification repose largement sur le système de réputation du réseau, parfois les fournisseurs de calcul sont classés en fonction de leur score de réputation. La technologie de la blockchain a un avantage naturel dans ce domaine car elle peut réaliser un mécanisme de vérification sans nécessiter de confiance. Certaines start-ups, telles que Gensyn et Spheron, explorent comment résoudre ce problème de manière non fiable.

Actuellement, de nombreuses équipes Web3 luttent encore contre ces défis, ce qui signifie également que les opportunités dans ce domaine restent très vastes.

La taille du marché de la décentralisation des calculs

Alors, à quel point le marché du réseau de calcul Décentralisation est-il important ?

Actuellement, il ne représente qu'une infime partie du marché mondial de l'informatique en nuage (qui est d'environ 6800 milliards à 2,5 billions de dollars). Cependant, tant que le coût de la Décentralisation informatique est inférieur à celui des fournisseurs de services cloud traditionnels, il y aura certainement une demande, même s'il y a quelques frictions supplémentaires du point de vue de l'expérience utilisateur.

Je pense que, à court et moyen terme, les coûts de calcul de la décentralisation resteront relativement bas. Cela est principalement dû à deux facteurs : les subventions en TOKEN et la libération de l'offre de la part des utilisateurs non sensibles au prix. Par exemple, si je peux louer mon ordinateur portable de jeu pour gagner un revenu supplémentaire, que ce soit 20 $ ou 50 $ par mois, je serais satisfait.

Le véritable potentiel de hausse de la décentralisation du réseau de calcul, ainsi que l'expansion significative de sa taille de marché, dépendra de plusieurs facteurs clés :

1. La faisabilité de la formation des modèles d'IA en décentralisation : Lorsque le réseau de décentralisation peut prendre en charge la formation de modèles d'IA, cela entraînera une énorme demande sur le marché.

2. Explosion de la demande de raisonnement : Avec l'explosion de la demande de raisonnement de l'IA, les centres de données existants pourraient ne pas être en mesure de répondre à cette demande. En fait, cette tendance est déjà en train de se manifester. Jensen Huang de NVIDIA a déclaré que la demande de raisonnement augmentera de « milliards de fois ».

3. Introduction du protocole de niveau de service (SLA) : Actuellement, la décentralisation de calcul fournit principalement des services sur la base du principe du 'best-effort', ce qui peut entraîner une incertitude quant à la qualité du service (comme le temps de fonctionnement normal). Avec les SLA, ces réseaux peuvent fournir des indicateurs de fiabilité et de performance normalisés, ce qui permet de surmonter les obstacles clés auxquels les entreprises sont confrontées et fait de la décentralisation de calcul une alternative viable à l'informatique en nuage traditionnelle.

Décentralisation、无需许可的计算是Décentralisation AI 生态系统的基础层，也是其最重要的基础设施之一。

Malgré l'expansion continue de la chaîne d'approvisionnement en matière de matériel, tels que les GPU, je crois que nous sommes encore aux premiers jours de l'ère de l'intelligence humaine. À l'avenir, la demande en matière de puissance de calcul sera infinie.

Veuillez suivre le point de basculement clé qui pourrait déclencher une nouvelle tarification du marché GPU - ce point de basculement pourrait arriver très bientôt.

Autres remarques :

· Le marché de la concurrence purement GPU est très féroce, non seulement il y a une lutte entre les plates-formes de Décentralisation, mais aussi l'émergence puissante des nouvelles plates-formes cloud Web2 AI (comme Vast.ai et Lambda).

· Les petits Nœuds (par exemple 4 GPU H100) ont une demande limitée sur le marché en raison de leur utilisation limitée. Cependant, il est presque impossible de trouver des fournisseurs de grands clusters à vendre car la demande reste très forte.

· La fourniture de ressources de calcul du protocole de décentralisation sera-t-elle intégrée par un acteur dominant ou continuera-t-elle à être répartie sur plusieurs marchés ? Je suis plus enclin à penser que ce sera la première option, et je pense que le résultat final présentera une distribution de puissance. Cela dit, ce processus prendra du temps et pendant cette période, la fragmentation et la confusion du marché persisteront.

Les développeurs préfèrent se concentrer sur la construction d'applications plutôt que de passer du temps à résoudre des problèmes de déploiement et de configuration. Par conséquent, le marché de l'informatique doit simplifier ces complexités et minimiser autant que possible les frictions que les utilisateurs rencontrent lorsqu'ils obtiennent des ressources informatiques.

1.2 Décentralisation训练

Résumé

· Si la loi de l'extension (Scaling Laws) est valable, il deviendra physiquement impossible de former les modèles d'IA de pointe de la prochaine génération dans un seul centre de données.

La formation de modèles d'IA nécessite un transfert de données important entre les GPU, et la vitesse de connexion entre les GPU distribués est souvent le plus grand obstacle technique.

· Les chercheurs explorent différentes solutions et ont réalisé des avancées majeures (comme Open DiLoCo et DisTrO). Ces innovations technologiques auront un effet cumulatif et accéléreront le développement de la décentralisation de la formation.

L'avenir de la formation de la décentralisation pourrait se concentrer davantage sur des modèles spécialisés et de petite taille conçus pour des domaines spécifiques plutôt que sur des modèles de pointe pour l'AGI.

· Avec la popularité croissante des modèles tels que o1 d'OpenAI, la demande d'inférence connaîtra une hausse explosive, ce qui créera également d'énormes opportunités pour le réseau d'inférence Décentralisation.

Imagine this: a huge, world-changing AI model, not developed by a secret top laboratory, but by millions of ordinary people working together. Gamers' GPUs are no longer just used to render cool graphics for Call of Duty, but to support a larger goal - an Open Source, collectively owned AI model without any centralized gatekeepers.

Dans un tel avenir, les modèles d'IA à grande échelle ne sont plus exclusifs aux laboratoires de pointe, mais sont le fruit de la participation de tous.

Cependant, en revenant à la réalité, la plupart des entraînements importants en intelligence artificielle restent concentrés dans des centres de données centralisés, et cette tendance pourrait ne pas changer dans un avenir proche.

Des entreprises comme OpenAI continuent d'étendre leur énorme cluster de GPU. Elon Musk a récemment révélé que xAI terminera bientôt un centre de données avec une quantité totale de GPU équivalente à 200 000 H100.

Mais le problème n'est pas seulement le nombre de GPU. En 2022, Google a présenté un indicateur clé dans son article PaLM, le taux d'utilisation des FLOPS du modèle (Model FLOPS Utilization, MFU), qui mesure l'utilisation réelle de la capacité de calcul maximale du GPU. Il est surprenant de constater que ce taux d'utilisation n'est généralement que de 35 à 40 %.

Pourquoi si bas? Bien que les performances du GPU augmentent rapidement avec la progression de la loi de Moore, les améliorations des réseaux, de la mémoire et du stockage sont loin derrière, créant ainsi un goulot d'étranglement significatif. En conséquence, le GPU est souvent inactif en attendant la fin du transfert de données.

Actuellement, la raison fondamentale de la centralisation extrême de la formation en IA n'est qu'une seule - l'efficacité.

La formation de grands modèles dépend des technologies clés suivantes：

· Parallélisme de données: diviser l'ensemble de données en plusieurs GPU pour un traitement parallèle et accélérer le processus d'entraînement.

· Parallélisme du modèle : distribuer différentes parties du modèle sur plusieurs GPU pour surmonter les limitations de mémoire.

Ces exigences technologiques nécessitent des échanges fréquents de données entre les GPU, il est donc crucial d'avoir une vitesse de connexion (c'est-à-dire le taux de transfert des données dans le réseau) élevée.

Lorsque le coût de formation des modèles d'IA peut atteindre 1 milliard de dollars, chaque amélioration d'efficacité est cruciale.

Les centres de données centralisés, grâce à leur technologie de connexion rapide, peuvent permettre un transfert rapide des données entre les GPU, ce qui permet d'économiser considérablement les coûts de formation. C'est actuellement un avantage que le réseau Décentralisation ne peut pas égaler... du moins pas pour l'instant.

Surmonter la lenteur de la vitesse d'interconnexion

Si vous discutez avec des professionnels de l'IA, beaucoup pourraient dire que la formation Décentralisation n'est pas réalisable.

Dans l'architecture de Décentralisation, les clusters de GPU ne sont pas situés au même emplacement physique, ce qui entraîne une vitesse de transfert de données plus lente entre eux, devenant ainsi un goulot d'étranglement majeur. Le processus de formation nécessite une synchronisation et un échange de données à chaque étape du GPU. Plus la distance est grande, plus la latence est élevée. Et une latence plus élevée signifie une vitesse de formation plus lente et des coûts plus élevés.

Une tâche de formation qui ne prend que quelques jours dans un centre de données centralisé peut prendre jusqu'à deux semaines dans un environnement de Décentralisation, et coûter plus cher. Cela n'est clairement pas réalisable.

Cependant, cette situation est en train de changer.

Ce qui est excitant, c'est que l'enthousiasme pour l'apprentissage distribué est en Hausse rapide. Les chercheurs explorent simultanément plusieurs directions, et la profusion récente de résultats de recherche et d'articles en est la preuve. Ces avancées technologiques auront un effet d'accumulation et accéléreront le développement de l'apprentissage Décentralisation.

De plus, les tests en environnement de production réel sont également essentiels car ils nous aident à repousser les limites technologiques existantes.

Actuellement, certaines techniques de formation Décentralisation peuvent déjà traiter des modèles de petite taille dans des environnements de connexion à faible vitesse. Cependant, la recherche de pointe s'efforce d'étendre ces méthodes à des modèles de plus grande envergure.

· Par exemple, le document Open DiCoLo de Prime Intellect propose une méthode pratique : diviser le GPU en "îlots", chaque îlot effectuant 500 calculs locaux avant la synchronisation, réduisant ainsi la demande de bande passante à Goutte de 1/500 de sa valeur initiale. Cette technologie a été initialement étudiée par Google DeepMind pour les petits modèles, mais elle a depuis été étendue avec succès pour entraîner un modèle de 10 milliards de paramètres, et est récemment devenue entièrement Open Source.

Le cadre DisTrO de Nous Research va encore plus loin en réduisant les besoins en communication entre les GPU jusqu'à 10 000 fois grâce à une technologie d'optimisation, tout en réussissant à former un modèle avec 1,2 milliard de paramètres.

· Cette tendance se poursuit. Nous a récemment annoncé avoir achevé la pré-formation d'un modèle de 15 milliards de paramètres, avec une courbe de perte et une vitesse de convergence surpassant même les performances de l'entraînement centralisé traditionnel.

（Détails du tweet）

De plus, des méthodes telles que SWARM Parallelism et DTFMHE explorent également comment entraîner des modèles d'IA à très grande échelle sur différents types d'appareils, même si leur vitesse et leurs conditions de connexion sont différentes.

Un autre défi est de gérer la diversité du matériel GPU, en particulier les GPU grand public couramment utilisés dans les réseaux de décentralisation, qui ont généralement une mémoire limitée. Ce problème est en train d'être résolu progressivement grâce à la technologie de parallélisme de modèle (qui répartit les différentes couches du modèle sur plusieurs appareils).

L'avenir de la formation à la Décentralisation

Actuellement, la taille des modèles d'entraînement de la décentralisation est encore loin derrière les modèles de pointe (selon les rapports, les paramètres de GPT-4 sont proches de 1 billion, soit 100 fois plus que le modèle de 10 milliards de paramètres de Prime Intellect). Pour parvenir à une véritable mise à l'échelle, nous devons réaliser des avancées majeures dans la conception de l'architecture du modèle, l'infrastructure réseau et la stratégie de répartition des tâches.

Mais nous pouvons imaginer audacieusement: à l'avenir, la formation de Décentralisation pourrait rassembler une puissance de calcul GPU supérieure à celle des plus grands centres de données centralisés.

Pluralis Research（一个在Décentralisation训练领域非常值得suivre的团队）认为，这不仅是可能的，而且是必然的。中心化数据中心受限于物理条件，例如空间和电力供应，而Décentralisation网络则可以利用全球几乎无限的资源。

Même Jensen Huang de NVIDIA a mentionné que la formation asynchrone Décentralisation pourrait être la clé pour libérer le potentiel d'expansion de l'IA. De plus, le réseau de formation distribuée possède également une plus grande capacité de tolérance aux pannes.

Donc, dans une éventualité future, le modèle d'IA le plus puissant au monde sera formé de manière Décentralisation.

Cette vision est excitante, mais pour l'instant je reste prudent. Nous avons besoin de plus de preuves solides pour démontrer que la formation de modèles à très grande échelle est techniquement et économiquement réalisable.

Je pense que le meilleur cas d'application pour la formation de Décentralisation pourrait être des modèles Open Source plus petits et spécialisés, conçus pour des cas d'utilisation spécifiques, plutôt que de rivaliser avec de gros modèles de pointe visant l'AGI. Certains architectures, en particulier les modèles non-Transformer, ont déjà prouvé qu'ils étaient très adaptés à l'environnement de la Décentralisation.

De plus, le mécanisme d'incitation des TOKENS sera également un élément important à l'avenir. Une fois que la formation à la Décentralisation devient viable à grande échelle, les TOKENS peuvent efficacement inciter et récompenser les contributeurs, ce qui favorise le développement de ces réseaux.

Bien que le chemin à parcourir soit long, les progrès actuels sont encourageants. La percée de la formation en décentralisation bénéficiera non seulement au réseau de décentralisation, mais apportera également de nouvelles possibilités pour les grandes sociétés technologiques et les laboratoires d'IA de premier plan...

1.3 Décentralisation推理

Actuellement, la plupart des ressources de calcul de l'IA sont concentrées sur la formation de modèles volumineux. Il y a une course aux armements entre les meilleurs laboratoires d'IA pour développer le modèle de base le plus puissant et finalement réaliser l'AGI.

Mais je pense que cet investissement massif dans les ressources de calcul pour l'entraînement se déplacera progressivement vers le raisonnement au cours des prochaines années. À mesure que la technologie de l'IA est de plus en plus intégrée dans les applications que nous utilisons au quotidien - de la santé au divertissement - les ressources de calcul nécessaires pour le raisonnement deviendront énormes.

Cette tendance n'est pas venue de nulle part. L'extension du calcul au moment de l'inférence est devenue un sujet brûlant dans le domaine de l'IA. OpenAI a récemment publié une version préliminaire/miniature de son tout dernier modèle, o1 (code : Strawberry), dont la caractéristique principale est qu'il "prend le temps de réfléchir". Concrètement, il analyse d'abord les étapes à suivre pour répondre à une question, puis les accomplit progressivement.

Ce modèle est conçu spécifiquement pour des tâches plus complexes et nécessitant de la planification, telles que résoudre des jeux de mots croisés et traiter des problèmes nécessitant une réflexion en profondeur. Bien qu'il génère des réponses plus lentement, les résultats sont plus précis et réfléchis. Cependant, cette conception entraîne également des coûts d'exécution élevés, avec des frais de raisonnement 25 fois supérieurs à ceux du GPT-4.

Cette tendance montre que la prochaine avancée des performances de l'IA dépendra non seulement de l'entraînement de modèles plus grands, mais également de l'extension de la capacité de calcul de la phase d'inférence.

Si vous souhaitez en savoir plus, plusieurs études ont déjà prouvé :

· L'extension du calcul d'inférence par échantillonnage répété peut entraîner des améliorations significatives des performances dans de nombreuses tâches.

La phase de raisonnement suit également une règle d'expansion exponentielle (loi d'échelle).

Une fois que les modèles d'IA puissants sont formés, leurs tâches d'inférence (c'est-à-dire la phase d'application réelle) peuvent être déchargées dans le réseau de calcul 01928374656574839201. Ce mode est très attrayant pour les raisons suivantes :

· Les ressources nécessaires à l'inférence sont beaucoup moins élevées que celles nécessaires à l'entraînement. Une fois l'entraînement terminé, le modèle peut être compressé et optimisé à l'aide de techniques telles que la quantification, l'élagage ou la distillation. Il est même possible de diviser le modèle en utilisant le parallélisme tensoriel ou le parallélisme de pipeline, ce qui permet de l'exécuter sur des appareils grand public ordinaires. L'inférence ne nécessite pas l'utilisation de GPU haut de gamme.

· Cette tendance a déjà commencé à se dessiner. Par exemple, Exo Labs a trouvé un moyen de faire fonctionner un modèle Llama3 avec 450 milliards de paramètres sur du matériel grand public tel que le MacBook et le Mac Mini. En répartissant les tâches d'inférence sur plusieurs appareils, même les besoins de calcul à grande échelle peuvent être satisfaits de manière efficace et économique.

· Une meilleure expérience utilisateur : le déploiement des capacités de calcul plus près de l'utilisateur peut considérablement réduire la latence, ce qui est essentiel pour les applications en temps réel telles que les jeux, la réalité augmentée (AR) ou les voitures autonomes - dans ces scénarios, chaque milliseconde de latence peut avoir un impact sur l'expérience d'utilisation.

Nous pouvons comparer le raisonnement de la Décentralisation à celui du CDN (réseau de diffusion de contenu) de l'IA. Les CDN traditionnels transfèrent rapidement le contenu des sites Web en se connectant à des serveurs voisins, tandis que le raisonnement de la Décentralisation utilise les ressources de calcul locales pour générer des réponses AI à une vitesse extrêmement rapide. De cette manière, les applications AI peuvent devenir plus efficaces, plus réactives et plus fiables.

Cette tendance commence à se dessiner. La puce M4 Pro la plus récente d'Apple offre des performances proches de celles du RTX 3070 Ti de NVIDIA, qui était autrefois un GPU haute performance exclusif aux joueurs hardcore. Désormais, le matériel que nous utilisons au quotidien devient de plus en plus capable de gérer des charges de travail AI complexes.

La valeur de Cryptoactifs

Pour que la Décentralisation du réseau d'inférence soit vraiment réussie, il est nécessaire de fournir des incitations économiques suffisamment attractives aux participants. Les Nœuds de calcul du réseau doivent être rémunérés de manière raisonnable pour leur contribution en capacité de calcul, tout en garantissant l'équité et l'efficacité de la distribution des récompenses. De plus, la diversité géographique est également cruciale. Elle permet non seulement de réduire la latence des tâches d'inférence, mais aussi d'améliorer la tolérance aux pannes du réseau, renforçant ainsi sa stabilité globale.

Alors, quelle est la meilleure façon de construire un réseau de décentralisation? La réponse est Cryptoactifs.

TOKEN est un puissant outil qui peut unifier les intérêts de tous les participants, en veillant à ce que chacun travaille vers un objectif commun : accroître l'échelle du réseau et la valeur du TOKEN.

De plus, les tokens peuvent accélérer considérablement la croissance du réseau. Ils ont aidé à résoudre le dilemme classique de l’œuf et de la poule auquel de nombreux réseaux ont été confrontés à leurs débuts. En récompensant les premiers utilisateurs, Token est en mesure d’inciter davantage de personnes à participer au réseau dès le début.

Le succès du BTC et de l'Ethereum a prouvé l'efficacité de ce mécanisme - ils ont déjà rassemblé la plus grande puissance de calcul de la planète.

La prochaine génération de réseau de raisonnement sera celle de la Décentralisation. Grâce à sa diversité géographique, ces réseaux peuvent réduire la latence, améliorer la tolérance aux pannes et rapprocher les services d'IA des utilisateurs. Et avec un mécanisme d'incitation alimenté par la Cryptoactifs, la vitesse et l'efficacité d'expansion du réseau de Décentralisation dépasseront de loin celles des réseaux traditionnels.

Hommage

Teng Yan

Dans les articles suivants, nous examinerons de plus près les réseaux de données et étudierons comment ils peuvent aider à surmonter les obstacles liés aux données auxquels l'IA est confrontée.

Avis de non-responsabilité

Cet article est uniquement à des fins éducatives et ne constitue pas un conseil financier. Ce n'est pas non plus une approbation de l'achat, de la vente ou de la prise de décisions financières. Lors du choix des investissements, veuillez faire vos propres recherches et être prudent.

Lien vers le texte original

：