AI x DePIN : Quelles nouvelles opportunités naîtront de la collision des pistes chaudes ?

Auteur(s) : Cynic, Shigeru

Il s’agit du deuxième volume de la série de rapports de recherche Web3 x AI, et la partie introductive est détaillée dans « Du parallèle à la convergence : explorer la nouvelle vague de l’économie numérique menée par la convergence du Web3 et de l’IA »

Alors que le monde continue d’accélérer sa transformation numérique, l’IA et le DePIN (Decentralization Physical Infrastructure) sont devenus des technologies fondamentales qui favorisent le changement dans tous les secteurs. L’intégration de l’IA et de DePIN favorisera non seulement l’itération et l’application rapides de la technologie, mais ouvrira également la voie à un modèle de service plus sûr, transparent et efficace, apportant des changements profonds à l’économie mondiale.

DePIN : La décentralisation du virtuel vers le réel, pilier de l’économie numérique

DePIN est l’abréviation de Decentralization Decentralized Physical Infrastructure. Dans un sens étroit, DePIN fait principalement référence au réseau distribué de l’infrastructure physique traditionnelle prise en charge par la technologie Distributed Ledger, tels que les réseaux électriques, les réseaux de communication, les réseaux de positionnement, etc. D’une manière générale, tous les réseaux distribués pris en charge par des périphériques physiques, tels que les réseaux de stockage et les réseaux informatiques, peuvent être appelés DePIN.

de : Messari

Si Crypto apporte la décentralisation au niveau financier, alors DePIN est la solution de décentralisation dans l’économie réelle. On peut dire que PoW Mining Rig est une sorte de DePIN. DePIN est un pilier essentiel du Web3 depuis le premier jour.

Les trois éléments de l’IA - l’algorithme, la puissance de calcul et les données, DePIN occupe exclusivement le second

On considère généralement que le développement de l’IA repose sur trois éléments clés : l’algorithme, la puissance de calcul et les données. Les algorithmes font référence aux modèles mathématiques et à la logique des programmes qui pilotent les systèmes d’IA, la puissance de calcul fait référence aux ressources de calcul nécessaires à l’exécution de ces algorithmes, et les données constituent la base de l’entraînement et de l’optimisation des modèles d’IA.

Lequel des trois éléments est le plus important ?Avant l’avènement de chatGPT, les gens pensaient généralement qu’il s’agissait d’algorithme, sinon les conférences universitaires et les articles de revues ne seraient pas remplis d’un algorithme affiné après l’autre. Cependant, lorsque ChatGPT et le grand modèle de langage LLM qui sous-tend son intelligence ont été dévoilés, les gens ont commencé à se rendre compte de l’importance de ces deux derniers. La puissance de calcul est une condition préalable aux modèles, la qualité et la diversité des données sont essentielles à la construction de systèmes d’IA robustes et efficaces, et les exigences des algorithmes ne sont plus aussi raffinées que d’habitude.

À l’ère des grands modèles, l’IA est passée d’un savoir-faire méticuleux à des briques volantes vigoureuses, et la demande de puissance de calcul et de données augmente de jour en jour, et DePIN peut fournir exactement cela. Les incitations symboliques tirent parti du marché de la longue traîne, et la puissance de calcul et le stockage massifs de qualité grand public deviendront la meilleure nourriture pour les grands modèles.

La décentralisation de l’IA n’est pas facultative, mais obligatoire

Bien sûr, certaines personnes demanderont, la puissance de calcul et les données sont disponibles dans la salle informatique d’AWS, et elles sont meilleures que DePIN en termes de stabilité et d’expérience utilisateur, pourquoi choisir DePIN au lieu de services centralisés ?

Cette affirmation a naturellement du sens, après tout, tout au long du présent, presque tous les grands modèles sont développés directement ou indirectement par de grandes entreprises Internet, chatGPT est derrière Microsoft, Gemini est derrière Google, les fabricants Internet chinois presque tout le monde a un grand modèle. Pourquoi ? Parce que seules les grandes entreprises de l’Internet disposent de données de qualité suffisante et d’un soutien financier solide pour la puissance de calcul. Mais ce n’est pas vrai, les gens ne veulent plus être manipulés par les géants de l’Internet.

D’une part, l’IA centralisée présente des risques pour la confidentialité et la sécurité des données, qui peuvent être censurés et contrôlés, et d’autre part, l’IA fabriquée par les géants de l’Internet augmentera encore la dépendance des gens, entraînera une concentration du marché et érigera des obstacles à l’innovation.

De:

L’humanité ne devrait pas avoir besoin d’un Martin Luther à l’ère de l’IA, et les gens devraient avoir le droit de parler directement à Dieu.

DePIN d’un point de vue commercial : la réduction des coûts et l’augmentation de l’efficacité sont essentielles

Même en mettant de côté le débat sur la valeur entre la décentralisation et la centralisation, d’un point de vue commercial, l’utilisation de DePIN pour l’IA a toujours ses mérites.

Tout d’abord, nous devons bien comprendre que bien que les géants de l’Internet disposent d’un grand nombre de ressources de cartes graphiques haut de gamme entre leurs mains, la combinaison de cartes graphiques grand public dispersées dans le secteur privé peut également former un réseau de puissance de calcul très considérable, c’est-à-dire l’effet de longue traîne de la puissance de calcul. Le taux d’inactivité de ce type de carte graphique grand public est en fait très élevé. Tant que l’incitation donnée par DePIN dépasse la facture d’électricité, les utilisateurs sont motivés à contribuer à la puissance de calcul du réseau. Dans le même temps, toutes les installations physiques sont gérées par les utilisateurs eux-mêmes, et le réseau DePIN n’a pas besoin de supporter les coûts opérationnels qui ne peuvent être évités par les fournisseurs centralisés, mais se concentre uniquement sur la conception du protocole lui-même.

Pour les données, les réseaux DePIN peuvent libérer la disponibilité des données potentielles et réduire les coûts de transmission grâce à l’edge computing et à d’autres méthodes. Dans le même temps, la plupart des réseaux de stockage distribués disposent de capacités de déduplication automatique, ce qui réduit le travail de nettoyage des données d’entraînement de l’IA.

Enfin, la cryptoéconomie apportée par DePIN améliore l’espace de tolérance aux pannes du système, ce qui devrait aboutir à une situation gagnant-gagnant pour les fournisseurs, les consommateurs et les plateformes.

de : UCLA

Au cas où vous ne seriez pas convaincu, les dernières recherches de l’UCLA montrent que l’utilisation de l’informatique décentralisée permet d’obtenir des performances 2,75 fois supérieures à celles des clusters GPU traditionnels au même coût, plus précisément 1,22 fois plus rapide et 4,83 fois moins chère.

Quels sont les enjeux d’AIxDePIN ?

Nous choisissons d’aller sur la lune au cours de cette décennie et de faire d’autres choses, non pas parce qu’elles sont faciles, mais parce qu’elles sont difficiles.

La construction sans confiance de modèles d’IA à l’aide du stockage distribué et de l’informatique distribuée de DePIN présente encore de nombreux défis.

Vérification de l’emploi

Essentiellement, les modèles d’apprentissage en profondeur de calcul et l’exploration PoW sont tous deux de l’informatique à usage général, et la couche la plus basse est le changement de signal entre les portes. D’un point de vue macroscopique, le PoW Mining est un « calcul inutile » qui tente d’arriver à une valeur de hachage préfixée par n zéros grâce à d’innombrables calculs de génération de nombres aléatoires et de fonctions de hachage, tandis que le calcul d’apprentissage en profondeur est un « calcul utile » qui calcule les valeurs des paramètres de chaque couche d’apprentissage en profondeur par dérivation directe et dérivation inverse, afin de construire un modèle d’IA efficace.

Le fait est que les « calculs inutiles » tels que le PoW Mining utilisent des fonctions de hachage, et il est facile de calculer l’image à partir de la préimage, et il est difficile de calculer la préimage à partir de l’image, de sorte que n’importe qui peut facilement et rapidement vérifier la validité du calcul, tandis que pour le calcul du modèle d’apprentissage de la profondeur, en raison de la structure hiérarchique, la sortie de chaque couche est utilisée comme entrée de la couche suivante, de sorte que la vérification de la validité du calcul nécessite tout le travail précédent et ne peut pas être vérifiée simplement et efficacement.

à partir de : AWS

La vérification du travail est essentielle, sinon le fournisseur du calcul peut simplement soumettre un résultat généré aléatoirement sans calcul.

Un type d’idée est de demander à différents serveurs d’effectuer la même tâche de calcul et de vérifier la validité du travail en le répétant et en vérifiant qu’il est le même. Cependant, la grande majorité des calculs de modèles ne sont pas déterministes, et les mêmes résultats ne peuvent pas être reproduits même dans le même environnement informatique, et seules des similitudes statistiques peuvent être obtenues. De plus, le double comptage entraîne une augmentation rapide des coûts, ce qui est incompatible avec l’objectif clé de DePIN de réduire les coûts et d’augmenter l’efficacité.

Un autre type d’idée est le mécanisme optimiste, qui croit d’abord avec optimisme que le résultat est valablement calculé, et en même temps permet à quiconque de vérifier les résultats du calcul, et si une erreur est trouvée, une preuve de fraude peut être soumise, et le protocole frappe le fraudeur et récompense le lanceur d’alerte.

Parallélisation

Comme mentionné précédemment, DePIN exploite principalement le marché de la puissance de calcul grand public à longue traîne, qui est condamné à la puissance de calcul limitée qu’un seul appareil peut fournir. Pour les grands modèles d’IA, l’entraînement sur un seul appareil peut être très long et la parallélisation doit être utilisée pour réduire le temps nécessaire à l’entraînement.

La principale difficulté de la parallélisation de l’apprentissage en profondeur réside dans la dépendance entre les tâches avant et arrière, ce qui rendra la parallélisation difficile à réaliser.

À l’heure actuelle, la parallélisation de l’apprentissage en profondeur est principalement divisée en parallélisme des données et parallélisme des modèles.

Le parallélisme des données fait référence à la distribution des données sur plusieurs machines, chaque machine stocke tous les paramètres d’un modèle, utilise les données locales pour l’entraînement et agrège enfin les paramètres de chaque machine. Le parallélisme des données fonctionne bien lorsqu’il y a une grande quantité de données, mais une communication synchrone est nécessaire pour agréger les paramètres.

Le parallélisme de modèle signifie que lorsque la taille du modèle est trop grande pour tenir dans une seule machine, le modèle peut être divisé sur plusieurs machines, et chaque machine enregistre une partie des paramètres du modèle. La propagation directe et inverse nécessite une communication entre différentes machines. Le parallélisme du modèle présente des avantages lorsque le modèle est grand, mais la surcharge de communication est importante lors de la propagation vers l’arrière et vers l’avant.

Pour les informations de gradient entre les différentes couches, elles peuvent être divisées en mise à jour synchrone et mise à jour asynchrone. Les mises à jour synchrones sont simples, mais augmentent les temps d’attente ; les temps d’attente de l’algorithme de mise à jour asynchrone sont courts, mais présentent des problèmes de stabilité.

de : Université de Stanford, Apprentissage profond parallèle et distribué

Confidentialité

Le monde est en train de lancer une tendance à la protection de la vie privée, et les gouvernements du monde entier renforcent la protection de la sécurité de la confidentialité des données personnelles. Bien que l’IA fasse un usage intensif des ensembles de données accessibles au public, ce sont les données utilisateur spécifiques à l’entreprise qui séparent vraiment les différents modèles d’IA.

Comment puis-je tirer parti des avantages des données propriétaires pendant le processus d’apprentissage sans exposer la vie privée, et comment puis-je m’assurer que les paramètres du modèle d’IA que je crée ne sont pas divulgués ?

Il s’agit de deux aspects de la protection de la vie privée, la confidentialité des données et la confidentialité des modèles. La confidentialité des données protège les utilisateurs, tandis que la confidentialité des modèles protège l’organisation qui crée le modèle. Dans le scénario actuel, la confidentialité des données est beaucoup plus importante que la confidentialité des modèles.

De multiples options tentent de répondre aux préoccupations en matière de protection de la vie privée. L’apprentissage fédéré garantit la confidentialité des données en s’entraînant à la source des données, en conservant les données locales pendant que les paramètres du modèle sont transmis ; Zero-Knowledge Proof pourrait devenir une étoile montante.

Étude de cas : Quels sont les projets de haute qualité sur le marché ?

Gensyn

Gensyn est un réseau informatique distribué pour l’entraînement de modèles d’IA. Le réseau utilise une blockchain de couche 1 basée sur Polkadot pour vérifier que les tâches d’apprentissage en profondeur ont été exécutées correctement et déclencher des paiements via des commandes. Fondée en 2020, elle a dévoilé un tour de financement de série A de 43 millions de dollars en juin 2023, mené par a16z.

Gensyn utilise les métadonnées du processus d’optimisation basé sur le gradient pour construire le certificat du travail effectué, et est exécuté de manière cohérente par un protocole de précision multi-granularité basé sur des graphes et un évaluateur croisé pour permettre au travail de validation d’être réexécuté et de comparer la cohérence, et finalement confirmé par la chaîne elle-même, garantissant la validité du calcul. Pour renforcer encore la fiabilité de la preuve de travail, Gensyn a introduit le jalonnement pour créer des incitations.

Il existe quatre types de participants dans le système : les soumissionnaires, les solveurs, les validateurs et les lanceurs d’alerte.

• L’expéditeur est l’utilisateur final du système, fournit les tâches qui seront calculées et paie pour les unités de travail qui ont été effectuées.
• Le solveur est l’opérateur principal du système, effectuant l’entraînement du modèle et générant des preuves pour l’inspection du vérificateur.
• Le validateur est la clé pour lier le processus d’apprentissage non déterministe au calcul linéaire déterministe, en répliquant une partie de la preuve du solveur et en comparant la distance au seuil attendu.
• Les lanceurs d’alerte sont la dernière ligne de défense, vérifiant le travail des validateurs et demandant des défis, et des récompenses sont attribuées lorsque les défis sont réussis.

Le solveur doit faire un engagement, et le lanceur d’alerte teste le travail du solveur, s’il trouve le mal, il le conteste, et une fois le défi réussi, le jeton mis en gage par le solveur est confisqué, et le lanceur d’alerte reçoit une récompense.

Selon les prédictions de Gensyn, cette solution devrait réduire le coût de la formation à 1/5 de celui des fournisseurs centralisés.

de : Gensyn

FedML

FedML est une plateforme collaborative d’apprentissage automatique pour la décentralisation et l’IA collaborative à n’importe quelle échelle, n’importe où. Plus précisément, FedML fournit un écosystème MLOps permettant d’entraîner, de déployer, de surveiller et d’améliorer en permanence les modèles d’apprentissage automatique tout en collaborant sur des données, des modèles et des ressources de calcul combinés de manière à préserver la confidentialité. Fondée en 2022, FedML a annoncé un tour de financement d’amorçage de 6 millions de dollars en mars 2023.

FedML se compose de deux composants clés, FedML-API et FedML-core, qui représentent respectivement l’API de haut niveau et l’API sous-jacente.

FedML-core se compose de deux modules distincts : Communication distribuée et Entraînement de modèles. Le module de communication est responsable de la communication sous-jacente entre les différents travailleurs/clients et est basé sur MPI ; le module de formation du modèle est basé sur PyTorch.

FedML-API est construit sur FedML-core. Avec FedML-core, de nouveaux algorithmes distribués peuvent être facilement mis en œuvre en utilisant des interfaces de programmation orientées client.

Les derniers travaux de l’équipe FedML prouvent que l’inférence d’un modèle d’IA sur un GPU grand public RTX 4090 utilisant FedML Nexus AI est 20 fois moins chère et 1,88 fois plus rapide que l’A100.

à partir de : FedML

Perspectives d’avenir : DePIN démocratise l’IA

Un jour, l’IA évoluera vers AGI, et la puissance de calcul deviendra la monnaie universelle de facto, et DePIN fera en sorte que cela se produise plus tôt.

La convergence de l’IA et de DePIN a ouvert un nouveau point de croissance technologique et a offert d’énormes opportunités pour le développement de l’intelligence artificielle. DePIN fournit des quantités massives de puissance de calcul et de données distribuées pour l’IA, ce qui permet d’entraîner des modèles plus grands et d’obtenir une plus grande intelligence. Dans le même temps, DePIN permet également à l’IA de devenir plus ouverte, plus sûre et plus fiable, réduisant ainsi la dépendance à l’égard d’une infrastructure centralisée unique.

À l’avenir, l’IA et DePIN continueront d’évoluer en synergie. Les réseaux distribués fourniront une base solide pour l’entraînement de très grands modèles, qui à leur tour joueront un rôle important dans l’application de DePIN. Tout en protégeant la vie privée et la sécurité, l’IA contribuera également à optimiser les protocoles et les algorithmes du réseau DePIN. Nous nous réjouissons à l’idée d’un monde numérique plus efficace, plus juste et plus fiable grâce à l’IA et à DePIN.

Référence:

_reports/haie_usmani.pdf