Durch die Nutzung der Leistungsfähigkeit von Algorithmen, Rechenleistung und Daten definiert die Weiterentwicklung der KI-Technologie die Grenzen der Datenverarbeitung und intelligenten Entscheidungsfindung neu. Gleichzeitig stellt DePIN einen Paradigmenwechsel von einer zentralisierten Infrastruktur hin zu dezentralen, Blockchain-basierten Netzwerken dar.

Während die Welt ihr Tempo in Richtung digitaler Transformation beschleunigt, sind KI und DePIN (dezentrale physische Infrastruktur) zu grundlegenden Technologien geworden, die den Wandel branchenübergreifend vorantreiben. Die Fusion von KI und DePIN fördert nicht nur eine schnelle technologische Iteration und weit verbreitete Anwendung, sondern eröffnet auch ein sichereres, transparenteres und effizienteres Servicemodell, das tiefgreifende Veränderungen in der Weltwirtschaft mit sich bringt.

DePIN: Die Dezentralisierung bewegt sich von der Virtualität zur Realität, der tragenden Säule der digitalen Wirtschaft

DePIN ist die Abkürzung für Decentralized Physical Infrastructure. Im engeren Sinne bezieht sich DePIN hauptsächlich auf das verteilte Netzwerk traditioneller physischer Infrastruktur, die durch Distributed-Ledger-Technologie unterstützt wird, wie z. B. Stromnetze, Kommunikationsnetzwerke, Positionierungsnetzwerke usw. Im Großen und Ganzen können alle verteilten Netzwerke, die von physischen Geräten unterstützt werden, als DePIN bezeichnet werden. wie Speichernetzwerke und Computernetzwerke.

Bildquelle: Messari

Wenn Crypto dezentrale Veränderungen auf finanzieller Ebene bewirkt hat, dann ist DePIN eine dezentrale Lösung in der Realwirtschaft. Man kann sagen, dass die PoW-Mining-Maschine eine Art DePIN ist. DePIN war also vom ersten Tag an eine tragende Säule von Web3.

Die drei Elemente der KI – Algorithmus, Rechenleistung und Daten. DePIN besitzt ausschließlich zwei

Allgemein wird davon ausgegangen, dass die Entwicklung künstlicher Intelligenz auf drei Schlüsselelementen beruht: Algorithmen, Rechenleistung und Daten. Algorithmen beziehen sich auf die mathematischen Modelle und Programmlogik, die KI-Systeme antreiben, Rechenleistung bezieht sich auf die Rechenressourcen, die zur Ausführung dieser Algorithmen erforderlich sind, und Daten sind die Grundlage für das Training und die Optimierung von KI-Modellen.

Welches der drei Elemente ist das wichtigste? Vor dem Aufkommen von chatGPT betrachteten die Leute es normalerweise als einen Algorithmus, sonst wären wissenschaftliche Konferenzen und Zeitschriftenartikel nicht mit der Feinabstimmung des Algorithmus nacheinander gefüllt. Aber als chatGPT und das große Sprachmodell LLM, das seine Intelligenz unterstützt, enthüllt wurden, begannen die Menschen die Bedeutung der beiden letzteren zu erkennen. Riesige Rechenleistung ist die Voraussetzung für die Geburt von Modellen. Datenqualität und -vielfalt sind entscheidend für den Aufbau eines robusten und effizienten KI-Systems. Im Vergleich dazu sind die Anforderungen an Algorithmen nicht mehr so hoch wie früher.

Im Zeitalter großer Modelle hat sich die KI von der Feinabstimmung zur Brute-Force-Methode gewandelt, mit einem steigenden Bedarf an Rechenleistung und Daten. DePIN kann das zufällig bieten. Token-Anreize werden den Long-Tail-Markt nutzen, wo enorme Rechenleistung und Speicher auf Verbraucherniveau die beste Nahrung für große Modelle sein werden.

Die Dezentralisierung der KI ist keine Option, sondern eine Notwendigkeit

Natürlich könnte sich jemand fragen: Warum sollten Sie DePIN gegenüber zentralisierten Diensten wählen, wenn sowohl Rechenleistung als auch Daten in AWS-Rechenzentren verfügbar sind und AWS darüber hinaus DePIN in Bezug auf Stabilität und Benutzererfahrung übertrifft?

Diese Aussage hat natürlich ihre Begründung. Denn aus heutiger Sicht werden fast alle großen Modelle direkt oder indirekt von großen Internetunternehmen entwickelt. Hinter chatGPT steht Microsoft und hinter Gemini Google. In China hat fast jedes große Internetunternehmen ein großes Modell. Warum das? Das liegt daran, dass nur große Internetunternehmen über die Rechenleistung verfügen, die durch hochwertige Daten und starke finanzielle Ressourcen unterstützt wird. Aber das ist nicht richtig. Die Menschen wollen nicht länger von Internetgiganten manipuliert werden.

Einerseits birgt zentralisierte KI Datenschutz- und Sicherheitsrisiken und kann Zensur und Kontrolle unterliegen. Andererseits wird die von Internetgiganten produzierte KI die Abhängigkeit der Menschen weiter verstärken, zu Marktkonzentration führen und Innovationsbarrieren erhöhen.

von: https://www.gensyn.ai/

Die Menschheit sollte im KI-Zeitalter keinen Martin Luther mehr brauchen. Menschen sollten das Recht haben, direkt mit Gott zu sprechen.

DePIN aus geschäftlicher Sicht: Kostensenkung und Effizienzsteigerung sind der Schlüssel

Selbst wenn man die Debatte zwischen Dezentralisierungs- und Zentralisierungswerten beiseite lässt, bietet die Verwendung von DePIN für KI aus geschäftlicher Sicht immer noch Vorteile.

Erstens ist es wichtig zu erkennen, dass Internetgiganten zwar eine große Anzahl von High-End-Grafikkartenressourcen kontrollieren, die Kombination von Consumer-Grafikkarten in den Händen von Einzelpersonen jedoch immer noch ein bedeutendes Rechenleistungsnetzwerk bilden kann, das als „Long Tail“ bezeichnet wird Auswirkung der Rechenleistung. Diese Consumer-Grafikkarten weisen häufig hohe Leerlaufraten auf. Solange die durch DePIN gebotenen Anreize die Stromkosten übersteigen, haben Nutzer die Motivation, ihre Rechenleistung in das Netzwerk einzubringen. Da die Benutzer die physische Infrastruktur selbst verwalten, trägt das DePIN-Netzwerk außerdem nicht die Betriebskosten, die zentralisierte Anbieter nicht vermeiden können, und kann sich ausschließlich auf das Protokolldesign konzentrieren.

Für Daten kann das DePIN-Netzwerk die potenzielle Nutzbarkeit von Daten erschließen und die Übertragungskosten durch Edge Computing und andere Methoden senken. Darüber hinaus verfügen die meisten verteilten Speichernetzwerke über automatische Deduplizierungsfunktionen, wodurch die Notwendigkeit einer umfassenden Datenbereinigung im KI-Training verringert wird.

Schließlich erhöht die von DePIN eingeführte Kryptoökonomie die Fehlertoleranz des Systems und hat das Potenzial, eine Win-Win-Situation für Anbieter, Verbraucher und Plattformen zu schaffen.

Bild von: UCLA

Falls Sie es nicht glauben: Die neuesten Untersuchungen der UCLA zeigen, dass mit dezentralem Computing bei gleichen Kosten eine 2,75-mal bessere Leistung erzielt wird als mit herkömmlichen GPU-Clustern. Konkret ist es 1,22-mal schneller und 4,83-mal günstiger.

Schwieriger Weg vor uns: Auf welche Herausforderungen wird AIxDePIN stoßen?

Wir entscheiden uns, in diesem Jahrzehnt zum Mond zu fliegen und andere Dinge zu tun, nicht weil sie einfach sind, sondern weil sie schwierig sind. - John Fitzgerald Kennedy

Die Verwendung des verteilten Speichers und der verteilten Datenverarbeitung von DePIN zur Erstellung von KI-Modellen ohne Vertrauen stellt immer noch viele Herausforderungen dar.

Arbeitsüberprüfung

Im Wesentlichen sind sowohl die Deep-Learning-Modellberechnung als auch das PoW-Mining Formen allgemeiner Berechnungen mit den zugrunde liegenden Signaländerungen zwischen Gate-Schaltkreisen. Auf Makroebene ist PoW-Mining eine „nutzlose Berechnung“, bei der versucht wird, durch unzählige Zufallszahlengenerierung und Hash-Funktionsberechnungen einen Hash-Wert mit einem Präfix aus n Nullen zu finden. Andererseits handelt es sich bei der Deep-Learning-Berechnung um eine „nützliche Berechnung“, bei der die Parameterwerte jeder Schicht im Deep-Learning durch Vorwärts- und Rückwärtsausbreitung berechnet und so ein effizientes KI-Modell erstellt wird.

Tatsache ist, dass „nutzlose Berechnungen“ wie PoW-Mining Hash-Funktionen verwenden. Es ist einfach, das Bild aus dem Originalbild zu berechnen, aber es ist schwierig, das Originalbild aus dem Bild zu berechnen, sodass jeder die Gültigkeit der Berechnung einfach und schnell überprüfen kann. Für die Berechnung des Deep-Learning-Modells wird aufgrund der hierarchischen Struktur die Ausgabe jeder Schicht als Eingabe der nächsten Schicht verwendet. Daher erfordert die Überprüfung der Gültigkeit der Berechnung die Durchführung aller vorherigen Arbeiten und kann nicht einfach und effektiv überprüft werden.

Bild von: AWS

Die Überprüfung der Arbeit ist sehr kritisch, da der Anbieter der Berechnung sonst die Berechnung überhaupt nicht durchführen und ein zufällig generiertes Ergebnis liefern könnte.

Eine Idee besteht darin, verschiedene Server die gleichen Rechenaufgaben ausführen zu lassen und die Wirksamkeit der Arbeit zu überprüfen, indem die Ausführung wiederholt und überprüft wird, ob sie gleich ist. Die überwiegende Mehrheit der Modellberechnungen ist jedoch nicht deterministisch, und dieselben Ergebnisse können nicht einmal unter genau derselben Computerumgebung reproduziert werden, sondern können nur im statistischen Sinne ähnlich sein. Darüber hinaus wird die Doppelzählung zu einem raschen Kostenanstieg führen, was im Widerspruch zum Hauptziel von DePIN steht, Kosten zu senken und die Effizienz zu steigern.

Eine weitere Kategorie von Ideen ist der optimistische Mechanismus, der optimistisch davon ausgeht, dass das Ergebnis korrekt berechnet wurde, und es jedem ermöglicht, das Berechnungsergebnis zu überprüfen. Wenn Fehler gefunden werden, kann ein Betrugsnachweis eingereicht werden. Das Protokoll bestraft den Betrüger und belohnt den Hinweisgeber.

Parallelisierung

Wie bereits erwähnt, nutzt DePIN hauptsächlich den Long-Tail-Markt für Rechenleistung für Verbraucher, was bedeutet, dass die von einem einzelnen Gerät bereitgestellte Rechenleistung relativ begrenzt ist. Bei großen KI-Modellen dauert das Training auf einem einzelnen Gerät sehr lange, und zur Verkürzung der Trainingszeit muss Parallelisierung verwendet werden.

Die Hauptschwierigkeit bei der Parallelisierung von Deep-Learning-Trainings liegt in der Abhängigkeit zwischen vorherigen und nachfolgenden Aufgaben, die eine Parallelisierung erschwert.

Derzeit wird die Parallelisierung des Deep-Learning-Trainings hauptsächlich in Datenparallelität und Modellparallelität unterteilt.

Unter Datenparallelität versteht man die Verteilung von Daten auf mehrere Maschinen. Jede Maschine speichert alle Parameter eines Modells, nutzt lokale Daten für das Training und aggregiert schließlich die Parameter jeder Maschine. Datenparallelität funktioniert gut, wenn die Datenmenge groß ist, erfordert jedoch eine synchrone Kommunikation mit aggregierten Parametern.

Modellparallelität bedeutet, dass, wenn das Modell zu groß ist, um in eine einzelne Maschine zu passen, das Modell auf mehrere Maschinen aufgeteilt werden kann und jede Maschine einen Teil der Parameter des Modells speichert. Vorwärts- und Rückwärtsausbreitungen erfordern die Kommunikation zwischen verschiedenen Maschinen. Modellparallelität hat Vorteile, wenn das Modell groß ist, aber der Kommunikationsaufwand bei der Vorwärts- und Rückwärtsausbreitung ist groß.

Die Gradienteninformationen zwischen verschiedenen Schichten können in synchrone Aktualisierung und asynchrone Aktualisierung unterteilt werden. Die synchrone Aktualisierung ist einfach und direkt, erhöht jedoch die Wartezeit. Der asynchrone Aktualisierungsalgorithmus hat eine kurze Wartezeit, führt jedoch zu Stabilitätsproblemen.

Bild von: Stanford University, Paralleles und verteiltes Deep Learning

Datenschutz

Der globale Trend zum Schutz der Privatsphäre nimmt zu und Regierungen auf der ganzen Welt verstärken den Schutz der Sicherheit personenbezogener Daten. Obwohl KI in großem Umfang öffentliche Datensätze nutzt, sind es die proprietären Benutzerdaten jedes Unternehmens, die die verschiedenen KI-Modelle wirklich unterscheiden.

Wie kann man während des Trainings von den Vorteilen proprietärer Daten profitieren, ohne die Privatsphäre preiszugeben? Wie kann sichergestellt werden, dass die Parameter des erstellten KI-Modells nicht verloren gehen?

Dies sind zwei Aspekte des Datenschutzes, des Datenschutzes und des Modellschutzes. Der Datenschutz schützt Benutzer, während der Modelldatenschutz die Organisation schützt, die das Modell erstellt. Im aktuellen Szenario ist der Datenschutz viel wichtiger als der Musterdatenschutz.

Es werden verschiedene Lösungen versucht, um das Problem der Privatsphäre anzugehen. Föderiertes Lernen stellt den Datenschutz sicher, indem es an der Datenquelle trainiert, die Daten lokal speichert und Modellparameter überträgt; und Zero-Knowledge-Proof könnte ein aufstrebender Stern werden.

Fallanalyse: Welche qualitativ hochwertigen Projekte gibt es auf dem Markt?

Gensyn

Gensyn ist ein verteiltes Computernetzwerk zum Trainieren von KI-Modellen. Das Netzwerk nutzt eine auf Polkadot basierende Layer-One-Blockchain, um die ordnungsgemäße Ausführung von Deep-Learning-Aufgaben zu überprüfen und Zahlungen über Befehle auszulösen. Das im Jahr 2020 gegründete Unternehmen gab im Juni 2023 eine Serie-A-Finanzierungsrunde über 43 Millionen US-Dollar bekannt, wobei a16z die Investition anführte.

Gensyn verwendet die Metadaten des Gradienten-basierten Optimierungsprozesses, um Zertifikate der durchgeführten Arbeit zu erstellen, die durch ein multigranulares, graphbasiertes Präzisionsprotokoll und einen Kreuzauswerter konsistent ausgeführt werden, damit Validierungsjobs erneut ausgeführt und auf Konsistenz verglichen werden können. und letztendlich durch die Kette Bestätigen Sie es selbst, um die Gültigkeit der Berechnung sicherzustellen. Um die Zuverlässigkeit der Arbeitsüberprüfung weiter zu stärken, führt Gensyn das Abstecken ein, um Anreize zu schaffen.

Es gibt vier Arten von Teilnehmern im System: Einreicher, Löser, Prüfer und Hinweisgeber.

• Die Einreicher sind Endbenutzer des Systems, die zu berechnende Aufgaben bereitstellen und für abgeschlossene Arbeitseinheiten bezahlt werden.
• Der Löser ist der Hauptarbeiter des Systems, der das Modelltraining durchführt und Beweise für die Prüfung durch den Verifizierer generiert.
• Der Validator ist der Schlüssel zur Verknüpfung des nichtdeterministischen Trainingsprozesses mit der deterministischen linearen Berechnung, der Replikation partieller Löserbeweise und dem Vergleich von Distanzen mit erwarteten Schwellenwerten.
• Der Whistleblower ist die letzte Verteidigungslinie. Er überprüft die Arbeit des Prüfers, stellt Anfechtungen und erhält Belohnungen, wenn er die Anfechtung bestanden hat.

Der Löser muss eine Zusage machen und der Whistleblower prüft die Arbeit des Lösers. Wenn er ein Vergehen entdeckt, wird er es anfechten. Nachdem die Herausforderung bestanden wurde, werden die vom Löser gesetzten Token mit einer Geldstrafe belegt und der Whistleblower wird belohnt.

Den Prognosen von Gensyn zufolge soll diese Lösung die Schulungskosten auf ein Fünftel der Kosten zentralisierter Anbieter senken.

Quelle: Gensyn

FedML

FedML ist eine dezentrale kollaborative Plattform für maschinelles Lernen für dezentrale und kollaborative KI, überall und in jeder Größenordnung. Genauer gesagt stellt FedML ein MLOps-Ökosystem bereit, das maschinelle Lernmodelle trainiert, bereitstellt, überwacht und kontinuierlich verbessert und gleichzeitig auf kombinierte Daten, Modelle und Rechenressourcen auf datenschutzfreundliche Weise zusammenarbeitet. FedML wurde 2022 gegründet und gab im März 2023 eine Seed-Runde in Höhe von 6 Millionen US-Dollar bekannt.

FedML besteht aus zwei Schlüsselkomponenten: FedML-API und FedML-Core, die jeweils eine High-Level-API und eine Low-Level-API darstellen.

FedML-core umfasst zwei unabhängige Module: verteilte Kommunikation und Modelltraining. Das Kommunikationsmodul ist für die zugrunde liegende Kommunikation zwischen verschiedenen Mitarbeitern/Kunden verantwortlich und basiert auf MPI; Das Modelltrainingsmodul basiert auf PyTorch.

Die FedML-API basiert auf dem FedML-Kern. Mit FedML-core können neue verteilte Algorithmen einfach implementiert werden, indem kundenorientierte Programmierschnittstellen übernommen werden.

Die neueste Arbeit des FedML-Teams zeigt, dass die Verwendung der FedML Nexus AI für die KI-Modellinferenz auf der Consumer-GPU RTX 4090 20-mal günstiger und 1,88-mal schneller ist als die Verwendung von A100.

von: FedML

Zukunftsaussichten: DePIN bringt die Demokratisierung der KI

Eines Tages wird sich KI zu AGI weiterentwickeln und Rechenleistung wird de facto zur universellen Währung. DePIN wird diesen Prozess im Voraus durchführen.

Die Schnittstelle und Zusammenarbeit von KI und DePIN hat einen völlig neuen Punkt des technologischen Wachstums eröffnet und enorme Möglichkeiten für die Entwicklung künstlicher Intelligenz eröffnet. DePIN stellt der KI enorme verteilte Rechenleistung und Daten zur Verfügung, was dabei hilft, größere Modelle zu trainieren und eine stärkere Intelligenz zu erreichen. Gleichzeitig ermöglicht DePIN auch die Entwicklung der KI in eine offenere, sicherere und zuverlässigere Richtung, wodurch die Abhängigkeit von einer einzigen zentralisierten Infrastruktur verringert wird.

Mit Blick auf die Zukunft werden sich KI und DePIN weiterhin synergetisch entwickeln. Verteilte Netzwerke werden eine solide Grundlage für das Training supergroßer Modelle bieten, die in DePIN-Anwendungen eine wichtige Rolle spielen werden. Während sie Privatsphäre und Sicherheit schützt, wird KI auch zur Optimierung der DePIN-Netzwerkprotokolle und -Algorithmen beitragen. Wir freuen uns darauf, dass KI und DePIN eine effizientere, fairere und vertrauenswürdigere digitale Welt schaffen.

Haftungsausschluss:

1. Dieser Artikel wurde nachgedruckt von []. Alle Urheberrechte liegen beim ursprünglichen Autor [**]. Wenn Sie Einwände gegen diesen Nachdruck haben, wenden Sie sich bitte an das Gate Learn- Team, das sich umgehend darum kümmern wird.
2. Haftungsausschluss: Th
   Die in diesem Artikel geäußerten Ansichten und Meinungen sind ausschließlich die des Autors und stellen keine Anlageberatung dar.
3. Übersetzungen des Artikels in andere Sprachen werden vom Gate Learn-Team durchgeführt. Sofern nicht anders angegeben, ist das Kopieren, Verbreiten oder Plagiieren der übersetzten Artikel verboten.