AI x DePIN: Que novas oportunidades nascerão da colisão de pistas quentes?

Autores: Cynic, Shigeru

Este é o segundo volume da série Web3 x AI de relatórios de pesquisa, e a parte introdutória é detalhada em “From Parallel to Convergence: Exploring the New Wave of Digital Economy Led by the Convergence of Web3 and AI”

À medida que o mundo continua a acelerar sua transformação digital, a IA e o DePIN (Infraestrutura Física Descentralizada) tornaram-se tecnologias fundamentais que estão impulsionando a mudança em todos os setores. A integração da IA e do DePIN não só promoverá a rápida iteração e aplicação da tecnologia, mas também abrirá um modelo de serviço mais seguro, transparente e eficiente, trazendo mudanças de longo alcance para a economia global.

DePIN: Descentralização do virtual para o real, o pilar da economia digital

DePIN é uma abreviatura de Descentralização de Infraestrutura Física Descentralizada. Em sentido estrito, DePIN refere-se principalmente à rede distribuída de infraestrutura física tradicional suportada pela tecnologia de livro-razão distribuído, como redes de energia, redes de comunicação, redes de posicionamento, etc. Em termos gerais, todas as redes distribuídas suportadas por dispositivos físicos, como redes de armazenamento e redes de computação, podem ser chamadas de DePINs.

de: Messari

Se o Crypto traz a Descentralização a nível financeiro, então o DePIN é a solução de Descentralização na economia real. Pode-se dizer que PoW Mining Rig é uma espécie de DePIN. O DePIN tem sido um pilar fundamental da Web3 desde o primeiro dia.

Os três elementos da IA - Algoritmo, Poder de Computação e Dados, o DePIN ocupa exclusivamente o segundo

O desenvolvimento da IA é geralmente considerado como baseado em três elementos-chave: algoritmo, poder de computação e dados. Algoritmos referem-se aos modelos matemáticos e lógica de programa que impulsionam os sistemas de IA, Poder de Computação refere-se aos recursos de computação necessários para executar esses algoritmos, e os dados são a base para treinar e otimizar modelos de IA.

Antes do advento do chatGPT, as pessoas geralmente pensavam que era Algoritmo, caso contrário, conferências acadêmicas e artigos de revistas não seriam preenchidos com um ajuste fino de algoritmo após o outro. No entanto, quando o chatGPT e o grande modelo de linguagem LLM que sustenta sua inteligência foram revelados, as pessoas começaram a perceber a importância dos dois últimos. O poder de computação é um pré-requisito para modelos, a qualidade e a diversidade de dados são fundamentais para a construção de sistemas de IA robustos e eficientes, e os requisitos de algoritmos não são mais tão refinados como de costume.

Na era dos grandes modelos, a IA mudou de habilidade meticulosa para tijolos voadores vigorosos, e a demanda por poder de computação e dados está aumentando dia a dia, e o DePIN pode fornecer exatamente isso. Os incentivos de token alavancam o mercado de cauda longa, e o enorme poder de computação e armazenamento de nível de consumidor se tornarão o melhor alimento para modelos grandes.

A descentralização da IA não é opcional, mas obrigatória

Claro, algumas pessoas perguntarão, Poder de computação e dados estão disponíveis na sala de computadores da AWS, e eles são melhores do que o DePIN em termos de estabilidade e experiência do usuário, por que escolher DePIN em vez de serviços centralizados?

Esta afirmação naturalmente faz sentido, afinal, ao longo do presente, quase todos os grandes modelos são direta ou indiretamente desenvolvidos por grandes empresas de Internet, o chatGPT está por trás da Microsoft, a Gemini está por trás do Google, os fabricantes de Internet da China quase todos têm um modelo grande. Porquê? Porque apenas as grandes empresas da Internet têm dados de alta qualidade suficientes e um forte apoio financeiro para o poder de computação. Mas isso não está certo, as pessoas não querem mais ser manipuladas por gigantes da internet.

Por um lado, a IA centralizada tem riscos de privacidade e segurança de dados, que podem ser censurados e controlados, e, por outro lado, a IA feita por gigantes da Internet aumentará ainda mais a dependência das pessoas, levará à concentração do mercado e aumentará as barreiras à inovação.

De:

A humanidade não deve precisar de um Martinho Lutero na era da IA, e as pessoas devem ter o direito de falar diretamente com Deus.

DePIN de uma perspetiva de negócios: redução de custos e aumento de eficiência são fundamentais

Mesmo deixando de lado o debate de valor entre Descentralização e Centralização, do ponto de vista do negócio, o uso do DePIN para IA ainda tem seus méritos.

Em primeiro lugar, precisamos entender claramente que, embora os gigantes da Internet tenham um grande número de recursos de placas gráficas de alta qualidade em suas mãos, a combinação de placas gráficas de nível de consumidor espalhadas pelo setor privado também pode formar uma rede de Poder de Computação muito considerável, ou seja, o efeito de cauda longa do Poder de Computação. A taxa ociosa deste tipo de placa gráfica de nível de consumidor é realmente muito alta. Desde que o incentivo dado pelo DePIN exceda a conta de luz, os usuários são motivados a contribuir com poder de computação para a rede. Ao mesmo tempo, todas as instalações físicas são gerenciadas pelos próprios usuários, e a rede DePIN não precisa arcar com os custos operacionais que não podem ser evitados por fornecedores centralizados, mas apenas se concentra no design do protocolo em si.

Para dados, as redes DePIN podem liberar a disponibilidade de dados potenciais e reduzir os custos de transmissão por meio de computação de borda e outros métodos. Ao mesmo tempo, a maioria das redes de armazenamento distribuído tem recursos de desduplicação automática, o que reduz o trabalho de limpeza de dados de treinamento de IA.

Finalmente, a criptoeconomia trazida pelo DePIN aumenta o espaço de tolerância a falhas do sistema, que se espera alcançar uma situação vantajosa para provedores, consumidores e plataformas.

de: UCLA

Caso você não esteja convencido, a pesquisa mais recente da UCLA mostra que o uso da computação de descentralização alcança um desempenho de 2,75x em comparação com os clusters de GPU tradicionais com o mesmo custo, especificamente 1,22x mais rápido e 4,83x mais barato.

Quais são os desafios do AIxDePIN?

Escolhemos ir à Lua nesta década e fazer as outras coisas, não porque sejam fáceis, mas porque são difíceis.——John Fitzgerald Kennedy

A construção sem confiança de modelos de IA usando o armazenamento distribuído e a computação distribuída da DePIN ainda apresenta muitos desafios.

Verificação de Trabalho

Essencialmente, os modelos computacionais de aprendizagem de profundidade e a mineração PoW são ambos computação de uso geral, e a camada mais baixa é a mudança de sinal entre portas. Macroscopicamente, PoW Mining é uma “computação inútil” que tenta chegar a um valor de hash prefixado com n zeros através de inúmeros cálculos de geração de números aleatórios e função hash, enquanto o cálculo de aprendizagem de profundidade é um “cálculo útil” que calcula os valores de parâmetros de cada camada de aprendizagem de profundidade através de derivação direta e derivação reversa, de modo a construir um modelo de IA eficiente.

O fato é que “cálculos inúteis” como PoW Mining usam funções hash, e é fácil calcular a imagem a partir da pré-imagem, e é difícil calcular a pré-imagem a partir da imagem, para que qualquer pessoa possa facilmente e rapidamente verificar a validade da computação, enquanto para a computação do modelo de aprendizagem de profundidade, devido à estrutura hierárquica, a saída de cada camada é usada como a entrada da próxima camada, portanto, verificar a validade da computação requer todo o trabalho anterior, e não pode ser verificado de forma simples e eficaz.

de: AWS

A verificação do trabalho é fundamental, caso contrário, o provedor da computação pode simplesmente enviar um resultado gerado aleatoriamente sem computação.

Um tipo de ideia é fazer com que servidores diferentes executem a mesma tarefa de computação e verificar a validade do trabalho, repetindo-o e verificando se é o mesmo. No entanto, a grande maioria dos cálculos de modelos não são determinísticos, e os mesmos resultados não podem ser reproduzidos mesmo no mesmo ambiente computacional, e apenas semelhanças estatísticas podem ser alcançadas. Além disso, a dupla contagem leva a um rápido aumento nos custos, o que é inconsistente com o objetivo principal da DePIN de reduzir custos e aumentar a eficiência.

Outro tipo de ideia é o mecanismo Otimista, que primeiro acredita com otimismo que o resultado é calculado validamente e, ao mesmo tempo, permite que qualquer pessoa verifique os resultados do cálculo, e se um erro for encontrado, uma Prova de Fraude pode ser apresentada, e o protocolo corta o fraudador e recompensa o denunciante.

Paralelização

Como mencionado anteriormente, o DePIN aproveita principalmente o mercado de Poder de Computação de nível de consumidor de cauda longa, que está condenado ao poder de computação limitado que um único dispositivo pode fornecer. Para grandes modelos de IA, o treinamento em um único dispositivo pode ser muito longo, e a paralelização deve ser usada para reduzir o tempo necessário para treinar.

A principal dificuldade de paralelização do treinamento de Deep Learning reside na dependência entre as tarefas de frente e de trás, o que dificultará a paralelização de alcançar.

Atualmente, a paralelização do treinamento de Deep Learning é dividida principalmente em paralelismo de dados e paralelismo de modelo.

O paralelismo de dados refere-se à distribuição de dados em várias máquinas, cada máquina armazena todos os parâmetros de um modelo, usa dados locais para treinamento e, finalmente, agrega os parâmetros de cada máquina. O paralelismo de dados funciona bem quando há uma grande quantidade de dados, mas a comunicação síncrona é necessária para agregar parâmetros.

O paralelismo do modelo significa que, quando o tamanho do modelo é muito grande para caber em uma única máquina, o modelo pode ser dividido em várias máquinas, e cada máquina salva uma parte dos parâmetros do modelo. A propagação direta e inversa requer comunicação entre máquinas diferentes. O paralelismo do modelo tem vantagens quando o modelo é grande, mas a sobrecarga de comunicação é grande quando se propaga para trás e para a frente.

Para as informações de gradiente entre diferentes camadas, elas podem ser divididas em atualização síncrona e atualização assíncrona. As atualizações síncronas são simples, mas aumentam os tempos de espera; atualização assíncrona Os tempos de espera do algoritmo são curtos, mas introduzem problemas de estabilidade.

de: Universidade de Stanford, Aprendizagem Profunda Paralela e Distribuída

Privacidade

O mundo está iniciando uma tendência de pensamento para proteger a privacidade pessoal, e os governos em todo o mundo estão fortalecendo a proteção da segurança da privacidade de dados pessoais. Embora a IA faça uso extensivo de conjuntos de dados disponíveis publicamente, são os dados de usuários específicos da empresa que realmente separam os diferentes modelos de IA.

Como posso obter os benefícios dos dados proprietários durante o processo de treinamento sem expor a privacidade e como posso garantir que os parâmetros do modelo de IA que construo não sejam vazados?

Estes são dois aspetos da privacidade, a privacidade de dados e a privacidade do modelo. A privacidade dos dados protege os usuários, enquanto a privacidade do modelo protege a organização que cria o modelo. No cenário atual, a privacidade de dados é muito mais importante do que a privacidade do modelo.

Várias opções estão tentando resolver as preocupações com a privacidade. A aprendizagem federada garante a privacidade dos dados através da formação na fonte dos dados, mantendo os dados locais enquanto os parâmetros do modelo são transmitidos; A Prova de Conhecimento Zero pode se tornar uma estrela em ascensão.

Estudo de caso: Quais são os projetos de alta qualidade no mercado?

Gensyn

Gensyn é uma rede de computação distribuída para treinar modelos de IA. A rede usa um Blockchain de camada 1 baseado em Polkadot para verificar se as tarefas de aprendizagem profunda foram executadas corretamente e acionar pagamentos por meio de comandos. Fundada em 2020, divulgou uma rodada de financiamento Série A de US$ 43 milhões em junho de 2023, liderada pela a16z.

Gensyn usa os metadados do processo de otimização baseado em gradiente para construir o certificado do trabalho executado, e é executado consistentemente por um protocolo de precisão baseado em gráficos e multigranularidade e avaliador cruzado para permitir que o trabalho de validação seja executado novamente e compare a consistência e, finalmente, confirmado pela própria cadeia, garantindo a validade do cálculo. Para fortalecer ainda mais a confiabilidade da prova de trabalho, Gensyn introduziu o staking para criar incentivos.

Existem quatro tipos de participantes no sistema: transmitentes, solucionadores, validadores e denunciantes.

• O transmitente é o utilizador final do sistema, fornece as tarefas que serão calculadas e paga pelas unidades de trabalho que foram concluídas.
• O solucionador é o principal trabalhador do sistema, realizando treinamento de modelo e gerando provas para inspeção do verificador.
• O validador é a chave para ligar o processo de treino não determinístico com a computação linear determinística, replicando parte da prova de resolução e comparando a distância com o limiar esperado.
• Os denunciantes são a última linha de defesa, verificando o trabalho dos validadores e pedindo desafios, e as recompensas são concedidas quando os desafios são aprovados.

O solucionador precisa fazer uma promessa, e o denunciante testa o trabalho do solucionador, se ele achar o mal, ele o desafia, e depois que o desafio é aprovado, o Token prometido pelo solucionador é confiscado, e o denunciante recebe uma recompensa.

De acordo com as previsões da Gensyn, espera-se que esta solução reduza o custo de treinamento para 1/5 do custo dos fornecedores centralizados.

de: Gensyn

FedML

O FedML é uma Plataforma de Aprendizagem Automática Colaborativa de Descentralização para Descentralização e IA Colaborativa em qualquer escala, em qualquer lugar. Mais especificamente, o FedML fornece um ecossistema MLOps para treinar, implantar, monitorar e melhorar continuamente os modelos de aprendizado de máquina enquanto colabora em dados, modelos e recursos de computação combinados de forma a preservar a privacidade. Fundada em 2022, a FedML divulgou uma rodada de financiamento semente de US$ 6 milhões em março de 2023.

O FedML consiste em dois componentes-chave, FedML-API e FedML-core, que representam a API de alto nível e a API subjacente, respectivamente.

O FedML-core consiste em dois módulos separados: Comunicação Distribuída e Treinamento de Modelos. O módulo de comunicação é responsável pela comunicação subjacente entre diferentes trabalhadores/clientes e é baseado no IPM, o módulo de formação do modelo é baseado no PyTorch.

FedML-API é construído sobre o FedML-core. Com o FedML-core, novos algoritmos distribuídos podem ser facilmente implementados empregando interfaces de programação orientadas para o cliente.

O trabalho mais recente da equipe FedML prova que a inferência de modelo de IA em uma GPU RTX 4090 de nível de consumidor usando FedML Nexus AI é 20x mais barata e 1,88x mais rápida do que a A100.

de: FedML

Perspetivas futuras: DePIN democratiza a IA

Um dia, a IA evoluirá ainda mais para AGI, e o Poder de Computação se tornará a moeda universal de fato, e o DePIN fará isso acontecer mais cedo.

A convergência da IA e do DePIN abriu um novo ponto de crescimento tecnológico e proporcionou enormes oportunidades para o desenvolvimento da inteligência artificial. O DePIN fornece enormes quantidades de poder de computação distribuída e dados para IA, ajudando a treinar modelos maiores e obter maior inteligência. Ao mesmo tempo, o DePIN também permite que a IA se torne mais aberta, segura e confiável, reduzindo a dependência de uma única infraestrutura centralizada.

No futuro, a IA e o DePIN continuarão a evoluir em sinergia. As redes distribuídas fornecerão uma base sólida para a formação de modelos muito grandes, que, por sua vez, desempenharão um papel importante na aplicação do DePIN. Ao mesmo tempo em que protege a privacidade e a segurança, a IA também ajudará a otimizar os protocolos e algoritmos de rede DePIN. Estamos ansiosos por um mundo digital mais eficiente, mais justo e mais confiável com IA e DePIN.

Referência:

_reports/sebe_usmani.pdf