Escrito após a conferência GTC, o Web3 pode resolver o problema do limitado poder de computação da IA?

Autor: Zuo Ye

A moda é cíclica e a Web 3 também.

Quase “re” tornou-se uma cadeia pública de IA. Como um dos fundadores do Transformer, ele pôde participar da conferência NVIDIA GTC e conversar com o vestido de couro Lao Huang sobre o futuro da IA generativa. Solana se transformou com sucesso em um local de encontro para io.net, Bittensor e Render Network.Para a cadeia de conceito de IA, também existem players emergentes envolvidos na computação GPU, como Akash, GAIMIN e Gensyn.

Se levantarmos a vista, enquanto o preço da moeda sobe, podemos encontrar vários fatos interessantes:

1. **A batalha pelo poder de computação da GPU chegou à plataforma descentralizada. Quanto mais poder de computação, mais forte será o efeito de computação. CPU, armazenamento e GPU estão interligados; **
2. O paradigma da computação está em transição da cloudização para a descentralização. Por trás disso está a mudança na demanda do treinamento em IA para o raciocínio. Os modelos on-chain não são mais conversa fiada;
3. **A composição subjacente de software e hardware e a lógica operacional da arquitetura da Internet não mudaram fundamentalmente, e a camada de poder de computação descentralizada desempenha um papel mais importante no estímulo à rede. **

Vamos primeiro fazer uma distinção conceitual. O poder da computação em nuvem no mundo Web3 nasceu na era da mineração em nuvem. Refere-se a empacotar e vender o poder de computação das máquinas de mineração, eliminando os enormes gastos dos usuários na compra de máquinas de mineração. No entanto, a computação os fabricantes de energia muitas vezes “vendem demais”, como misturar e vender o poder de computação de 100 máquinas de mineração para 105 pessoas, a fim de obter lucros excessivos, em última análise, torna o termo equivalente a uma mentira.

O poder da computação em nuvem neste artigo refere-se especificamente aos recursos de computação dos fornecedores de nuvem baseados em GPU.A questão aqui é se a plataforma de poder de computação descentralizada é o fantoche front-end do fornecedor de nuvem ou a próxima atualização de versão.

A integração entre fornecedores tradicionais de nuvem e blockchain é mais profunda do que imaginávamos. Por exemplo, nós de cadeia pública, desenvolvimento e armazenamento diário girarão basicamente em torno de AWS, Alibaba Cloud e Huawei Cloud, eliminando o investimento caro de compra de hardware físico. No entanto, os problemas causado não pode ser ignorado.Em casos extremos, desconectar o cabo de rede fará com que a cadeia pública caia, o que viola gravemente o espírito de descentralização.

Por outro lado, plataformas descentralizadas de poder de computação constroem diretamente “salas de computadores” para manter a estabilidade da rede ou constroem diretamente redes de incentivo, como a estratégia de lançamento aéreo da IO.NET para promover o número de GPUs e o armazenamento do Filecoin para enviar tokens FIL. o ponto de partida não é atender às necessidades de uso, mas capacitar os tokens. Uma evidência é que os principais fabricantes, indivíduos ou instituições acadêmicas raramente os usam para treinamento, raciocínio ou renderização gráfica de ML, resultando em um sério desperdício de recursos.

** Acontece que, diante do aumento dos preços das moedas e do sentimento FOMO, todas as acusações de que o poder da computação descentralizada é uma fraude no poder da computação em nuvem desapareceram. **

Dois tipos de poder computacional têm o mesmo nome e sorte?

Inferência e FLOPS, quantificando o poder de computação da GPU

**Os requisitos de potência computacional dos modelos de IA estão evoluindo do treinamento à inferência. **

Tomemos o Sora da OpenAI como exemplo. Embora também seja fabricado com base na tecnologia Transformer, seu tamanho de parâmetro é comparado aos trilhões de GPT-4. Os círculos acadêmicos especulam que está abaixo das centenas de bilhões. Yang Likun até disse que é apenas 3 bilhões, ou seja, treinamento O custo é baixo, o que também é muito fácil de entender.Os recursos computacionais necessários para um pequeno número de parâmetros também são atenuados proporcionalmente.

Mas, por sua vez, Sora pode precisar de capacidades de “raciocínio” mais fortes. O raciocínio pode ser entendido como a capacidade de gerar vídeos específicos de acordo com as instruções. Os vídeos há muito são considerados conteúdo criativo, por isso exigem capacidades mais fortes de compreensão de IA, e o treinamento é relativamente simples Pode ser entendido como resumir as regras com base no conteúdo existente, acumular poder de computação sem cérebro e trabalhar duro para criar milagres.

No passado, o poder de computação da IA era usado principalmente para treinamento, com uma pequena quantidade usada para capacidades de raciocínio, e era basicamente coberto por vários produtos NVIDIA. No entanto, após o advento do Groq LPU (Unidade de Processamento de Idioma), as coisas começaram a mudar, e melhores capacidades de raciocínio, grandes modelos sobrepostos para reduzir e melhorar a precisão e ter o cérebro para falar sobre lógica estão lentamente se tornando comuns.

Além disso, gostaria de acrescentar a classificação de GPU. Muitas vezes se vê que são aqueles que jogam que salvam IA. O que faz sentido é que a forte demanda por GPUs de alto desempenho no mercado de jogos cubra a pesquisa e desenvolvimento custos. Por exemplo, placas gráficas 4090, aqueles que jogam jogos e alquimia de IA podem ser usadas, mas deve-se notar que a placa de jogo e a placa de computação serão gradualmente dissociadas. Este processo é semelhante ao desenvolvimento de máquinas de mineração Bitcoin de computadores pessoais até máquinas de mineração dedicadas, e os chips usados também seguem a ordem de CPU, GPU, FPGA e ASIC.

O cartão especial LLM está em desenvolvimento…

À medida que a tecnologia de IA, especialmente a rota LLM, amadurece e avança, haverá cada vez mais tentativas semelhantes de TPU, DPU e LPU. Claro, o principal produto atual é a GPU da NVIDIA. Todas as discussões abaixo também são baseadas em GPU e LPU Esperar por mais é um complemento à GPU e levará algum tempo para substituí-la completamente.

**A competição descentralizada de poder de computação não compete por canais de aquisição de GPU, mas tenta estabelecer um novo modelo de lucro. **

Neste momento em que escrevo, a NVIDIA quase se tornou a protagonista. Basicamente, a NVIDIA ocupa 80% do mercado de placas gráficas. A disputa entre a placa N e a placa A só existe na teoria. Na verdade, todo mundo está falando sobre integridade.

O monopólio absoluto criou uma competição acirrada por GPUs, desde o RTX 4090 de nível de consumidor até o A100/H100 de nível empresarial, e vários fornecedores de nuvem são a principal força no estoque. No entanto, empresas relacionadas à IA, como Google, Meta, Tesla e OpenAI, têm ações ou planos para produzir chips caseiros, e as empresas nacionais recorreram a fabricantes nacionais como a Huawei, e a pista da GPU ainda está extremamente lotada.

Para os fornecedores tradicionais de nuvem, o que eles vendem é, na verdade, poder de computação e espaço de armazenamento, portanto, usar seus próprios chips não é tão urgente quanto as empresas de IA.No entanto, para projetos de poder de computação descentralizados, eles estão atualmente no primeiro semestre, ou seja, em comparação com a nuvem tradicional, os fabricantes estão competindo por negócios de poder de computação, concentrando-se em poder de computação barato e fácil de obter.No entanto, como a mineração de Bitcoin no futuro, há poucas chances de aparecimento de chips Web3 AI.

Um comentário adicional, desde que Ethereum mudou para PoS, tem havido cada vez menos hardware dedicado no círculo monetário. Mercados como telefones celulares Saga, aceleração de hardware ZK e DePIN são muito pequenos. Espero que o poder de computação descentralizado possa ser explorado para cartões dedicados de poder de computação de IA. Crie um caminho exclusivo para Web3.

**O poder da computação descentralizada é o próximo passo ou complemento da nuvem. **

O poder de computação da GPU é geralmente comparado na indústria com FLOPS (Floating Point Operations Per Second), que é o indicador de velocidade de computação mais comumente usado.Independentemente das especificações da GPU ou de medidas de otimização, como paralelismo de aplicativos, é em última análise baseado em FLOPS em alta e baixa.

Demorou cerca de meio século desde a computação local até a mudança para a nuvem, e o conceito de distribuição existe desde o nascimento dos computadores. Impulsionada pelo LLM, a combinação de descentralização e poder de computação não é mais tão vaga como antes. Vou Resuma o máximo possível de projetos de poder de computação descentralizada existentes, com apenas duas dimensões:

1. O número de hardware, como GPUs, ou seja, a velocidade de computação. De acordo com a Lei de Moore, quanto mais nova a GPU, mais forte será o poder de computação. Quanto maior o número de GPUs com as mesmas especificações, mais forte será o poder de computação;
2. Método de organização da camada de incentivos, que é uma característica da indústria da Web 3. Tokens duplos, funções de governança adicionais, incentivos de lançamento aéreo, etc. tornam mais fácil entender o valor de longo prazo de cada projeto, em vez de prestar muita atenção ao curto prazo. preços de moeda a longo prazo. No longo prazo, apenas analisando se você pode possuir ou quantas GPUs programar.

Nesta perspectiva, o poder de computação descentralizado ainda é a rota DePIN baseada em “hardware existente + rede de incentivos”, ou a arquitetura da Internet ainda é a camada inferior, e a camada de poder de computação descentralizada é a monetização após a “virtualização de hardware”, com foco no acesso sem permissão.A rede real ainda requer a cooperação do hardware.

O poder de computação deve ser descentralizado e a GPU deve ser centralizada.

Com a ajuda da estrutura do trilema blockchain, a segurança do poder de computação descentralizado não precisa ser especialmente considerada. As principais questões são descentralização e escalabilidade. Este último é o objetivo da rede GPU, que está atualmente na vanguarda da IA. estado .

Partindo de um paradoxo, para que o projeto de poder de computação descentralizado seja concluído, o número de GPUs na rede deve ser o maior possível. Não há outra razão. Os parâmetros de grandes modelos como o GPT estão explodindo e não há sem GPU de uma determinada escala. Não pode ter efeitos de treinamento ou inferência.

Claro, em comparação com o controle absoluto dos fornecedores de nuvem, no estágio atual, os projetos descentralizados de poder de computação podem pelo menos estabelecer mecanismos como nenhum acesso e migração gratuita de recursos de GPU.No entanto, devido à melhoria da eficiência do capital, haverá Se houver um pool de mineração semelhante no futuro? O produto pode não ser o mesmo.

Em termos de escalabilidade, a GPU não pode ser usada apenas para IA, mas a computação em nuvem e a renderização também são caminhos viáveis. Por exemplo, Render Network se concentra no trabalho de renderização, enquanto Bittensor e outros se concentram em fornecer treinamento de modelo. De uma perspectiva mais direta, a escalabilidade é equivalente aos cenários e finalidades de uso.

Portanto, dois parâmetros adicionais podem ser adicionados à GPU e à rede de incentivos, nomeadamente descentralização e escalabilidade, para formar um indicador de comparação de quatro ângulos.Por favor, note que este método é diferente da comparação técnica e é puramente uma imagem.

Rede de incentivo de quantidade de GPU do projeto escalabilidade descentralizada Token não anunciado Gensyn + mecanismo de verificação para avaliar o treinamento e inferência de IA após o lançamento Rede de renderização 12.000 GPUs + 503 tokens de CPU + base de incentivo adicional + proposta + renderização de código aberto + treinamento de IA Akash 20.000 CPU + 262 tokens de GPU + penhor de tokens do sistema em plena circulação Inferência de IA io.net 180.000 GPU + 28.000 CPUGPU em troca de moedas não emitidas lançadas no ar Inferência de IA + treinamento.

Nos projetos mencionados acima, a Render Network é realmente muito especial. É essencialmente uma rede de renderização distribuída e sua relação com a IA não é direta. No treinamento e raciocínio de IA, todos os links estão interligados, seja SGD (descida gradiente estocástica , Algoritmos como Descida Gradiente Estocástica) ou retropropagação exigem consistência, mas a renderização e outras tarefas não precisam necessariamente ser assim. Vídeos e imagens são frequentemente segmentados para facilitar a distribuição de tarefas.

Suas capacidades de treinamento de IA estão principalmente integradas ao io.net e existem como um plug-in do io.net. De qualquer forma, a GPU está funcionando, por mais difícil que seja, o que é mais prospectivo é sua deserção para Solana no momento de subestimação. Mais tarde foi comprovado que Solana era mais adequado para os requisitos de alto desempenho de renderização e outras redes.

A segunda é a rota de desenvolvimento em escala de substituição violenta de GPU da io.net. Atualmente, o site oficial lista um total de 180.000 GPUs. Está no primeiro nível do projeto de poder de computação descentralizado. Há uma diferença de ordem de magnitude com outros oponentes, e in Em termos de escalabilidade, io.net concentra-se no raciocínio de IA, e o treinamento em IA é uma forma prática de trabalhar.

Estritamente falando, o treinamento em IA não é adequado para implantação distribuída. Mesmo para LLMs leves, o número absoluto de parâmetros não será muito menor. O método de computação centralizada é mais econômico em termos de custo econômico. Web 3 e O ponto de integração de A IA em treinamento envolve mais privacidade de dados e operações de criptografia, como as tecnologias ZK e FHE, e a inferência de IA Web 3 tem um grande potencial. Por um lado, tem requisitos relativamente baixos de desempenho de computação GPU e pode tolerar um certo grau de perda. , Por outro lado, o raciocínio da IA está mais próximo do lado da aplicação e os incentivos da perspectiva do usuário são mais substanciais.

Outra empresa que extrai e troca tokens, a Filecoin, também chegou a um acordo de utilização de GPU com a io.net. A Filecoin usará suas 1.000 GPUs em paralelo com a io.net. Isso pode ser considerado um esforço conjunto entre os antecessores. Desejo a você ambos boa sorte. .

O próximo é o Gensyn, que ainda não foi lançado. Também viemos para a nuvem para avaliação. Por ainda estar nos estágios iniciais de construção da rede, o número de GPUs não foi anunciado. No entanto, seu principal cenário de uso é o treinamento de IA . Pessoalmente, sinto que o número de GPUs de alto desempenho não é pequeno. , pelo menos além do nível da rede de renderização. Em comparação com a inferência de IA, o treinamento em IA tem uma relação competitiva direta com os fornecedores de nuvem, e o design do mecanismo específico será mais complicado.

Especificamente, Gensyn precisa garantir a eficácia do treinamento do modelo. Ao mesmo tempo, para melhorar a eficiência do treinamento, ele usa paradigmas de computação fora da cadeia em grande escala. Portanto, a verificação do modelo e os sistemas anti-trapaça exigem um papel multipartidário. jogos:

• Remetentes: Iniciadores de tarefas, que em última análise pagam pelos custos de treinamento.
• Solucionadores: treinam o modelo e fornecem provas de eficácia.
• Verificadores: Verificam a validade do modelo.
• Denunciantes: Verifique os trabalhos do validador.

No geral, o método de operação é semelhante à mineração PoW + mecanismo de prova otimista. A arquitetura é muito complexa. Talvez a transferência de cálculos para fora da cadeia possa economizar custos, mas a complexidade da arquitetura trará custos operacionais adicionais. Atualmente, o principal sistema descentralizado poder de computação Concentrando-me na conjuntura do raciocínio da IA, também desejo boa sorte a Gensyn.

Por fim, há o antigo Akash, que basicamente começou junto com a Render Network. Akash se concentrou na descentralização da CPU, e a Render Network foi a primeira a focar na descentralização da GPU. Inesperadamente, após o surto da IA, ambas as partes entraram no campo da computação GPU + IA.A diferença Akash está mais preocupado com o raciocínio.

A chave para o rejuvenescimento de Akash é se interessar pelos problemas de mineração após a atualização do Ethereum. A GPU ociosa não só pode ser usada como segunda mão por estudantes universitárias para uso pessoal, mas agora elas também podem trabalhar juntas em IA. De qualquer forma, todos eles estão contribuindo para a civilização humana.

No entanto, uma coisa boa sobre Akash é que os tokens são basicamente totalmente circulados. Afinal, é um projeto muito antigo e também adota ativamente o sistema de staking comumente usado em PoS. No entanto, a equipe parece ser mais budista e eles não são tão jovens quanto o io.net.

Além disso, há THETA para computação em nuvem de ponta, Phoenix para fornecer soluções de nicho para poder de computação de IA e empresas de computação antigas e novas, como Bittensor e Ritual. Devido a limitações de espaço, não podemos listá-las todas. Principalmente porque algumas delas são realmente difícil de encontrar. Menor que o número de GPUs e outros parâmetros.

Conclusão

Ao longo da história do desenvolvimento de computadores, versões descentralizadas de vários paradigmas de computação podem ser construídas. O único arrependimento é que eles não têm impacto nas aplicações convencionais. O atual projeto de computação Web3 é principalmente autopromoção dentro da indústria. O fundador da Near foi para a conferência GTC É também por causa da autoria do Transformer, não do status de fundador do Near.

O que é ainda mais pessimista é que o tamanho atual do mercado de computação em nuvem e os participantes são muito poderosos. O io.net pode substituir a AWS? Se houver GPUs suficientes, isso é realmente possível. Afinal, a AWS há muito usa o Redis de código aberto como base componente.

Em certo sentido, o poder do código aberto e da descentralização não são iguais. Os projectos descentralizados estão excessivamente concentrados em domínios financeiros como o DeFi, e a IA pode ser um caminho chave para entrar no mercado convencional.

referências:

_2024-03-06_Ai.pdf