CITIC Securities: A capacidade de armazenamento foi elevada para a necessidade central de raciocínio do agente inteligente atual

Diário Econômico AI Express. Um relatório do CCB Securities afirma que a IA evolui de “conversa simples” para “agentes (Agent)”, impulsionando um aumento acentuado do comprimento de contexto. De acordo com dados da Epoch AI, a janela de contexto mais longa cresce aproximadamente 30x por ano; existe uma relação linear entre a capacidade de memória do KV Cache e o comprimento do contexto, muito superior à taxa de crescimento do desempenho do hardware. Actualmente, os fornecedores de modelos de grandes modelos e os fornecedores de hardware resolvem principalmente o gargalo de capacidade de computação através de quantização, armazenamento em camadas e optimização da arquitectura do modelo, mas isso ainda não altera a explosão das necessidades de memória de vídeo. O CCB Securities considera que a optimização de memória de vídeo poderá reduzir o custo por geração de um Token, o que, por sua vez, irá estimular os utilizadores a iniciarem maior concorrência e contextos mais longos; a procura total por capacidade de computação não diminuirá e tenderá a aumentar. A actualização de capacidade de computação torna-se uma exigência central para a inferência do Agent, pelo que acreditam firmemente na tendência de crescimento do armazenamento.

Diário Econômico

(Editor: Zhang Pingping ）

     【Aviso legal】Este artigo representa apenas as opiniões do próprio autor, não tem qualquer relação com a Hexun. O site da Hexun mantém neutralidade face às afirmações, opiniões e juízos expressos no texto, e não oferece quaisquer garantias explícitas ou implícitas quanto à exactidão, fiabilidade ou integralidade do conteúdo incluído. Os leitores devem apenas consultar como referência e assumir toda a responsabilidade por conta própria. E-mail: news_center@staff.hexun.com

Denunciar