ME News notícias, 24 de abril (UTC+8), de acordo com a monitorização do Beating, o técnico da OpenAI Clive Chan afirmou que o relatório técnico V4 continua a ser de nível superior, mas o capítulo de recomendações de hardware para fabricantes de chips é "surpreendentemente medíocre e até errado", contrastando com o V3.
O Q&A do capítulo de hardware do V3 foi a sessão de discussão mais concorrida na conferência académica ISCA, com recomendações específicas sobre os padrões de interconexão que a indústria estava a definir, enquanto o V4 é muito mais vago.
Chan questionou ponto por ponto. Em relação ao consumo de energia, o relatório afirma que a otimização de software faz com que o cálculo, armazenamento e comunicação do chip funcionem em plena carga simultaneamente, recomendando que os fabricantes de chips reservem mais espaço de potência. Chan considera que "é precisamente o contrário": o consumo total de energia do chip é limitado pelo processo físico, e reservar mais margem de potência significa reduzir a frequência de operação, resultando em menos capacidade de computação.
Sobre o método de transferência de dados entre GPUs, o relatório afirma que optou por deixar a GPU ler ativamente os dados (pull), em vez de fazer com que a outra envie (push), porque a sobrecarga de notificação do push é demasiado alta. Chan questiona esta avaliação, considerando que o pull é mais lento e que deveria ser melhorada a capacidade de processamento de dados da placa de rede. No entanto, os dois podem não estar a discutir o mesmo nível de problema: o relatório fala sobre a sobrecarga do mecanismo de notificação, enquanto Chan fala sobre a latência da própria transmissão.
Sobre a função de ativação, o relatório recomenda substituir SwiGLU por uma função mais simples para reduzir a carga computacional, mas Chan considera que não é necessário, pois o Sonic MoE já demonstrou que é possível atingir o desempenho ideal com SwiGLU. Chan suspeita que a DeepSeek possa ter "enfraquecido intencionalmente este capítulo".
(Fonte: BlockBeats)

Ver original

Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.

Recompensa
gostar
Comentar
Republicar
Partilhar

Comentar

Adicionar um comentário

Nenhum comentário

Tópicos em destaque
Ver mais
#
gStocksTokenizedStocksLive
1,06M Popularidade
#
StrongNonfarmPayrollsRekindleRateHikeFear
1,03M Popularidade
#
IsraelStrikesIranBTCPlunges
67,83K Popularidade
#
PredictWorldCupShare20000U
191,59K Popularidade
#
ETHBreaks1700
120,76M Popularidade

Fixado

Os técnicos da OpenAI questionam ponto por ponto as sugestões de hardware da V4: o capítulo que impressionou a indústria com a V3 desta vez é "inesperado".

Tópicos em destaque

gStocksTokenizedStocksLive

StrongNonfarmPayrollsRekindleRateHikeFear

IsraelStrikesIranBTCPlunges

PredictWorldCupShare20000U

ETHBreaks1700

Fixado