Notícias do site Coinjie, o técnico da OpenAI Clive Chan afirmou que o relatório técnico V4 ainda é de nível superior, mas a seção de recomendações de hardware para fabricantes de chips é "surpreendentemente medíocre ou até incorreta", em contraste com o V3. A seção de hardware do V3, com perguntas e respostas, foi uma das discussões mais populares na conferência acadêmica ISCA, com recomendações específicas até os padrões de interconexão atualmente em desenvolvimento na indústria, enquanto o V4 é muito mais vago. Chan levantou dúvidas ponto por ponto, achando que as recomendações do relatório sobre consumo de energia "justamente o contrário do esperado", e questionou a escolha do método de transmissão de dados entre GPUs. Sobre a função de ativação, Chan acredita que a sugestão do relatório de substituir o SWIGLU por funções mais simples para reduzir a carga computacional não é necessária, pois Sonic Moe já provou que usar SWIGLU ainda pode alcançar o desempenho ótimo.

Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • Comentar
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
Nenhum comentário
  • Fixar