A Sapient disponibiliza em open source um modelo HRM de 1 mil milhões de parâmetros; atinge um custo de treino de 1.472 dólares em 46 horas
De acordo com Beating, a Sapient Intelligence disponibilizou em open-source o HRM-Text, um modelo de geração de texto com 1 mil milhões de parâmetros baseado na sua arquitetura do modelo de raciocínio hierárquico (HRM). Usando apenas 40 mil milhões de tokens estruturados, o modelo requer apenas 46 horas de treino em dois servidores H100 com 8 GPU, com um custo de computação de aproximadamente 1.472$ para a versão de 1B e 800$ para a variante de 0,6B; isto representa uma redução de 130–600 vezes
GateNews·05-19 07:38
