Após a aquisição da Groq por 20 bilhões de dólares, a Nvidia discute pela primeira vez sua estratégia: a avaliação dos tokens de raciocínio deve ser baseada na qualidade, sendo que baixa latência e alto preço unitário são o novo campo de competição

ME News Notícias, 16 de abril (UTC+8), de acordo com o monitoramento do Beating, Jensen Huang explicou pela primeira vez em detalhes a lógica estratégica por trás da aquisição da Groq pela Nvidia. A Nvidia adquiriu a unidade de chips de inferência da Groq por 20 bilhões de dólares em dezembro do ano passado, com os fundadores da Groq, Jonathan Ross e a equipe principal, ingressando na Nvidia, enquanto a Groq continua operando como uma empresa independente. Em março deste ano, na conferência GTC, a Nvidia lançou o primeiro chip após a fusão, o Groq 3 LPU, fabricado com tecnologia de 4nm da Samsung, e a Nvidia afirmou que sua taxa de inferência por megawatt em modelos de trilhões de parâmetros é 35 vezes maior que a do Blackwell NVL72. Jensen Huang disse que o impulso para a aquisição da Groq foi a segmentação do mercado de inferência. Anteriormente, a otimização de inferência tinha apenas uma direção: aumentar a taxa de transferência. Mas o valor comercial do token aumentou significativamente, e diferentes usuários estão dispostos a pagar preços diferentes por respostas de diferentes velocidades. “Se eu puder fornecer aos engenheiros de software tokens com respostas mais rápidas, tornando-os mais eficientes do que agora, estou disposto a pagar por isso. Mas esse mercado só surgiu recentemente.” Ele descreveu isso como uma expansão da fronteira de Pareto no mercado de inferência: além das soluções de alta taxa de transferência existentes, um novo segmento de mercado de baixa latência e alto valor unitário foi criado. Para o mesmo modelo, a diferenciação de preços com base no tempo de resposta — “embora a taxa de transferência seja menor, o preço unitário pode compensar”. A arquitetura LPU da Groq é conhecida por sua baixa latência determinística, complementando a rota de alta taxa de transferência das GPUs da Nvidia, e a aquisição preenche uma lacuna que a Nvidia tinha na linha de produtos de inferência. (Fonte: BlockBeats)