Nvidia, após adquirir a Groq por 20 bilhões de dólares, discute pela primeira vez estratégias: os tokens de raciocínio devem ser avaliados pela qualidade, baixa latência e alto preço unitário são o novo campo de competição

Notícias ME, 16 de abril (UTC+8), de acordo com o monitoramento do Beating, Jensen Huang explicou pela primeira vez em detalhes a lógica estratégica por trás da aquisição da Groq pela Nvidia. A Nvidia adquiriu, em dezembro do ano passado, a divisão de chips de inferência da Groq por 20 bilhões de dólares, com o fundador da Groq, Jonathan Ross, e a equipe principal ingressando na Nvidia, enquanto a Groq continua operando como uma empresa independente. Em março deste ano, na conferência GTC, a Nvidia lançou o primeiro chip após a fusão, o Groq 3 LPU, fabricado com tecnologia de 4nm da Samsung, e a Nvidia afirmou que sua taxa de inferência por megawatt em modelos de trilhões de parâmetros é 35 vezes maior que a do Blackwell NVL72. Huang disse que o impulso para a aquisição da Groq foi a segmentação do mercado de inferência. Anteriormente, a otimização de inferência tinha apenas uma direção: aumentar a taxa de transferência. Mas o valor comercial do token aumentou significativamente, e diferentes usuários estão dispostos a pagar preços diferentes por diferentes velocidades de resposta. “Se eu puder fornecer aos engenheiros de software tokens com respostas mais rápidas, tornando-os mais eficientes do que agora, estou disposto a pagar por isso. Mas esse mercado só surgiu recentemente.” Ele descreveu isso como uma expansão da fronteira de Pareto no mercado de inferência: além das soluções de alta taxa de transferência existentes, uma nova faixa de mercado de baixa latência e alto preço unitário foi adicionada. Para o mesmo modelo, a diferenciação de preços com base no tempo de resposta — “embora a taxa de transferência seja menor, o preço unitário pode compensar”. A arquitetura LPU da Groq é conhecida por sua baixa latência determinística, complementando a rota de alta taxa de transferência das GPUs da Nvidia, e a aquisição preenche uma lacuna que a Nvidia tinha na linha de produtos de inferência. (Fonte: BlockBeats)