Acho que a ASIC não é, de forma nenhuma, o que muita gente pensa: um circuito dedicado feito para uma determinada arquitetura de modelo. Ela devia ter sido feita para uma Model Layer e operadores específicos, com o interior programável.

ASIC não é tão “burra” que só consiga correr um modelo específico. A sua própria equipa de modelos também tem de iterar; como é que podiam não comunicar entre si?

Um padrão de design muito simples: primeiro, fazer um profiling para ver em que operadores o seu modelo gasta mais tempo, e depois pedir ao designer que otimize esses operadores, transformando-os numa ASIC. Assim, é fácil aumentar a eficiência do seu workload.

Na prática, esta ASIC é um conjunto de operadores; claro que também pode sacrificar alguns operadores menos usados por ganhos de eficiência, mas ainda assim consegue executar modelos gerais.

Pelo menos, não há diferença essencial em relação ao que a NVDA faz hoje. Só que a NVDA tem de dar resposta a todas as empresas, enquanto uma ASIC pode ficar encarregue de um certo tipo de tráfego do seu próprio lado. E isso tem valor.

À medida que as empresas se diferenciam umas das outras, o valor das ASIC deve aumentar cada vez mais, e não o contrário. Não há necessidade de pagar um prémio por funcionalidades de que não se vai precisar.

Portanto, o meu julgamento sobre ASIC é o seguinte: no futuro, pelo menos conseguirá conquistar 50% do “reino” da inferência. A crise da Nvidia é real. Eu não acho que ela vá a 300, e eu também não vou comprar.

Obrigado a todos.