Acho que um ASIC não é exatamente o que muita gente pensa — um circuito dedicado feito para uma arquitetura de modelo específica. Ele deveria ter sido desenvolvido para a camada (Model Layer) e para os operadores (Operator) específicos; por dentro, ele é programável.

Um ASIC não é burro a ponto de só conseguir rodar um modelo específico. Além disso, a própria equipe de modelos precisa iterar. Como eles poderiam não se comunicar?

Um padrão de design bem simples: perfilar em quais operadores o tempo do seu próprio modelo é mais consumido e então fazer o designer otimizar esses operadores, transformando-os em um ASIC. Isso facilita bastante aumentar a eficiência do seu workload.

Na prática, esse tipo de ASIC é uma combinação de operadores. Claro que também pode haver perda de alguns operadores menos usados por questões de eficiência, mas ainda assim dá para rodar modelos genéricos.

Pelo menos não há diferença essencial em relação ao que a NVDA faz hoje. A diferença é que a NVDA precisa atender a todas as empresas, enquanto um ASIC pode ficar responsável especificamente por um certo conjunto do seu tráfego. Então, isso tem valor.

À medida que as empresas diferenciam mais seus produtos, o valor dos ASICs deve crescer cada vez mais — e não o contrário. Não há necessidade de pagar um prêmio por funcionalidades que você não vai usar.

Então, minha avaliação sobre ASIC é que, no futuro, pelo menos conseguiremos capturar 50% do mercado de inferência. A crise da Nvidia é real. Eu não acredito que ela vá a 300, e eu não compraria.

Obrigado a todos.