torygreen

A velocidade de inferência está a começar a ser importante para os agentes de uma forma muito mais significativa do que simplesmente tornar as respostas mais rápidas.
O novo CS-4 da Cerebras promete uma inferência até 30 vezes mais rápida do que os sistemas com GPU, com mais de 4 400 tok/s no GPT-OSS-120B.
Para os agentes, essa velocidade transforma-se em orçamento adicional para raciocínio.
Na mesma janela de 30 segundos, um sistema mais rápido pode explorar mais caminhos, repetir tentativas após falhas, executar mais verificações ou utilizar um modelo maior sem obrigar o utilizador a esperar

A programação pode ter sido apenas o primeiro mercado de agentes, não o maior.
Desde fevereiro, o número semanal de utilizadores ativos do Codex cresceu:
> 108x no setor jurídico,
> 41x nas vendas,
> 41x no recrutamento
> 26x no marketing.
A engenharia cresceu apenas 5x.
E, em junho, a utilização de agentes já representava 64% do total combinado de tokens de saída do Codex + ChatGPT entre os clientes empresariais.
O software foi provavelmente o ponto de partida mais fácil, porque o trabalho é estruturado, exige muitas ferramentas e é relativamente fácil de verificar.
Agora que os agentes estão

As redes de IA estão a começar a parecer o seu próprio mini ciclo de capex.
@Cisco encerrou o exercício fiscal de 2026 com $9.3B em encomendas de infraestruturas de IA de hiperescaladores e prevê receitas de infraestruturas de IA de ~$4B para $7.5B no próximo ano. A Arista acabou de crescer 37.7% YoY, para $3.04B
Penso que a mudança interessante está no destino que o dólar marginal de IA começa a ter.
A primeira fase da expansão foi dominada pela colocação online do maior número possível de aceleradores. Assim que os clusters atingem uma dimensão suficiente, manter essas GPUs abastecidas com

É incrível que a crescente escassez de memória esteja agora a começar a redesenhar o panorama das GPU antes de sequer chegarem ao mercado.
@nvidia está agora a testar opções HBM de menor altura para a Rubin Ultra. O design original de HBM4e 12-Hi, que poderia atingir 14–16 Gbps, enquanto a nova opção otimizada de HBM4 poderá ficar-se pelos 11–12.
A vantagem está no volume. Menos camadas DRAM por acelerador permitem que o mesmo fornecimento de wafers seja distribuído por mais GPU.
Mas o modelo não fica mais pequeno só porque a pilha de memória ficou. Quando tem de ser distribuído por mais acele

Portanto, já ultrapassámos ~$1T em capex de data centers a nível global, e estamos a caminho de $1.7T até 2030. Acima de $455B em 2024.
Quase 4x em seis anos. Os quatro hyperscalers dos EUA aumentam aproximadamente o dobro nesse período. Toda a gente que vem a seguir — neoclouds, laboratórios de IA, projectos soberanos — é o que, na prática, faz a curva “dobrar”, crescendo a uma média de cerca de 39% ao ano. Até 2030, Amazon, Google, Meta e Microsoft são apenas cerca de metade disso.
Há dois anos, a expansão era basicamente de quatro empresas. Agora é um campo inteiro delas, e o novo din