Depois que o ChatGPT foi atualizado, quando falo com ele praticamente não há atraso. A latência dos mais recentes modelos de voz em tempo real é de cerca de 200-300ms, e o intervalo de resposta natural nas conversas humanas também é de 200-300ms. É igual.

Mas o custo de “zero atraso” é o esquecimento. A janela de contexto do modelo de voz em tempo real tem apenas 32k tokens, ou seja, 1/300 de um modelo apenas de texto. Baixa latência = pouca memória + esquecimento ativo. É preciso responder em segundos e, ao mesmo tempo, lembrar de cada frase que você disse; por enquanto, é um dilema.

O poder de computação continua a não dar. Uma placa 5090 para gerar uma imagem em SDXL demora 2 segundos; o FLUX demora 9 segundos. Treinar um LoRA de uma personagem exige 10-30 imagens; atualmente, leva de uma a duas horas.

O 5090 que eu alugo está agora a custar quase 5000 dólares, com potência total de 575W, sem sequer contar a eletricidade. Em dois ou três anos, o poder de computação relativo fica obsoleto. É mesmo muito caro.

Há 15 anos, nós mandávamos mensagens uns aos outros; depois as MMS passaram a poder enviar imagens, depois começámos a enviar vídeos, até chegar às atuais chamadas em tempo real de alta definição sem qualquer atraso. Uma mensagem de texto tem apenas 140 bytes. Da taxa de 9,6kbps do 2G ao pico de 20Gbps do 5G, a diferença de largura de banda é de 2 milhões de vezes.

As rotas que a IA usa são exatamente as mesmas. Primeiro eram tokens de texto; no ano passado já era capaz de gerar imagens; agora é voz; o próximo passo, sem dúvida, é comunicação de vídeo sem atraso.

Na verdade, o vídeo já começou. O Gemini Live já no ano passado conseguia conversar em tempo real com a câmara ligada, queimando 300 tokens por segundo. O limite predefinido é de 2 minutos, mas depois de conversar esquece tudo. É caro + efeito fraco + ainda muito primitivo em várias dimensões, o que faz com que basicamente não dê para usar.

Atualmente, o Agent ainda está a usar texto para planejar, e a entender o mundo através de texto; toda a cadeia de raciocínio é de tokens. O raciocínio em “espaços latentes” que não seja texto ainda está apenas a ser testado.

A compreensão de tempo da IA também fica presa ao texto. Mesmo modelos que conseguem medalha nas olimpíadas de matemática, quando lêem a precisão de um relógio simulado, é só cerca de 50%. Tato, emoções, perceção incorporada (embodiment) — está muito, muito longe de estar maduro.

Falando em armazenamento: eu não acho que seja verdade “faltar armazenamento para sempre”. “Para sempre” é uma palavra demasiado exagerada.

O custo por GB caiu 99,99% ao longo de 45 anos; a longo prazo, certamente vai continuar mais barato.

Simplesmente agora a IA está a consumir a memória ao máximo. A DRAM subiu 90% num trimestre: há uma escassez temporária, mas isso não significa que vai faltar para sempre.

Então isto é uma necessidade “falsa”? Uma necessidade falsa tem como característica: usas este mês, mas no mês seguinte já não usas.

Os tokens processados mensalmente pelo Google aumentaram 7 vezes num ano, para 32 milhões de biliões (3200万亿). O ChatGPT tem 900 milhões de utilizadores ativos semanais.

O preço dos tokens diminui dez vezes por ano, mas toda a gente está a discutir como usar os tokens com mais eficiência, e não como é que “não os vamos usar”.

Um agente consome 50-200 tokens por sessão, que é o equivalente a uma única conversa. Se o preço baixar, vamos apenas usar mais.

A IA generativa demorou três anos para atingir 53% de penetração global. A Internet demorou 7 anos. PCs, 15 anos.

Por isso, é claro que ainda estamos no início da era da IA, e a mudança é irreversível. Tal como nós na era 2G: as nossas campainhas ainda eram “Telefone Romântico” (彩铃《浪漫手机》), e mesmo com a caixa de entrada cheia, já não havia coragem para apagar algumas mensagens.

(As imagens foram feitas por mim com o Fable5🎮)