Toda utopia de IA começa removendo a variável que não se encaixa no modelo. O humano.

Tenho relido "A Cegueira Fatal" de Hayek.
É um livro curto com um argumento único e, neste momento, parece uma resposta direta à metade das propostas de IA que vejo.
A tentação está sempre presente: engenhar a sociedade como uma máquina. Descrever o mundo em equações. Eliminar a irracionalidade. Construir o sistema perfeito.
Faz sentido se vem da física ou engenharia. Se consegue dividir o átomo e descrevê-lo com matemática, a lógica segue: por que não a sociedade? O universo tem leis. Certamente as pessoas também.
Essa é a lógica por trás das economias planejadas. Mesma proposta, branding diferente, por trás de cidades governadas por IA.
O problema de Hayek com isso não é a matemática. É o modelo do humano. As pessoas funcionam com tradição, contexto local, regras informais, contradições que nunca se resolvem completamente. Não é um bug. É o que uma pessoa é.
O conhecimento em qualquer sociedade é disperso. Ele vive nos preços, nas decisões locais, em sinais que nenhum planejador central consegue coletar na totalidade. Os mercados não são uma ideologia na estrutura de Hayek — são o único mecanismo que permite que esse conhecimento se mova. Centralizar, e você destrói exatamente o que tentava otimizar.
Continuo pensando nisso quando alguém propõe uma política monetária gerida por IA, ou um sistema financeiro onde o humano é uma variável de entrada.
A tecnologia não é o problema. O que esses sistemas descartam primeiro é a pessoa que não se encaixa no modelo. É aí que estava a informação.