Todo utopia de IA começa removendo a variável que não se encaixa no modelo. O humano.

Tenho relido "A Cegueira Fatal" de Hayek.
É um livro curto com um argumento único e, neste momento, parece uma resposta direta à metade dos argumentos de IA que vejo.
A tentação está sempre presente: engenhar a sociedade como uma máquina. Descrever o mundo em equações. Eliminar a irracionalidade. Construir o sistema perfeito.
Faz sentido se você vem da física ou engenharia. Se você consegue dividir o átomo e descrevê-lo com matemática, a lógica segue: por que não a sociedade? O universo tem leis. Certamente as pessoas também têm.
Essa é a lógica por trás das economias planejadas. Mesma proposta, branding diferente, por trás de cidades governadas por IA.
O problema de Hayek com isso não é a matemática. É o modelo do humano. As pessoas funcionam com tradição, contexto local, regras informais, contradições que nunca se resolvem completamente. Não é um bug. É o que uma pessoa é.
O conhecimento em qualquer sociedade é disperso. Ele vive nos preços, nas decisões locais, nos sinais que nenhum planejador central consegue coletar por completo. Os mercados não são uma ideologia na estrutura de Hayek — eles são o único mecanismo que permite que esse conhecimento se mova. Centralizar, e você destrói exatamente o que estava tentando otimizar.
Continuo pensando nisso quando alguém propõe uma política monetária gerenciada por IA, ou um sistema financeiro onde o humano é uma variável de entrada.
A tecnologia não é o problema. O que esses sistemas descartam primeiro é a pessoa que não se encaixa no modelo. É aí que estava a informação.