Chaque utopie IA commence par éliminer la variable qui ne correspond pas au modèle. L'humain.

Je relisais The Fatal Conceit de Hayek.
C'est un livre court avec un seul argument et en ce moment il ressemble à une réponse directe à la moitié des propositions IA que je vois.
La tentation est toujours là : engineer la société comme une machine. Décrire le monde en équations. Éliminer l'irrationalité. Construire le système parfait.
Cela a du sens si vous venez de la physique ou de l'ingénierie. Si vous pouvez fissionner l'atome et le décrire avec des mathématiques, la logique suit : pourquoi pas la société ? L'univers a des lois. Sûrement, les gens aussi.
C'est la logique derrière les économies planifiées. Même argument, branding différent, derrière des villes gouvernées par l'IA.
Le problème de Hayek avec cela n'est pas les mathématiques. C'est la modélisation de l'humain. Les gens fonctionnent selon la tradition, le contexte local, des règles informelles, des contradictions qui ne se résolvent jamais complètement. Ce n'est pas un bug. Juste ce qu'est une personne.
La connaissance dans toute société est dispersée. Elle vit dans les prix, dans les décisions locales, dans des signaux qu'aucun planificateur central ne peut collecter en totalité. Les marchés ne sont pas une idéologie dans le cadre de Hayek — ce sont le seul mécanisme permettant à cette connaissance de circuler. Centraliser, et vous détruisez exactement ce que vous essayiez d'optimiser.
Je pense souvent à cela quand quelqu'un propose une politique monétaire gérée par l'IA, ou un système financier où l'humain est une variable d'entrée.
La technologie n'est pas le problème. Ce que ces systèmes abandonnent en premier, c'est la personne qui ne correspond pas au modèle. C'était là que se trouvait l'information.