J'ai trouvé un projet open source qui permet à l'IA de "travailler" vraiment avec ses "mains"

cua, 16,7k étoiles, ce n'est pas un chatbot, mais une infrastructure permettant à l'IA de contrôler directement l'ordinateur
L'idée centrale : donner à l'IA un environnement sandbox où elle peut cliquer, taper au clavier, voir l'écran, et faire fonctionner les logiciels comme un humain
Plusieurs sous-projets ont des rôles bien définis :
✅ Cua Driver : pilote d'opérations en arrière-plan sur macOS, l'IA clique sur les boutons, tape, sans prendre le contrôle du curseur, sans couper la fenêtre, travaille en silence
✅ Cua Sandbox : API unifiée pour contrôler Linux/macOS/Windows/Android, peut fonctionner dans le cloud ou localement
✅ CuaBot : fournit un sandbox prêt à l'emploi pour des agents de codage comme Claude Code, Cursor, etc.
✅ Cua-Bench : benchmark pour évaluer la capacité d'opération des agents, utilise des datasets comme OSWorld, ScreenSpot
✅ Lume : exécute une machine virtuelle macOS sur Apple Silicon, avec des performances proches du natif
Le code est écrit en Rust + Swift + Python, avec une architecture très robuste.
Si vous souhaitez automatiser des agents, orchestrer des tâches de bureau, ou simplement être curieux de "comment l'IA utilise un ordinateur", ce projet vaut le coup d'explorer le code source
L'adresse du projet est dans la section des commentaires 👇