Existe una verdadera oportunidad para un investigador ambicioso en IA de:

- crear un marco de evaluación para probar harnesses de agentes como Openclaw, Hermes y todos los demás “claws”
- ampliar la evaluación a diferentes herramientas / configuraciones para que sepamos cómo cambia el rendimiento con diferentes setups
- realizar evaluaciones robustas en diferentes modelos, incluyendo local vs API
- hacer benchmarks y publicar resultados, y luego realizar actualizaciones continuas a medida que los agentes y modelos evolucionan
La oportunidad es convertirse en LA fuente de referencia para benchmarks objetivos de agentes
¿Quizá alguien ya esté haciendo esto y yo simplemente no esté al tanto? No solo comparaciones puntuales, sino pruebas y evaluaciones estándar reales para que podamos comparar resultados de manera efectiva