Datacurve эта волна DeepSWE с открытым исходным кодом действительно хороша, покрытие пяти языков, средняя глубина ответов 668 строк, также выпущен фреймворк Mini-SWE-Agent, в будущем можно будет измерять способность больших моделей к коду.

Datacurve объявила об открытом исходном коде бенчмарка DeepSWE для программирования интеллектуальных агентов, оценивающего автономные навыки больших моделей. Бенчмарк включает 113 задач, охватывающих пять языков: TypeScript, Go, Python, JavaScript, Rust, в среднем требующих 668 строк参考解答. Подсказки и инструкции в среднем содержат 2158 символов, подчеркивая глубокое рассуждение при минимальных командах. Тестирование проводится с использованием открытой рамочной системы Mini-SWE-Agent, что обеспечивает объективность. Уровень решений GPT-5.5 составляет 70%, у GPT-5.4 и Claude-opus-4.7 — 56% и 54% соответственно.