BizBench: скрытые трудности развёртывания долгосрочных агентов для реального бизнеса

Суть

Существующие бенчмарки для долгосрочных агентов часто делают акцент на итоговом успехе задачи и слабо оценивают корректность промежуточного выполнения, что критично в областях с высокой ставкой, таких как платежи. В работе представлен BizBench — многоходовой бенчмарк на основе реальных процедур ведущей платёжной компании: его исполняемая среда объединяет 789 документов знаний и 601 обнаруживаемый бизнес-инструмент, а сам бенчмарк включает 50 задач с ограничениями по ресурсам, временными зависимостями, предшествующими обязательствами и противоречивыми или устаревшими указаниями.

Результаты

Claude Opus 5 и GPT-6 Sol достигают строгой успешности лишь 64.0% и 61.3% соответственно. У Qwen3.8-27B достижение цели составляет 42.0%, но строгая успешность падает до 32.7%, а DeepSeek-V4.1-Flash в среднем делает 191.3 вызова инструментов за запуск — примерно на 70% больше эталонных выполнений.

Зачем это знать

BizBench даёт испытательный стенд для оценки долгосрочных агентов за пределами завершения задачи — в сторону надёжного и соблюдающего ограничения выполнения в сложных бизнес-средах.