Перейти к тексту

Набор проверок harness ​

Зафиксируйте версию runner, policy, входных файлов и окружения. Выполняйте каждый сценарий в отдельной рабочей копии.

СценарийОжидаемый итогДополнительная проверка
Обычная задачаdoneНужные файлы созданы, обязательная команда выполнена.
Отсутствует контекстblockedЕсть context_missing, backend не применял файлы.
Запрещена командаblockedЕсть отказ policy_check, команда не запускалась.
Падает тестfailedСохранены ненулевой код и причина.
Запрещён путь записиblockedЗапрещённый файл не создан; частичные изменения учтены.
Пустой checksОтказ до backendВ текущем стенде возвращается done; это известный пробел.
Повтор старой задачиОжидаемое поведение сохраненоСравнение с исходным состоянием и принятым результатом.

Добавьте фактический результат и путь к журналу для каждой строки. Не отмечайте сценарий выполненным по одному названию теста.

При сравнении версий дополнительно измеряйте долю принятых и ошибочно принятых результатов, время проверки человеком, число повторов и стоимость. Для запусков с моделью укажите число испытаний и разброс; один запуск не характеризует стабильность.

Хендбук по Agentic Engineering