Тема
Набор проверок harness
Зафиксируйте версию runner, policy, входных файлов и окружения. Выполняйте каждый сценарий в отдельной рабочей копии.
| Сценарий | Ожидаемый итог | Дополнительная проверка |
|---|---|---|
| Обычная задача | done | Нужные файлы созданы, обязательная команда выполнена. |
| Отсутствует контекст | blocked | Есть context_missing, backend не применял файлы. |
| Запрещена команда | blocked | Есть отказ policy_check, команда не запускалась. |
| Падает тест | failed | Сохранены ненулевой код и причина. |
| Запрещён путь записи | blocked | Запрещённый файл не создан; частичные изменения учтены. |
Пустой checks | Отказ до backend | В текущем стенде возвращается done; это известный пробел. |
| Повтор старой задачи | Ожидаемое поведение сохранено | Сравнение с исходным состоянием и принятым результатом. |
Добавьте фактический результат и путь к журналу для каждой строки. Не отмечайте сценарий выполненным по одному названию теста.
При сравнении версий дополнительно измеряйте долю принятых и ошибочно принятых результатов, время проверки человеком, число повторов и стоимость. Для запусков с моделью укажите число испытаний и разброс; один запуск не характеризует стабильность.