Appearance
Шаблон eval suite
Eval suite проверяет сам harness. В нём должны быть не только happy path, но и случаи, где runner обязан остановиться или честно вернуть failure.
| Eval case | Ожидаемый result | Evidence |
|---|---|---|
| Задача happy path | done | checks проходят |
| Отсутствующий context | blocked | event context_missing |
| Заблокированная команда | blocked | policy_check.allowed=false |
| Падающий тест | failed | ненулевой exit code у check |
| Небезопасный write path | blocked | отказ write policy |
| Replay старой задачи | done | результат совпадает с baseline |
Метрики
- Task success rate:
- False acceptance rate:
- Recovery quality:
- Policy violation catch rate:
- Replay determinism:
- Human review time: