Skip to content

Шаблон eval suite

Eval suite проверяет сам harness. В нём должны быть не только happy path, но и случаи, где runner обязан остановиться или честно вернуть failure.

Eval caseОжидаемый resultEvidence
Задача happy pathdonechecks проходят
Отсутствующий contextblockedevent context_missing
Заблокированная командаblockedpolicy_check.allowed=false
Падающий тестfailedненулевой exit code у check
Небезопасный write pathblockedотказ write policy
Replay старой задачиdoneрезультат совпадает с baseline

Метрики

  • Task success rate:
  • False acceptance rate:
  • Recovery quality:
  • Policy violation catch rate:
  • Replay determinism:
  • Human review time:

Agentic Engineering: Context Engineering + Harness Engineering