---
site: "zyx.tw"
title: "修改規則前，先用固定任務與自動評分建立比較基準"
description: "用相同任務重跑修改前後的行為，依過程與環境判斷成敗。"
url: "https://www.zyx.tw/map/harness/evals"
---

# 修改規則前，先用固定任務與自動評分建立比較基準

紀錄 057，深讀 L2，952 字，2 分鐘，v2.0.0，更新 2026-11-16

改一句規則或一段工具說明，就會改變 agent 的行為。評測用固定任務與自動評分，判斷修改是進步還是退步。 每個任務提供輸入，每次執行稱為一次 trial，再由評分邏輯判斷結果。

harness 是模型外圍的程式，負責迴圈、工具與權限等工作。評測的對象是 harness 與模型的組合，因此更換模型也要重跑。

## 先把失敗寫成有成功條件的任務

從 agent 實際做錯過的事收集任務，能讓評測反映真實使用情況。替每個任務準備輸入，再寫出可檢查的成功條件。

任務分成能力評測與回歸評測。前者收集 agent 還做不好的事，後者收集已經做得到的事。

這個分類決定怎麼解讀通過率。能力評測可以從低通過率開始；回歸評測則預期既有能力持續通過，適合檢查修改是否造成退步。

## 每次試驗從乾淨環境開始

模型每次的輸出不同，因此每個任務都要重複執行，不能只看單次成敗。

評測程式先替 trial 建立乾淨環境，再把任務輸入交給 agent 執行。執行後，評測程式把過程紀錄與環境最後的狀態交給評分邏輯。

下圖呈現這條資料路徑：任務進入 agent，執行留下紀錄與結果，評分後再彙整成各任務的分數。

```text
╭────────╮     ╭─────────────────╮     ╭────────────╮
│ TASKS  │ ──> │ AGENT           │ ──> │ TRANSCRIPT │
│ inputs │     │ harness + model │     │ OUTCOME    │
╰────────╯     ╰─────────────────╯     ╰─────┬──────╯
                  k TRIALS each              v
╭────────────────╮                     ╭────────────╮
│ SCORE per task │ <────────────────── │  GRADERS   │
╰────────────────╯                     ╰────────────╯
```

Figure: Tasks go to an agent, which is a harness and a model, for several trials each. Each trial leaves a transcript and an outcome. Graders turn them into a score per task.

1. Task: task 是一個測試，有固定的輸入與成功條件。
2. Trial: 同一個 task 跑 1 次稱為 trial。每個 task 跑多次。
3. Record: transcript 是完整的過程。outcome 是環境最後的狀態。
4. Grade: grader 檢查過程或結果，算出每個 task 的通過率。

## 評分要檢查環境，不只讀完成宣告

grader 是判斷結果是否符合成功條件的評分方式，可分成程式、模型與人工。對答案明確的任務，程式評分最快，也最穩定。

例如，agent 說訂好機票不算成功。評分必須檢查資料庫裡是否真的有訂位，才能確認環境達到成功條件。

SWE-bench 則用真實的 GitHub issue 當任務。成功條件是 agent 的修改通過測試。

## 修改前後使用同一組任務

先執行修改前的版本，取得各任務的通過率。修改規則或工具後，再用同一組任務執行修改後的版本，對照結果。

需要現成骨架時，可以使用 Inspect AI 或 promptfoo。這些開源評測框架允許自訂任務、評分與報表。

Skill 是寫給 Claude Code 的一份做法；Plugin 則把這類擴充包成一組，供整組安裝。claude plugin eval 評的是 Plugin 與 Skill，同一組案例分別載入與不載入 Plugin 執行。

CLAUDE.md 是 Claude Code 每次新對話開始時載入的規則檔。CLAUDE.md 這類規則沒有官方的評測指令。

下圖是修改前後重跑任務的最小程式示意，只用來說明概念，不是官方工具。其中的 fresh\_environment(task) 對應每次 trial 開始前準備乾淨環境的步驟。

```text
def evaluate(harness, tasks, k=5):
    report = {}
    for task in tasks:
        passed = 0
        for trial in range(k):
            env = fresh_environment(task)
            transcript = harness.run(task.prompt, env)
            if all(g(transcript, env) for g in task.graders):
                passed += 1
        report[task.name] = passed / k
    return report

before = evaluate(old_harness, TASKS)
after = evaluate(new_harness, TASKS)
```

Figure: Pseudo code of an evaluation: for each task run several trials in a fresh environment, grade the transcript and the environment, record the pass rate, and compare the harness before and after a change.

1. Fresh: 每次 trial 用新的環境。上一次留下的檔案不會影響結果。
2. Run: 讓 harness 完整跑完任務，留下過程紀錄。
3. Grade: 所有 grader 都通過，這次 trial 才算通過。
4. Rate: 通過率是通過的次數除以 trial 數。
5. Compare: 同一組任務，修改前後各跑一次再比較。

## 通過率高也量不到沒寫成任務的行為

通過率高，不代表沒有問題；沒有寫成任務的行為，評測量不到。若實際使用仍出錯，就把那個失敗補成任務，並補上成功條件。

## 來源

- [Demystifying evals for AI agents](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents), Anthropic
- [Continually improving our agent harness](https://cursor.com/blog/continually-improving-agent-harness), Cursor
- [Software Engineering at Google: Testing Overview](https://abseil.io/resources/swe-book/html/ch11.html), Google
- [Evaluate a plugin](https://code.claude.com/docs/en/plugin-evals), Claude Code docs
- [Inspect AI](https://inspect.aisi.org.uk/), UK AI Security Institute
- [SWE-bench](https://github.com/SWE-bench/SWE-bench), SWE-bench
- [promptfoo](https://www.promptfoo.dev/docs/intro/), Promptfoo

## 地圖

- 相關：[先做最小的 harness，遇到問題再加零件](https://www.zyx.tw/map/harness/build-a-small-harness.md)
- 相關：[我先從對話紀錄定位問題，再修改對應規則](https://www.zyx.tw/map/principles/rules-from-numbers.md)
- 回到：[Harness](https://www.zyx.tw/map.md)
