修改規則前,先用固定任務與自動評分建立比較基準
深讀 L2 952 字 2 分鐘 v2.0.0 更新 2026-11-16
改一句規則或一段工具說明,就會改變 agent 的行為。評測用固定任務與自動評分,判斷修改是進步還是退步。 每個任務提供輸入,每次執行稱為一次 trial,再由評分邏輯判斷結果。
harness 是模型外圍的程式,負責迴圈、工具與權限等工作。評測的對象是 harness 與模型的組合,因此更換模型也要重跑。
先把失敗寫成有成功條件的任務
從 agent 實際做錯過的事收集任務,能讓評測反映真實使用情況。替每個任務準備輸入,再寫出可檢查的成功條件。
任務分成能力評測與回歸評測。前者收集 agent 還做不好的事,後者收集已經做得到的事。
這個分類決定怎麼解讀通過率。能力評測可以從低通過率開始;回歸評測則預期既有能力持續通過,適合檢查修改是否造成退步。
每次試驗從乾淨環境開始
模型每次的輸出不同,因此每個任務都要重複執行,不能只看單次成敗。
評測程式先替 trial 建立乾淨環境,再把任務輸入交給 agent 執行。執行後,評測程式把過程紀錄與環境最後的狀態交給評分邏輯。
下圖呈現這條資料路徑:任務進入 agent,執行留下紀錄與結果,評分後再彙整成各任務的分數。
task 是一個測試,有固定的輸入與成功條件。
評分要檢查環境,不只讀完成宣告
grader 是判斷結果是否符合成功條件的評分方式,可分成程式、模型與人工。對答案明確的任務,程式評分最快,也最穩定。
例如,agent 說訂好機票不算成功。評分必須檢查資料庫裡是否真的有訂位,才能確認環境達到成功條件。
SWE-bench 則用真實的 GitHub issue 當任務。成功條件是 agent 的修改通過測試。
修改前後使用同一組任務
先執行修改前的版本,取得各任務的通過率。修改規則或工具後,再用同一組任務執行修改後的版本,對照結果。
需要現成骨架時,可以使用 Inspect AI 或 promptfoo。這些開源評測框架允許自訂任務、評分與報表。
Skill 是寫給 Claude Code 的一份做法;Plugin 則把這類擴充包成一組,供整組安裝。claude plugin eval 評的是 Plugin 與 Skill,同一組案例分別載入與不載入 Plugin 執行。
CLAUDE.md 是 Claude Code 每次新對話開始時載入的規則檔。CLAUDE.md 這類規則沒有官方的評測指令。
下圖是修改前後重跑任務的最小程式示意,只用來說明概念,不是官方工具。其中的 fresh_environment(task) 對應每次 trial 開始前準備乾淨環境的步驟。
每次 trial 用新的環境。上一次留下的檔案不會影響結果。
通過率高也量不到沒寫成任務的行為
通過率高,不代表沒有問題;沒有寫成任務的行為,評測量不到。若實際使用仍出錯,就把那個失敗補成任務,並補上成功條件。
來源
- Demystifying evals for AI agents Anthropic
- Continually improving our agent harness Cursor
- Software Engineering at Google: Testing Overview Google
- Evaluate a plugin Claude Code docs
- Inspect AI UK AI Security Institute
- SWE-bench SWE-bench
- promptfoo Promptfoo