修改規則前,先用固定任務與自動評分建立比較基準

深讀 L2 952 字 2 分鐘 v2.0.0 更新 2026-11-16

改一句規則或一段工具說明,就會改變 agent 的行為。評測用固定任務與自動評分,判斷修改是進步還是退步。 每個任務提供輸入,每次執行稱為一次 trial,再由評分邏輯判斷結果。

harness 是模型外圍的程式,負責迴圈、工具與權限等工作。評測的對象是 harness 與模型的組合,因此更換模型也要重跑。

先把失敗寫成有成功條件的任務

從 agent 實際做錯過的事收集任務,能讓評測反映真實使用情況。替每個任務準備輸入,再寫出可檢查的成功條件。

任務分成能力評測與回歸評測。前者收集 agent 還做不好的事,後者收集已經做得到的事。

這個分類決定怎麼解讀通過率。能力評測可以從低通過率開始;回歸評測則預期既有能力持續通過,適合檢查修改是否造成退步。

每次試驗從乾淨環境開始

模型每次的輸出不同,因此每個任務都要重複執行,不能只看單次成敗。

評測程式先替 trial 建立乾淨環境,再把任務輸入交給 agent 執行。執行後,評測程式把過程紀錄與環境最後的狀態交給評分邏輯。

下圖呈現這條資料路徑:任務進入 agent,執行留下紀錄與結果,評分後再彙整成各任務的分數。

task 是一個測試,有固定的輸入與成功條件。

評分要檢查環境,不只讀完成宣告

grader 是判斷結果是否符合成功條件的評分方式,可分成程式、模型與人工。對答案明確的任務,程式評分最快,也最穩定。

例如,agent 說訂好機票不算成功。評分必須檢查資料庫裡是否真的有訂位,才能確認環境達到成功條件。

SWE-bench 則用真實的 GitHub issue 當任務。成功條件是 agent 的修改通過測試。

修改前後使用同一組任務

先執行修改前的版本,取得各任務的通過率。修改規則或工具後,再用同一組任務執行修改後的版本,對照結果。

需要現成骨架時,可以使用 Inspect AI 或 promptfoo。這些開源評測框架允許自訂任務、評分與報表。

Skill 是寫給 Claude Code 的一份做法;Plugin 則把這類擴充包成一組,供整組安裝。claude plugin eval 評的是 Plugin 與 Skill,同一組案例分別載入與不載入 Plugin 執行。

CLAUDE.md 是 Claude Code 每次新對話開始時載入的規則檔。CLAUDE.md 這類規則沒有官方的評測指令。

下圖是修改前後重跑任務的最小程式示意,只用來說明概念,不是官方工具。其中的 fresh_environment(task) 對應每次 trial 開始前準備乾淨環境的步驟。

每次 trial 用新的環境。上一次留下的檔案不會影響結果。

通過率高也量不到沒寫成任務的行為

通過率高,不代表沒有問題;沒有寫成任務的行為,評測量不到。若實際使用仍出錯,就把那個失敗補成任務,並補上成功條件。

來源

讀完之後

HarnessLLM迴圈工具context快取KV接手協定權限沙箱層注入子 agent實作評測