每輪重送 context,固定前段與對話長度要分開管理

深讀 L2 941 字 2 分鐘 v2.0.0 更新 2026-11-16

context 是一次請求送給模型的全部內容。harness 是模型外圍、負責迴圈與請求的程式,模型不記得上一輪,因此 harness 每輪都重送整段 context。

管理 context 有兩件事:讓固定前段保持相同,並控制持續增長的對話。

請求先放固定內容,再接上對話

harness 組成請求時,先放工具定義,再放系統指示,最後才放對話。工具定義描述可用工具,系統指示提供模型要遵守的要求。

對話則隨著輪次增加,新訊息接在後面。因此,即使這輪只增加一則訊息,harness 送出的內容仍包含前面的對話。

工具呼叫 是模型提出工具與參數,再由 harness 執行並送回結果的過程。下圖將固定前段與持續增長的對話分開,工具請求與結果也會接在對話裡。

工具定義與系統指示每一輪都相同,放在最前面。

前段的改動會影響後面的快取

服務會透過 prompt cache,保留請求前段已算過的結果。下一輪的前段完全相同時,服務便能重用計算,計費較低,回應也較快。

前面只要有一個字不同,從改動處往後的快取就會失效。因此,固定前段不要放時間,也不要任意交換內容順序。

工具定義排在最前面,中途增減工具清單會讓整段快取重算。

context 越長越不穩,所以用到才放進去

長度是另一個限制:輸入變長時,模型表現會下降,簡單任務也一樣。因此,整理 context 時,還要找出每輪都載入、卻很少用到的規則與資料。

資料先放路徑,需要時再讓 agent 用工具讀取。遇到很長的工具輸出,就把輸出存成檔案,只把路徑與結尾送回對話,模型需要其餘內容時再讀檔。

工具很多時,也可以先只提供名稱。Claude Code 的 tool search 會在需要時才載入完整工具定義。

特定任務的做法可整理成 Skill,也就是平常只載入名字與說明、需要時才載入全文的做法文件。如何拆分內容,見該篇。

接近上限時,把舊對話換成摘要

token 是模型讀寫文字的單位。下圖用輪次示範對話如何占滿空間,數字只是示意,不是每輪固定增加的用量。

圖中的固定前段維持 20k token。第 1 輪的對話是 5k,剩餘空間是 175k;第 10 輪的對話增至 70k,剩下 110k;第 30 輪的對話達到 160k,只剩 20k。

對話接近上限時,harness 請模型把舊對話寫成摘要。摘要保留目標與結論,讓後續請求能用較短的內容延續工作。

壓縮的代價是細節可能消失。重要決定應先寫進檔案,讓 agent 在壓縮後仍能讀取,不必只依賴摘要。

第 1 輪
  • 固定前段20k
  • 對話5k
  • 剩餘空間175k

工具定義與規則是固定的前段,每一輪都相同。

裁剪對話時,工具請求與結果要一起保留

保留最近訊息時,harness 必須成對保留工具請求與對應結果。只留請求或只留結果,送往模型的請求會被拒絕。

來源

讀完之後

HarnessLLM迴圈工具context快取KV接手協定權限沙箱層注入子 agent實作評測