---
site: "zyx.tw"
title: "每輪重送 context，固定前段與對話長度要分開管理"
description: "前段是否相同決定快取能否重用，對話長度則影響模型表現。"
url: "https://www.zyx.tw/map/harness/context-is-resent"
---

# 每輪重送 context，固定前段與對話長度要分開管理

紀錄 046，深讀 L2，941 字，2 分鐘，v2.0.0，更新 2026-11-16

context 是一次請求送給模型的全部內容。harness 是模型外圍、負責迴圈與請求的程式，模型不記得上一輪，因此 harness 每輪都重送整段 context。

管理 context 有兩件事：讓固定前段保持相同，並控制持續增長的對話。

## 請求先放固定內容，再接上對話

harness 組成請求時，先放工具定義，再放系統指示，最後才放對話。工具定義描述可用工具，系統指示提供模型要遵守的要求。

對話則隨著輪次增加，新訊息接在後面。因此，即使這輪只增加一則訊息，harness 送出的內容仍包含前面的對話。

工具呼叫 是模型提出工具與參數，再由 harness 執行並送回結果的過程。下圖將固定前段與持續增長的對話分開，工具請求與結果也會接在對話裡。

```text
╭──────────────────────────────╮
│ tools      definitions       │  STABLE PREFIX
│ system     instructions      │  cached
├──────────────────────────────┤
│ messages                     │
│   user       task            │  GROWS EVERY TURN
│   assistant  tool call       │  append only
│   user       tool result     │
│   ...                        │
╰──────────────────────────────╯
```

Figure: A request in three parts: tool definitions and system instructions form a stable, cached prefix; the messages after them grow every turn and are only appended to.

1. Prefix: 工具定義與系統指示每一輪都相同，放在最前面。
2. Cache: 前段與上一輪完全相同時，服務重用上次的計算。
3. Append: 對話只往後接，不修改前面的內容。

## 前段的改動會影響後面的快取

服務會透過 prompt cache，保留請求前段已算過的結果。下一輪的前段完全相同時，服務便能重用計算，計費較低，回應也較快。

前面只要有一個字不同，從改動處往後的快取就會失效。因此，固定前段不要放時間，也不要任意交換內容順序。

工具定義排在最前面，中途增減工具清單會讓整段快取重算。

## context 越長越不穩，所以用到才放進去

長度是另一個限制：輸入變長時，模型表現會下降，簡單任務也一樣。因此，整理 context 時，還要找出每輪都載入、卻很少用到的規則與資料。

資料先放路徑，需要時再讓 agent 用工具讀取。遇到很長的工具輸出，就把輸出存成檔案，只把路徑與結尾送回對話，模型需要其餘內容時再讀檔。

工具很多時，也可以先只提供名稱。Claude Code 的 tool search 會在需要時才載入完整工具定義。

特定任務的做法可整理成 Skill，也就是平常只載入名字與說明、需要時才載入全文的做法文件。如何拆分內容，見該篇。

## 接近上限時，把舊對話換成摘要

token 是模型讀寫文字的單位。下圖用輪次示範對話如何占滿空間，數字只是示意，不是每輪固定增加的用量。

圖中的固定前段維持 20k token。第 1 輪的對話是 5k，剩餘空間是 175k；第 10 輪的對話增至 70k，剩下 110k；第 30 輪的對話達到 160k，只剩 20k。

對話接近上限時，harness 請模型把舊對話寫成摘要。摘要保留目標與結論，讓後續請求能用較短的內容延續工作。

壓縮的代價是細節可能消失。重要決定應先寫進檔案，讓 agent 在壓縮後仍能讀取，不必只依賴摘要。

**輪數 第 1 輪**

- 固定前段: 20k
- 對話: 5k
- 剩餘空間: 175k

工具定義與規則是固定的前段，每一輪都相同。

**輪數 第 10 輪**

- 固定前段: 20k
- 對話: 70k
- 剩餘空間: 110k

新訊息只接在最後。前段不變，對話變長。

**輪數 第 30 輪**

- 固定前段: 20k
- 對話: 160k
- 剩餘空間: 20k

空間快用完。要在請求失敗之前處理。

**輪數 壓縮後**

- 固定前段: 20k
- 對話: 30k
- 剩餘空間: 150k

摘要加上最近幾則訊息，取代原本的對話。

## 裁剪對話時，工具請求與結果要一起保留

保留最近訊息時，harness 必須成對保留工具請求與對應結果。只留請求或只留結果，送往模型的請求會被拒絕。

## 來源

- [Prompt caching](https://platform.claude.com/docs/en/build-with-claude/prompt-caching), Claude API docs
- [Effective context engineering for AI agents](https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents), Anthropic
- [Unrolling the Codex agent loop](https://openai.com/index/unrolling-the-codex-agent-loop/), Michael Bolin, OpenAI
- [Context Engineering for AI Agents: Lessons from Building Manus](https://manus.im/blog/Context-Engineering-for-AI-Agents-Lessons-from-Building-Manus), Yichao Ji
- [Dynamic context discovery](https://cursor.com/blog/dynamic-context-discovery), Jediah Katz, Cursor
- [Context Rot](https://research.trychroma.com/context-rot), Chroma

## 地圖

- 先讀：[Agent Loop 讓模型提出請求，由程式執行並送回結果](https://www.zyx.tw/map/harness/agent-loop.md)
- 原理：[Prompt cache 只重用完全相同的前段，變動內容要放後面](https://www.zyx.tw/map/harness/prompt-cache.md)
- 原理：[把長任務的狀態寫進檔案，讓新對話有依據接手](https://www.zyx.tw/map/harness/state-in-files.md)
- 原理：[子 agent 另開迴圈，交接內容決定彼此知道多少](https://www.zyx.tw/map/harness/subagent-fresh-context.md)
- 原理：[先做最小的 harness，遇到問題再加零件](https://www.zyx.tw/map/harness/build-a-small-harness.md)
- 相關：[工具以名稱、說明與參數格式約定請求，再用同一個 id 對回結果](https://www.zyx.tw/map/harness/tool-calls.md)
- 回到：[Harness](https://www.zyx.tw/map.md)
