---
site: "zyx.tw"
title: "Prompt cache 只重用完全相同的前段，變動內容要放後面"
description: "理解跨請求的前段比對，安排內容順序並查出未命中的位置。"
url: "https://www.zyx.tw/map/harness/prompt-cache"
---

# Prompt cache 只重用完全相同的前段，變動內容要放後面

紀錄 054，深讀 L2，891 字，2 分鐘，v2.0.0，更新 2026-11-16

Prompt cache 讓服務把前段的計算結果保留到下一個請求。前段指請求最開頭的那一段，包含工具定義、系統指示與先前的對話。下一個請求只能重用從開頭起完全相同的前段，遇到差異就從那裡重新計算。

context 是一次請求送給模型的全部內容，包含工具定義、系統指示與對話。這裡只處理跨請求的重用，模型內部的計算留給 KV cache。

## 服務先保留結果，再比對下一個請求

服務處理第一個請求時，先計算輸入內容，再保留前段的計算結果。下一個請求抵達後，服務比對開頭，重用命中的部分，接著計算新增內容。

比對以模型讀寫文字的單位 token 為準。只要有 1 個 token 不同，從那裡開始就不算命中；後面的內容相同也不能重用。

下圖的第一個請求包含工具定義、系統指示與第一輪對話。第二個請求追加一輪對話；第三個請求改動系統指示，因此只剩最前面的工具定義命中。

```text
REQUEST 1  [ tools ][ system ][ turn 1 ]
           ╰────────── kept ───────────╯
REQUEST 2  [ tools ][ system ][ turn 1 ][ turn 2 ]
           ╰──────── cache hit ────────╯╰─ new ──╯
REQUEST 3  [ tools ][ SYSTEM ][ turn 1 ][ turn 2 ]
           ╰─ hit ─╯╰────── computed again ──────╯
```

Figure: Three requests. The first is computed and its prefix kept. The second starts with the same prefix, so only its new turn is computed. In the third the system instructions changed, so everything after the tools is computed again.

1. Keep: 第 1 個請求算完後，服務保留前段的結果。
2. Hit: 第 2 個請求的開頭完全相同。只需要計算新增的部分。
3. Miss: 系統指示改了一個字。從改動的地方開始，後面全部重算。

## 依變動位置安排內容

有些服務自動快取，不需要另外設定。有些服務則要求在請求裡標出快取範圍，安排內容之前，要先確認使用的服務屬於哪一種。

跨請求快取也存在於自架的推論伺服器。這套安排方式不依賴特定廠商。

工具定義排在最前面，因此先固定工具定義的順序與內容。這一段改變，會讓後面的系統指示與對話也需要重新計算。

系統指示裡不要放每輪變動的時間戳記。把時間等會變動的資訊放進最新訊息，避免請求開頭跟著每輪更新。

對話採用往後追加的方式。修改或刪除先前訊息時，要把修改處之後無法沿用快取的成本納入考量。

同一份資料轉成 JSON 時，固定欄位順序。資料內容相同，仍可能因為欄位排列不同而產生不同文字，所以不能只檢查欄位值。

## 用 usage 的快取讀取量判斷有沒有命中

查看 API 回覆的 usage，確認命中快取的 token 數。各家服務的欄位名稱不同，要找的是快取讀取用量，不能只看總輸入量。

沒有命中時，逐段比對相鄰請求的前段。從工具定義、系統指示查到先前訊息，找出第一個改變的位置，再檢查是否出現順序變動、時間戳記或訊息修改。

前段沒有改動，也要檢查請求之間是否停頓太久。快取保留時間有限，過期後，下一個請求仍需要重新計算；各家服務的保留時間不同。

## 命中較便宜，寫入可能另計

多數服務對命中的 token 收較低費用，但有些服務會對寫入快取額外收費。評估費用時，要分別查看快取讀取與寫入的費率，不能把保留結果視為沒有成本。

## 來源

- [Prompt caching](https://platform.claude.com/docs/en/build-with-claude/prompt-caching), Claude API docs
- [Cache strategies](https://huggingface.co/docs/transformers/en/kv_cache), Hugging Face Transformers docs
- [Attention Is All You Need](https://arxiv.org/abs/1706.03762), Vaswani et al.
- [Context Engineering for AI Agents: Lessons from Building Manus](https://manus.im/blog/Context-Engineering-for-AI-Agents-Lessons-from-Building-Manus), Yichao Ji
- [Unrolling the Codex agent loop](https://openai.com/index/unrolling-the-codex-agent-loop/), Michael Bolin, OpenAI
- [Prompt caching](https://developers.openai.com/api/docs/guides/prompt-caching), OpenAI API docs
- [Context caching](https://ai.google.dev/gemini-api/docs/caching), Gemini API docs
- [Automatic Prefix Caching](https://docs.vllm.ai/en/latest/features/automatic_prefix_caching.html), vLLM docs

## 地圖

- 先讀：[每輪重送 context，固定前段與對話長度要分開管理](https://www.zyx.tw/map/harness/context-is-resent.md)
- 原理：[KV cache 保存注意力中間值，只能重用從開頭連續相同的前段](https://www.zyx.tw/map/harness/kv-cache.md)
- 相關：[LLM 每次只預測下一個 token，長回覆靠反覆生成](https://www.zyx.tw/map/harness/llm-basics.md)
- 回到：[Harness](https://www.zyx.tw/map.md)
