Prompt cache 只重用完全相同的前段,變動內容要放後面

深讀 L2 891 字 2 分鐘 v2.0.0 更新 2026-11-16

Prompt cache 讓服務把前段的計算結果保留到下一個請求。前段指請求最開頭的那一段,包含工具定義、系統指示與先前的對話。下一個請求只能重用從開頭起完全相同的前段,遇到差異就從那裡重新計算。

context 是一次請求送給模型的全部內容,包含工具定義、系統指示與對話。這裡只處理跨請求的重用,模型內部的計算留給 KV cache。

服務先保留結果,再比對下一個請求

服務處理第一個請求時,先計算輸入內容,再保留前段的計算結果。下一個請求抵達後,服務比對開頭,重用命中的部分,接著計算新增內容。

比對以模型讀寫文字的單位 token 為準。只要有 1 個 token 不同,從那裡開始就不算命中;後面的內容相同也不能重用。

下圖的第一個請求包含工具定義、系統指示與第一輪對話。第二個請求追加一輪對話;第三個請求改動系統指示,因此只剩最前面的工具定義命中。

第 1 個請求算完後,服務保留前段的結果。

依變動位置安排內容

有些服務自動快取,不需要另外設定。有些服務則要求在請求裡標出快取範圍,安排內容之前,要先確認使用的服務屬於哪一種。

跨請求快取也存在於自架的推論伺服器。這套安排方式不依賴特定廠商。

工具定義排在最前面,因此先固定工具定義的順序與內容。這一段改變,會讓後面的系統指示與對話也需要重新計算。

系統指示裡不要放每輪變動的時間戳記。把時間等會變動的資訊放進最新訊息,避免請求開頭跟著每輪更新。

對話採用往後追加的方式。修改或刪除先前訊息時,要把修改處之後無法沿用快取的成本納入考量。

同一份資料轉成 JSON 時,固定欄位順序。資料內容相同,仍可能因為欄位排列不同而產生不同文字,所以不能只檢查欄位值。

用 usage 的快取讀取量判斷有沒有命中

查看 API 回覆的 usage,確認命中快取的 token 數。各家服務的欄位名稱不同,要找的是快取讀取用量,不能只看總輸入量。

沒有命中時,逐段比對相鄰請求的前段。從工具定義、系統指示查到先前訊息,找出第一個改變的位置,再檢查是否出現順序變動、時間戳記或訊息修改。

前段沒有改動,也要檢查請求之間是否停頓太久。快取保留時間有限,過期後,下一個請求仍需要重新計算;各家服務的保留時間不同。

命中較便宜,寫入可能另計

多數服務對命中的 token 收較低費用,但有些服務會對寫入快取額外收費。評估費用時,要分別查看快取讀取與寫入的費率,不能把保留結果視為沒有成本。

來源

讀完之後

HarnessLLM迴圈工具context快取KV接手協定權限沙箱層注入子 agent實作評測