跳至主要內容

4 篇文章 含有標籤「claude-code」

檢視所有標籤

透過 LiteLLM 使用 Claude Code 伺服器端自動模式

LiteLLM Team
LiteLLM Core Team

最後更新:2026 年 10 月 6 日

Anthropic 正將 Claude Code 自動模式的安全分類器從用戶端移至 Claude API。自 2026 年 9 月 19 日發布的 Claude Code v2.1.278 起,Enterprise 方案與 Claude API 帳戶中的工作階段會要求伺服器在各自的模型請求中執行這些檢查,而 Anthropic 不會對伺服器執行的檢查收費。Anthropic 告訴我們,這項推行自 9 月 18 日開始且採漸進式推出,先從 Claude Code CLI 與 VS Code 擴充功能開始,接著在隔週於桌面應用程式與網頁版 Claude Code 推出,並且在 9 月 25 日時,自動模式會成為 Claude Code 的預設權限模式。如今,內建預設值在 Pro、Max 與 Team 方案上為 auto,在 Enterprise 方案與 Claude API 金鑰上為 Manual;依 Anthropic 的 權限模式參考,這些帳戶通常位於閘道之後。

伺服器端自動模式依賴 Claude Code 與 API 之間的一項契約,而有些閘道並未保留這項契約,LiteLLM 也包含在內。此修正最早於 9 月 22 日星期二的開發版釋出中推出,現在已包含在 v1.104.0 穩定版以及較早版本線的修補版中。這篇文章說明 Claude Code 對 AI 閘道的需求、LiteLLM 原本做錯了什麼、有哪些變更、哪些版本包含這項修正,以及如何確認您的部署已就緒。

事件報告:Bedrock Invoke 上 Claude Code 的提示快取失效

Mateo Wang
AI Engineer, LiteLLM
Krrish Dholakia
CEO, LiteLLM
Ishaan Jaffer
CTO, LiteLLM

**日期:**2026 年 7 月 4 日至 2026 年 7 月 10 日
受影響版本: v1.91.0 和 v1.91.1
嚴重性: 中等(靜默成本回歸;不影響正確性)
狀態: 已在 v1.91.2 修正

注意: 如果您透過 LiteLLM 在 Amazon Bedrock 上執行 Claude Code,且使用 v1.91.0 或 v1.91.1,請升級至 v1.91.2 或更新版本。

摘要​

在 7 月 4 日到 7 月 10 日之間,執行 v1.91.0 或 v1.91.1 的代理程式,會在透過 Amazon Bedrock 的 Invoke API 路由 Claude Code 工作階段時,靜默破壞 Anthropic 提示快取。對於回報此問題的客戶而言,暖工作階段的快取命中率從大約 90% 降到 25% 到 45%,而團隊每日支出在相同用量下上升了 2 到 3 倍。請求仍然回傳 200,且完成內容正確;唯一的症狀是快取未命中率與帳單。

原因是:PR #31364 將 role: "system" 中每個 messages 項目移到 Invoke 路徑上的頂層 system 欄位,這會讓工具定義與系統提示之後的每個快取斷點失效。修正已於 7 月 10 日隨 v1.91.2 釋出(#32578、#32831、#32882),並附上在修正前程式碼上會失敗的回歸測試。

這個結果完全由我們承擔。觸發因素是 Claude 新模型與 Claude Code 使用系統訊息方式的一項文件不佳的變更,但客戶之所以使用閘道,正是因為不需要追蹤提供者的怪異行為。忠實轉譯請求(包括其快取語意)是我們的核心工作,而這次我們沒有做好。這篇文章會精確說明發生了什麼事、為什麼我們的測試與審查沒能抓到,以及我們做了哪些改變,避免這類回歸再次釋出。

透過 LiteLLM 降低 Claude Code 成本的 5 種方式

Krrish Dholakia
CEO, LiteLLM

使用 LiteLLM 節省 Claude Code 成本的 5 種方式

Claude Code 是現代工程組織中最重度消耗輸入 token 的工具之一。冗長的工具迴圈、龐大的檔案讀取,以及包含數百個工具的 MCP 目錄,會讓每個請求都推到 context window 的頂端,而帳單也隨之攀升。

如果 Claude Code 已經透過 ANTHROPIC_BASE_URL 指向 LiteLLM proxy,平台管理員可以透過五個槓桿來降低成本。這些方法都不需要在用戶端做任何變更。