跳至主要內容
LiteLLM 正在遷移至 Rust 閱讀最新進度更新。

v1.95.0 - Claude Opus 5, MCP Gateway DCR & Rust /v1/messages

部署此版本​

docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:1.95.0
重大變更

團隊金鑰不再套用使用者預算。 這回復了 PR #32005 的變更；該變更隨 v1.94.0 發布，並使使用者的個人 max_budget 疊加在團隊與團隊成員預算之上。團隊金鑰現在只會套用團隊預算，而隨之引入的 skip_user_budget_on_team_key opt-out 已移除；現在在 general_settings 中保留它不會產生任何作用。如果您為了恢復舊行為而加入該旗標，可以將其移除。請參閱 PR #35271。

重點摘要​

  • Claude Opus 5 首日即全面提供 - 這款新的 1M context Opus 同步登陸 Anthropic、Amazon Bedrock（包括 us、eu、au、jp 和 global inference profiles）、Google Vertex AI，以及 Azure AI Foundry，並在 cost map 中記錄 adaptive thinking、xhigh reasoning effort、computer use、PDF input 和 prompt caching。
  • Gemini 3.6 Flash 與 Gemini 3.5 Flash Lite - 於 Google AI Studio 和 Vertex AI 首日即提供定價，分別為每 1M tokens $1.50/$7.50 與 $0.30/$2.50。
  • MCP gateway 擴展為真正的前門 - 一個永遠啟用的 aggregate DCR discovery endpoint、僅限識別身分的 session tokens、上游 OAuth 路徑上的 RFC 8707 resource indicators、Anthropic /v1/messages API 上的 MCP server 支援，以及不再依賴 Chat UI 旗標的獨立 /connect route。
  • Rust gateway 接手 /v1/messages - 原生 Anthropic Messages 現在透過 LITELLM_RUST 後方的 axum gateway 路由，並新增 Responses API WebSockets surface 的 1:1 移植、litellm-core 中的 BaseAWSLLM 憑證解析與 SigV4，以及透過 Python-to-Rust bridge 的 Bedrock 音訊轉錄。
  • 管理 UI 的 SAML 2.0 SSO - 與既有 OIDC flow 並行的第二條企業 SSO 路徑。
  • 儀表板完成其 shadcn 與 DataTable 移轉 - 約二十個路由遷移到 shadcn 與共用的可組合 DataTable，並在 Organization Settings 與 Create Organization 背後新增 react-hook-form 與 zod 表單基礎架構。
  • 預算重設變得正確 - 可設定的每天 budget_reset_time、不再無聲無息地降為 daily 的 word-form budget_duration 值，以及修復 budget_reset_at 留為 NULL 的使用者與團隊。
  • 針對每位終端使用者的提供者層級濫用控制 - 透過 overwrite_user_with_key_hash，LiteLLM 解析傳入請求背後的身分，將解析後的虛擬金鑰雜湊寫入傳出的 user 參數，並將其轉送給提供者。接著，提供者便可在單一使用者層級而非整個組織層級進行封鎖或速率限制。請參閱 PR #34417。

新模型 / 更新模型​

新增模型支援（16 個新的定價項目）​

提供者模型Context Window輸入 ($/1M tokens)輸出 ($/1M tokens)功能
Anthropicclaude-opus-51M$5.00$25.00Reasoning（adaptive + xhigh）、vision、computer use、function calling、PDF input、prompt caching、native structured output
Amazon Bedrockanthropic.claude-opus-51M$5.00$25.00Reasoning（adaptive + xhigh）、vision、computer use、function calling、PDF input、prompt caching、parallel tool use config
Amazon Bedrockglobal.anthropic.claude-opus-51M$5.00$25.00同上
Amazon Bedrockus.anthropic.claude-opus-51M$5.50$27.50同上
Amazon Bedrockeu.anthropic.claude-opus-51M$5.50$27.50同上
Amazon Bedrockau.anthropic.claude-opus-51M$5.50$27.50同上
Amazon Bedrockjp.anthropic.claude-opus-51M$5.50$27.50同上
Google Vertex AIvertex_ai/claude-opus-51M$5.00$25.00Reasoning（adaptive + xhigh）、vision、computer use、function calling、PDF input、prompt caching
Google Vertex AIvertex_ai/claude-opus-5@default1M$5.00$25.00同上
Azure AI Foundryazure_ai/claude-opus-51M$5.00$25.00Reasoning（adaptive + xhigh）、vision、computer use、function calling、PDF input、prompt caching
Google AI Studiogemini/gemini-3.6-flash1.05M$1.50$7.50Reasoning、vision、audio input、video input、PDF input、web search、URL context、prompt caching
Google AI Studiogemini/gemini-3.5-flash-lite1.05M$0.30$2.50Reasoning、vision、audio input、video input、PDF input、web search、URL context、prompt caching
Google Vertex AIgemini-3.6-flash1.05M$1.50$7.50同上
Google Vertex AIvertex_ai/gemini-3.6-flash1.05M$1.50$7.50同上
Google Vertex AIgemini-3.5-flash-lite1.05M$0.30$2.50同上
Google Vertex AIvertex_ai/gemini-3.5-flash-lite1.05M$0.30$2.50同上

除了新的項目之外，此版本也將 azure_ai/claude-opus-4-6、claude-opus-4-7 與 claude-opus-4-8 的宣告 context window 從 200K 提升至 1M，將 DeepSeek V4 flash 與 pro 系列標記為 reasoning 模型，並記錄 Vertex AI 與 Azure AI 上 Claude Fable 5、Sonnet 5 和 Opus 4.8 項目的 supports_mid_conversation_system。沒有移除任何定價項目。

功能​

錯誤修正​

  • Anthropic
    • 僅在請求尚未攜帶 cache_control 時才注入該值 - PR #33886
    • 從 output_format schema 移除 uniqueItems 以及其他不支援的陣列與物件限制 - PR #34313
    • 移除 Anthropic 拒絕的其餘 output_format schema 關鍵字 - PR #34319
  • Amazon Bedrock
    • 將 Codex additional_tools input items 提升到 Bedrock Mantle 上層的 tools - PR #33228
  • Google Vertex AI
    • 以增量方式解析累積的 Gemini stream JSON，讓多值 payload 不再卡住 stream - PR #34320
    • 處理 Vertex AI batch 回應中的明確 outputInfo: null - PR #34473
  • Azure AI Foundry
    • 在 Foundry 上宣告 Claude Opus 4.6 及更新版本的 1M context window - PR #34556
  • Fireworks AI
    • 還原 application/json Content-Type header，修正 415 回應 - PR #33929

LLM API 端點​

功能​

  • Responses API
    • OpenAI Responses API WebSockets 介面的 1:1 移植到 litellm-rust - PR #33849
  • Anthropic /v1/messages
    • 將原生 Anthropic /messages 經由 Rust 路由到 LITELLM_RUST 環境變數後方 - PR #33848
    • 在 axum gateway 上公開 Anthropic Messages 路由 - PR #33880
  • Batches
    • 將 bedrock_tags 轉送到 CreateModelInvocationJob 以處理批次作業 - PR #33733
  • 一般
    • 為 Codex user agents 自動啟用 drop_params - PR #34068

錯誤修正​

  • Responses API
    • 透過 prompt hooks 保留 reasoning 內容 - PR #33422
    • 每個 stream 保持一個 chat completion id，且一律串流已完成的回應 - PR #34539
    • 從 stream_options 移除 include_usage，而不是丟棄整個參數 - PR #34549
  • Anthropic /v1/messages
    • 為 Claude on Vertex AI 和 Azure 提供具模型感知的對話中系統處理 - PR #33807
    • 將 agentic-hook /messages 請求在所有串流模式下路由回 Python - PR #34126
    • 回填非串流 Bedrock Mantle /v1/messages 回應的用量 - PR #34446
  • Batches
    • 以 unified_object_id 游標分頁管理式批次清單 - PR #34192
    • 在派送前先透過擁有權檢查，將受管理的統一 input_file_id 解析為儲存 URL - PR #34474
    • 讓 managed-file 解析具備加總式行為，恢復對缺少列與查詢錯誤的 fallback - PR #34584
  • 即時
    • 在連線時發出 Nova Sonic session.created 事件，並在 session.updated 時發出 session.update - PR #34133
    • 為 Nova Sonic realtime 安裝 bedrock-realtime 額外套件 - PR #34426
  • A2A
    • 在 agent cards 中接受像 0.3.0 這類的 semver protocolVersion 值 - PR #34154
    • 允許可選的 securityScheme 欄位，讓 /public/agent_hub 不再發生 500 錯誤 - PR #33897
    • 透過 gateway 元件路由 /a2a - PR #34958
  • 一般
    • 對未附帶 messages 送出的 chat completions 回傳 400，而不是 500 - PR #34547
    • 將 queued 新增至 Interaction 狀態列舉 - PR #34135

管理端點 / UI​

功能​

  • 驗證與 SSO
    • 供管理 UI 使用的 SAML 2.0 SSO - PR #31429
    • 透過 overwrite_user_with_key_hash 以金鑰雜湊標記外送的 user 參數 - PR #34417
  • 組織
    • RESTful PATCH /v2/organization/{organization_id} - PR #32350
    • 在 react-hook-form 和 zod 上重建 Organization Settings，並採用 dirty-field PATCH - PR #34324
    • 將 Create Organization 表單遷移到 shadcn 和 react-hook-form - PR #34552
  • 虛擬金鑰
    • 可直接從 key info page 封鎖與解除封鎖一個 key - PR #34116
    • 透過 ?key= 查詢參數深度連結 virtual key 詳細資料檢視 - PR #34591
    • 在 key info 與 keys table 中顯示 key 的 budget_reset_at - PR #34113
  • 模型 + 端點
    • 為每個 Models + Endpoints 分頁提供各自的路徑 - PR #34327
    • 擷取共用的分頁路由輔助函式，並將其套用於 Models + Endpoints - PR #34435
    • 讓 DB config-reload 間隔可從 config.yaml 與 Admin UI 進行設定 - PR #34130
  • Shared DataTable migration
  • shadcn migration
  • Typed management API
    • 為 PATCH /team/{team_id} 請求本文加上型別 - PR #34195
    • 從產生的 schema 推導 dashboard object_permission 型別 - PR #34454

錯誤修正​

  • SCIM
    • 使用 members_with_roles 作為群組成員資格的唯一事實來源 - PR #34162
    • 從團隊的 members_with_roles 中修剪已刪除的使用者 - PR #34180
    • 當省略 value 時，從篩選後的 PATCH 路徑解析成員資格 id - PR #34181
    • 同步團隊名冊，並在現有使用者 email upsert 時去重團隊 - PR #34183
  • 團隊與使用者
    • 將新增團隊成員改為具原子性，避免並行新增遺失成員 - PR #34185
    • 在新增團隊成員時恢復具原子性的使用者 upsert - PR #34457
    • 將 JWT 預設團隊路由到 memberships，而不是 create payload - PR #33082
    • 在 JWT 驗證時將 user_email 填入 UserAPIKeyAuth - PR #34174
    • 在預設使用者設定中驗證預設團隊值 - PR #34815
  • 組態與憑證
    • 防止透過具有 URL 值的模型目的地與備援洩露提供者金鑰 - PR #34189
    • 停止 save_config 將 environment_variables 快照到 DB 中 - PR #34119
    • 在金鑰更新稽核記錄 object_id 中將呼叫端提供的金鑰雜湊化 - PR #34632
    • 顯示作為 process env vars 提供的 SSO 與 SMTP 設定 - PR #33576
    • 反映 REDIS_* env 快取設定，並停止 UI 覆寫已儲存的密碼 - PR #34160
  • CLI
    • lite autoroute up 的穩定連接埠與持久化 master key - PR #34026
    • 透過 /v1/models 探索模型，讓僅有 AI-API 金鑰也能用於 autoroute - PR #34259
  • 儀表板
    • 依 request id 跨頁面與日期尋找記錄 - PR #31743
    • 在記錄頁面上限定並約束 End User 篩選器 - PR #34579
    • 將金鑰持續時間輸入欄繫結到單一 Form.Item，使預先填入的到期時間可提交 - PR #34521
    • 停止在 fetchClient middleware 中將含 body 的請求複製到 stream uploads - PR #34122
    • 區分回應快取與提供者 prompt 快取 - PR #34138
    • 讓實體使用量分頁與其面板對齊 - PR #34573
    • 為 Active 金鑰狀態徽章新增工具提示 - PR #34109
    • 恢復 Add MCP Server 對話框尺寸與標題間距，並使 MCP Servers 分頁符合 dashboard line 分頁模式 - PR #34679, PR #34685
    • 置中垂直工具列分隔線，並在 models 表格的 team 下拉選單中截斷過長的團隊名稱 - PR #34684, PR #34689
    • 從 nginx image 而非 SPA fallback 提供 /ui/assets，並將提供者 logo 打包為靜態匯入 - PR #34066, PR #34125, PR #34163
    • 將 Models + Endpoints 分頁恢復為記憶體內路由，同時保留 ?model drill-in - PR #34629
    • 將一般登入導向 keys dashboard，並將 MCP consent 傳送至 /ui/connect - PR #35523

AI 整合​

記錄​

  • OpenTelemetry
    • 將 MCP tool call 保持在同一個 trace 中，並以其自身 request 作為錨點 - PR #34537
    • 將 MCP tool failure 標記在承載它的 request 上 - PR #34551
  • Langfuse
    • 為 otel 回呼傳送 v4 ingestion header - PR #33907
  • Prometheus
    • 填入 OpenAI 風格使用量的快取寫入 token 指標 - PR #34803
  • 一般
    • 記錄上游目標在 passthrough 路由上回報的成本與使用量 - PR #34590
    • 將記錄的 End User 篩選器移至 /management/v1 - PR #34691
    • 將每個金鑰的回呼設定從已記錄的中繼資料中清理掉 - PR #32583
    • 在 callback 去重中比對完全相同的 class，使自訂子類別不再阻擋內建記錄器 - PR #34804
    • 停止將同步 failure_handler 與 async_failure_handler 同時排程 - PR #34306
    • 顯示來自 env-var 的主題與 logging-callback 設定，並移除誤導性的 os.environ 工具提示 - PR #34156, PR #34305

防護欄​

  • 一般
    • 為每個 session 的增量掃描新增 only_scan_new_messages - PR #33278
    • 為並行 pre_call 與 post_call 防護欄新增 run_in_parallel opt-in - PR #33770
    • 將 DeepKeep 新增為自訂防護欄 - PR #33844
    • 在 pre_call_hook 之前合併模型層級防護欄 - PR #29654
    • 將所有 4xx HTTPException 防護欄封鎖分類為已介入 - PR #33821
    • 停止在 passthrough 上將無作用的防護欄回報為已套用 - PR #34411
    • 當呼叫端送出自己的中繼資料時，保留 spend logs 中的防護欄資訊 - PR #34458
    • 在 llm_as_a_judge 中透過 lazy Router lookup 解析 judge_model 憑證 - PR #34509
  • Model Armor
    • 預設清理錯誤詳細資料 - PR #33908
    • 在 post_call 回應處理器中處理 None 中繼資料 - PR #34405
  • Compresr / Headroom
    • 在 Anthropic 流量的 headroom 防護欄中壓縮 content-parts 訊息 - PR #34586
    • 當壓縮服務省略 tokens_saved 時推導之 - PR #34578
    • 在 compresr write-back 中保留 cache_control 斷點 - PR #34660
  • Straiker
  • Bedrock Guardrails
    • 停止將過期的 Google OIDC tokens 回放到 STS 以進行防護欄驗證 - PR #34637
  • 儀表板
    • 當只有一個群組有項目時，隱藏防護欄群組標題 - PR #33885

支出追蹤、預算與速率限制​

  • 預算
    • 可設定 budget_reset_time 為一天 - PR #31007
    • 將 budget_reset_at 為 NULL 的使用者與團隊重設 - PR #33623
    • 修正字詞形式的 budget_duration，使其不再悄悄每天重設 - PR #34250
    • 對可重設的 proxy 預算資料列強制全域 max_budget，以便遵守 budget_duration - PR #33732
    • 當 JWT upsert 建立 budget_duration 時設定 budget_reset_at - PR #34050
    • 在 fail_closed_budget_enforcement 下拒絕失敗的原子預算保留 - PR #34429
    • 停止在團隊金鑰上強制套用使用者預算，回復 v1.94.0 中發布的階層變更 - PR #35271
    • 處理具 tz-aware 的 temp_budget_expiry、對快取命中金鑰套用 temp_budget_increase，並在不變更 token 的情況下推導增加量 - PR #33840, PR #33841, PR #34121
    • 將儀表板工作階段預算預設值提高到 $1，並可在設定與 Admin UI 中設定 - PR #34146
  • 成本追蹤
    • 將 OpenAI cache_write_tokens 對應到提示快取建立計費 - PR #34046
    • 在每日支出彙總中追蹤提示壓縮節省的 token - PR #33810
    • 為未使用 org_id 發行的團隊連結憑證歸屬組織支出 - PR #34577
    • 為 Bedrock Mantle Responses API 在 drop_params 上設定不支援的 service_tier 防護 - PR #34058
    • 將 /spend/logs/v2 page_size 上限提高到 1000 - PR #33994
  • 成本最佳化頁面
    • 新增依工具支出與快取洩漏檢視 - PR #33978
    • 新增設定分頁 - PR #33899
    • 在左側導覽中將成本最佳化標示為 beta - PR #34984
    • 將節省曲線錨定在 $0 的範圍起點，並將 methodology Collapse 改為 shadcn HoverCard - PR #34453, PR #34598
    • 在較窄寬度下讓快取洩漏時間範圍選擇器維持 inline，並讓日期選擇器置於右側 - PR #34439, PR #34885
  • 工具支出
    • 每日彙總工具支出，而非掃描 SpendLogs - PR #34675
    • 將 /v1/tool/spend 視窗上限設為 30 天，並限制每次 SpendLogs 讀取的範圍 - PR #34582
  • 儀表板
    • 停止在非預算儲存時讓金鑰編輯表單回傳 403 - PR #34112

MCP Gateway​

  • 動態用戶端註冊
    • 一律啟用的整合 gateway DCR 探索入口 - PR #33174
    • gateway DCR 入口僅使用身分的工作階段 token - PR #33182
    • 讓 gateway DCR 工作階段 bearer 以整合 /mcp 範圍加入 - PR #33190
    • 回傳 DCR 用戶端自己的 redirect_uris，以停止 /callback 自我重新導向迴圈 - PR #33756
    • 當 passthrough authorize 沒有 client_id 時，改為使用暫時性 DCR mint - PR #33884
  • OAuth
    • 在上游 OAuth 流程上傳送 RFC 8707 resource indicators - PR #34265
    • 將 client_credentials（M2M）移至 v2 resolver arm - PR #32259
    • 刪除無法到達的 v1 OBO handler，並以 v2 resolver 控制 REST OAuth - PR #34407
    • 讓管理員釘選的 issuer 為沒有 url 的伺服器驅動 OAuth 探索 - PR #34065
    • 為設定錯誤的伺服器 url 記錄可採取行動的 OAuth 探索失敗 - PR #34225
    • 在 SSO 登入時儲存企業 IdP 身分斷言，以供 EMA egress 使用 - PR #34072
    • MCP OAuth 的獨立 /connect 路由，與 Chat UI 開關解耦 - PR #34334
  • 伺服器與工具
    • 在 Anthropic /v1/messages API 上支援 MCP 伺服器 - PR #33631
    • 將 Google Sheets、Drive、Calendar 和 Docs 新增至 OpenAPI registry，並將 Drive 移至官方的 streamable HTTP MCP server - PR #34059, PR #34322
    • 將解析後的 OAuth 憑證附加到 OpenAPI spec_path 工具請求 - PR #34063
    • 停止在工具請求 403 中洩漏上游伺服器憑證 - PR #34340
    • 直接使用 toolset 資料列中儲存的工具名稱 - PR #34559
    • 儲存編輯時保留金鑰的 MCP toolsets - PR #34452
    • 將 exception-tree walker 整併為單一共用的 faults traversal - PR #33183

效能 / 負載平衡 / 可靠性改進​

  • Rust 核心
    • 將 BaseAWSLLM 驗證、憑證解析與 SigV4 移植到 litellm-core 作為基礎提供者 - PR #33888
    • 透過 Python-to-Rust 橋接，以 Rust 核心處理 Bedrock 音訊轉錄 - PR #33990
    • 尊重 Azure /messages 已預先計算的 Entra ID 驗證 - PR #34107
  • 串流與核心
    • 直接建立每個區塊的 Delta，而不是 setattr/delattr 的反覆變動 - PR #33992
    • 對已宣告欄位採用 SafeAttributeModel.__delattr__ 快速路徑 - PR #33993
    • 讓 SageMaker 串流事件在到達時立即轉送，以縮短 TTFT - PR #34338
  • 路由器
    • 從路由器設定編輯備援鏈 - PR #32841
    • 針對複雜度路由器的回應模型欄位提供 return_raw_model_name 切換 - PR #33875
    • 當自動路由器服務了請求時，在記錄抽屜與工作階段側邊欄中顯示 - PR #34434
    • 不要在 advisor 子呼叫失敗時讓父部署進入冷卻 - PR #33792
    • 停止自訂 model_info 洩漏到共用後端成本地圖鍵，並將能力旗標傳遞給它 - PR #34041, PR #34047
    • 尊重請求層級的 num_retries 優先於 litellm_settings.num_retries，並停止將每個部署的 num_retries 作為提供者 max_retries 重複計算 - PR #34124, PR #34129
    • 當部署被取代或刪除時，釋放預先路由策略槽位 - PR #34564
    • 將格式錯誤的成本地圖 token 限制在 /v1/models 上視為不存在 - PR #33903
  • Proxy 可靠性
    • 讓記憶體與磁碟快取遞增具備原子性 - PR #34013
    • 在不需要 enable_redis_auth_cache 的情況下，讓 CLI SSO 登入工作階段可跨 worker 共用 - PR #33261
    • 避免在規劃中的 RDS IAM 輪替期間發生資料庫中斷 - PR #34749
    • 停止 litellm/proxy 在 sys.path 上遮蔽已安裝套件 - PR #34656
    • 在 /opt/prisma 建置非 root 的 prisma engines，讓任何 uid 都能離線執行 migration - PR #34325
    • 將明確的 Python 版本請求傳遞給 uv tool install - PR #34750
  • 依賴項與建置

文件更新​

  • 在 PR 範本中新增 TLDR 區段 - PR #34203
  • 在 issue 範本中要求使用編號的重現步驟清單 - PR #34207

依擁有權區域彙總 PR​

依擁有權區域的 PR（總計：294）

  • UI：55
  • 其他（CI / chore / tests / build / version bumps）：46
  • 支出 / 預算 / 速率限制：34
  • LLM API 端點：31
  • MCP：29
  • 驗證與管理：28
  • 效能：22
  • 防護欄：19
  • 記錄：14
  • 模型與提供者：14
  • 文件：2

端到端測試​

我們正大力投入端到端測試，以減少回歸並讓 LiteLLM 在每次發佈中更穩定。每個版本都會經過一個即時測試套件，該套件會在真實已部署的 proxy 上執行並連接真實的提供者端點，而不是使用 mock，因此我們驗證的行為就是您在正式環境中得到的行為。

這個版本新增了 62 個測試 PR，是迄今為止單一版本對測試套件的最大投資。新的涵蓋範圍包括 live A2A 代理程式、/v1/images/edits、/openai 與 /vllm 聊天直通成本記錄、憑證支援的 /v1/messages、透過 Rust 橋接的 Azure AI Foundry 與 Anthropic /v1/messages、在建立金鑰時的 MCP access-group 工具選擇、透過聊天 completions 驅動的真實 Linear OAuth MCP、跨個人、團隊與團隊成員金鑰的預算與速率限制重設，以及針對真實提供者的每週 session-anomaly 負載測試。Admin UI Playwright 套件已移至 tests/e2e/ui，而一系列強化 PR 則移除了控制平面寫入與資料平面同步延遲之間的跨套件競態。

新貢獻者​

  • @lyb0307 在 PR #33228 中完成首次貢獻
  • @jyeung-r7 在 PR #33623 中完成首次貢獻
  • @vineetpuranik 在 PR #33940 中完成首次貢獻

完整變更記錄​

https://github.com/BerriAI/litellm/compare/v1.94.0...v1.95.0

LiteLLM Enterprise
為正式環境打造的 SSO/SAML、稽核記錄、支出追蹤、多團隊管理與防護欄。
深入瞭解 →