v1.85.0 - Realtime GA、MCP Gateway 擴充與加固的多租戶
部署此版本
- Docker
- Pip
docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:1.85.0
pip install litellm==1.85.0
重點摘要
- OpenAI Realtime GA — 對 GA 版 OpenAI Realtime API 的一級支援（同時相容 beta），包含
gpt-realtime-2計價與/openai/v1/realtime記錄。 - 加固的多租戶 — 大範圍修正各租戶的範圍控管，涵蓋金鑰、專案、批次、檔案、MCP 伺服器與分析端點（project-hijack/key-org 隔離、service-account 資源隔離、按實體的 team/agent 活動範圍）。
- MCP Gateway 擴充 — 組織層級的 MCP 伺服器/工具集權限、OBO（on-behalf-of）MCP 驗證、
delegate_auth_to_upstreamPKCE passthrough，以及 MCP 存取群組名稱命名空間。 - 可觀測性大修 — 廣泛的 Prometheus 修正（標籤數量正確性、end-user cardinality 上限、PromQL 跳脫）、OTEL handler 隔離 + GenAI 訊息內容擷取，以及解耦的 S3 稽核記錄設定。
- 新模型 — xAI
grok-4.3/grok-4.3-latest、OpenAIgpt-realtime-2、OpenRouterqwen/qwen3.6-plus、SambaNovaMiniMax-M2.7，以及 Bedrock Z.AIGLM-5。
新模型 / 更新模型
新模型支援（5 個新模型）
| 提供者 | 模型 | 上下文視窗 | 輸入（$/百萬 tokens） | 輸出（$/百萬 tokens） | 功能 |
|---|---|---|---|---|---|
| OpenAI | gpt-realtime-2 | 32K | $4.00（audio in $32.00） | $16.00（audio out $64.00） | Realtime（/v1/realtime）、audio in/out、function calling、parallel tool calls |
| xAI | xai/grok-4.3 | 1M | $1.25（>200K：$2.50） | $2.50（>200K：$5.00） | Reasoning、vision、prompt caching、response schema、web search、tool calling |
| xAI | xai/grok-4.3-latest | 1M | $1.25（>200K：$2.50） | $2.50（>200K：$5.00） | Reasoning、vision、prompt caching、response schema、web search、tool calling |
| OpenRouter | openrouter/qwen/qwen3.6-plus | 1M | $0.325 | $1.95 | Reasoning、vision、function calling、tool choice |
| SambaNova | sambanova/MiniMax-M2.7 | 204.8K | $0.30 | $1.20 | Reasoning、function calling、tool choice |
既有項目的價格/中繼資料也已更新：Gemini multimodal-embedding 計價重新指向 Vertex 計價來源，包含 image/audio/video 的單位成本，realtime/Gemini 項目的 audio token 成本降低，以及 gemini-embedding-2-preview 成本對齊。
- xAI grok-4.3 / grok-4.3-latest 中繼資料 - PR #27154、PR #27396
- OpenAI gpt-realtime-2 計價 - PR #27653
- OpenRouter Qwen 3.6 Plus 中繼資料 - PR #27486
- 新聊天模型中繼資料 + Bedrock Z.AI GLM-5 - PR #27313、PR #24338
- GPT-4o-Transcribe 計價修正 - PR #27875
功能
錯誤修正
- OpenRouter
- 移除模型名稱前綴
openrouter/- PR #24282
- 移除模型名稱前綴
- Azure
- Anthropic / Vertex
- Fireworks AI
- 在 Fireworks API 呼叫前從聊天訊息中移除
thinking_blocks- PR #27881
- 在 Fireworks API 呼叫前從聊天訊息中移除
- hosted vLLM
- 為 chat completions 正規化自訂工具 - PR #25763
- 一般
LLM API 端點
功能
錯誤
- 一般
- 保留 Bedrock
/v1/messages上下文管理的compact_20260112- PR #27534 - 修正當路由器解析單一 deployment dict 時的受管理檔案
model_mappings- PR #26950 - 在 Azure deployment image-gen / image-edit 主體中省略
model- PR #27103 - 修正 Bedrock passthrough call-ID 標頭 - PR #27412
- 在 model-group 切換時，將 Responses API affinity 固定到 Azure 資源 - PR #27703
- 將
vertex_ai/gemini-embedding-2-preview成本與 Vertex multimodal 定價對齊 - PR #27848 - 合併 batch + dynamic limiter 檢查/遞增 - PR #26954
- 保留 Bedrock
管理端點 / UI
功能
- 虛擬金鑰
- 團隊與模型
- SSO / 驗證
錯誤 — 存取範圍與正確性
- 多租戶隔離
- 授權強化
- 金鑰 / 團隊 / SCIM
- 當團隊限制模型時遵守
key access_group_ids；在團隊篩選與同名 deployment 路由中解析 access-group 名稱 - PR #26275, PR #25224, PR #26161 - 當 SCIM 取消佈建使用者時撤銷虛擬金鑰；修正 SCIM 使用者查找篩選條件 - PR #26861, PR #27308
- 金鑰輪替錯誤修正；在
/key/list上遵守team_member_permissions- PR #27756, PR #27026 /config/update針對各區段寫入（移除store_model_in_db閘道） - PR #26643- 將 CLI 儲存的 token 範圍限制為
base_url；在錯誤追蹤中從 URL 查詢參數遮罩 Gemini API key - PR #26945, PR #24943
- 當團隊限制模型時遵守
- UI 修正
- 從登入頁面移除不安全的
?token=URL 處理常式；在建立受邀使用者的 session 之前清除管理員 session cookie；在teamInfoCall中將team_id進行 URL 編碼 - PR #26924, PR #27227, PR #27466 - 內部使用者的 Project 下拉選單為空白（3 個 bug）；移除 access-group model 下拉選單前方的空白首項；當未變更時，在 key 編輯儲存中省略
allowed_routes- PR #26664, PR #27521, PR #27553 - Member/team access-group 修正；team model 測試連線授權 - PR #27317, PR #27487
- 從登入頁面移除不安全的
AI 整合
記錄
- Prometheus
- 修正自訂中繼資料標籤計數，限制終端使用者指標基數，修正剩餘指標零值，為 PromQL 字串常值逸出
api_key，為 Bedrock 與 Vertex 發出litellm_remaining_tokens_metric- PR #27268, PR #27272, PR #27348, PR #27013, PR #27705 - 修正
/metrics當require_auth_for_metrics_endpoint為 true 且驗證成功時卡住的問題；將/metrics401 指向退出選項旗標；修正 litellm 端拒絕的指標標籤 - PR #25980, PR #27502, PR #26947
- 修正自訂中繼資料標籤計數，限制終端使用者指標基數，修正剩餘指標零值，為 PromQL 字串常值逸出
- OpenTelemetry
- Arize / LangSmith
- 一般
防護欄
- 一般
- 新增 Qohash Nexus 防護欄掛鉤 - PR #24927
- 在串流請求上執行模型層級
post_call防護欄；確保呼叫後防護欄只觸發一次 - PR #26922, PR #27012, PR #26109 - 在 Presidio 輸出遮罩中保留 Responses 事件串流 - PR #26878
- 涵蓋多模態 + Responses API 內容形狀；收緊工具權限檢查；在整合式防護欄輸入中可選擇略過工具訊息 - PR #26957, PR #26969, PR #27441
- 在 Team UI 中處理
metadata.guardrails的舊版 dict 形狀 - PR #27224
提示詞管理
- 一般
密鑰管理員
- 一般
- 稽核記錄
/cache/settings與/config_overrides/hashicorp_vault變更 - PR #26953
- 稽核記錄
支出追蹤、預算與速率限制
- 速率限制
- 預算
- 標籤預算與路由
- 支出記錄 / 成本
MCP 閘道
- 功能
- 錯誤
- 將工具名稱清理為 Anthropic 的
[a-zA-Z0-9_-]{1,128}模式 - PR #26788 - 在 OAuth discovery 上接受
X-Forwarded-*前，要求受信任 proxy 閘道；保留工具路由的 oauth2 m2m 驗證；在 OpenAPI/本機登錄路徑上執行pre_call_tool_check- PR #26841, PR #26871, PR #27016 - 為非管理員檢視者遮罩 MCP 伺服器 URL/標頭；將使用者 API 金鑰驗證改為 MCP 伺服器建立的授權或 cookie - PR #27027, PR #27190
- 修正 MCP DB 重新載入部分失敗；在 token-forwarding MCP 伺服器上顯示上游 401 - PR #27314, PR #27847
- 將工具名稱清理為 Anthropic 的
效能 / 負載平衡 / 可靠性改進
- 路由與可靠性
- Proxy 熱路徑
- 健康檢查
- 設定 / 啟動穩健性
- 封裝 / Docker / Helm / CI
- 將 Wolfi 與 uv 鎖定為 multi-arch index digest；移除 multi-arch builds 的硬編碼 Prisma binary target；清除 Docker 映像上標記的 OS 套件漏洞警示；更新相依性鎖定檔 - PR #27123, PR #27170, PR #27225, PR #27126
- Helm：當啟用 migrations Job 時略過啟動
prisma db push；提高預設探測逾時，預設停用除錯記錄 - PR #27200, PR #27237 - CI：為所有 pytest jobs 重新執行 Failed Tests，阻擋降低涵蓋率的 PR，Redis 支援的 VCR replay 快取，減少 cassette 膨脹，mutation-testing workflow，release workflow 中的 dev-tag 偵測，Playwright apt-install 跳過 - PR #27155, PR #27340, PR #26838, PR #27159, PR #27409, PR #27576, PR #26966, PR #27169
- 移除舊版部署成品與 litellm-js 套件；移除多餘的備份定價檔案；其他測試/匯入清理 - PR #27541, PR #16590, PR #27699, PR #27633
- 收緊 router-settings-override 與 mock-testing 的信任；取消對空白 Bedrock Converse thinking blocks 的空文字備援 - PR #26968, PR #27850
文件更新
- 將 Greptile README 標誌更新為更高品質的圖片 - PR #25385
- 新增
BudgetManager.reset_cost文件字串 - PR #27867 - 新增
_LoopWrapper類別文件字串 - PR #27870
新貢獻者
- @kimimgo 首次貢獻於 #24282
- @shubham-arora-clear 首次貢獻於 #24644
- @ohnoah 首次貢獻於 #24580
- @ushiromiya-lion 首次貢獻於 #25106
- @gowtham2809 首次貢獻於 #25224
- @he-yufeng 首次貢獻於 #26401
- @MackDing 首次貢獻於 #26419
- @dgu1-godaddy 首次貢獻於 #26834
- @Vedanshu7 首次貢獻於 #24943
- @dennishenry 首次貢獻於 #27190
- @SHARP155 首次貢獻於 #27466
- @mats852 首次貢獻於 #24927
完整變更記錄：https://github.com/BerriAI/litellm/compare/v1.84.0...v1.85.0
05/16/2026 (v1.85.0)
計數涵蓋相對於
v1.84.0stable 之v1.85.0新增 PR。為避免重複計算，已排除 14 個回補至v1.84.0stable（且已記錄於 v1.84.0 release notes）的 PR。
- 新模型 / 更新模型：43
- LLM API 端點：24
- 管理端點 / UI：54
- AI 整合（Logging / Guardrails / Prompt 管理 / Secret Managers）：32
- 支出追蹤、預算與速率限制：23
- MCP Gateway：12
- 效能 / 負載平衡 / 可靠性改善：41
- 文件更新：3
總計：232 個 PR