跳至主要內容

v1.74.3-stable

部署此版本​

docker run litellm
docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:v1.74.3-stable

重點摘要​

  • MCP: Model Access Groups - 將 mcp servers 加入存取群組，以便輕鬆管理使用者與團隊的存取權限。
  • MCP: Tool Cost Tracking - 為每個 MCP 工具設定價格。
  • Model Hub v2 - 全新的 OSS Model Hub，用於告知開發者 proxy 上可用的模型。
  • Bytez - 新的 LLM API 提供者。
  • Dashscope API - 透過新的 Dashscope API 提供者呼叫 Alibaba 的 qwen 模型。

MCP 閘道：模型存取群組​


v1.74.3-stable 新增了將 MCP servers 加入存取群組的支援，這讓 Proxy Admins 更容易管理跨使用者與團隊的 MCP servers 存取權限。

對於 開發者 而言，這表示您現在可以透過在 x-mcp-servers header 中傳入存取群組名稱，連接到多個 MCP servers。

在此處閱讀更多

MCP 閘道：工具成本追蹤​


此版本新增了 MCP tool calls 的成本追蹤。這對於將 MCP 存取權提供給開發者的 Proxy Admins 非常有幫助，因為您現在可以將 MCP tool call 成本歸屬到特定的 LiteLLM keys 與團隊。

您可以設定：

  • Uniform server cost：為來自某個 server 的所有工具設定統一成本
  • Individual tool cost：為特定工具定義個別成本（例如，search_tool 成本為 $10，get_weather 成本為 $5）。
  • Dynamic costs：針對您想要根據 MCP 的回應設定成本的使用案例，您可以撰寫自訂的 post mcp call hook 來解析回應並動態設定成本。

立即開始

Model Hub v2​


v1.74.3-stable 推出了全新的 OSS Model Hub，用於告知開發者 proxy 上可用的模型。

這對 Proxy Admins 很有幫助，因為您現在可以告知開發者 proxy 上可用的模型。

這項改進相較於先前的 model hub，新增了：

  • 即使 Developers 沒有 LiteLLM key，也能向他們顯示模型的能力。
  • Proxy Admins 可選擇特定模型在 model hub 上公開。
  • 改進的搜尋與篩選能力：
    • 依部分名稱搜尋模型（例如 xai grok-4）
    • 依提供者與功能篩選（例如 'vision' models）
    • 依成本排序（例如 OpenAI 最便宜的 vision model）

立即開始

新模型 / 更新模型​

定價 / Context Window 更新​

提供者模型上下文視窗輸入（$/1M tokens）輸出（$/1M tokens）類型
Xaixai/grok-4256k$3.00$15.00新增
Xaixai/grok-4-0709256k$3.00$15.00新增
Xaixai/grok-4-latest256k$3.00$15.00新增
Mistralmistral/devstral-small-2507128k$0.1$0.3新增
Mistralmistral/devstral-medium-2507128k$0.4$2新增
Azure OpenAIazure/o3-deep-research200k$10$40新增

功能​

錯誤修正​

  • Github Copilot
    • 修正 Github Copilot 的 API base url - PR
  • Bedrock
    • 確保支援的 bedrock/converse/ params = bedrock/ params - PR
    • 修正快取 token 成本計算 - PR
  • XAI
    • 確保當 xai 回應含有 tool calls 時，finish_reason 也包含 tool calls - PR

LLM API 端點​

功能​

  • /completions
    • 在串流時回傳 ‘reasoning_content’ - PR
  • /chat/completions
    • 將 'thinking blocks' 加入 stream chunk builder - PR
  • /v1/messages
    • 支援備援 - PR
    • 非 anthropic 模型的 tool call 處理（/v1/messages 到 /chat/completion 的橋接）- PR

MCP Gateway​

功能​

  • 成本追蹤
    • 新增成本追蹤 - PR
    • 新增使用量追蹤 - PR
    • 為每個 MCP tool 新增自訂成本設定 - PR
    • 新增編輯每個 tool 的 MCP 成本支援 - PR
    • 允許使用自訂的 post call MCP hook 進行成本追蹤 - PR
  • 驗證
    • 允許自訂要使用哪種 client side auth header - PR
    • 當請求中的 MCP server header 格式錯誤時，會拋出錯誤 - PR
  • MCP 伺服器
    • 允許將 stdio MCPs 與 LiteLLM 一起使用（可啟用 Circle CI MCP 搭配 LiteLLM 使用）- PR, 立即開始

錯誤修正​

  • 一般
  • MCP 伺服器
    • 修正 mcp tool separator 以配合 Claude code 使用 - PR, 立即開始
    • 為 mcp server name 新增驗證，不允許 "-"（可讓 namespaces 正常運作）- PR

管理端點 / UI​

功能​

  • 模型中樞
    • 新的 model hub 表格檢視 - PR
    • 新的 /public/model_hub 端點 - PR
    • 將 Model Hub 開源 - PR
    • 新的「make public」模態流程，用於在公開 model hub 上顯示 proxy models - PR
  • MCP
    • 支援內部使用者使用和管理 MCP servers - PR
    • 新增 UI 支援以新增 MCP 存取群組（類似 namespaces） - PR
    • MCP 工具測試 Playground - PR
    • 在 MCP 設定根節點顯示成本設定 - PR
  • 測試金鑰
    • Stick sessions - PR
    • MCP 存取群組 - 允許 mcp 存取群組 - PR
  • 用量
    • 截斷過長標籤並改善 Top API Keys 圖表中的工具提示 - PR
    • 改善 Tag Usage 的圖表可讀性 - PR
  • 團隊
    • 防止團隊成員操作後導覽重設 - PR
    • Team Members - 若已設定 duration，重設預算 - PR
    • 當 UI 上設定 max_budget_in_team 時，使用中央團隊成員預算 - PR
  • SSO
    • 允許使用者執行自訂 sso 登入處理器 - PR
  • 導覽列
    • 以 premium 徽章與更簡潔的版面改善使用者下拉選單 UI - PR
  • 一般
    • 所有頁面的 Create 和 Back 按鈕維持一致版面 - PR
    • 將 Show Password 與 Checkbox 對齊 - PR
    • 防止將預設使用者設定更新寫入 yaml（會在非 root 環境造成錯誤） - PR

錯誤修正​

  • 模型中樞
    • 修正 /model_group/info 中的重複項目 - PR
  • MCP
    • 修正 UI 未能正確將 MCP 存取群組與物件權限同步 - PR

記錄 / 防護欄整合​

功能​

錯誤修正​

效能 / 負載平衡 / 可靠性改善​

錯誤修正​

  • Responses API 橋接器
    • 在回退到 Chat Completions 時，為 Responses API 新增圖片支援 - PR s/o @ryan-castner
  • aiohttp
    • 正確關閉 aiohttp 用戶端 session 以防止資源洩漏 - PR
  • 路由器
    • 不要將無效部署加入 router pattern match - PR

一般 Proxy 改善​

錯誤修正​

  • S3
    • s3 config.yaml 檔案 - 確保使用 yaml safe load - PR
  • 稽核記錄
    • 新增 model 更新的稽核記錄 - PR
  • 啟動
    • 當啟用 max_budget 時，啟動時建立多個 API Keys - PR
  • 驗證
    • 在 Auth 上解析 model group alias（如果使用者可存取底層 model，則允許 alias 請求運作） - PR
  • config.yaml
    • 修正從 config.yaml 解析 environment_variables - PR
  • 安全性
    • 記錄帶有前綴的雜湊 jwt，而非實際值 - PR

功能​

  • MCP
    • 在 docker img 上升級 mcp 版本 - PR
  • 請求標頭
    • 當 forward_client_headers_to_llm_api 為 true 時，轉發 ‘anthropic-beta’ header - PR

新貢獻者​

Git Diff​

🚅
LiteLLM Enterprise
為正式環境打造的 SSO/SAML、稽核記錄、支出追蹤、多團隊管理與防護欄。
深入瞭解 →