跳至主要內容

v1.74.9-stable - 自動路由器

部署此版本​

docker run litellm
docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:v1.74.9-stable.patch.1

主要亮點​

  • 自動路由器 - 根據請求內容自動將請求路由到特定模型。
  • 模型層級防護欄 - 僅在使用特定模型時執行防護欄。
  • MCP 標頭傳遞 - 將標頭從用戶端傳遞到後端 MCP。
  • 新 LLM 提供者 - 新增 Bedrock inpainting 支援與 Recraft API 圖像生成 / 圖像編輯支援。

自動路由器​


此版本導入了依據請求內容自動路由到模型的功能。這表示當 Proxy Admins 選擇啟用自動路由器時，users 可以定義一組關鍵字，讓系統一律路由到特定模型。

這非常適合內部使用情境，因為您不希望 users 去思考要使用哪個模型——例如，使用 Claude 模型進行程式撰寫，而使用 GPT 模型生成廣告文案。

閱讀更多

模型層級防護欄​


此版本為您的 config.yaml + UI 帶來模型層級防護欄支援。這非常適合當您同時有內部部署與託管模型，且只想執行以防止將 PII 傳送到託管模型的情境。

model_list:
  - model_name: claude-sonnet-4
    litellm_params:
      model: anthropic/claude-sonnet-4-20250514
      api_key: os.environ/ANTHROPIC_API_KEY
      api_base: https://api.anthropic.com/v1
      guardrails: ["azure-text-moderation"] # 👈 KEY CHANGE

guardrails:
  - guardrail_name: azure-text-moderation
    litellm_params:
      guardrail: azure/text_moderations
      mode: "post_call" 
      api_key: os.environ/AZURE_GUARDRAIL_API_KEY
      api_base: os.environ/AZURE_GUARDRAIL_API_BASE

閱讀更多

MCP 標頭傳遞​


v1.74.9-stable 讓您可以透過 LiteLLM 傳遞 MCP 伺服器特定的驗證標頭

  • 允許使用者透過標頭指定哪個 header_name 要傳遞到哪個 mcp_server
  • 可為同一 MCP 伺服器類型的不同部署新增不同的驗證標頭

閱讀更多

新模型 / 更新模型​

價格 / Context Window 更新​

提供者模型上下文視窗輸入（$/百萬 tokens）輸出（$/百萬 tokens）
Fireworks AIfireworks/models/kimi-k2-instruct131k$0.6$2.5
OpenRouteropenrouter/qwen/qwen-vl-plus8192$0.21$0.63
OpenRouteropenrouter/qwen/qwen3-coder8192$1$5
OpenRouteropenrouter/bytedance/ui-tars-1.5-7b128k$0.10$0.20
Groqgroq/qwen/qwen3-32b131k$0.29$0.59
VertexAIvertex_ai/meta/llama-3.1-8b-instruct-maas128k$0.00$0.00
VertexAIvertex_ai/meta/llama-3.1-405b-instruct-maas128k$5$16
VertexAIvertex_ai/meta/llama-3.2-90b-vision-instruct-maas128k$0.00$0.00
Google AI Studiogemini/gemini-2.0-flash-live-0011,048,576$0.35$1.5
Google AI Studiogemini/gemini-2.5-flash-lite1,048,576$0.1$0.4
VertexAIvertex_ai/gemini-2.0-flash-lite-0011,048,576$0.35$1.5
OpenAIgpt-4o-realtime-preview-2025-06-03128k$5$20

功能​

錯誤修正​

LLM API 端點​

功能​

錯誤修正​

  1. /batches
    1. 在成本追蹤檢查期間略過無效批次（先前會停止所有檢查） - PR #12782
  2. /chat/completions
    1. 修正 .acompletion() 的非同步重試器 - PR #12886

MCP 閘道​

功能​

  • 權限管理
    • 將依 key/team 的權限管理改為 OSS - PR #12988
  • MCP 別名
    • 支援 mcp server 別名（適合在 Cursor 上呼叫很長的 mcp server 名稱）- PR #12994
  • 標頭傳遞
    • 支援將標頭從用戶端傳遞到後端 MCP（適合將 personal access tokens 傳送到後端 MCP）- PR #13003

管理端點 / UI​

功能​

  • 用量
    • 支援依模型群組檢視用量 - PR #12890
  • 虛擬金鑰
    • 在 /key/generate 上新增 key_type 欄位 - 可指定 key 是否能呼叫 LLM API 與管理路由 - PR #12909
  • 模型
    • 在 UI 上新增「自動路由器」- PR #12960
    • 在 UI 上顯示全域重試政策 - PR #12969
    • 在建立與更新時新增模型層級防護欄 - PR #13006

錯誤修正​

  • SSO
    • 在啟用 SSO 時修正登出問題 - PR #12703
    • 在更新 ui_access_mode 時修正重設 SSO - PR #13011
  • 防護欄
    • 編輯團隊時顯示正確的 guardrails - PR #12823
  • 虛擬金鑰
    • 重新產生 key 時取得更新後的 token - PR #12788
    • 修正 key 注入的 CVE - PR #12840

記錄 / 防護欄整合​

功能​

錯誤​

效能 / 負載平衡 / 可靠性改進​

功能​

錯誤​

  • forward_clientside_headers
    • 從標頭中篩除 content-length（導致後端請求卡住）- PR #12886
  • 訊息遮罩
    • 修正無法 pickle coroutine object 錯誤 - PR #13005

一般 Proxy 改進​

功能​

  • 基準測試
    • 更新 litellm proxy 基準測試（p50、p90、p99 額外負擔）- PR #12842
  • 請求標頭
    • 新增 x-litellm-num-retries 請求標頭
  • Swagger
    • 支援自訂 root paths 上的本機 swagger - PR #12911
  • 健康狀態
    • 追蹤成本 + 為 LiteLLM Proxy 執行的健康檢查新增標籤 - PR #12880

錯誤​

  • Proxy 啟動
    • 修正在啟動時，當 team member budget 為 None 會阻擋啟動的問題 - PR #12843
  • Docker
    • 將 non-root docker 移至 chain guard image（更少漏洞）- PR #12707
    • 將 azure-keyvault==4.2.0 加入 Docker img - PR #12873
  • 分離式健康檢查應用程式
    • 透過 supervisord 傳遞 cmd args（讓使用者設定在 docker 中仍可運作）- PR #12871
  • Swagger
    • 升級 DOMPurify 版本（修正漏洞）- PR #12911
    • 加回本機 swagger bundle（讓 swagger 能在 air gapped 環境中運作）- PR #12911
  • 請求標頭
    • 將 ‘user_header_name’ 欄位檢查改為不分大小寫（修正 OpenWebUi 的客戶預算強制執行）- PR #12950
  • 支出記錄
    • 修正 custom_llm_provider 為 None 時寫入 DB 的問題 - PR #13001

新貢獻者​

完整變更記錄​

🚅
LiteLLM Enterprise
為正式環境打造的 SSO/SAML、稽核記錄、支出追蹤、多團隊管理與防護欄。
深入瞭解 →