跳至主要內容

v1.74.0-stable

部署此版本​

docker run litellm
docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:v1.74.0-stable

主要亮點​

  • MCP Gateway 命名空間伺服器 - 連接到 LiteLLM 的用戶端現在可以指定要使用哪些 MCP 伺服器。
  • UI 上的依團隊／金鑰記錄 - Proxy 管理員可直接在 UI 中設定依團隊或依金鑰的記錄設定。
  • Azure Content Safety 防護欄 - 新增對 Azure Content Safety 防護欄的提示注入與文字審核支援。
  • VertexAI Deepseek Models - 支援透過 LiteLLM 的 /chat/completions 或 /responses API 呼叫 VertexAI Deepseek models。
  • Github Copilot API - 您現在可以將 Github Copilot 作為 LLM API 提供者使用。

MCP Gateway：具命名空間的 MCP 伺服器​

此版本為 LiteLLM MCP Gateway 帶來了對 MCP Servers 命名空間的支援。這表示您可以指定 x-mcp-servers 標頭，以指定要從哪些伺服器列出工具。

當您想將 MCP 用戶端指向 LiteLLM 上的特定 MCP 伺服器時，這會很有用。

使用方式​

cURL Example with Server Segregation
curl --location 'https://api.openai.com/v1/responses' \
--header 'Content-Type: application/json' \
--header "Authorization: Bearer $OPENAI_API_KEY" \
--data '{
    "model": "gpt-4o",
    "tools": [
        {
            "type": "mcp",
            "server_label": "litellm",
            "server_url": "<your-litellm-proxy-base-url>/mcp",
            "require_approval": "never",
            "headers": {
                "x-litellm-api-key": "Bearer YOUR_LITELLM_API_KEY",
                "x-mcp-servers": "Zapier_Gmail"
            }
        }
    ],
    "input": "Run available tools",
    "tool_choice": "required"
}'

在此範例中，請求只會存取來自 "Zapier_Gmail" MCP 伺服器的工具。

UI 上的依團隊／金鑰記錄​


此版本支援 Proxy 管理員在 UI 上設定依團隊／依金鑰的記錄設定。這可讓 LLM 請求／回應記錄依據團隊或金鑰，路由到不同的 Langfuse/Arize 專案。

對於使用 LiteLLM 的開發者，其記錄會自動路由到其各自的 Arize/Langfuse 專案。在此版本中，我們支援以下依金鑰／依團隊記錄整合：

  • langfuse
  • arize
  • langsmith

Azure Content Safety 防護欄​


LiteLLM 現在支援用於 Prompt Injection 與文字審核的 Azure Content Safety 防護欄。這對 內部 chat-ui 使用情境非常適合，因為您現在可以建立具備 Azure 危害類別偵測的防護欄、指定自訂嚴重程度門檻，並將其套用於 100+ 個 LLM，而僅限於該使用情境（或套用於您的所有請求）。

開始使用

Python SDK：匯入時間快 2.3 秒​

此版本為 Python SDK 帶來顯著的效能改進，匯入時間快了 2.3 秒。我們重新設計了初始化流程以降低啟動負擔，使 LiteLLM 對於需要快速初始化的應用程式更有效率。這對於需要快速初始化 LiteLLM 的應用程式而言，是一項重大改進。

新模型／更新模型​

定價／Context Window 更新​

提供者模型上下文視窗輸入 ($/100萬 tokens)輸出 ($/100萬 tokens)類型
Watsonxwatsonx/mistralai/mistral-large131k$3.00$10.00新增
Azure AIazure_ai/cohere-rerank-v3.54k$2.00/1k queries-新增（Rerank）

功能​

問題修正​

  • Mistral
    • 修正空字串內容的 transform_response 處理 - PR
    • 將 Mistral 改為使用 llm_http_handler - PR
  • Gemini
    • 修正工具呼叫序列 - PR
    • 修正自訂 api_base 路徑保留 - PR
  • Anthropic
    • 修正 user_id 驗證邏輯 - PR
  • Bedrock
    • 支援 bedrock 的可選參數 - PR
  • Ollama
    • 修正 ollama-chat 的預設參數 - PR
  • VLLM
    • 新增 'audio_url' 訊息類型支援 - PR

LLM API 端點​

功能​

  • /batches
    • 支援使用目標模型 Query Param 進行批次擷取 - PR
    • Anthropic completion bridge 改進 - PR
  • /responses
    • Azure responses api bridge 改進 - PR
    • 修正 responses api 錯誤處理 - PR
  • /mcp (MCP Gateway)
    • 在前端新增 MCP url 遮罩 - PR
    • 新增 MCP servers 標頭以進行範圍限制 - PR
    • Litellm mcp 工具前綴 - PR
    • 使用標頭將連線上的 MCP 工具分隔 - PR
    • 新增對 mcp url 包裝的變更 - PR

問題修正​

  • /v1/messages
    • 移除串流時硬編碼的模型名稱 - PR
    • 支援最低延遲路由 - PR
    • 回傳非 anthropic models 的 token 使用量 - PR
  • /chat/completions
    • 支援 Cursor IDE tool_choice 格式 {"type": "auto"} - PR
  • /generateContent
    • 允許傳遞 litellm_params - PR
    • 使用 OpenAI models 時只傳遞支援的參數 - PR
    • 修正使用 gemini-cli 搭配 Vertex Anthropic Models - PR
  • 串流
    • 修正 LlamaAPI 串流聊天的錯誤代碼：307 - PR
    • 即使 is_finished 也儲存完成原因 - PR

支出追蹤／預算改進​

問題修正​

  • 修正 calculate cost 中允許字串 - PR
  • VertexAI Anthropic 串流成本追蹤與 prompt caching 修正 - PR

管理端點／UI​

錯誤​

  • 團隊管理
    • 新增模型時防止團隊模型重設 - PR
    • 在 /v2/model/info 回傳僅限團隊的模型 - PR
    • 正確顯示團隊成員預算 - PR
  • UI 渲染
    • 修正非 root 映像上的 UI 渲染 - PR
    • 正確顯示 'Internal Viewer' 使用者角色 - PR
  • 組態
    • 處理空白的 config.yaml - PR
    • 修正 gemini /models - 依預期將 models/ 取代 - PR

功能​

  • 團隊管理
    • 允許新增團隊專屬記錄回呼 - PR
    • 新增 Arize 團隊式記錄 - PR
    • 允許檢視/編輯團隊式回呼 - PR
  • UI 改進
    • 以逗號分隔顯示支出與預算 - PR
    • 在回呼清單中新增標誌 - PR
  • CLI
    • 新增 litellm-proxy cli 登入，以開始使用 litellm proxy - PR
  • 電子郵件範本
    • 可自訂的電子郵件範本 - 主旨與簽名 - PR

記錄 / 防護欄整合​

功能​

錯誤​

  • 安全性
    • 確保只有失敗的 LLM API 路由會在 Langfuse 上記錄 - PR
  • OpenMeter
    • 整合錯誤處理修正 - PR
  • 訊息脫敏
    • 確保訊息脫敏可用於 responses API 記錄 - PR
  • Bedrock 防護欄
    • 修正串流回應的 bedrock 防護欄 post_call - PR

效能 / 負載平衡 / 可靠性改進​

功能​

  • Python SDK
    • 匯入時間快 2 秒 - PR
    • 將 python sdk 匯入時間減少 .3 秒 - PR
  • 錯誤處理
    • 為找不到的 MCP tools 或無效伺服器新增錯誤處理 - PR
  • SSL/TLS
    • 修正 SSL 憑證錯誤 - PR
    • 修正在 aiohttp transport 中自訂 ca bundle 支援 - PR

一般 Proxy 改進​

  • 啟動
    • 啟動時新增新橫幅 - PR
  • 相依性
    • 更新 pydantic 版本 - PR

新貢獻者​

Git Diff​

🚅
LiteLLM Enterprise
為正式環境打造的 SSO/SAML、稽核記錄、支出追蹤、多團隊管理與防護欄。
深入瞭解 →