跳至主要內容

v1.73.0-stable - 為新使用者設定預設團隊

注意

已知問題​

non-root docker 映像有一個已知問題，UI 無法載入。若您使用 non-root docker 映像，我們建議在升級到此版本前先等待。我們會為此發布修補程式。

部署此版本​

docker run litellm
docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:v1.73.0-stable

TLDR​

  • 為什麼要升級
    • 使用者管理：為新使用者設定預設團隊 - 讓所有使用者都能獲得 $10 API 金鑰供探索使用。
    • Passthrough Endpoints v2：為 passthrough endpoints 提供更強化的子路由與自訂成本追蹤支援。
    • 健康檢查儀表板：新增用於監控模型健康狀態與狀態的前端 UI。
  • 誰應該閱讀
    • 使用 Passthrough Endpoints 的團隊
    • 在 LiteLLM 上使用 使用者管理 的團隊
    • 使用模型的 健康檢查儀表板 的團隊
    • 在 LiteLLM 上使用 Claude Code 的團隊
  • 升級風險
    • 低
      • 現有功能沒有重大破壞性變更。
  • 重大變更
    • User Agent 將在 LiteLLM UI 的 Logs 頁面自動被追蹤為標籤。這表示對於所有 LLM 請求，您會在 logs page 中看到 User Agent 標籤。

重點摘要​

為新使用者設定預設團隊​


v1.73.0 新增了將新使用者指派給預設團隊的能力。這讓在貴公司內啟用 LLM 實驗變得容易得多，同時也確保探索支出的追蹤正確。

這對 Proxy 管理員 的意義：

  • 設定每位團隊成員的最高預算：這會設定個人在團隊內可花費的最高金額。
  • 為新使用者設定預設團隊：當新使用者透過 SSO / invitation link 登入時，會自動加入此團隊。

這對 開發者 的意義：

  • 跨團隊檢視模型：您現在可以前往 Models + Endpoints，查看您在所有所屬團隊中可存取的模型。
  • 安全的建立金鑰彈出視窗：如果您除了某個團隊之外沒有任何模型存取權限（預設行為），系統現在會提示您在 Create Key modal 中選擇團隊。這解決了新使用者在 onboarding 到 proxy 時常見的混淆點。

開始使用

直通端點 v2​


此版本新增了為 passthrough endpoints 加入計費與完整 URL 轉送的支援。

先前，您只能對應簡單的端點，但現在您可以只加入 /bria，所有子路由都會自動轉送——例如，/bria/v1/text-to-image/base/model 和 /bria/v1/enhance_image 都會以相同的路徑結構轉送到目標 URL。

這表示您作為 Proxy 管理員，可以導入 Bria API 和 Mistral OCR 等第三方端點、設定每次請求的成本，並讓您的開發者存取完整的 API 功能。

深入了解 Passthrough Endpoints

v2 健康檢查​


此版本支援 Proxy 管理員選擇要執行健康檢查的特定模型，並在各自的檢查完成後立即看到健康狀態，以及上次檢查時間。

這讓 Proxy 管理員能夠立即找出哪些特定模型處於異常狀態，並檢視完整的錯誤堆疊追蹤，以便更快排除問題。

新增 / 更新的模型​

定價 / Context Window 更新​

提供者模型上下文視窗輸入 ($/1M tokens)輸出 ($/1M tokens)類型
Google VertexAIvertex_ai/imagen-4N/A圖像生成圖像生成新增
Google VertexAIvertex_ai/imagen-4-previewN/A圖像生成圖像生成新增
Geminigemini-2.5-pro2M$1.25$5.00新增
Geminigemini-2.5-flash-lite1M$0.075$0.30新增
OpenRouter各種模型已更新已更新已更新已更新
Azureazure/o3200k$2.00$8.00已更新
Azureazure/o3-pro200k$2.00$8.00已更新
Azure OpenAIAzure Codex Models各種各種各種新增

已更新的模型​

功能​

  • Azure
    • 支援新的 /v1 preview Azure OpenAI API - PR, 開始使用
    • 新增 Azure Codex Models 支援 - PR, 開始使用
    • 讓 Azure AD scope 可設定 - PR
    • 處理更多 GPT 自訂命名模式 - PR
    • 更新 o3 定價以符合 OpenAI 定價 - PR
  • VertexAI
    • 新增 Vertex Imagen-4 模型 - PR, 開始使用
    • Anthropic 串流 passthrough 成本追蹤 - PR
  • Gemini
    • 透過 /v1/speech endpoint 提供可運作的 Gemini TTS 支援 - PR
    • 修正 gemini 2.5 flash 設定 - PR
    • 新增缺少的 flash-2.5-flash-lite 模型並修正定價 - PR
    • 將所有 gemini-2.5 模型標記為支援 PDF 輸入 - PR
    • 新增具有 reasoning 支援的 gemini-2.5-pro - PR
  • AWS Bedrock
    • 不再強制需要 AWS 憑證 - PR
    • 為 APAC 區域新增 AWS Bedrock profiles - PR
    • 修正 AWS Bedrock Claude tool call index - PR
    • 處理帶有 qs:.. 前綴的 base64 檔案資料 - PR
    • 將 Mistral Small 新增至 BEDROCK_CONVERSE_MODELS - PR
  • Mistral
    • 強化 Mistral API，支援平行工具呼叫 - PR
  • Meta Llama API
    • 啟用 meta_llama 模型的工具呼叫 - PR
  • Volcengine
    • 新增 thinking 參數支援 - PR

錯誤​

  • VertexAI
    • 處理 promptTokensDetails 中缺少的 tokenCount - PR
    • 修正 vertex AI claude thinking 參數 - PR
  • Gemini
  • Custom LLM
    • 設定 anthropic 自訂 LLM 提供者屬性 - PR
  • Anthropic
    • 更新 anthropic 套件版本 - PR
  • Ollama
    • 更新 ollama_embeddings 以支援同步 API - PR
    • 修正 response_format 無法運作的問題 - PR

LLM API 端點​

功能​

  • Responses API
    • 首次支援 OpenAI 可重複使用提示詞 Responses API - PR, 開始使用
    • 支援在 Completion-to-Responses 橋接中傳遞圖片 URL - PR
  • MCP 閘道
  • Speech API
    • 透過 OpenAI 的 /v1/speech 端點提供可運作的 Gemini TTS 支援 - PR
  • Passthrough Endpoints
    • 新增 passthrough endpoints 的子路由支援 - PR
    • 支援為每個 passthrough 請求設定自訂成本 - PR
    • 確保在 LiteLLM Proxy 上會追蹤 passthrough 請求的「請求」 - PR
    • 在 UI 上新增 V2 Passthrough endpoints - PR
    • 在 UI 中將 passthrough endpoints 移至 Models + Endpoints 底下 - PR
    • 新增 passthrough endpoints 的 QA 改進 - PR, PR
  • Models API
    • 允許 /models 針對自訂萬用字元前綴回傳正確的 models - PR

錯誤​

  • Messages API
    • 修正 /v1/messages 端點在 vertex_ai-anthropic models 上一律使用 us-central1 的問題 - PR
    • 修正 /v1/messages 和 /moderations 的 model_group 追蹤 - PR
    • 使用 Claude Code 時，修正透過 /v1/messages API 的成本追蹤與記錄 - PR
  • MCP 閘道
    • 修正使用在 config.yaml 中定義的 MCP - PR
  • Chat Completion API
    • 允許在 acompletion 中將 dict 作為 tool_choice 引數 - PR
  • Passthrough Endpoints
    • 不要在 Langfuse 上記錄對 Langfuse passthrough 的請求 - PR

支出追蹤​

功能​

  • User Agent Tracking
    • 自動依使用者代理程式追蹤支出（可為 Claude Code 提供成本追蹤） - PR
    • 在支出記錄 payload 中新增使用者代理程式標籤 - PR
  • Tag Management
    • 支援在標籤管理中新增公開 model 名稱 - PR

管理端點 / UI​

功能​

  • 測試金鑰頁面
    • 允許在測試金鑰頁面上測試 /v1/messages - PR
  • SSO
    • 允許傳遞額外標頭 - PR
  • JWT Auth
    • 正確回傳使用者電子郵件 - PR
  • Model Management
    • 允許編輯既有 model 的 model access group - PR
  • Team Management
    • 允許為新使用者設定預設 team - PR, PR
    • 修正預設 team 設定 - PR
  • SCIM
    • 為 SCIM 上既有使用者新增錯誤處理 - PR
    • 為使用者新增 SCIM PATCH 與 PUT 操作 - PR
  • 健康檢查儀表板
    • 實作健康檢查後端 API 與儲存功能 - PR
    • 將 LiteLLM_HealthCheckTable 新增至資料庫 schema - PR
    • 實作健康檢查前端 UI 元件與儀表板整合 - PR
    • 為健康檢查回應新增成功 modal - PR
    • 修正健康檢查表格中可點擊的 model ID - PR
    • 修正健康檢查 UI 表格設計 - PR

記錄 / 防護欄整合​

錯誤​

  • Prometheus
    • 修正使用 prometheus metrics 設定的錯誤 - PR

安全性與可靠性​

安全性修正​

可靠性改善​

  • Dependencies
    • 修正 aiohttp 版本需求 - PR
    • 在 UI dashboard 中將 next 從 14.2.26 升級到 14.2.30 - PR
  • Networking
    • 允許使用 CA Bundles - PR
    • 新增 GCP 與 AWS 之間的 workload identity federation - PR

一般 Proxy 改進​

功能​

  • Deployment
    • 為 Kubernetes 新增 deployment 註解 - PR
    • 在指令中新增 ciphers 並傳遞給 proxy 的 hypercorn - PR
  • Custom Root Path
    • 修正在自訂 root path 載入 UI 的問題 - PR
  • SDK Improvements
    • LiteLLM SDK / Proxy 改進（不要在 client 端轉換 message） - PR

錯誤​

新貢獻者​

  • @kjoth 首次做出貢獻，見 PR
  • @shagunb-acn 首次做出貢獻，見 PR
  • @MadsRC 首次做出貢獻，見 PR
  • @Abiji-2020 首次做出貢獻，見 PR
  • @salzubi401 首次做出貢獻，見 PR
  • @orolega 首次做出貢獻，見 PR
  • @X4tar 首次做出貢獻，見 PR
  • @karen-veigas 首次做出貢獻，見 PR
  • @Shankyg 首次做出貢獻，見 PR
  • @pascallim 首次做出貢獻，見 PR
  • @lgruen-vcgs 首次做出貢獻，見 PR
  • @rinormaloku 首次做出貢獻，見 PR
  • @InvisibleMan1306 首次做出貢獻，見 PR
  • @ervwalter 首次做出貢獻，見 PR
  • @ThakeeNathees 首次做出貢獻，見 PR
  • @jnhyperion 首次做出貢獻，見 PR
  • @Jannchie 首次做出貢獻，見 PR

示範執行個體​

這裡有一個示範執行個體可用來測試變更：

Git Diff​

🚅
LiteLLM Enterprise
為正式環境打造的 SSO/SAML、稽核記錄、支出追蹤、多團隊管理與防護欄。
深入瞭解 →