跳至主要內容
LiteLLM 正在遷移至 Rust 閱讀最新進度更新。

v1.82.3 - Nebius AI、gpt-5.4、Gemini 3.x、FLUX Kontext，以及 116 個新模型

部署此版本​

docker run litellm
docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
ghcr.io/berriai/litellm:main-1.82.3-stable

重點摘要​

  • Nebius AI，新提供者：透過 Nebius AI 雲端可用的涵蓋 DeepSeek、Qwen、Llama、Mistral、NVIDIA 與 BAAI 的 30 個模型 - PR #22614
  • OpenAI gpt-5.4 / gpt-5.4-pro，首日支援：gpt-5.4（1M context，$2.50/$15.00）與 gpt-5.4-pro（$30.00/$180.00）在 OpenAI 與 Azure 上的完整定價與路由支援
  • Gemini 3.x 模型 — 將 gemini-3-flash-preview、gemini-3.1-pro-preview、gemini-3.1-flash-image-preview 與 gemini-embedding-2-preview 新增至 Google AI 與 Vertex AI 的成本對照表
  • FLUX Kontext 圖像編輯 — 將 flux-kontext-pro 與 flux-kontext-max 新增至 Black Forest Labs，並加入 flux-pro-1.0-fill 與 flux-pro-1.0-expand 用於 inpainting 與 outpainting
  • 新增 116 個模型，清理 132 個已淘汰模型 — 主要模型對照表更新，包括 Mistral Magistral、Dashscope Qwen3 VL、經由 Azure AI 的 xAI Grok、ZAI GLM-5、Serper Search；移除 OpenAI GPT-3.5/GPT-4 舊版變體、Gemini 1.5，以及 Vertex AI PaLM2
  • SageMaker Nova 提供者 — 適用於 SageMaker 上 Amazon Nova 模型的新 sagemaker_nova 提供者 - PR #21542
  • Hashicorp Vault 密鑰管理員 — 由 Hashicorp Vault 驅動的設定覆寫後端，具備完整 UI 可管理來自 vault 的憑證 - PR #22939, PR #23036
  • Responses API WebSocket 串流 — 為 Responses API 提供即時 WebSocket 串流，包含跨所有提供者的支援 - PR #22559, PR #22771
  • Org Admin RBAC 擴充 — Org Admin 現在可以存取團隊管理端點、檢視並邀請內部使用者，以及管理團隊成員資格，無須全域 admin 角色 - PR #23085, PR #23080
  • 防護欄模式預設值與基於標籤的模式 — 全域設定預設的防護欄模式清單，並在基於標籤的防護欄設定中指定模式清單 - PR #22676, PR #23020
  • 記錄中的秘密遮罩 — 自動從所有 proxy 記錄輸出中清除 API 金鑰、token 與憑證。預設已啟用；可使用 LITELLM_DISABLE_REDACT_SECRETS=true 退出 - PR #23668
  • 串流穩定性修正 — 修正 RuntimeError: Cannot send a request, as the client has been closed. 在正式環境中約 1 小時後當機的重大問題 - PR #22926

新提供者與端點​

新提供者（7 個新提供者）​

提供者支援的 LiteLLM 端點說明
Nebius AI (nebius/)/chat/completions, /embeddings以 EU 為 ভিত্ত的 AI 雲端，提供 30+ 個開放模型——DeepSeek、Qwen3、Llama 3.1/3.3、NVIDIA Nemotron、BAAI embeddings
ZAI (zai/)/chat/completions透過 ZAI 雲端提供的 ZhipuAI GLM-5 模型
Black Forest Labs (black_forest_labs/)/images/generations, /images/editsFLUX 影像生成與編輯——Kontext Pro/Max、Pro 1.0 Fill/Expand
Serper (serper/)/search透過 Serper API 進行網頁搜尋
SageMaker Nova (sagemaker_nova/)/chat/completions透過 SageMaker 端點提供 Amazon Nova 模型
Google Search API (google_search/)/searchGoogle Search API 整合 - PR #22752
Bedrock Mantle (bedrock_mantle/)/chat/completions透過 Mantle 使用 Amazon Bedrock——Bedrock 模型的替代驗證與路由路徑 - PR #22866

新模型 / 更新模型​

新模型支援（116 個新模型）​

提供者模型上下文視窗輸入（$/百萬 tokens）輸出（$/百萬 tokens）功能
OpenAIgpt-5.41.05M$2.50$15.00chat, vision, tools, reasoning
OpenAIgpt-5.4-pro1.05M$30.00$180.00responses, vision, tools, reasoning
OpenAIgpt-5.3-chat-latest128K$1.75$14.00chat, vision, tools, reasoning
Azure OpenAIazure/gpt-5.41.05M$2.50$15.00chat, vision, tools, reasoning
Azure OpenAIazure/gpt-5.4-pro1.05M$30.00$180.00responses, vision, tools, reasoning
Azure OpenAIazure/gpt-5.3-chat128K$1.75$14.00chat, vision, tools, reasoning
Google Geminigemini/gemini-3-flash-preview1M$0.50$3.00chat, vision, tools, reasoning
Google Geminigemini/gemini-3.1-pro-preview1M$2.00$12.00chat, vision, tools, reasoning
Google Geminigemini/gemini-3.1-flash-image-preview65K$0.25$1.50image generation, vision
Google Geminigemini/gemini-3.1-flash-lite-preview---聊天
Google Geminigemini/gemini-3-pro-image-preview---影像生成
Google Geminigemini/gemini-embedding-2-preview8K$0.20-嵌入
Google Vertex AIvertex_ai/gemini-3-flash-preview---聊天
Google Vertex AIvertex_ai/gemini-3.1-pro-preview---聊天
Google Vertex AIvertex_ai/gemini-3.1-flash-lite-preview---聊天
Google Vertex AIvertex_ai/gemini-embedding-2-preview-$0.20-嵌入
Mistralmistral/magistral-medium-1-2-250940K$2.00$5.00chat, tools, reasoning
Mistralmistral/magistral-small-1-2-250940K$0.50$1.50chat, tools, reasoning
Mistralmistral/mistral-large-2512262K$0.50$1.50chat, vision, tools
Mistralmistral/mistral-medium-3-1-2508---聊天
Mistralmistral/mistral-small-3-2-2506---聊天
Mistralmistral/ministral-3-3b-2512---聊天
Mistralmistral/ministral-3-8b-2512---聊天
Mistralmistral/ministral-3-14b-2512---聊天
Black Forest Labsblack_forest_labs/flux-kontext-pro---圖像編輯
Black Forest Labsblack_forest_labs/flux-kontext-max---圖像編輯
Black Forest Labsblack_forest_labs/flux-pro-1.0-fill---圖像編輯（inpaint）
Black Forest Labsblack_forest_labs/flux-pro-1.0-expand---圖像編輯（outpaint）
Black Forest Labsblack_forest_labs/flux-pro-1.1---圖像生成
Black Forest Labsblack_forest_labs/flux-pro-1.1-ultra---圖像生成
Black Forest Labsblack_forest_labs/flux-dev---圖像生成
Black Forest Labsblack_forest_labs/flux-pro---圖像生成
Azure AIazure_ai/grok-4-1-fast-non-reasoning131K$0.20$0.50chat, tools
Azure AIazure_ai/grok-4-1-fast-reasoning131K$0.20$0.50chat, tools, reasoning
Azure AIazure_ai/mistral-document-ai-2512---OCR
Dashscopedashscope/qwen3-next-80b-a3b-instruct262K$0.15$1.20聊天
Dashscopedashscope/qwen3-next-80b-a3b-thinking262K$0.15$1.20chat, reasoning
Dashscopedashscope/qwen3-vl-235b-a22b-instruct131K$0.40$1.60chat, vision
Dashscopedashscope/qwen3-vl-235b-a22b-thinking131K$0.40$4.00chat, vision, reasoning
Dashscopedashscope/qwen3-vl-32b-instruct131K$0.16$0.64chat, vision
Dashscopedashscope/qwen3-vl-32b-thinking131K$0.16$2.87chat, vision, reasoning
Dashscopedashscope/qwen3-vl-plus260K--chat, vision
Dashscopedashscope/qwen3.5-plus992K--聊天
Dashscopedashscope/qwen3-max-2026-01-23258K--聊天
Nebius AInebius/deepseek-ai/DeepSeek-R1128K$0.80$2.40chat, reasoning
Nebius AInebius/deepseek-ai/DeepSeek-R1-0528164K$0.80$2.40chat, reasoning
Nebius AInebius/deepseek-ai/DeepSeek-V3128K$0.50$1.50聊天
Nebius AInebius/deepseek-ai/DeepSeek-V3-0324128K$0.50$1.50聊天
Nebius AInebius/deepseek-ai/DeepSeek-R1-Distill-Llama-70B128K$0.25$0.75聊天
Nebius AInebius/Qwen/Qwen3-235B-A22B262K$0.20$0.60聊天
Nebius AInebius/Qwen/Qwen3-32B32K$0.10$0.30聊天
Nebius AInebius/Qwen/Qwen3-30B-A3B32K$0.10$0.30聊天
Nebius AInebius/Qwen/Qwen3-14B32K$0.08$0.24聊天
Nebius AInebius/Qwen/Qwen3-4B32K$0.08$0.24聊天
Nebius AInebius/Qwen/QwQ-32B32K$0.15$0.45聊天
Nebius AInebius/Qwen/Qwen2.5-72B-Instruct128K$0.13$0.40聊天
Nebius AInebius/Qwen/Qwen2.5-32B-Instruct128K$0.06$0.20聊天
Nebius AInebius/Qwen/Qwen2.5-VL-72B-Instruct131K$0.13$0.40chat, vision
Nebius AInebius/Qwen/Qwen2-VL-72B-Instruct131K$0.13$0.40chat, vision
Nebius AInebius/Qwen/Qwen2-VL-7B-Instruct131K$0.02$0.06chat, vision
Nebius AInebius/meta-llama/Meta-Llama-3.1-405B-Instruct128K$1.00$3.00聊天
Nebius AInebius/meta-llama/Meta-Llama-3.1-70B-Instruct128K$0.13$0.40聊天
Nebius AInebius/meta-llama/Meta-Llama-3.1-8B-Instruct128K$0.02$0.06聊天
Nebius AInebius/meta-llama/Llama-3.3-70B-Instruct128K$0.13$0.40聊天
Nebius AInebius/meta-llama/Llama-Guard-3-8B128K$0.02$0.06聊天
Nebius AInebius/nvidia/Llama-3.1-Nemotron-Ultra-253B-v1128K$0.60$1.80聊天
Nebius AInebius/nvidia/Llama-3.3-Nemotron-Super-49B-v1131K$0.10$0.40聊天
Nebius AInebius/NousResearch/Hermes-3-Llama-3.1-405B128K$1.00$3.00聊天
Nebius AInebius/google/gemma-3-27b-it128K$0.06$0.20聊天
Nebius AInebius/mistralai/Mistral-Nemo-Instruct-2407128K$0.04$0.12聊天
Nebius AInebius/Qwen/Qwen2.5-Coder-7B32K$0.01$0.03聊天
Nebius AInebius/BAAI/bge-en-icl32K$0.01-嵌入
Nebius AInebius/BAAI/bge-multilingual-gemma28K$0.01-嵌入
Nebius AInebius/intfloat/e5-mistral-7b-instruct32K$0.01-嵌入
AWS Bedrockmistral.devstral-2-123b256K$0.40$2.00chat, tools
AWS Bedrockzai.glm-4.7-flash200K$0.07$0.40chat, tools, reasoning
ZAIzai/glm-5200K$1.00$3.20chat, tools, reasoning
ZAIzai/glm-5-code200K$1.20$5.00chat, tools, reasoning
OpenRouteropenrouter/anthropic/claude-sonnet-4.6---聊天
OpenRouteropenrouter/google/gemini-3.1-pro-preview---聊天
OpenRouteropenrouter/openai/gpt-5.1-codex-max---聊天
OpenRouteropenrouter/qwen/qwen3-coder-plus---聊天
OpenRouteropenrouter/qwen/qwen3.5-* (5 models)---聊天
OpenRouteropenrouter/z-ai/glm-5---聊天
Together AItogether_ai/Qwen/Qwen3.5-397B-A17B---聊天
Perplexityperplexity/pplx-embed-v1-0.6b32K$0.00-嵌入
Perplexityperplexity/pplx-embed-v1-4b32K$0.03-嵌入
Serperserper/search---搜尋

更新的模型​

  • AWS Bedrock

    • 將 cache_read_input_token_cost 與 cache_creation_input_token_cost 新增至 Bedrock 托管的 Anthropic 模型（claude-3-opus、claude-3-sonnet、claude-3-haiku，以及 APAC/EU 變體），因此 prompt 快取現在會被追蹤以供成本估算
    • 重新命名 apac.anthropic.claude-sonnet-4-6 → au.anthropic.claude-sonnet-4-6，以反映正確的區域識別碼

  • Azure OpenAI

    • 將 supports_none_reasoning_effort 新增至所有 gpt-5.1-chat、gpt-5.1-codex 與 gpt-5.4 變體（global、EU、standard 部署），讓 reasoning_effort: null 能停用 reasoning

  • Azure OpenAI — 移除已淘汰的模型

    • 移除 azure/gpt-35-turbo-0301（已於 2025-02-13 淘汰）
    • 移除 azure/gpt-35-turbo-0613（已於 2025-02-13 淘汰）

功能​

  • OpenAI

    • OpenAI 與 Azure 上 gpt-5.4 和 gpt-5.4-pro 的 Day 0 支援

  • Google Gemini

    • 新增 Gemini 3.x 模型成本對照表項目：gemini-3-flash-preview、gemini-3.1-pro-preview、gemini-3.1-flash-lite-preview、gemini-3-pro-image-preview、gemini-embedding-2-preview
    • 將 Gemini 2.0 Flash 與 Flash Lite 新增至成本對照表（以更新後定價重新加入）

  • Google Vertex AI

    • 將 gemini-3-flash-preview、gemini-3.1-flash-lite-preview、gemini-flash-experimental 和 gemini-embedding-2-preview 新增至 Vertex AI 模型成本對應

  • Mistral

    • 新增 Magistral 推理模型 (magistral-medium-1-2-2509, magistral-small-1-2-2509)
    • 新增 mistral-large-2512、mistral-medium-3-1-2508、mistral-small-3-2-2506、ministral-3-* 變體

  • Dashscope / Qwen

    • 新增 Qwen3 VL 多模態模型（qwen3-vl-235b、qwen3-vl-32b、instruct 與 thinking 變體）
    • 新增 qwen3-next-80b-a3b（instruct + thinking）、qwen3.5-plus、qwen3-max-2026-01-23

  • Black Forest Labs

    • 新增 FLUX Kontext 圖像編輯模型 (flux-kontext-pro, flux-kontext-max)
    • 新增 FLUX Pro 1.0 Fill（inpainting）與 Expand（outpainting）
    • 新增 flux-pro-1.1、flux-pro-1.1-ultra、flux-dev、flux-pro

  • Azure AI

    • 透過 Azure AI Foundry 新增 xAI Grok 模型（grok-4-1-fast-non-reasoning、grok-4-1-fast-reasoning）
    • 在 OCR 模式中新增 Mistral Document AI（mistral-document-ai-2512）

  • AWS Bedrock

    • 新增 mistral.devstral-2-123b（256K context、工具）
    • 透過 Bedrock Converse 新增 zai.glm-4.7-flash（200K context、工具、reasoning）

  • SageMaker

    • 為 SageMaker 上的 Amazon Nova 模型新增 sagemaker_nova 提供者 - PR #21542

已棄用 / 已移除模型​

OpenAI：從成本對照表移除舊版模型：

  • gpt-3.5-turbo-0301、gpt-3.5-turbo-0613、gpt-3.5-turbo-16k-0613
  • gpt-4-0314、gpt-4-32k、gpt-4-32k-0314、gpt-4-32k-0613、gpt-4-1106-vision-preview、gpt-4-vision-preview
  • gpt-4.5-preview、gpt-4.5-preview-2025-02-27
  • gpt-4o-audio-preview-2024-10-01、gpt-4o-realtime-preview-2024-10-01
  • o1-mini、o1-mini-2024-09-12、o1-preview、o1-preview-2024-09-12

Google Gemini：移除 Gemini 1.5 與舊版 2.0 變體：

  • 所有 gemini-1.5-* 變體（flash、flash-8b、pro，以及具日期版本）
  • gemini-2.0-flash-exp、gemini-2.0-pro-exp-02-05、gemini-2.5-flash-preview-04-17、gemini-2.5-flash-preview-05-20

Google Vertex AI：移除 PaLM 2 / 舊版模型：

  • 所有 chat-bison、text-bison、codechat-bison、code-bison、code-gecko 變體
  • Gemini 1.0 Pro、1.5 Flash/Pro、2.0 Flash experimental，以及 preview 變體

Perplexity：移除舊版 Llama-sonar 模型：

  • llama-3.1-sonar-huge-128k-online、llama-3.1-sonar-large/small-128k-chat/online

LLM API 端點​

功能​

  • Responses API

    • 在背景串流中處理 response.failed、response.incomplete 與 response.cancelled 終結事件類型；先前僅處理 response.completed - PR #23492
    • Responses API 的 WebSocket 串流支援：所有提供者皆可透過 WebSocket 進行即時串流 - PR #22559, PR #22771
    • 即時音訊/視訊通訊的 WebRTC 支援 - PR #23446
    • OpenAI 相容 JSON 提供者的 Responses API 支援（openai_like）- PR #21398
    • 自動將同時使用 tools 與 reasoning 的 gpt-5.4+ 請求路由至 Responses API - PR #23577

  • Anthropic Files API

    • 完整支援 Anthropic Files API：上傳、擷取、列出與刪除檔案；在訊息中使用檔案參照 - PR #16594

  • Mistral

    • Voxtral 音訊轉錄支援：透過 Mistral 進行音訊轉錄的 mistral/voxtral-mini-* 與 mistral/voxtral-* - PR #22801

  • OpenAI

    • litellm.acount_tokens() 公開 API：具完整 OpenAI 提供者支援的非同步 token 計數 - PR #22809
    • 將 reasoning_effort dict 正規化為字串，以供 chat completion API 使用 - PR #22981

  • OpenRouter

    • OpenRouter 模型的圖像編輯支援 - PR #22403

  • Google Gemini

    • Gemini 3：當省略 reasoning_effort 時，不會注入預設的 thinking_level（與 Gemini API 相符；Flash 可能預設為 high，而非舊的 minimal）。請參閱 Gemini 3 部落格

  • Google Vertex AI

    • completion_tokens_details 中的 VIDEO 模態 token 使用量追蹤 - PR #22550

  • Images API

    • 圖像編輯 API 的 input_fidelity 參數 - PR #23201

  • 一般

    • 每次請求的 enable_json_schema_validation 標記，用於執行緒安全的 JSON schema 驗證 - PR #21233
    • 模型成本別名擴充：在成本對照表中定義會繼承父模型定價的別名 - PR #23314, PR #23457
    • Files API 支援萬用字元模型 - PR #22740

問題修正​

  • Anthropic

    • 當防護欄將工具轉換供 Anthropic Messages API 使用時，保留原生工具格式（web_search、bash、tool_search 等） - PR #23526
    • 在 _map_tool_helper 的工具輸入 schema 上強制 type: "object"，修正嚴格 schema 提供者的工具呼叫失敗問題 - PR #23103
    • 依 tool_call_id 對 tool_result 訊息去重，防止多輪對話中的重複工具結果錯誤 - PR #23104
    • 將 reasoning_effort 對應至 output_config，適用於 Claude 4.6 模型 - PR #22220

  • Google Gemini

    • 修正工具呼叫的串流 finish_reason；先前錯誤地回傳 null 而不是 tool_calls - PR #21577
    • 在 Gemini 2.0+ 的 JSON Schema 中保留 $ref；schema 參照原本會被移除，導致結構化輸出失效 - PR #21597
    • 處理 Gemini 3.1 模型的 minimal reasoning_effort 參數 - PR #22920

  • Google Vertex AI

    • 透傳原生 Gemini imageConfig 參數以用於圖片生成 - PR #21585
    • 防止在串流中 finish_reason 先於內容區塊到達時造成內容截斷 - PR #22692
    • 在合併至 Gemini 請求本文之前，移除 extra_body 中的 LiteLLM 內部鍵 - PR #23131
    • 從所有 Vertex AI 請求中移除不支援的 output_config 參數 - PR #22884
    • 跳過 Gemini 2.0+ 工具參數的 schema 轉換，避免破壞原生 Gemini schema 處理 - PR #23265

  • OpenRouter

    • 當提供者前綴與模型名稱相符時，針對原生模型重複截斷的模式化修正 - PR #22320
    • 當未設定 stream_options 時，在串流回應中使用提供者回報的使用量 - PR #21592

  • AWS Bedrock

    • 從 bedrock/{region}/{model} 路徑格式擷取 region 與 model ID - PR #22546
    • 在 Bedrock 與 Azure AI 上為 Anthropic 訊息移除 scope 中的 cache_control - PR #22867
    • 在 Responses API 回應中填入 completion_tokens_details - PR #23243

  • Azure AI

    • 在 Document Intelligence OCR 中從環境變數解析 api_base - PR #21581

  • Moonshot / Kimi

    • 為 Moonshot Kimi 推理模型自動填入 reasoning_content - PR #23580
    • 在 Moonshot 的多模態訊息中保留 image_url 區塊 - PR #21595

  • HuggingFace

    • 將 extra_headers 傳遞至 HuggingFace embedding API - PR #23525

  • Token 計數／成本

    • 修正 count_tokens，使其在 token 計數 API 請求中包含系統提示與工具 - PR #22301
    • 將所有自訂定價欄位傳遞給 register_model，適用於 completion() 和 embedding() - PR #22552

  • 工具 / Function Calling

    • 優雅地修復工具呼叫參數中被截斷的 JSON，避免在格式不正確的工具回應上當機 - PR #22503
    • 修正函式呼叫在串流中未輸出 finish_reason 的 output_item.done - PR #22553
    • 在多次網頁搜尋時保留 thinking 區塊順序 - PR #23093

  • 一般

    • 統一各提供者之間的 content_filtered 結束原因 - PR #23564
    • 在所有提供者之間統一 finish_reason 映射為相容 OpenAI 的值 - PR #22138
    • 修正針對 /v1/messages 與 /v1/responses 部署的自訂成本追蹤 - PR #23647
    • 修正當 router_model_id 沒有定價資料時的每次請求自訂定價；現在會回退到模型名稱
    • 修正批次清單在完成後顯示過期的 validating 狀態 - PR #22982
    • 修正當缺少 model_id 時，批次擷取會回傳原始 output_file_id - PR #23194
    • 當使用 x-litellm-model 標頭時，編碼批次 ID - PR #22653
    • 在 gpt-oss 提供者的串流 Delta 中將 reasoning 對應為 reasoning_content - PR #22803

管理端點 / UI​

功能​

  • 虛擬金鑰

    • 在建立／編輯金鑰表單中新增組織下拉選單：organization_id 現已成為金鑰擁有權中的一級欄位 - PR #23595
    • 允許在 /key/update 上設定 organization_id，因此金鑰在建立後可被指派或移動到不同的組織 - PR #23557
    • 透過 UI 手動重設虛擬金鑰的花費：管理員可按需將金鑰花費重設為零 - PR #22715
    • BYOK（Bring Your Own Key）：用戶端的提供者 API 金鑰優先於 Anthropic /v1/messages 的代理伺服器金鑰 - PR #22964
    • UI 登入工作階段持續時間可透過 LITELLM_UI_SESSION_DURATION 環境變數設定 - PR #22182
    • 透過 config.yaml 中的 auto_redirect_ui_login_to_sso: true 自動將 UI 登入重新導向至 SSO - PR #23367

  • 存取控制（RBAC）

    • 組織管理員現在可存取團隊管理端點：/team/new、/team/update、/team/delete、/team/member_add、/team/member_delete - PR #23085, PR #23095
    • 組織管理員可檢視並邀請內部使用者：無需全域管理員角色即可完整管理使用者 - PR #23080
    • 允許管理員檢視者存取稽核記錄；唯讀管理員角色現在包含稽核記錄存取權 - PR #23419
    • 向量儲存與代理程式的 RBAC：針對向量儲存與代理程式資源的金鑰／團隊層級存取控制 - PR #22858
    • 使用者篩選範圍（scope_user_search_to_org）現在改為選用；先前預設為啟用，導致非預期的限制 - PR #23057

  • 向量儲存

    • 向量儲存管理端點：透過 /v1/vector_stores/* 擷取、列出、更新與刪除向量儲存 - PR #23435

  • 團隊

    • 團隊的批次到期設定：為所有團隊金鑰設定預設到期時間 - PR #22705
    • 團隊管理員可重設金鑰花費 - PR #22725

  • 內部使用者

    • 可直接在內部使用者資訊頁面新增／移除團隊成員，包含可搜尋的下拉選單與角色選擇器；不再需要逐一導覽到每個團隊 - PR #23638

  • 模型

    • 透過 UI 將知識庫附加至模型 - PR #22656

  • 預設團隊設定

    • 將頁面現代化為 antd（與應用程式其他部分一致） - PR #23614
    • 修正：預設團隊參數（budget、duration、tpm、rpm、permissions）現在可正確套用於 /team/new - PR #23614
    • 修正：設定可在代理重啟之間保留（default_team_params 已新增至 LITELLM_SETTINGS_SAFE_DB_OVERRIDES）- PR #23614
    • 修正：解決 _update_litellm_setting 中的競態條件，get_config() 可能會覆寫新儲存的值 - PR #23614

  • 用量

    • 自動分頁每日花費資料：所有實體檢視（團隊、組織、客戶、標籤、代理程式、使用者）會逐頁擷取資料，圖表在每頁後更新 - PR #23622

  • 模型 / 成本

    • UI 中的 Azure Model Router 成本明細：顯示來自 hidden_params 的每個子模型 additional_costs，位於 CostBreakdownViewer 中 - PR #23550

  • 使用者管理

    • 新的 /user/info/v2 端點：為現有造成記憶體與穩定性問題的 god 端點提供具範圍、可分頁的替代方案 - PR #23437

錯誤修正​

  • 修正 Tag list 端點因無效的 Prisma group_by kwargs 而回傳 500 - PR #23606
  • 修正 Team Admin 在啟用 /user/filter/ui 時存取 scope_user_search_to_org 會出現 403 - PR #23671
  • 修正 Public Model Hub 在儲存後未顯示 config-defined 模型 - PR #23501
  • 修正 fallback 彈出視窗模型下拉選單的 z-index 問題 - PR #23516
  • 修正 org/team 金鑰限制檢查中對 /key/update 的重複計算錯誤
  • 修正邀請連結允許同一連結多次重設密碼 - PR #22462
  • 修正未設定 duration 時未套用金鑰到期預設持續時間 - PR #22956
  • 修正所有代理模型在建立金鑰時未包含模型存取群組 - PR #23236
  • 修正 admin viewers 無法看見所有組織 - PR #22940
  • 修正 Audit Logs UI：新增伺服器端分頁、篩選與抽屜檢視 - PR #22476
  • 修正團隊檢視中的虛擬金鑰未正確套用團隊篩選條件 - PR #23065
  • 修正團隊到期強制執行驗證 - PR #22728

AI 整合​

記錄​

  • Helicone

    • 為 HeliconeLogger 新增 Gemini 與 Vertex AI 支援，將 Gemini 與 Vertex AI 請求路由至正確的 Helicone provider URL - PR #19288
    • 修正 Vertex AI Gemini 模型的正確 provider URL - PR #22603

  • Langfuse

    • 修正失敗路徑 kwargs 不一致導致失敗請求的追蹤被捨棄 - PR #22390

  • Vantage

    • 為 FOCUS 1.2 CSV 匯出新增 Vantage 整合：將 LiteLLM proxy 花費資料匯出為 FinOps Open Cost & Usage Specification 報表，並使用具時間範圍的檔名以防止覆寫 - PR #23333

  • 一般

    • 修正 silent metrics 競態條件，導致實驗之間的 metric 衝突 - PR #23542

防護欄​

  • 防護欄模式預設清單 — 在未指定每個請求的模式時，設定全域套用的預設防護欄模式清單 - PR #22676
  • 基於標籤的防護欄模式清單 — 在基於標籤的防護欄設定中指定模式清單，而非單一模式 - PR #23020
  • 修正 presidio PII 權杖外洩 — Presidio 中 Anthropic 處理程序導致權杖回應中 PII 資料外洩的邊界情況 - PR #22627
  • 修正 OTEL 孤兒防護欄追蹤 — OpenTelemetry 防護欄追蹤中的 span 重複與回應 ID 遺失 - PR #23001

提示管理​

本版本沒有重大提示管理變更。

密鑰管理器​

  • Hashicorp Vault：完整的 Hashicorp Vault 整合作為設定覆寫後端，其中在 Vault 中定義的密鑰會在啟動時擷取並覆寫 config.yaml 值。包含用於管理來自 Vault 憑證的 UI 支援 - PR #22939, PR #23036

MCP 閘道​

功能​

  • MCP 伺服器的權杖驗證 — 針對每個 MCP 伺服器設定 auth_type: "bearer"，讓工具呼叫需要以權杖為基礎的驗證 - PR #23260
  • 團隊範圍的 MCP 伺服器篩選 — 在團隊下建立的金鑰只能看到該團隊可用的 MCP 伺服器 - PR #23323
  • UI 中的每台伺服器健康重新檢查 — 可對單一 MCP 伺服器觸發健康檢查，而不需重新載入所有伺服器 - PR #23328

錯誤​

  • 修正 MCP 伺服器 URL 與工具管理問題，導致工具探索失敗 - PR #22751
  • 修正刪除伺服器時觸發 MCP 伺服器健康檢查的問題 - PR #23063

支出追蹤、預算與速率限制​

  • 修正與預算連結的金鑰從未重設支出 — 與預算物件連結的金鑰未在設定的重設間隔重設支出 - PR #20688
  • 彈性定價支援 — 為提供動態定價層級的提供者在成本對照表中新增 flex_pricing 欄位 - PR #22992
  • 修正支出記錄清理 — 解決支出記錄清理工作中的鎖定追蹤、整數保留與跳過記錄層級問題 - PR #22687
  • 修正 WebSearch 支出記錄去重 — 啟用 thinking 時 WebSearch 攔截失敗；已一併修正支出記錄去重 - PR #22679
  • 修正請求沒有 API 金鑰時的 TypeError — 當請求中沒有 API 金鑰時，支出追蹤會拋出未處理的例外 - PR #23363

效能 / 負載平衡 / 可靠性改善​

  • 修正約 1 小時後的串流當機 — LLMClientCache._remove_key() 不再會在已移除的 HTTP/SDK 用戶端上呼叫 close()/aclose()。進行中的請求在 1 小時 TTL 到期後會因 RuntimeError: Cannot send a request, as the client has been closed. 而當機。現在清理只會在關閉時透過 close_litellm_async_clients() 進行 - PR #22926
  • 修正大型安裝中的 OOM / Prisma 連線遺失：在 336K+ 個排隊中的回應列的執行個體上，無界限的 managed-object 輪詢會在約 60–70 分鐘後耗盡 Prisma 連線 - PR #23472
  • 將 logging kwarg 更新集中化 — 根本原因修正，將所有 logging 更新移轉至單一函式，消除各 logging 路徑之間的 kwarg 不一致 - PR #23659
  • 修正非 root 離線容器的 tiktoken 快取 — tiktoken 快取現在可在以非 root 使用者執行的離線環境中正確運作 - PR #23498
  • 當 Redis transaction buffer 沒有 Redis 時，阻止 proxy 啟動 — 可避免在未連線 Redis 時設定 use_redis_transaction_buffer: true 造成靜默資料遺失 - PR #23019
  • 修正 InFlightRequestsMiddleware 當機 — middleware 中未定義的 kwargs 會導致請求失敗 - PR #22523
  • 修正 BaseModelResponseIterator 在非字串串流區塊上的當機 — 當提供者回傳非字串的區塊資料時，串流會當機 - PR #23497
  • 修正 SERVER_ROOT_PATH 前綴處理 — 在檢查對應的透傳路由之前先移除前綴，以避免雙前綴問題 - PR #23414
  • 新增 CodSpeed 持續效能基準測試 — 在 CI 上自動追蹤效能迴歸 - PR #23676

安全性​

  • 在 proxy 記錄中遮罩密鑰 — 為所有 LiteLLM 記錄器新增 SecretRedactionFilter，可從記錄訊息、格式化引數、例外回溯與額外欄位中清除 API 金鑰、權杖與憑證。預設啟用；可透過 LITELLM_DISABLE_REDACT_SECRETS=true 關閉 - PR #23668, PR #23667
  • 將 PyJWT 升級至 ^2.12.0 — 修補 ^2.10.1 的安全漏洞 - PR #23678
  • 將 tar 升級至 7.5.11，將 tornado 升級至 6.5.5 — 修補相依套件傳遞依賴中的 CVE - PR #23602

資料庫 / Proxy 作業​

  • 修正既有執行個體上的 Prisma migrate deploy — 解決遷移復原邏輯中的多個錯誤：P3018 等冪錯誤處理器中缺少 return，以及 _roll_back_migration 中未處理的例外，導致即使復原成功後仍出現靜默失敗 - PR #23655
  • 讓 DB 遷移失敗退出改為可選 — 預設下 proxy 不再因 prisma migrate deploy 失敗而退出；可透過 --enforce_prisma_migration_check 啟用 - PR #23675

文件更新​

  • 新增 Anthropic /v1/messages → /responses 參數對應參考 - PR #22893
  • 更新 Okta SSO 文件與自訂 SSO handler 範例 - PR #22786
  • 在環境變數參考中新增 LITELLM_MAX_BUDGET_PER_SESSION_TTL - PR #23186
  • 在 CLAUDE.md 中新增 DB 查詢效能指南 - PR #23196
  • 新增 Gemini Vertex AI PayGo/priority 成本追蹤文件 - PR #22948

新貢獻者​

  • @ryanh-ai 在 PR #21542 中完成首次貢獻
  • @ryan-crabbe 在 PR #23668 中完成首次貢獻
  • @Jah-yee 在 PR #23525 中完成首次貢獻
  • @gambletan 在 PR #23516 中完成首次貢獻
  • @awais786 在 PR #23183 中完成首次貢獻
  • @pradyyadav 在 PR #23580 中完成首次貢獻
  • @xianzongxie-stripe 在 PR #23492 中完成首次貢獻
  • @Harshit28j 在 PR #23333 中完成首次貢獻
  • @codspeed-hq[bot] 在 PR #23676 中完成首次貢獻

差異摘要​

03/16/2026​

  • 新增提供者：7
  • 新增模型 / 更新模型：116 個新增、132 個移除
  • LLM API 端點：37
  • 管理端點 / UI：31
  • AI 整合：8
  • MCP 閘道：5
  • 支出追蹤、預算與速率限制：5
  • 效能 / 負載平衡 / 可靠性改善：9
  • 安全性：3
  • 資料庫 / Proxy 作業：2
  • 文件更新：5

完整變更記錄​

v1.82.0-stable...v1.82.3-stable

LiteLLM Enterprise
為正式環境打造的 SSO/SAML、稽核記錄、支出追蹤、多團隊管理與防護欄。
深入瞭解 →