跳至主要內容

v1.83.3-stable - MCP 工具集與技能市集

部署此版本​

docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:main-v1.83.3-stable

主要亮點​

技能市集​

技能市集為團隊提供一個自架目錄，用於探索、安裝與發布 Claude Code 技能。技能可在 Anthropic、Vertex AI、Azure 與 Bedrock 之間移植——因此只要發布一次，透過閘道路由到的任何地方都可使用。

技能市集

開始使用

防護欄備援​

防護欄備援

防護欄流程現在支援可選的 on_error 行為。當防護欄檢查失敗或發生錯誤時，您可以將流程設定為優雅地備援——記錄失敗並繼續請求——而不是回傳硬性 500 給呼叫端。這對於非關鍵防護欄特別有用，因為此時可用性比強制執行更重要。

開始使用

團隊自備防護欄​

團隊現在可直接從團隊管理 UI 附加防護欄。管理員在專案或 Proxy 層級設定可用的防護欄，各團隊則選擇哪些套用到其流量——不需要變更設定檔或重新啟動 Proxy。這也在專案建立／編輯流程中加入專案層級防護欄支援。

MCP 工具集​

MCP 工具集讓 AI 平台管理員能從一或多個 MCP 伺服器建立精選工具子集，並以範圍權限指派給團隊與金鑰。您不必授與整個 MCP 伺服器的存取權，現在可以將特定工具打包成具名稱的工具集——精確控制每個團隊或 API 金鑰可呼叫哪些工具。工具集可透過 UI（新的 Toolsets 分頁）與 API 完整管理，並可與 Responses API 和 Playground 無縫搭配使用。

MCP 工具集

開始使用

新模型／更新模型​

新模型支援（60 個新模型）​

提供者模型上下文視窗輸入（$/百萬 tokens）輸出（$/百萬 tokens）功能
OpenAIgpt-5.4-mini272K$0.75$4.50聊天、快取讀取、flex/batch/priority 等級
OpenAIgpt-5.4-nano272K$0.20-聊天、flex/batch 等級
OpenAIgpt-4-03148K$30.00$60.00重新加入的舊版項目（停用日期 2026-03-26）
Azure OpenAIazure/gpt-5.4-mini1.05M$0.75$4.50聊天完成、快取讀取
Azure OpenAIazure/gpt-5.4-nano---聊天完成
AWS Bedrockus.amazon.nova-canvas-v1:02.6K-$0.06 / imageNova Canvas 圖片編輯支援
AWS Bedrocknvidia.nemotron-super-3-120b256K$0.15$0.65函式呼叫、推理、系統訊息
AWS Bedrockminimax.minimax-m2.5（12 個區域）1M$0.30$1.20函式呼叫、推理、系統訊息
AWS Bedrockzai.glm-5200K$1.00$3.20函式呼叫、推理
AWS Bedrockbedrock/us-gov-{east,west}-1/anthropic.claude-haiku-4-5-20251001-v1:0200K$1.20$6.00GovCloud Claude Haiku 4.5
Vertex AIvertex_ai/claude-haiku-4-5200K$1.00$5.00聊天、建立／讀取快取
Geminigemini-3.1-flash-live-preview / gemini/gemini-3.1-flash-live-preview131K$0.75-即時音訊／影片／圖片／文字
Geminigemini/lyria-3-pro-preview、gemini/lyria-3-clip-preview131K--音樂生成預覽
xAIxai/grok-4.20-beta-0309-reasoning2M$2.00$6.00函式呼叫、推理
xAIxai/grok-4.20-beta-0309-non-reasoning2M--函式呼叫
xAIxai/grok-4.20-multi-agent-beta-03092M--多代理程式預覽
OCI GenAIoci/cohere.command-a-reasoning-08-2025、oci/cohere.command-a-vision-07-2025、oci/cohere.command-a-translate-08-2025、oci/cohere.command-r-08-2024、oci/cohere.command-r-plus-08-2024256K$1.56$1.56OCI 上的 Cohere 聊天系列
OCI GenAIoci/meta.llama-3.1-70b-instruct、oci/meta.llama-3.2-11b-vision-instruct、oci/meta.llama-3.3-70b-instruct-fp8-dynamic視情況而定視情況而定視情況而定OCI 上的 Llama 聊天系列
OCI GenAIoci/xai.grok-4-fast、oci/xai.grok-4.1-fast、oci/xai.grok-4.20、oci/xai.grok-4.20-multi-agent、oci/xai.grok-code-fast-1131K$3.00$15.00OCI 上的 Grok 系列
OCI GenAIoci/google.gemini-2.5-pro、oci/google.gemini-2.5-flash、oci/google.gemini-2.5-flash-lite1M+$1.25$10.00OCI 上的 Gemini 系列
OCI GenAIoci/cohere.embed-english-v3.0、oci/cohere.embed-english-light-v3.0、oci/cohere.embed-multilingual-v3.0、oci/cohere.embed-multilingual-light-v3.0、oci/cohere.embed-english-image-v3.0、oci/cohere.embed-english-light-image-v3.0、oci/cohere.embed-multilingual-light-image-v3.0、oci/cohere.embed-v4.0視情況而定視情況而定-OCI 上的 Embeddings
Volcenginevolcengine/doubao-seed-2-0-pro-260215、doubao-seed-2-0-lite-260215、doubao-seed-2-0-mini-260215、doubao-seed-2-0-code-preview-260215256K--Doubao Seed 2.0 系列

功能​

錯誤修正​

LLM API 端點​

功能​

  • Responses API

    • 支援 File Search — 第 1 階段原生轉送與第 2 階段非 OpenAI 模型的模擬備援 - PR #23969
    • Responses API 的提示詞管理支援 - PR #23999
    • 跨模型版本的加密內容 affinity - PR #23854, PR #24110
    • 在 chat completions 中往返 Responses API reasoning_items - PR #24690
    • 為非 OpenAI 模型發出 content_part.added 串流事件 - PR #24445
    • 將 Anthropic 程式碼執行結果顯示為 code_interpreter_call - PR #23784
    • 在路由至 OpenAI Responses API 時保留 Anthropic thinking.summary - PR #21441
    • 自動將 Azure gpt-5.4+ 工具 + reasoning 路由至 Responses API - PR #23926
    • 保留 Azure AI Foundry Agents 回應中的註解 - PR #23939
    • API 參考路徑路由更新 - PR #24155
    • 將 Chat Completion file 類型對應至 Responses API input_file - PR #23618
    • 在 Responses→Completions 轉換中將 file_url 對應為 file_id - PR #24874

  • Batch API

  • Token 計數

    • Bedrock：遵循 api_base 與 aws_bedrock_runtime_endpoint - PR #24199
    • Vertex：Claude 遵循 vertex_count_tokens_location - PR #23907

  • Audio / Transcription API

    • Mistral：在轉錄回應中保留 diarization segments - PR #23925

  • Embeddings API

    • Gemini：將 task_type 轉為 Gemini API 使用的 camelCase taskType - PR #24191

  • Video Generation

    • 全新的可重用影片角色端點（create / edit / extension / get），採 router-first 路由 - PR #23737

  • Search API

    • 支援自架 Firecrawl 回應格式 - PR #24866

  • A2A / MCP Gateway API

    • 為 AgentCore A2A-native agents 保留 JSON-RPC 信封 - PR #25092

  • Pass-Through Endpoints

    • 在 experimental passthrough 中支援 ANTHROPIC_AUTH_TOKEN / ANTHROPIC_BASE_URL 環境變數與自訂 api_base - PR #24140

錯誤​

  • Responses API

    • 在 Responses API 串流備援路徑中使用真正的 request_data - PR #23910
    • 修正 Responses API 成本計算 - PR #24080

  • 穿透式端點

    • 允許非管理員使用者透過驗證存取穿透式子路徑路由 - PR #24079
    • 防止穿透式端點失敗產生重複的回呼記錄 - PR #23509

  • 一般

    • 僅限 Proxy 的失敗呼叫類型處理 - PR #24050
    • 一般 API model-group 記錄修正 - PR #24044

管理端點 / UI​

功能​

  • 虛擬金鑰

  • 團隊 + 組織

    • 在團隊端點與 UI 中解析存取群組 models / MCP servers / agents - PR #25027, PR #25119
    • 允許從團隊設定變更團隊組織 - PR #25095
    • 團隊編輯 / 資訊檢視中的每個 model 速率限制 - PR #25144, PR #25156
    • 修正因不支援的 Prisma JSON path 篩選器導致的團隊 model 更新 500 - PR #25152
    • 團隊 model-group 名稱路由修正 - PR #24688
    • 現代化團隊表格 - PR #24189
    • 建立時的團隊成員預算期間 - PR #23484
    • 將缺少的 team_member_budget_duration 參數加入 new_team docstring - PR #24243
    • 修正團隊表格重新整理、無限下拉選單與左側導覽列遷移 - PR #24342

  • 使用量 + 分析

  • 模型 + 提供者

    • 在 UI model 清單中包含存取群組 models - PR #24743
    • 在提供者表單中顯示 Azure Entra ID 認證欄位 - PR #25137
    • 編輯 model 時不要注入 vector_store_ids: [] - PR #25133

  • 防護欄 UI

    • 專案建立 / 編輯流程中的專案層級 guardrails - PR #25100
    • Proxy 中的專案層級 guardrails 支援 - PR #25087
    • 允許從 UI 新增團隊 guardrails - PR #25038

  • MCP 工具集 UI

    • 為具範圍權限的策展 MCP tool 子集新增 Toolsets 分頁 - PR #25155

  • 驗證 / SSO

  • UI 清理 / 遷移

    • 將 Tremor Text/Badge 遷移到 antd Tag 與原生 spans - PR #24750
    • 將預設使用者設定遷移到 antd - PR #23787
    • 將 route preview 從 Tremor 遷移到 antd - PR #24485
    • 將 antd message 遷移到 context API - PR #24192
    • 擷取 useChatHistory hook - PR #24172
    • 左側導覽外部圖示 - PR #24069
    • UI 的 Vitest 覆蓋率 - PR #24144

錯誤​

AI 整合​

記錄​

  • Langfuse

  • Prometheus

  • 一般

    • 透過單一更新函式集中管理 logging kwarg 更新 - PR #23659
    • 修正 customLogger 未初始化時失敗回呼被靜默略過 - PR #24826
    • 消除串流 guardrail_information 記錄中的競態條件 - PR #24592
    • 在失敗請求支出記錄中使用實際的 start_time - PR #24906
    • 強化認證去識別化，並停止記錄原始敏感驗證值 - PR #25151, PR #24305
    • 依 user_id 篩選中繼資料 - PR #24661
    • 批次指標改進 - PR #24691
    • 在串流中篩選中繼資料隱藏參數 - PR #24220
    • 共用 aiohttp session 自動復原 - PR #23808
    • 延後 guardrail 記錄 v2 - PR #24135

防護欄​

  • 註冊 DynamoAI 防護欄初始化器與列舉項目 - PR #23752
  • 擷取防護欄處理器中的輔助方法以修正 PLR0915 - PR #24802
  • 為防護欄管線失敗新增可選的 on_error 備援 - PR #24831, PR #25150
  • 允許團隊從團隊設定附加／管理自己的防護欄 - PR #25038
  • 在建立／編輯流程中加入專案層級的防護欄設定 - PR #25100
  • 對 Model Armor 串流封鎖回傳 HTTP 400（而非 500）- PR #24693
  • 延遲防護欄記錄 v2 - PR #24135
  • 消除串流 guardrail_information 記錄中的競態條件 - PR #24592
  • 非串流 post-call 的模型層級防護欄 - PR #23774
  • 防護欄 post-call 記錄修正 - PR #23910
  • 缺少防護欄文件 - PR #24083

提示管理​

  • CRUD + UI 流程中的提示（development/staging/production）環境與使用者追蹤 - PR #24855, PR #25110
  • 提示到回應整合 - PR #23999

密鑰管理器​

  • 此版本沒有新增任何密鑰管理器提供者。

支出追蹤、預算與速率限制​

  • 強制執行成本對應表中未直接存在之模型的預算 - PR #24949
  • 團隊設定／資訊 UI 中的每個模型速率限制 - PR #25144, PR #25156
  • Prometheus 組織預算指標 - PR #24449
  • Prometheus 支出中繼資料 - PR #24434
  • 修正未版本化的 Vertex Claude Haiku 定價項目，以避免 $0.00 帳務 - PR #25151
  • 修正預算／支出計數器 - PR #24682
  • 支出記錄中的專案 ID 追蹤 - PR #24432
  • 動態速率限制預先速率限制背景重新整理 - PR #24106
  • Point72 限制變更 - PR #24088
  • 路由器中的模型層級親和性 - PR #24110

MCP 閘道​

  • 引入 MCP Toolsets，包含 DB 類型、CRUD API、範圍化權限與 UI 管理分頁 - PR #25155
  • 在 Responses API 與可串流 MCP 路徑中正確解析 toolset 名稱並強制執行 toolset 存取 - PR #25155
  • 將 toolset 權限快取切換為共享快取路徑，並改善快取失效行為 - PR #25155
  • 允許 JWT 驗證用於 /v1/mcp/server/* 子路徑 - PR #24698, PR #25113
  • 為 MCP SigV4 驗證新增 STS AssumeRole 支援 - PR #25151
  • 標籤查詢修正 + MCP 中繼資料支援 cherry-pick - PR #25145
  • MCP REST M2M OAuth2 流程 - PR #23468
  • 將 MCP SDK 升級至 1.26.0 - PR #24179
  • 還原 schema sync migration 移除的 MCP 伺服器欄位 - PR #24078

效能／負載平衡／可靠性改善​

  • 為多 proxy 工作程序管理新增控制平面 - PR #24217
  • 透過 --enforce_prisma_migration_check 將 DB migration 失敗退出設為可選 - PR #23675
  • 在使用 batch completions 時回傳所選模型（而非以逗號分隔的清單） - PR #24753
  • 修正 Responses 轉換、支出追蹤與 PagerDuty 中的 mypy 型別錯誤 - PR #24803
  • 修正健康檢查篩選器測試導致的路由器程式碼涵蓋率 CI 失敗 - PR #24812
  • 將路由器健康檢查失敗與冷卻行為以及暫時性 429/408 處理整合 - PR #24988, PR #25150
  • 為金鑰輪替工作執行新增分散式鎖定 - PR #23364, PR #23834, PR #25150
  • 透過決定性分組、隔離修正、過時別名控制與依順序備援來提升團隊路由可靠性 - PR #25148, PR #25154
  • 每次非同步 Redis 叢集連線重新產生 GCP IAM token（修正 token TTL 失敗） - PR #24426, PR #25155
  • 以有界佇列使用強化 proxy 伺服器可靠性 - PR #25155
  • 啟動時自動 schema sync - PR #24705
  • 重新連線時終止孤兒 Prisma 引擎 - PR #24149
  • 使用動態 DB URL - PR #24827
  • migration 修正 - PR #24105

文件更新​

基礎架構／安全性備註​

新貢獻者​

完整變更記錄：https://github.com/BerriAI/litellm/compare/v1.82.3-stable...v1.83.3-stable

04/04/2026​

  • 新模型 / 已更新模型：59
  • LLM API 端點：28
  • 管理端點 / UI：61
  • 記錄 / 防護欄 / 提示詞管理整合：30
  • 支出追蹤、預算與速率限制：11
  • MCP Gateway：8
  • 效能 / 負載平衡 / 可靠性改進：17
  • 文件更新：24
  • 基礎架構 / 安全性：50
🚅
LiteLLM Enterprise
為正式環境打造的 SSO/SAML、稽核記錄、支出追蹤、多團隊管理與防護欄。
深入瞭解 →