LiteLLM 正在遷移至 Rust 🦀閱讀最新進度更新。›

v1.72.0-stable

部署此版本

Docker

docker run litellm

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
docker.litellm.ai/berriai/litellm:main-v1.72.0-stable

Pip

pip install litellm

pip install litellm==1.72.0

主要亮點

LiteLLM v1.72.0-stable.rc 現已上線。以下是此版本的主要亮點：

• Vector Store 權限：在 Key、Team 與 Organization 層級控管 Vector Store 存取。
• 支援 Rate Limiting Sliding Window：透過跨分鐘的請求追蹤，提升 Key/Team/User rate limits 的準確度。
• 預設使用 Aiohttp Transport：Aiohttp transport 現在是 LiteLLM 網路請求的預設 transport。這可讓每個 instance 的 RPS 提升 2 倍，且 median latency 額外增加 40ms。
• Bedrock Agents：使用 /chat/completions、/response endpoints 呼叫 Bedrock Agents。
• Anthropic File API：透過 LiteLLM，使用 Claude-4 在 Anthropic 上上傳並分析 CSV 檔案。
• Prometheus：預設情況下，end users（end_user）將不再被追蹤。現在在 Prometheus 上追蹤 end_users 改為 opt-in。這樣做是為了避免來自 /metrics 的回應變得過大。閱讀更多

---

Vector Store 權限

此版本新增支援在 LiteLLM 上依 Keys、Teams、Organizations（實體）管理 vector stores 的權限。當請求嘗試查詢 vector store 時，若請求實體缺少適當權限，LiteLLM 會將其阻擋。

這非常適合需要存取受限資料、且不希望所有人都能使用的情境。

接下來一週，我們計劃為 MCP Servers 新增權限管理。

---

預設使用 Aiohttp Transport

Aiohttp transport 現在是 LiteLLM 網路請求的預設 transport。這可讓每個 instance 的 RPS 提升 2 倍，且 median latency 額外增加 40ms。這已在 LiteLLM Cloud 上上線一週，並經過 alpha users 一週的測試。

如果您遇到任何問題，可以透過以下方式停用 aiohttp transport：

在 LiteLLM Proxy 上

在環境變數中設定 DISABLE_AIOHTTP_TRANSPORT=True。

Environment Variable

export DISABLE_AIOHTTP_TRANSPORT="True"

在 LiteLLM Python SDK 上

設定 disable_aiohttp_transport=True 以停用 aiohttp transport。

Python SDK

import litellm

litellm.disable_aiohttp_transport = True # default is False, enable this to disable aiohttp transport
result = litellm.completion(
    model="openai/gpt-4o",
    messages=[{"role": "user", "content": "Hello, world!"}],
)
print(result)

---

新模型 / 更新模型

• Bedrock
  • 支援 Bedrock Converse 的影片功能 - PR
  • 將 InvokeAgents 支援作為 /chat/completions 路由 - PR, 開始使用
  • AI21 Jamba 模型相容性修正 - PR
  • 修正 Claude with thinking 的重複 maxTokens 參數 - PR
• Gemini（Google AI Studio + Vertex AI）
  • 使用 parallel_tool_calls 參數支援平行工具呼叫 - PR
  • 所有 Gemini 模型現在都支援平行 function calling - PR
• VertexAI
  • codeExecution 工具支援與 anyOf 處理 - PR
  • Vertex AI Anthropic 支援 /v1/messages - PR
  • Thinking、global regions 與平行工具呼叫改進 - PR
  • Web Search 支援 PR
• Anthropic
  • 支援串流中的 Thinking blocks - PR
  • 在 passthrough 上支援 form-data 的 Files API - PR
  • 支援 /chat/completion 的 File ID - PR
• xAI
  • Web Search 支援 PR
• Google AI Studio
  • Web Search 支援 PR
• Mistral
  • 更新 mistral-medium 價格與 context sizes - PR
• Ollama
  • 串流中的工具呼叫解析 - PR
• Cohere
  • 對調 Cohere 與 Cohere Chat provider 的位置 - PR
• Nebius AI Studio
  • 新的 provider 整合 - PR

LLM API 端點

• Image Edits API
  • Azure 支援 /v1/images/edits - PR
  • image edits endpoint 的成本追蹤（OpenAI、Azure）- PR
• Completions API
  • /v1/completions 上的 Codestral latency overhead 追蹤 - PR
• Audio Transcriptions API
  • 無日期的 GPT-4o mini audio preview 定價 - PR
  • 音訊轉錄支援非預設參數 - PR
• Responses API
  • 使用 Non-OpenAI models 的 session 管理修正 - PR

管理端點 / UI

• 向量儲存
  • LiteLLM Keys、Teams 與 Organizations 的權限管理 - PR
  • Vector store 權限的 UI 顯示 - PR
  • Vector store 存取控制強制執行 - PR
  • Object permissions 修正與 QA 改進 - PR
• 團隊
  • 未選擇 models 時顯示「All proxy models」- PR
  • 移除多餘的 teamInfo 呼叫，改用既有的 teamsList - PR
  • 改進 Keys、Teams 與 Org 頁面的 model tags 顯示 - PR
• SSO/SCIM
  • UI 顯示 SCIM token 的錯誤修正 - PR
• 一般 UI
  • 修正「UI Session Expired. Logging out」- PR
  • 支援將 /sso/key/generate 轉送至 server root path URL - PR

Logging / Guardrails 整合

記錄

• Prometheus
  • 預設情況下，end users 將不再在 Prometheus 上被追蹤。現在在 prometheus 上追蹤 end_users 改為 opt-in。 PR
• Langfuse
  • 效能改進：修正「Max langfuse clients reached」問題 - PR
• Helicone
  • 支援 Base URL - PR
• Sentry
  • 新增 sentry sample rate 設定 - PR

防護欄

• Bedrock Guardrails
  • 支援 bedrock post guard 的串流 - PR
  • Auth 參數持久化修正 - PR
• Pangea Guardrails
  • 在 Guardrails hook 中新增 Pangea provider - PR

效能 / 可靠性改進

• aiohttp Transport
  • 處理 aiohttp.ClientPayloadError - PR
  • SSL 驗證設定支援 - PR
  • 為了穩定性回退至 httpx==0.27.0 - PR
• 請求限制
  • 平行請求限制器 v2 的 sliding window 邏輯 - PR

錯誤修正

• LLM API 修正
  • 在 get_available_deployment 呼叫中新增缺少的 request_kwargs - PR
  • 修正呼叫 Azure O-series models - PR
  • 支援透過 additional_drop_params 捨棄非 OpenAI 參數 - PR
  • 修正 frequency_penalty 到 repeat_penalty 參數對應 - PR
  • 修正字串輸入的 embedding 快取命中 - PR
• 一般
  • OIDC 提供者改善與 audience 錯誤修正 - PR
  • 移除 AZURE_CREDENTIAL 上的 AzureCredentialType 限制 - PR
  • 防止敏感金鑰外洩至 Langfuse - PR
  • 修正 healthcheck 測試在 curl 未包含於映像檔時仍使用 curl 的問題 - PR

新貢獻者

• @agajdosi 在 #9737 完成首次貢獻
• @ketangangal 在 #11161 完成首次貢獻
• @Aktsvigun 在 #11143 完成首次貢獻
• @ryanmeans 在 #10775 完成首次貢獻
• @nikoizs 在 #10054 完成首次貢獻
• @Nitro963 在 #11202 完成首次貢獻
• @Jacobh2 在 #11207 完成首次貢獻
• @regismesquita 在 #10729 完成首次貢獻
• @Vinnie-Singleton-NN 在 #10283 完成首次貢獻
• @trashhalo 在 #11219 完成首次貢獻
• @VigneshwarRajasekaran 在 #11223 完成首次貢獻
• @AnilAren 在 #11233 完成首次貢獻
• @fadil4u 在 #11242 完成首次貢獻
• @whitfin 在 #11279 完成首次貢獻
• @hcoona 在 #11272 完成首次貢獻
• @keyute 在 #11173 完成首次貢獻
• @emmanuel-ferdman 在 #11230 完成首次貢獻

示範執行個體

這裡有一個可用來測試變更的示範執行個體：

• 執行個體：https://demo.litellm.ai/
• 登入憑證：
  • 使用者名稱：admin
  • 密碼：sk-<your-master-key>

Git Diff