v1.75.8-stable - Team Member Rate Limits

部署此版本

Docker

docker run litellm

docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:v1.75.8-stable

Pip

pip install litellm

pip install litellm==1.75.8

---

主要重點

• 團隊成員速率限制 - 為團隊成員提供個別速率限制，並支援 JWT 驗證。
• 效能改進 - 新的實驗性 HTTP 處理器旗標，可讓 OpenAI 請求提升 100+ RPS。
• GPT-5 模型系列支援 - 完整支援 OpenAI 的 GPT-5 模型，具備 reasoning_effort 參數與 Azure OpenAI 整合。
• Azure AI Flux 圖像生成 - 支援 Azure AI 的 Flux 圖像生成模型。

---

團隊成員速率限制

LiteLLM MCP 架構：在所有 LiteLLM 支援的模型中使用 MCP 工具

此版本新增了為團隊中的個別成員（包含機器使用者）設定速率限制的支援。團隊現在可以為每個代理程式設定各自的速率限制——如此一來，高流量代理程式就不會影響其他代理程式或人類使用者。

代理程式可以使用 JWT 和與人類使用者相同的團隊角色向 LiteLLM 驗證，同時仍會強制執行每個代理程式的速率限制。

新模型 / 更新模型

新模型支援

提供者	模型	上下文視窗	輸入（$/百萬 tokens）	輸出（$/百萬 tokens）	功能
Azure AI	azure_ai/FLUX-1.1-pro	-	-	$40/image	圖像生成
Azure AI	azure_ai/FLUX.1-Kontext-pro	-	-	$40/image	圖像生成
Vertex AI	vertex_ai/deepseek-ai/deepseek-r1-0528-maas	65k	$1.35	$5.4	聊天完成 + 推理
OpenRouter	openrouter/deepseek/deepseek-chat-v3-0324	65k	$0.14	$0.28	聊天完成

功能

• OpenAI
  • 新增 reasoning_effort 參數支援，適用於 GPT-5 模型系列 - PR #13475, 開始使用
  • 支援 Responses API 中的 reasoning 參數 - PR #13475, 開始使用
• Azure OpenAI
  • GPT-5 支援，含 max_tokens 與 reasoning 參數 - PR #13510, 開始使用
• AWS Bedrock
  • 支援 bedrock gpt-oss 模型系列的串流 - PR #13346, 開始使用
  • /messages 端點與 bedrock/converse/<model> 相容 - PR #13627
  • 支援 assistant 和 tool 訊息的快取點 - PR #13640
• Azure AI
  • 新的 Azure AI Flux 圖像生成提供者 - PR #13592, 開始使用
  • 修正圖像生成的 Content-Type 標頭 - PR #13584
• CometAPI
  • 新提供者支援聊天完成與串流 - PR #13458
• SambaNova
  • 新增 embedding 模型支援 - PR #13308, 開始使用
• Vertex AI
  • 新增 /countTokens 端點支援，用於 Gemini CLI 整合 - PR #13545
  • VertexAI 模型支援 token counter - PR #13558
• hosted_vllm
  • 新增 reasoning_effort 參數支援 - PR #13620, 開始使用

錯誤修正

• OCI
  • 修正串流問題 - PR #13437
• Ollama
  • 修正帶有 'thinking' 欄位的 GPT-OSS 串流 - PR #13375
• VolcEngine
  • 修正 thinking disabled 參數處理 - PR #13598
• 串流
  • 一致的 'finish_reason' 區塊索引 - PR #13560

---

LLM API 端點

功能

• /messages
  • 對非 anthropic 模型正確回傳 tool use 參數 - PR #13638

錯誤修正

• 即時 API
  • 修正無 intent 情境的端點 - PR #13476
• Responses API
  • 修正 Responses API 的 stream=True + background=True - PR #13654

---

MCP 閘道

功能

• 存取控制與設定
  • 強化 MCPServerManager，支援存取群組與描述 - PR #13549

錯誤修正

• 驗證
  • 修正 MCP gateway key 驗證 - PR #13630

閱讀更多

---

管理端點 / UI

功能

• 團隊管理
  • Team Member Rate Limits 實作 - PR #13601
  • 支援團隊成員速率限制的 JWT 驗證 - PR #13601
  • 在 UI 中顯示團隊成員 TPM/RPM 限制 - PR #13662
  • 允許編輯團隊成員 RPM/TPM 限制 - PR #13669
  • 允許在 Teams Settings 中取消設定 TPM 和 RPM - PR #13430
  • Team Member Permissions 頁面的存取欄位變更 - PR #13145
• 金鑰管理
  • 在 UI Keys 頁面顯示後端錯誤 - PR #13435
  • 新增刪除金鑰前的確認對話框 - PR #13655
  • LiteLLM SDK 到 Proxy 通訊支援 user 參數 - PR #13555
• UI 改進
  • 修正內部使用者表格溢出 - PR #12736
  • 以大數字的簡寫標記強化圖表可讀性 - PR #12370
  • 修正 LiteLLM 模型顯示中的圖像溢出 - PR #13639
  • 移除含糊不清的網路回應錯誤 - PR #13582
• 憑證
  • 新增 CredentialDeleteModal 元件並與 CredentialsPanel 整合 - PR #13550
• 管理員與權限
  • 允許管理員檢視者的路由 - PR #13588

錯誤修正

• SCIM 整合
  • 修正 SCIM Team Memberships 中繼資料處理 - PR #13553
• 驗證
  • 修正不正確的 key info 端點 - PR #13633

---

記錄 / 防護欄整合

功能

• Langfuse OTEL
  • 為 Langfuse OTEL Logger 新增 key/team 記錄 - PR #13512
  • 修正 LangfuseOtelSpanAttributes 常數以符合預期值 - PR #13659
• MLflow
  • 更新 MLflow logger usage span attributes - PR #13561

錯誤

• 安全性
  • 隱藏 /model/info 中的敏感資料 - azure entra client_secret - PR #13577
  • 修正 trivy/secrets 的誤判 - PR #13631

---

效能 / 負載平衡 / 可靠性改善

功能

• HTTP 效能
  • 新增 'EXPERIMENTAL_OPENAI_BASE_LLM_HTTP_HANDLER' 旗標，可使 OpenAI 請求提升 +100 RPS - PR #13625
• 資料庫監控
  • 將 DB 指標新增至 Prometheus - PR #13626
• 錯誤處理
  • 新增安全的除以 0 保護以避免當機 - PR #13624

錯誤

• 相依性
  • 將 boto3 更新至 1.36.0，並將 aioboto3 更新至 13.4.0 - PR #13665

---

一般 Proxy 改善

功能

• 資料庫
  • 移除多餘的 use_prisma_migrate 旗標 - 現在為預設值 - PR #13555
• LLM 翻譯
  • 新增模型 ID 檢查 - PR #13507
  • 重構 Anthropic 設定並新增對 anthropic_beta 標頭的支援 - PR #13590

---

新貢獻者

• @TensorNull 首次貢獻於 PR #13458
• @MajorD00m 首次貢獻於 PR #13577
• @VerunicaM 首次貢獻於 PR #13584
• @huangyafei 首次貢獻於 PR #13607
• @TomeHirata 首次貢獻於 PR #13561
• @willfinnigan 首次貢獻於 PR #13659
• @dcbark01 首次貢獻於 PR #13633
• @javacruft 首次貢獻於 PR #13631

---

完整變更記錄