跳至主要內容

v1.79.1-stable - 防護欄 Playground

部署此版本​

docker run litellm
docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:v1.79.1-stable

主要亮點​

  • Container API 支援 - 端對端 OpenAI Container API 支援，包含 proxy 整合、記錄與成本追蹤
  • FAL AI 影像生成 - 原生支援 FAL AI 影像生成模型並提供成本追蹤
  • UI 增強 - 防護欄 Playground、快取設定、標籤路由、SSO 設定
  • Batch API 速率限制 - 支援 Batch API 請求的基於輸入的速率限制
  • 向量儲存擴充 - 支援 Milvus 向量儲存與 Azure AI 虛擬索引
  • 記憶體洩漏修正 - 修正了 Python SDK 與 AI Gateway 上 90% 記憶體洩漏的相關問題

依賴項升級​

  • 依賴項
    • Build(deps): 將 starlette 從 0.47.2 升級到 0.49.1 - PR #16027
    • Build(deps): 將 fastapi 從 0.116.1 升級到 0.120.1 - PR #16054
    • Build(deps): 將 /litellm-js/spend-logs 中的 hono 從 4.9.7 升級到 4.10.3 - PR #15915

新模型 / 更新模型​

新模型支援​

提供者模型上下文視窗輸入（$/百萬 tokens）輸出（$/百萬 tokens）功能
Mistralmistral/codestral-embed8K$0.15-嵌入
Mistralmistral/codestral-embed-25058K$0.15-嵌入
Geminigemini/gemini-embedding-0012K$0.15-嵌入
FAL AIfal_ai/fal-ai/flux-pro/v1.1-ultra---影像生成 - $0.0398/image
FAL AIfal_ai/fal-ai/imagen4/preview---影像生成 - $0.0398/image
FAL AIfal_ai/fal-ai/recraft/v3/text-to-image---影像生成 - $0.0398/image
FAL AIfal_ai/fal-ai/stable-diffusion-v35-medium---影像生成 - $0.0398/image
FAL AIfal_ai/bria/text-to-image/3.2---影像生成 - $0.0398/image
OpenAIopenai/sora-2-pro---影片生成 - $0.30/video/second

功能​

  • Anthropic

    • 將 Claude 3-7 Sonnet 的淘汰日期從 2026-02-01 延長至 2026-02-19 - PR #15976
    • 將 Claude Opus 4-0 的淘汰日期從 2025-03-01 延長至 2026-05-01 - PR #15976
    • 移除 Claude Haiku 3-5 的淘汰日期（原為 2025-03-01） - PR #15976
    • 新增 Claude Opus 4-1、Claude Opus 4-0 20250513、Claude Sonnet 4 20250514 的淘汰日期 - PR #15976
    • 新增 Claude Opus 4-1 的網頁搜尋支援 - PR #15976

  • Bedrock

    • 修正 AWS Bedrock Converse API 中空白 assistant 訊息的處理，以避免 400 Bad Request 錯誤 - PR #15850
    • 允許在透過 Bedrock 生成影像時使用 ARN - PR #15789
    • 新增 Bedrock Invoke API 的每個 model group header 轉發 - PR #16042
    • 在健康檢查中保留 Bedrock inference profile IDs - PR #15947
    • 新增在 S3 回傳 generic type 時偵測檔案 content-type 的備援邏輯 - 當搭配 S3 託管檔案使用 Bedrock 時，如果 S3 物件的 Content-Type 未正確設定（例如 binary/octet-stream 而不是 image/png），Bedrock 現在可以正確處理 - PR #15635

  • Azure

    • 新增 Azure OpenAI 模型的淘汰日期（gpt-4o-2024-08-06、gpt-4o-2024-11-20、gpt-4.1 系列、o3-2025-04-16、text-embedding-3-small） - PR #15976
    • 修正 Azure OpenAI ContextWindowExceededError 與 Azure 錯誤的對應 - PR #15981
    • 新增在 Azure API versions 下對 v1 的處理 - PR #15984
    • 修正 azure 不接受額外的 body 參數 - PR #16116

  • OpenAI

    • 新增 gpt-3.5-turbo-1106、gpt-4-0125-preview、gpt-4-1106-preview、o1-mini-2024-09-12 的淘汰日期 - PR #15976
    • 新增延伸的 Sora-2 模態支援（文字 + 影像輸入） - PR #15976
    • 將 OpenAI Sora-2-Pro 定價更新為 $0.30/video/second - PR #15976

  • OpenRouter

    • 新增 OpenRouter 的 Claude Haiku 4.5 定價 - PR #15909
    • 新增含環境變數文件的 base_url 設定 - PR #15946

  • Mistral

    • 新增 codestral-embed-2505 embedding 模型 - PR #16071

  • Gemini (Google AI Studio + Vertex AI)

    • 修正 Gemini 請求在工具使用時的變異 - PR #16002
    • 新增 Google GenAI API 的 gemini-embedding-001 定價項目 - PR #16078
    • 修正 gemini-2.5-pro 模型的 frequency_penalty 與 presence_penalty 問題 - PR #16041

  • DeepInfra

    • 新增 Qwen/Qwen3-chat-32b 模型的視覺支援 - PR #15976

  • Vercel AI Gateway

    • 修正 glm-4.6 的 vercel_ai_gateway 項目（已從 vercel_ai_gateway/glm-4.6 移至 vercel_ai_gateway/zai/glm-4.6） - PR #16084

  • Fireworks

    • 不要為 Fireworks 提供者新增 "accounts/fireworks/models" 前綴 - PR #15938

  • Cohere

    • 新增與 OpenAI 相容的 annotations 支援，用於 Cohere v2 citations - PR #16038

  • Deepgram

    • 在可用時處理 Deepgram 偵測到的語言 - PR #16093

錯誤修正​

新提供者支援​

LLM API 端點​

功能​

  • Container API

    • 新增 LiteLLM SDK 端對端 OpenAI Container API 支援 - PR #16136
    • 新增 container APIs 的 proxy 支援 - PR #16049
    • 新增 Container API 的記錄支援 - PR #16049
    • 新增包含文件的容器成本追蹤支援 - PR #16117

  • Responses API

    • 遵守 Responses API 的 LiteLLM-Disable-Message-Redaction 標頭 - PR #15966
    • 為 responses API 新增 /openai routes（Azure OpenAI SDK 相容性） - PR #15988
    • 在停用訊息記錄時，遮蔽 ResponsesAPI 輸出中的 reasoning summaries - PR #15965
    • 支援對於沒有原生 ResponsesAPIConfig 的提供者，在 Responses API 中使用 text.format 參數 - PR #16023
    • 為 Responses API 新增 LLM 提供者回應標頭 - PR #16091

  • 影片生成 API

    • 為影片端點（非生成）新增 custom_llm_provider 支援 - PR #16121
    • 修正影片文件 - PR #15937
    • 新增影片的 OpenAI 用戶端使用文件，並修正導覽可見性 - PR #15996

  • 審核 API

    • 審核端點現在會遵循 api_base 設定參數 - PR #16087

  • 向量儲存

    • Milvus - 搜尋向量儲存支援 - PR #16035
    • Azure AI 向量儲存 - 支援「虛擬」索引 + 在 passthrough API 上建立向量儲存 - PR #16160

  • Passthrough 端點

    • 支援 passthrough 上的多部分表單資料 - PR #16035

管理端點 / UI​

功能​

  • 虛擬金鑰

    • SSO 設定中的 Proxy Base URL 驗證 - PR #16082
    • 測試金鑰 UI 嵌入支援 - PR #16065
    • 在金鑰設定中新增金鑰類型選擇 - PR #16034
    • 金鑰已存在錯誤通知 - PR #15993

  • 模型 + 端點

    • 在新的 LLM 憑證中，API Base 從選擇改為輸入 - PR #15987
    • 移除 admin UI 數值輸入的限制 - PR #15991
    • 組態模型不應可編輯 - PR #16020
    • 在模型建立時新增標籤 - PR #16138
    • 為更新模型新增標籤 - PR #16140

  • 防護欄

    • 新增套用防護欄測試遊樂場 - PR #16030
    • 組態防護欄不應可編輯，並修正防護欄資訊 - PR #16142

  • 快取設定

    • 允許在 UI 上設定快取設定 - PR #16143

  • 路由

    • 允許設定所有路由策略、UI 上的標籤篩選 - PR #16139

  • 管理員設定

    • 將授權中繼資料新增至 health/readiness 端點 - PR #15997
    • Litellm 後端 SSO 變更 - PR #16029

記錄 / 防護欄 / 提示管理整合​

功能​

  • OpenTelemetry

    • 啟用由外部追蹤器進行的 OpenTelemetry 內容傳播 - PR #15940
    • 確保錯誤資訊會記錄在 OTEL 上 - PR #15978

  • Langfuse

    • 修正 langfuse_otel 中的重複追蹤 - PR #15931
    • 支援與 Langfuse OTEL 整合的工具使用訊息 - PR #15932

  • DataDog

    • 確保 key 的中繼資料 + 防護欄會記錄在 DD 上 - PR #15980

  • Opik

    • 改進從 API key 驗證擷取請求者中繼資料 - PR #15897
    • 使用者驗證金鑰中繼資料文件 - PR #16004

  • SQS

    • 為 SQS Logger 新增 Base64 處理 - PR #16028

  • 一般

    • 修正：從自訂回呼遺漏的使用者 API key、團隊 id 和使用者 id 不會誤觸發 - PR #15982

防護欄​

提示管理​

支出追蹤、預算與速率限制​

  • 成本追蹤

    • 修正 OCR/aOCR 請求的支出追蹤（log pages_processed + recognize OCRResponse）- PR #16070

  • 速率限制

    • 新增對 Batch API 速率限制的支援 - PR1 新增基於輸入的速率限制支援 - PR #16075
    • 處理每個描述元的多種速率限制類型並防止 IndexError - PR #16039

MCP 閘道​

  • OAuth
    • 新增對動態用戶端註冊的支援 - PR #15921
    • 在 OAuth 端點中遵循 X-Forwarded- 標頭 - PR #16036

效能 / 負載平衡 / 可靠性改善​

  • 記憶體洩漏修正

    • 修正：防止 AsyncHTTPHandler 中的 httpx DeprecationWarning 記憶體洩漏 - PR #16024
    • 修正：解決由 Pydantic 2.11+ deprecation warnings 造成的記憶體累積 - PR #16110
    • 修正(apscheduler)：防止由 jitter 與頻繁工作間隔造成的記憶體洩漏 - PR #15846

  • 組態

    • 移除 cache control injection index 的最小驗證 - PR #16149
    • 修正 prompt_caching.md：prompt_tokens 定義錯誤 - PR #16044

文件更新​

  • 提供者文件

    • 在範例中使用 custom-llm-provider 標頭 - PR #16055
    • Litellm 文件 readme 修正 - PR #16107
    • readme 修正新增支援的提供者 - PR #16109

  • 模型參考

    • 在 model_prices_and_context_window.json 中為 qwen-vl 模型新增支援 vision 欄位 - PR #16106

  • 一般文件

新貢獻者​

完整變更紀錄​

在 GitHub 上查看完整變更紀錄

🚅
LiteLLM Enterprise
為正式環境打造的 SSO/SAML、稽核記錄、支出追蹤、多團隊管理與防護欄。
深入瞭解 →