跳至主要內容

v1.79.0-stable - 搜尋 API

部署此版本​

docker run litellm
docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:v1.79.0-stable

重大變更​

  • Cohere models 現在預設會路由至 Cohere v2 API - PR #15722

主要亮點​

  • 搜尋 API - 原生 /v1/search 端點，支援 Perplexity、Tavily、Parallel AI、Exa AI、DataforSEO 和 Google PSE，並具備成本追蹤
  • 向量儲存 - 透過 LiteLLM 將 Vertex AI Search API 整合為向量儲存，並支援 passthrough 端點
  • 防護欄擴充 - 透過統一的 apply_guardrails 函式，將防護欄套用至 Responses API、Image Gen、Text completions、Audio transcriptions、Audio Speech、Rerank 和 Anthropic Messages API
  • 新的防護欄提供者 - 支援 Gray Swan、Dynamo AI、IBM Guardrails、Lasso Security v3 和 Bedrock Guardrail 的 apply_guardrail 端點
  • 影片生成 API - 原生支援 OpenAI Sora-2 和 Azure Sora-2（Pro、Pro-High-Res），並支援成本追蹤與記錄
  • Azure AI Speech (TTS) - 原生 Azure AI Speech 整合，支援標準與 HD 聲音的成本追蹤

新模型 / 更新模型​

新模型支援​

提供者模型上下文視窗輸入（$/100萬 tokens）輸出（$/100萬 tokens）功能
Bedrockanthropic.claude-3-7-sonnet-20240620-v1:0200K$3.60$18.00Chat、reasoning、vision、function calling、prompt caching、computer use
Bedrock GovCloudus-gov-west-1/anthropic.claude-3-7-sonnet-20250219-v1:0200K$3.60$18.00Chat、reasoning、vision、function calling、prompt caching、computer use
Vertex AImistral-medium-3128K$0.40$2.00Chat、function calling、tool choice
Vertex AIcodestral-2128K$0.30$0.90Chat、function calling、tool choice
Bedrockamazon.titan-image-generator-v1---影像生成 - $0.008/影像、$0.01/進階影像
Bedrockamazon.titan-image-generator-v2---影像生成 - $0.008/影像、$0.01/進階影像
OpenAIsora-2---影片生成 - $0.10/影片/秒
Azuresora-2---影片生成 - $0.10/影片/秒
Azuresora-2-pro---影片生成 - $0.30/影片/秒
Azuresora-2-pro-high-res---影片生成 - $0.50/影片/秒

功能​

  • Anthropic

    • 修正 cache_control 錯誤地套用到所有內容項目，而不是只套用到最後一個項目 - PR #15699
    • 將 anthropic-beta 標頭轉送至 Bedrock、VertexAI - PR #15700
    • 變更 max_tokens 值以符合 claude sonnet 的 max_output_tokens - PR #15715

  • Bedrock

    • 新增 AWS us-gov-west-1 Claude 3.7 Sonnet 成本 - PR #15775
    • 修正 govcloud 中 sonnet 3.7 的日期 - PR #15800
    • 在健康檢查中使用正確的 bedrock 模型名稱 - PR #15808
    • 支援 Bedrock Cohere Embed v1 中的 embeddings_by_type 回應格式 - PR #15707
    • 新增 titan 影像生成並支援成本追蹤 - PR #15916

  • Gemini

    • 為 gemini-2.5-flash-image 新增 imageConfig 參數 - PR #15530
    • 取代已棄用的 gemini-1.5-pro-preview-0514 - PR #15852
    • 更新 vertex ai gemini 成本 - PR #15911

  • Ollama

    • 當 reasoning effort 為 minimal/none/disable 時，將 'think' 設為 False - PR #15763
    • 處理解析 ollama chunk 錯誤 - PR #15717

  • Vertex AI

    • 在 vertex 新增 mistral medium 3 和 Codestral 2 - PR #15887

  • Databricks

    • 允許在 Databricks 上將 prompt caching 用於 Anthropic Claude - PR #15801

  • Azure

    • 新增 Azure AVA TTS 整合 - PR #15749
    • 新增 Azure AVA（Speech AI）成本追蹤 - PR #15754
    • Azure AI Speech - 確保 voice 從 request body 對應至 SSML body，允許傳送 role 和 style - PR #15810
    • 新增 Azure 對影片生成功能（Sora-2）的支援 - PR #15901

  • OpenAI

  • 一般

    • 從 custom-llm-provider 標頭讀取 - PR #15528

LLM API 端點​

功能​

  • Responses API

    • 為 response 端點新增 gpt 4.1 定價 - PR #15593
    • 修正 gemini 的 responses api 中不正確的 status 值 - PR #15753
    • 簡化 gpt-5-codex 的 reasoning item 處理 - PR #15815
    • 當 OpenAI Responses API 回傳巢狀錯誤結構時出現 ErrorEvent ValidationError - PR #15804
    • 修正 reasoning item ID 自動生成導致加密內容驗證錯誤 - PR #15782
    • 支援 metadata 中的 tags - PR #15867
    • 安全性：防止 User A 在 response.id 外洩時擷取 User B 的 response - PR #15757

  • Batch API

    • 為 list batches 新增前置與後置呼叫 - PR #15673
    • 新增負責呼叫 precall 的函式 - PR #15636
    • 修正「User default_user_id does not have access to the object」在物件不在 db 中時的問題 - PR #15873

  • OCR API

    • 將 Azure AI - OCR 新增至文件 - PR #15768
    • 為 OCR 模型新增 mode + 健康檢查支援 - PR #15767

  • Search API

    • 為 Web Search - Perplexity API 新增 def search() APIs - PR #15769
    • 新增 Tavily Search API - PR #15770
    • 新增 Parallel AI - Search API - PR #15772
    • 將 EXA AI Search API 新增至 LiteLLM - PR #15774
    • 在 LiteLLM Gateway 新增 /search 端點 - PR #15780
    • 新增 DataforSEO Search API - PR #15817
    • 新增 Google PSE Search Provider - PR #15816
    • 為 Search API 請求新增成本追蹤 - Google PSE、Tavily、Parallel AI、Exa AI - PR #15821
    • 後端：允許將已設定的 Search API 儲存在 DB 中 - PR #15862
    • Exa Search API - 確保請求參數傳送至 Exa AI - PR #15855

  • 向量儲存

    • 透過 LiteLLM 支援 Vertex AI Search API 作為向量儲存 - PR #15781
    • Azure AI - Search 向量儲存 - PR #15873
    • VertexAI Search 向量儲存 - 支援 passthrough endpoint + 向量儲存搜尋成本追蹤支援 - PR #15824
    • 如果 managed object 找不到，不要拋出錯誤 - PR #15873
    • 在 UI 顯示 config.yaml 向量儲存 - PR #15873
    • 搜尋支出成本追蹤 - PR #15859

  • Images API

    • 將使用者定義的 headers 和 extra_headers 傳遞給 image-edit 呼叫 - PR #15811

  • Video Generation API

    • 新增 Azure 對影片生成功能的支援（Sora-2、Sora-2-Pro、Sora-2-Pro-High-Res） - PR #15901
    • OpenAI 影片生成重構（Sora-2） - PR #15900

  • Bedrock /invoke

    • 修正：由於缺少 metadata，/bedrock passthrough 的 Hooks 無法運作 - PR #15849

  • Realtime API

    • 修正：OpenAI Realtime API 整合因 websockets.exceptions.PayloadTooBig 錯誤而失敗 - PR #15751

管理端點 / UI​

功能​

  • 直接轉送

    • 在 UI 上為 passthrough endpoints 設定驗證 - PR #15778
    • 修正 pass-through endpoint 預算強制執行錯誤 - PR #15805

  • 組織

    • 允許 org admins 在 UI 上建立 teams - PR #15924

  • 搜尋工具

    • UI - Search Tools，允許在 UI 上新增 search tools + 測試搜尋 - PR #15871
    • UI - 新增搜尋提供者的 logos - PR #15872

  • 一般

    • 修正自訂 server root path 的路由 - PR #15701

記錄 / 防護欄 / 提示管理整合​

功能​

  • OpenTelemetry

    • 修正 OpenTelemetry 記錄功能 - PR #15645
    • 修正 headers 未正確分割的問題 - PR #15916

  • Sentry

    • 為 Sentry 整合新增 SENTRY_ENVIRONMENT 設定 - PR #15760

  • Helicone

    • 透過從 metadata 移除 OpenTelemetry span，修正 Helicone 記錄中的 JSON 序列化錯誤 - PR #15728

  • MLFlow

    • 修正 MLFlow tags - 若 request_tag 含有冒號，將 request_tags 拆分為 (key, val) - PR #15914

  • 一般

    • 將 configured_cold_storage_logger 重新命名為 cold_storage_custom_logger - PR #15798

防護欄​

支出追蹤、預算與速率限制​

  • 速率限制
    • 在 priority_reservation 中支援絕對 RPM/TPM - PR #15813
    • 組織層級 tpm/rpm 限制 + 指派到組織時的 Team tpm/rpm 驗證 - PR #15549

MCP 閘道​

  • OAuth
    • MCP Tool Call 的驗證標頭修正 - PR #15736
    • 在 OAuth 授權端點新增 response_type + PKCE 參數 - PR #15720

效能 / 負載平衡 / 可靠性改進​

  • 資料庫

    • 將 deadlocks 的發生率降到最低 - PR #15281

  • Redis

    • 將 max_connections 設定套用到 Redis async client - PR #15797

  • 快取

    • 新增 enable_caching_on_provider_specific_optional_params 設定的文件 - PR #15885

文件更新​

  • Provider 文件
    • 更新 worker 建議 - PR #15702
    • 修正 json mode 文件中的錯誤 request body - PR #15729
    • 在文件中新增細節 - PR #15721
    • 在 openai 文件中新增 responses api - PR #15866
    • 新增 OpenAI responses api - PR #15868

新貢獻者​

PR 數量摘要​

10/26/2025​

  • 新模型 / 更新模型：20
  • LLM API 端點：29
  • 管理端點 / UI：5
  • 記錄 / 防護欄 / 提示管理整合：10
  • 支出追蹤、預算與速率限制：2
  • MCP Gateway：2
  • 效能 / 負載平衡 / 可靠性改進：3
  • 文件更新：5

完整變更記錄​

在 GitHub 上查看完整變更記錄

🚅
LiteLLM Enterprise
為正式環境打造的 SSO/SAML、稽核記錄、支出追蹤、多團隊管理與防護欄。
深入瞭解 →