跳至主要內容

v1.74.7-stable

部署此版本​

docker run litellm
docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:v1.74.7-stable.patch.1

主要亮點​

  • 向量儲存 - 支援 Vertex RAG Engine、PG Vector、OpenAI 與 Azure OpenAI Vector Stores。
  • 大量編輯使用者 - 在 UI 上大量編輯使用者。
  • 健康檢查改進 - 避免在高流量期間不必要的 pod 重新啟動。
  • 新的 LLM 提供者 - 新增 Moonshot AI 與 Vercel v0 提供者支援。

向量儲存 API​

此版本新增支援可將 VertexAI RAG Engine、PG Vector、Bedrock Knowledge Bases 與 OpenAI Vector Stores 與 LiteLLM 搭配使用。

這非常適合需要搭配 LLM 使用外部知識來源的使用案例。

這為 LiteLLM 使用者帶來以下優點：

Proxy 管理員優點：

  • 細粒度存取控制：決定哪些 Keys 與 Teams 可以存取特定的 Vector Stores
  • 跨所有向量儲存作業的完整使用追蹤與監控

開發者優點：

  • 用於查詢向量儲存並將其與 LLM API 請求搭配使用的簡單、統一介面
  • 在所有受支援的向量儲存提供者之間提供一致的 API 體驗

開始使用

大量編輯使用者​

v1.74.7-stable 在 UI 中引入大量編輯使用者。這對以下情境很有用：

  • 將所有現有使用者授予預設團隊（對於控管存取權／依團隊追蹤支出很有用）
  • 控管現有使用者的個人模型存取權

閱讀更多

健康檢查伺服器​

此版本帶來可靠性改進，可避免在高流量期間不必要的 pod 重新啟動。先前，當主要 LiteLLM 應用程式忙於處理流量時，即使 pod 狀態正常，健康端點仍會逾時。

從此版本開始，您可以在具備專用埠的隔離程序上執行健康端點。這可確保即使主要 LiteLLM 應用程式處於高負載狀態，存活與就緒探測仍能保持回應。

閱讀更多

新模型／更新模型​

定價／上下文視窗更新​

提供者模型上下文視窗輸入（$/100 萬 tokens）輸出（$/100 萬 tokens）
Azure AIazure_ai/grok-3131k$3.30$16.50
Azure AIazure_ai/global/grok-3131k$3.00$15.00
Azure AIazure_ai/global/grok-3-mini131k$0.25$1.27
Azure AIazure_ai/grok-3-mini131k$0.275$1.38
Azure AIazure_ai/jais-30b-chat8k$3200$9710
Groqgroq/moonshotai-kimi-k2-instruct131k$1.00$3.00
AI21jamba-large-1.7256k$2.00$8.00
AI21jamba-mini-1.7256k$0.20$0.40
Together.aitogether_ai/moonshotai/Kimi-K2-Instruct131k$1.00$3.00
v0v0/v0-1.0-md128k$3.00$15.00
v0v0/v0-1.5-md128k$3.00$15.00
v0v0/v0-1.5-lg512k$15.00$75.00
Moonshotmoonshot/moonshot-v1-8k8k$0.20$2.00
Moonshotmoonshot/moonshot-v1-32k32k$1.00$3.00
Moonshotmoonshot/moonshot-v1-128k131k$2.00$5.00
Moonshotmoonshot/moonshot-v1-auto131k$2.00$5.00
Moonshotmoonshot/kimi-k2-0711-preview131k$0.60$2.50
Moonshotmoonshot/moonshot-v1-32k-043032k$1.00$3.00
Moonshotmoonshot/moonshot-v1-128k-0430131k$2.00$5.00
Moonshotmoonshot/moonshot-v1-8k-04308k$0.20$2.00
Moonshotmoonshot/kimi-latest131k$2.00$5.00
Moonshotmoonshot/kimi-latest-8k8k$0.20$2.00
Moonshotmoonshot/kimi-latest-32k32k$1.00$3.00
Moonshotmoonshot/kimi-latest-128k131k$2.00$5.00
Moonshotmoonshot/kimi-thinking-preview131k$30.00$30.00
Moonshotmoonshot/moonshot-v1-8k-vision-preview8k$0.20$2.00
Moonshotmoonshot/moonshot-v1-32k-vision-preview32k$1.00$3.00
Moonshotmoonshot/moonshot-v1-128k-vision-preview131k$2.00$5.00

功能​

錯誤​

LLM API 端點​

功能​

錯誤​

MCP Gateway​

功能​

  • 存取群組
    • 允許透過 litellm proxy config.yaml 新增 MCP access groups - PR #12654
    • 從 key 的存取清單列出工具 - PR #12657
  • 命名空間
    • 以 URL 為基礎的命名空間，以更好地區隔 - PR #12658
    • 讓 MCP_TOOL_PREFIX_SEPARATOR 可從 env 設定 - PR #12603
  • 閘道功能
    • 在使用 /responses 時，允許 MCP 與所有 LLM APIs（VertexAI、Gemini、Groq 等）搭配使用 - PR #12546

錯誤​

  • 修正更新 key/team 時更新物件權限 - PR #12701
  • 在 proxy 的可用路由清單中包含 /mcp - PR #12612

管理端點 / UI​

功能​

  • 金鑰
    • 改進重新產生 Key 狀態管理 - PR #12729
  • 模型
    • 萬用字元模型篩選支援 - PR #12597
    • 修正 UI 上處理僅團隊模型的問題 - PR #12632
  • 用量頁面
    • 修正 Spend per Tag 圖表上 Y 軸標籤重疊 - PR #12754
  • 團隊
    • 允許設定自訂 key 期間 + 顯示 key 建立統計資料 - PR #12722
    • 讓團隊管理員可更新成員角色 - PR #12629
  • 使用者
    • 新的 /user/bulk_update 端點 - PR #12720
  • 記錄頁面
    • 在 UI Logs Page 新增 end_user 篩選器 - PR #12663
  • MCP 伺服器
  • 向量儲存庫
    • UI 支援點選進入 Vector Stores - PR #12741
    • 允許透過 UI 新增 Vertex RAG Engine、OpenAI、Azure - PR #12752
  • 一般
    • 為所有 ID（Key、Team、Organization、MCP Server）新增點擊即複製 - PR #12615
  • SCIM
    • 新增 GET /ServiceProviderConfig 端點 - PR #12664

錯誤​

  • 團隊
    • 建立新 team 時，確保正確加入 user id - PR #12719
    • 修正 UI 上處理僅團隊模型的問題 - PR #12632

記錄 / 防護欄整合​

功能​

錯誤​

效能 / 負載平衡 / 可靠性改進​

功能​

  • 健康檢查
    • 為 liveness probes 分離的 health app - PR #12669
    • 位於獨立連接埠的 health check app - PR #12718
  • 快取
  • 路由器
    • 在 lowest_latency 策略中處理 completion tokens 為零時的 ZeroDivisionError - PR #12734

錯誤​

  • 資料庫
    • 對 managed object table 使用 upsert，以避免 UniqueViolationError - PR #11795
    • 重構以支援 helm hook 的 use_prisma_migrate - PR #12600
  • 快取
    • 修正：embedding response models 的 redis 快取 - PR #12750

Helm Chart​

  • DB Migration Hook：重構以支援 use_prisma_migrate - for helm hook PR
  • 在 Helm migrations job 中新增 envVars 與 extraEnvVars 支援 - PR #12591

一般 Proxy 改進​

功能​

  • 控制平面 + 資料平面架構
    • Control Plane + Data Plane 支援 - PR #12601
  • Proxy CLI
    • 在 CLI 新增 "keys import" 命令 - PR #12620
  • Swagger 文件
    • 為 LiteLLM /chat/completions、/embeddings、/responses 新增 swagger 文件 - PR #12618
  • 相依套件
    • 將 rich 版本從 ==13.7.1 放寬為 >=13.7.1 - PR #12704

錯誤​

  • 預設啟用 verbose log 的修正 - PR #12596

  • 新增在 request body 中停用 callbacks 的支援 - PR #12762

  • 處理 spend tracking metadata JSON 序列化中的循環參照 - PR #12643

新貢獻者​

完整變更記錄​

🚅
LiteLLM Enterprise
為正式環境打造的 SSO/SAML、稽核記錄、支出追蹤、多團隊管理與防護欄。
深入瞭解 →