跳至主要內容

[Preview] v1.80.10.rc.1 - Agent Gateway: Azure Foundry & Bedrock AgentCore

部署此版本​

docker run litellm
docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:v1.80.10.rc.1

重點摘要​

Agent 閘道 - 4 個新的 Agent 提供者​


此版本新增對下列提供者的 agents 支援：

  • LangGraph Agents - 部署與管理以 LangGraph 為基礎的 agents
  • Azure AI Foundry Agents - Azure 上的企業 agent 部署
  • Bedrock AgentCore - AWS Bedrock agent 整合
  • A2A Agents - 支援 Agent-to-Agent 協定

AI Gateway 管理員現在可以從這些提供者中新增 agents，開發者則可透過使用 A2A 協定的統一介面來呼叫它們。

對於所有透過 AI Gateway 執行的 agent 請求，LiteLLM 會自動追蹤請求/回應記錄、成本與 token 用量。

Agent (A2A) 用量 UI​

使用者現在可以依 agent 篩選用量統計，提供與團隊、組織和客戶相同的細緻篩選功能。

詳細資訊：

  • 依 agent ID 篩選用量分析、支出記錄與活動指標
  • 以每個 agent 為基礎查看明細
  • 在所有用量與分析檢視中提供一致的篩選體驗

新的提供者與端點​

新的提供者（5 個新提供者）​

提供者支援的 LiteLLM 端點說明
SAP Gen AI Hub/chat/completions, /messages, /responses企業 AI 的 SAP Generative AI Hub 整合
LangGraph/chat/completions, /messages, /responses, /a2a用於 agentic 工作流程的 LangGraph agents
Azure AI Foundry Agents/chat/completions, /messages, /responses, /a2a用於企業 agent 部署的 Azure AI Foundry Agents
Voyage AI Rerank/rerankVoyage AI rerank 模型支援
Fireworks AI Rerank/rerankFireworks AI rerank 端點支援

新的 LLM API 端點（4 個新端點）​

端點方法說明文件
/containers/{id}/filesGET列出容器中的檔案文件
/containers/{id}/files/{file_id}GET取得容器檔案中繼資料文件
/containers/{id}/files/{file_id}DELETE從容器中刪除檔案文件
/containers/{id}/files/{file_id}/contentGET取得容器檔案內容文件

新模型 / 更新模型​

新模型支援（270+ 個新模型）​

提供者模型上下文視窗輸入 ($/1M tokens)輸出 ($/1M tokens)功能
OpenAIgpt-5.2400K$1.75$14.00推理、vision、PDF、快取
OpenAIgpt-5.2-pro400K$21.00$168.00推理、web search、vision
Azureazure/gpt-5.2400K$1.75$14.00推理、vision、PDF、快取
Azureazure/gpt-5.2-pro400K$21.00$168.00推理、web search
Bedrockus.writer.palmyra-x4-v1:0128K$2.50$10.00函式呼叫、PDF 輸入
Bedrockus.writer.palmyra-x5-v1:01M$0.60$6.00函式呼叫、PDF 輸入
Bedrockeu.anthropic.claude-opus-4-5-20251101-v1:0200K$5.00$25.00推理、電腦使用、vision
Bedrockgoogle.gemma-3-12b-it128K$0.10$0.30音訊輸入
Bedrockmoonshot.kimi-k2-thinking128K$0.60$2.50推理
Bedrocknvidia.nemotron-nano-12b-v2128K$0.20$0.60視覺
Bedrockqwen.qwen3-next-80b-a3b128K$0.15$1.20函式呼叫
Vertex AIvertex_ai/deepseek-ai/deepseek-v3.2-maas164K$0.56$1.68推理、快取
Mistralmistral/codestral-2508256K$0.30$0.90函式呼叫
Mistralmistral/devstral-2512256K$0.40$2.00函式呼叫
Mistralmistral/labs-devstral-small-2512256K$0.10$0.30函式呼叫
Cerebrascerebras/zai-glm-4.6128K--聊天補全
NVIDIA NIMnvidia_nim/ranking/nvidia/llama-3.2-nv-rerankqa-1b-v2-免費免費Rerank
Voyagevoyage/rerank-2.532K$0.05/1K tokens-Rerank
Fireworks AI227 個新模型各種各種各種完整模型目錄

功能​

錯誤修正​

LLM API 端點​

功能​

  • Responses API
    • 在 responses usage 物件中新增用量詳細資訊 - PR #17641
    • 修正 response API 輪詢錯誤 - PR #17654
    • 修正文字 + tool_calls 時串流的 tool_calls 被捨棄的問題 - PR #17652
    • 將 Responses API 的 tool results 中的影像內容進行轉換 - PR #17799
    • 修正 responses api 未對 api keys 套用 tpm rate limits 的問題 - PR #17707
  • Containers API
    • 允許使用 LIST，透過 custom-llm-provider 建立 Containers - PR #17740
    • 新增 container API 檔案管理 + UI 介面 - PR #17745
  • Rerank API
    • 新增在 /rerank 端點轉送用戶端標頭的支援 - PR #17873
  • Files API
    • 為 Files 端點新增 expires_after 參數支援 - PR #17860
  • Video API
    • 所有 videos APIs 使用 litellm 參數 - PR #17732
    • 尊重 videos content db 憑證 - PR #17771
  • Embeddings API
    • 修正 embeddings 的 token array 輸入解碼處理 - PR #17468
  • Chat Completions API
    • 新增 v0 target storage 支援 - 將檔案儲存在 Azure AI storage，並與 chat completions API 搭配使用 - PR #17758
  • generateContent API
    • 支援 Gemini generateContent 端點中含有斜線的模型名稱 - PR #17743
  • 一般
    • 使用音訊內容進行快取 - PR #17651
    • 呼叫 GET responses API 時回傳 403 例外 - PR #17629
    • 為 additional_drop_params 新增巢狀欄位移除支援 - PR #17711
    • Async post_call_streaming_iterator_hook 現在可正確迭代 async generators - PR #17626

錯誤​

  • 一般
    • 修正 is_cached_message 中對字串內容的處理 - PR #17853

管理端點 / UI​

功能​

  • UI 設定
    • 為 UI 設定新增 Get 與 Update 後端路由 - PR #17689
    • UI 設定頁面實作 - PR #17697
    • 確保 Model 頁面遵循 UI 設定 - PR #17804
    • 將所有 Proxy Models 新增至預設使用者設定 - PR #17902
  • Agent 與 Usage UI
  • Logs 與 Spend
    • 增強 logs 檢視中的 spend 分析 - PR #17623
    • 為使用者管理新增使用者資訊刪除對話框 - PR #17625
    • 在 logs 檢視中顯示請求與回應詳細資訊 - PR #17928
  • 虛擬金鑰
    • 修正 x-litellm-key-spend 標頭更新 - PR #17864
  • Models 與 Endpoints
    • Model Hub 有用連結重新排列 - PR #17859
    • Create Team Model 下拉式選單遵循組織的 Models - PR #17834
  • SSO 與 Auth
    • 當 SSO 提供者角色變更時，允許 upsert 使用者角色 - PR #17754
    • 允許從通用 SSO 提供者（Keycloak）擷取角色 - PR #17787
    • JWT Auth - 允許從請求標頭選取 team_id - PR #17884
    • 在 SSO 更新時，從 Config Table 移除 SSO 設定值 - PR #17668
  • 團隊
  • MCP Server 管理
    • 將 extra_headers 和 allowed_tools 新增至 UpdateMCPServerRequest - PR #17940
  • 通知
    • 在通知上顯示進度，並在滑鼠懸停時暫停 - PR #17942
  • 一般
    • 當文件不在根路徑時，允許 Root Path 重新導向 - PR #16843
    • 在左上角 logo 旁顯示 UI 版本號碼 - PR #17891
    • 以正確分類與根目錄上的 agents 重新組織左側導覽 - PR #17890
    • UI Playground - 允許在 model 選擇器下拉式選單中使用自訂 model 名稱 - PR #17892

錯誤​

  • UI 修正
    • 修正連結 + 舊登入頁面淘汰訊息 - PR #17624
    • Chat UI Endpoint Selector 的篩選 - PR #17567
    • SCIM v2 中的競態條件處理 - PR #17513
    • 將 /litellm_model_cost_map 設為公開 - PR #16795
    • UI 上的自訂回呼 - PR #17522
    • 為非 root Docker 加入可由使用者寫入的目錄以供 Logo 使用 - PR #17180
    • 交換 URL 輸入與顯示名稱輸入欄位 - PR #17682
    • 將淘汰橫幅改為僅在 /sso/key/generate 顯示 - PR #17681
    • 將憑證加密變更為僅影響 db 憑證 - PR #17741
  • Auth 與 Routes
    • 對未授權路由回傳 403，而非 503 - PR #17723
    • AI Gateway Auth - 允許對公開路由使用萬用字元樣式 - PR #17686

AI 整合​

新增整合（4 個新增整合）​

整合類型說明
SumoLogicLoggingSumoLogic 的原生 webhook 整合 - PR #17630
Arize PhoenixPrompt ManagementArize Phoenix OSS prompt 管理整合 - PR #17750
SendgridEmailSendgrid 電子郵件通知整合 - PR #17775
OnyxGuardrailsOnyx guardrail hooks 整合 - PR #16591

記錄​

  • Langfuse
    • 傳遞 Langfuse trace_id - PR #17669
    • 在 Langfuse logging 中優先使用標準 trace id - PR #17791
    • 在 Langfuse passthrough 中將查詢參數移至 create_pass_through_route 呼叫 - PR #17660
    • 新增自訂遮罩函式支援 - PR #17826
  • Prometheus
    • 將 'exception_status' 新增至 prometheus logger - PR #17847
  • OpenTelemetry
    • 將延遲指標（TTFT、TPOT、Total Generation Time）新增至 OTEL payload - PR #17888
  • 一般
    • 為非同步 logging 新增透過 cache 功能輪詢 - PR #16862

防護欄​

提示管理​

  • 一般
    • 用於整合 prompt 管理提供者的新 API - PR #17829

Spend Tracking、Budgets 與 Rate Limiting​

  • Service Tier Pricing - 從 OpenAI flex pricing 的 response/usage 中擷取 service_tier - PR #17748
  • Agent Cost Tracking - 在 SpendLogs 中追蹤 agent_id - PR #17795
  • Tag Activity - 去重 /tag/daily/activity metadata - PR #16764
  • Rate Limiting - 動態 Rate Limiter - 允許為記憶體快取指定 ttl - PR #17679

MCP 閘道​

  • Chat Completions Integration - 新增在 /chat/completions 使用 MCPs 的支援 - PR #17747
  • UI Session Permissions - 修正真實 teams 之間的 UI session MCP 權限 - PR #17620
  • OAuth Callback - 修正 MCP OAuth callback 路由與 URL 處理 - PR #17789
  • Tool Name Prefix - 修正 MCP tool 名稱前綴 - PR #17908

代理程式閘道（A2A）​

  • 每次查詢成本 - 為代理程式呼叫新增每次查詢成本 - PR #17774
  • Token 計數 - 新增非串流與串流的 token 計數 - PR #17779
  • 每個 Token 成本 - 為 A2A 新增每個 token 定價 - PR #17780
  • LangGraph 提供者 - 為 Agent Gateway 新增 LangGraph 提供者 - PR #17783
  • Bedrock 與 LangGraph 代理程式 - 允許將 Bedrock AgentCore、LangGraph 代理程式與 A2A Gateway 一起使用 - PR #17786
  • 代理程式管理 - 允許新增 LangGraph、Bedrock Agent Core 代理程式 - PR #17802
  • Azure Foundry 代理程式 - 新增 Azure AI Foundry 代理程式支援 - PR #17845
  • Azure Foundry UI - 允許在 UI 上新增 Azure Foundry 代理程式 - PR #17909
  • Azure Foundry 修正 - 確保 Azure Foundry 代理程式正常運作 - PR #17943

效能 / 負載平衡 / 可靠性改進​

  • 記憶體洩漏修正 - 將記憶體洩漏減半 - PR #17784
  • Spend Logs 記憶體 - 降低 spend_logs 的記憶體累積 - PR #17742
  • 路由器最佳化 - 將 time.perf_counter() 替換為 time.time() - PR #17881
  • 過濾內部參數 - 在備援程式碼中過濾內部參數 - PR #17941
  • Gunicorn 建議 - 使用 max_requests_before_restart 時，建議使用 Gunicorn 而非 uvicorn - PR #17788
  • Pydantic 警告 - 降低 PydanticDeprecatedSince20 警告 - PR #17657
  • Python 3.14 支援 - 透過 grpcio 版本限制新增 Python 3.14 支援 - PR #17666
  • OpenAI 套件 - 將 openai 套件升級至 2.9.0 - PR #17818

文件更新​

  • 貢獻 - 更新複製指示，建議先 fork - PR #17637
  • 開始使用 - 改善開始使用頁面與 SDK 文件結構 - PR #17614
  • JSON 模式 - 更清楚說明如何取得 Pydantic 模型輸出 - PR #17671
  • drop_params - 更新 litellm 關於 drop_params 的文件 - PR #17658
  • 環境變數 - 補充缺漏的環境變數文件並修正錯誤型別 - PR #17649
  • SumoLogic - 新增 SumoLogic 整合文件 - PR #17647
  • SAP Gen AI - 新增 SAP Gen AI 提供者文件 - PR #17667
  • 驗證 - 新增驗證註解 - PR #17733
  • 已知問題 - 在 1.80.5-stable 文件中新增已知問題 - PR #17738
  • 支援的端點 - 修正支援的端點頁面 - PR #17710
  • Token 計數 - 文件化 token 計數端點 - PR #17772
  • 概觀 - 透過表格讓 litellm proxy 與 SDK 的差異在概觀中更清楚 - PR #17790
  • 容器 API - 新增 containers files API 與 LiteLLM 上的 code interpreter 文件 - PR #17749
  • 目標儲存 - 新增目標儲存文件 - PR #17882
  • 代理程式使用 - 代理程式使用文件 - PR #17931, PR #17932, PR #17934
  • Cursor 整合 - Cursor 整合文件 - PR #17855, PR #17939
  • A2A 成本追蹤 - A2A 成本追蹤文件 - PR #17913
  • Azure Search - 更新 azure search 文件 - PR #17726
  • Milvus 用戶端 - 修正 milvus 用戶端文件 - PR #17736
  • 串流記錄 - 移除串流記錄文件 - PR #17739
  • 整合文件 - 更新整合文件位置 - PR #17644
  • 連結 - 更新 mistral 與 anthropic 的文件連結 - PR #17852
  • 社群 - 新增社群文件連結 - PR #17734
  • 定價 - 更新 global.anthropic.claude-haiku-4-5-20251001-v1:0 的定價 - PR #17703
  • gpt-image-1-mini - 更正 gpt-image-1-mini 的模型類型 - PR #17635

基礎架構 / 部署​

  • Docker - 在 docker-compose.yml 中的 healthcheck 改用 python 而非 wget - PR #17646
  • Helm Chart - 為 Helm chart 部署新增 extraResources 支援 - PR #17627
  • Helm 版本控制 - 為 helm chart 版本新增 semver prerelease 後綴 - PR #17678
  • 資料庫結構 - 為目標儲存功能在 schema.prisma 中新增 storage_backend 與 storage_url 欄位 - PR #17936

新貢獻者​

  • @xianzongxie-stripe 在 PR #16862 完成了首次貢獻
  • @krisxia0506 在 PR #17637 完成了首次貢獻
  • @chetanchoudhary-sumo 在 PR #17630 完成了首次貢獻
  • @kevinmarx 在 PR #17632 完成了首次貢獻
  • @expruc 在 PR #17627 完成了首次貢獻
  • @rcII 在 PR #17626 完成了首次貢獻
  • @tamirkiviti13 在 PR #16591 完成了首次貢獻
  • @Eric84626 在 PR #17629 完成了首次貢獻
  • @vasilisazayka 在 PR #16053 完成了首次貢獻
  • @juliettech13 在 PR #17663 完成了首次貢獻
  • @jason-nance 在 PR #17660 完成了首次貢獻
  • @yisding 在 PR #17671 完成了首次貢獻
  • @emilsvennesson 在 PR #17656 完成了首次貢獻
  • @kumekay 在 PR #17646 完成了首次貢獻
  • @chenzhaofei01 在 PR #17584 完成了首次貢獻
  • @shivamrawat1 在 PR #17733 完成了首次貢獻
  • @ephrimstanley 在 PR #17723 完成了首次貢獻
  • @hwittenborn 在 PR #17743 完成了首次貢獻
  • @peterkc 在 PR #17727 完成了首次貢獻
  • @saisurya237 在 PR #17725 完成了首次貢獻
  • @Ashton-Sidhu 在 PR #17728 完成了首次貢獻
  • @CyrusTC 在 PR #17810 完成了首次貢獻
  • @jichmi 在 PR #17703 完成了首次貢獻
  • @ryan-crabbe 在 PR #17852 完成了首次貢獻
  • @nlineback 在 PR #17851 完成了首次貢獻
  • @butnarurazvan 在 PR #17468 完成了首次貢獻
  • @yoshi-p27 在 PR #17915 完成了首次貢獻

完整變更記錄​

在 GitHub 上查看完整變更記錄

🚅
LiteLLM Enterprise
為正式環境打造的 SSO/SAML、稽核記錄、支出追蹤、多團隊管理與防護欄。
深入瞭解 →