跳至主要內容

v1.80.8-stable - 推出 A2A Agent Gateway

部署此版本​

docker run litellm
docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:v1.80.8-stable

重點摘要​

代理程式閘道（A2A）​


此版本為 LiteLLM 引入 A2A Agent Gateway，讓您能以與 LLM API 相同的控制，呼叫並管理 A2A 代理程式。

身為 LiteLLM Gateway 管理員，您現在可以執行以下操作：

  • 請求/回應記錄 - 每次代理程式呼叫都會記錄到 Logs 頁面，並完整追蹤請求與回應。
  • 存取控制 - 控制哪些 Team/Key 可存取哪些代理程式。

身為開發者，您可以繼續使用 A2A SDK，您只需要將您的 A2AClient 指向 LiteLLM proxy URL 和您的 API 金鑰。

可與 A2A SDK 搭配使用：

from a2a.client import A2AClient

client = A2AClient(
    base_url="http://localhost:4000",  # Your LiteLLM proxy
    api_key="sk-1234"                   # LiteLLM API key
)

response = client.send_message(
    agent_id="my-agent",
    message="What's the status of my order?"
)

在此開始使用 Agent Gateway：Agent Gateway 文件

客戶（終端使用者）用量 UI​

使用者現在可以依客戶篩選用量統計，提供與 team 和組織相同的細粒度篩選能力。

詳細資訊：

  • 依客戶 ID 篩選用量分析、支出記錄與活動指標
  • 在既有的 team 與使用者層級篩選之外，檢視客戶層級的明細
  • 在所有用量與分析檢視中提供一致的篩選體驗

新提供者與端點​

新提供者（5 個新提供者）​

提供者支援的 LiteLLM 端點說明
Z.AI (Zhipu AI)/v1/chat/completions, /v1/responses, /v1/messages內建支援 Zhipu AI GLM 模型
RAGFlow/v1/chat/completions, /v1/responses, /v1/messages, /v1/vector_stores支援向量儲存的 RAG 型 chat completions
PublicAI/v1/chat/completions, /v1/responses, /v1/messages透過 JSON 設定的 OpenAI 相容提供者
Google Cloud Chirp3 HD/v1/audio/speech, /v1/audio/speech/stream使用 Google Cloud Chirp3 HD 語音的文字轉語音

新 LLM API 端點（2 個新端點）​

端點方法說明文件
/v1/agents/invokePOST透過 AI Gateway 呼叫 A2A 代理程式Agent Gateway
/cursor/chat/completionsPOSTCursor BYOK 端點 - 接受 Responses API 輸入，回傳 Chat Completions 輸出Cursor 整合

新模型 / 更新模型​

新模型支援（33 個新模型）​

提供者模型上下文視窗輸入（$/百萬 tokens）輸出（$/百萬 tokens）功能
OpenAIgpt-5.1-codex-max400K$1.25$10.00推理、視覺、PDF 輸入、responses API
Azureazure/gpt-5.1-codex-max400K$1.25$10.00推理、視覺、PDF 輸入、responses API
Anthropicclaude-opus-4-5200K$5.00$25.00電腦使用、推理、視覺
Bedrockglobal.anthropic.claude-opus-4-5-20251101-v1:0200K$5.00$25.00電腦使用、推理、視覺
Bedrockamazon.nova-2-lite-v1:01M$0.30$2.50推理、視覺、影片、PDF 輸入
Bedrockamazon.titan-image-generator-v2:0--$0.008/image圖片生成
Fireworksfireworks_ai/deepseek-v3p2164K$1.20$1.20函式呼叫、回應結構
Fireworksfireworks_ai/kimi-k2-instruct-0905262K$0.60$2.50函式呼叫、回應結構
DeepSeekdeepseek/deepseek-v3.2164K$0.28$0.40推理、函式呼叫
Mistralmistral/mistral-large-3256K$0.50$1.50函式呼叫、視覺
Azure AIazure_ai/mistral-large-3256K$0.50$1.50函式呼叫、視覺
Moonshotmoonshot/kimi-k2-0905-preview262K$0.60$2.50函式呼叫、網頁搜尋
Moonshotmoonshot/kimi-k2-turbo-preview262K$1.15$8.00函式呼叫、網頁搜尋
Moonshotmoonshot/kimi-k2-thinking-turbo262K$1.15$8.00函式呼叫、網頁搜尋
OpenRouteropenrouter/deepseek/deepseek-v3.2164K$0.28$0.40推理、函式呼叫
Databricksdatabricks/databricks-claude-haiku-4-5200K$1.00$5.00推理、函式呼叫
Databricksdatabricks/databricks-claude-opus-4200K$15.00$75.00推理、函式呼叫
Databricksdatabricks/databricks-claude-opus-4-1200K$15.00$75.00推理、函式呼叫
Databricksdatabricks/databricks-claude-opus-4-5200K$5.00$25.00推理、函式呼叫
Databricksdatabricks/databricks-claude-sonnet-4200K$3.00$15.00推理、函式呼叫
Databricksdatabricks/databricks-claude-sonnet-4-1200K$3.00$15.00推理、函式呼叫
Databricksdatabricks/databricks-gemini-2-5-flash1M$0.30$2.50函式呼叫
Databricksdatabricks/databricks-gemini-2-5-pro1M$1.25$10.00函式呼叫
Databricksdatabricks/databricks-gpt-5400K$1.25$10.00函式呼叫
Databricksdatabricks/databricks-gpt-5-1400K$1.25$10.00函式呼叫
Databricksdatabricks/databricks-gpt-5-mini400K$0.25$2.00函式呼叫
Databricksdatabricks/databricks-gpt-5-nano400K$0.05$0.40函式呼叫
Vertex AIvertex_ai/chirp-$30.00/1M chars-文字轉語音（Chirp3 HD）
Z.AIzai/glm-4.6200K$0.60$2.20函式呼叫
Z.AIzai/glm-4.5128K$0.60$2.20函式呼叫
Z.AIzai/glm-4.5v128K$0.60$1.80函式呼叫、視覺
Z.AIzai/glm-4.5-flash128KFreeFree函式呼叫
Vertex AIvertex_ai/bge-large-en-v1.5---BGE Embeddings

功能​

錯誤修正​

  • Bedrock

    • 修正 messages API bedrock invoke 中的 extra_headers - PR #17271
    • 修正 model map 中的 Bedrock 模型 - PR #17419
    • 讓 Bedrock converse messages 如預期地遵守 modify_params - PR #17427
    • 修正 Bedrock 匯入的 Qwen 模型的 Anthropic beta 標頭 - PR #17467
    • 保留 Bedrock 中 OpenAI 提供者來自 JSON 回應的 usage - PR #17589

  • SambaNova

    • 修正使用 SambaNova 模型時 acompletion 會拋出錯誤 - PR #17217

  • 一般

    • 修正 request body 中 metadata 為 null 時的 AttributeError - PR #17306
    • 修正 malformed request 的 500 錯誤 - PR #17291
    • 尊重標頭中的自訂 LLM 提供者 - PR #17290
    • 將 streaming_handler 中已棄用的 .dict() 改為 .model_dump() - PR #17359

LLM API 端點​

功能​

錯誤​

  • 一般
    • 修正串流錯誤驗證 - PR #17242
    • 為 delta 中空白 tool_calls 新增長度驗證 - PR #17523

管理端點 / UI​

功能​

  • 新登入頁面

    • 新登入頁面 UI - PR #17443
    • 重構 /login 路由 - PR #17379
    • 在 UI Config 新增 auto_redirect_to_sso - PR #17399
    • 在新登入頁面新增自動重新導向至 SSO - PR #17451

  • Customer（終端使用者）Usage

    • Customer（終端使用者）Usage 功能 - PR #17498
    • 客戶使用量 UI - PR #17506
    • 為 Customer Usage 新增資訊橫幅 - PR #17598

  • 虛擬金鑰

    • 在 UI 中標準化 API Key 與 Virtual Key 的稱呼 - PR #17325
    • 在內部使用者表格新增 User Alias 欄位 - PR #17321
    • 刪除憑證增強功能 - PR #17317

  • 模型 + 端點

    • 在編輯憑證對話框中顯示所有憑證值 - PR #17397
    • 變更編輯團隊顯示的模型以符合建立團隊 - PR #17394
    • 在比較介面中支援圖片 - PR #17562

  • 回呼

  • 管理路由

    • 允許管理員檢視者存取全域標籤使用量 - PR #17501
    • 允許非 proxy 管理員（SCIM）使用萬用字元路由 - PR #17178
    • 當 /user/info 找不到使用者時回傳 404 - PR #16850

  • OCI 組態

    • 透過 UI 啟用 Oracle Cloud Infrastructure 組態 - PR #17159

錯誤​

  • UI 修正

    • 修正 Request 與 Response 面板的 JSONViewer - PR #17233
    • 在編輯設定中新增按鈕載入狀態 - PR #17236
    • 修正多項文字、按鈕狀態與測試變更 - PR #17237
    • 修正備援在 API 回應前立即刪除的問題 - PR #17238
    • 移除功能旗標 - PR #17240
    • 修正在 Azure passthrough 的 UI 中中繼資料標籤與模型名稱顯示 - PR #17258
    • 變更 Vertex 欄位周邊的標示 - PR #17383
    • 在側邊欄展開時移除第二個捲軸 + tooltip z index - PR #17436
    • 修正編輯成員資格對話框中的 Select - PR #17524
    • 變更 useAuthorized Hook 以重新導向至新的登入頁面 - PR #17553

  • SSO

    • 修正通用 SSO 提供者 - PR #17227
    • 清除所有使用者的 SSO 整合 - PR #17287
    • 修正 SSO 使用者未加入 Entra 同步團隊的問題 - PR #17331

  • Auth / JWT

    • JWT Auth - 允許使用一般 OIDC flow 搭配 user info endpoints - PR #17324
    • 修正 litellm user auth 未通過的問題 - PR #17342
    • 在 JWT auth 中新增其他路由 - PR #17345
    • 修正新的 org team 對 org 的驗證 - PR #17333
    • 修正 litellm_enterprise，確保已匯入的路由存在 - PR #17337
    • 使用 organization.members 取代已棄用的 organization 欄位 - PR #17557

  • 組織／團隊

    • 修正未強制執行 organization 最大預算的問題 - PR #17334
    • 修正預算更新以允許 null max_budget - PR #17545

AI 整合（2 個新整合）​

記錄（1 個新整合）​

新整合​

改進與修正​

防護欄（1 個新整合）​

新整合​

  • Generic Guardrail API
    • Generic Guardrail API - 允許防護欄提供者無需向 repo 提交 PR 就能為 LiteLLM 新增 INSTANT 支援 - PR #17175
    • Guardrails API V2 - 使用者 API 金鑰中繼資料、session id、指定輸入類型（request/response）、圖片支援 - PR #17338
    • Guardrails API - 新增串流支援 - PR #17400
    • Guardrails API - 支援在 OpenAI /chat/completions、OpenAI /responses、Anthropic /v1/messages 上進行工具呼叫檢查 - PR #17459
    • Guardrails API - 新的 structured_messages 參數 - PR #17518
    • 正確將 v1/messages 呼叫對應到 anthropic unified guardrail - PR #17424
    • 支援 unified guardrails 的 during_call 事件類型 - PR #17514

改進與修正​

密鑰管理器​

  • CyberArk

    • 允許將 SSL verify 設為 false - PR #17433

  • 一般

    • 讓 email 與 secret manager 操作在 key management hooks 中彼此獨立 - PR #17551

花費追蹤、預算與速率限制​

  • 速率限制

    • 搭配 /messages 的平行請求限制器 - PR #17426
    • 允許在團隊上使用動態速率限制/優先順序保留 - PR #17061
    • 動態速率限制器 - 修正 token 計數增減 1 而非實際數量 + Redis TTL - PR #17558

  • 花費記錄

    • 廢除 spend/logs 並新增 spend/logs/v2 - PR #17167
    • 最佳化 SpendLogs 查詢，以使用時間戳記篩選來利用索引 - PR #17504

  • 強制使用者參數

    • 強制支援將 enforce_user_param 套用到 OpenAI post endpoints - PR #17407

MCP 閘道​

  • MCP 組態

    • 移除 MCP 伺服器端點的 URL 格式驗證 - PR #17270
    • 在 MCP 錯誤訊息中新增堆疊追蹤 - PR #17269

  • MCP 工具結果

    • 在 CallToolResult 中保留工具中繼資料 - PR #17561

代理程式閘道（A2A）​

  • 代理程式呼叫

    • 允許透過 AI Gateway 呼叫代理程式 - PR #17440
    • 允許在「Logs」頁面追蹤 request/response - PR #17449

  • 代理程式存取控制

    • 依 key、team 強制允許的 agents + 在後端新增 agent 存取群組 - PR #17502

  • 代理程式閘道 UI

    • 允許在 UI 上測試 agents - PR #17455
    • 依 key、team 設定允許的 agents - PR #17511

效能 / 負載平衡 / 可靠性改進​

  • 音訊/語音效能

    • 透過使用 shared_sessions 修正 /audio/speech 效能 - PR #16739

  • 記憶體最佳化

    • 防止 aiohttp 連線池中的記憶體洩漏 - PR #17388
    • 延遲載入 utils 以減少記憶體用量 + 匯入時間 - PR #17171

  • 資料庫

    • 更新預設資料庫連線數量 - PR #17353
    • 更新預設 proxy_batch_write_at 數量 - PR #17355
    • 為 db 新增背景健康檢查 - PR #17528

  • Proxy 快取

    • 修正 aiohttp transport 中請求之間的 proxy 快取 - PR #17122

  • 工作階段管理

    • 修正工作階段一致性，將 Lasso API version 從原始碼中移出 - PR #17316
    • 有條件地將 enable_cleanup_closed 傳遞給 aiohttp TCPConnector - PR #17367

  • 向量儲存

    • 修正向量儲存組態同步失敗 - PR #17525

文件更新​

  • 提供者文件

    • 為 Claude 模型新增 Azure AI Foundry 文件 - PR #17104
    • 記錄 GitHub Copilot 的 responses 和 embedding API - PR #17456
    • 將 gpt-5.1-codex-max 新增至 OpenAI 提供者文件 - PR #17602
    • 更新 Phoenix 整合說明 - PR #17373

  • 指南

    • 新增如何除錯 gateway error 與 provider error 的指南 - PR #17387
    • Agent Gateway 文件 - PR #17454
    • A2A 權限管理文件 - PR #17515
    • 更新文件以連結 agent hub - PR #17462

  • 專案

    • 將 Google ADK 和 Harbor 新增至專案 - PR #17352
    • 將 Microsoft Agent Lightning 新增至專案 - PR #17422

  • 清理

    • 清理：移除孤兒文件頁面和 Docusaurus 樣板檔案 - PR #17356
    • 從文件中移除 source .env - PR #17466

基礎架構 / CI/CD​

  • Helm Chart

  • Docker

    • 為 Dockerfile.non_root 中的 apk 套件安裝新增重試邏輯 - PR #17596
    • Chainguard 修正 - PR #17406

  • OpenAPI 結構描述

    • 重構 add_schema_to_components，將定義移至 components/schemas - PR #17389

  • 安全性

    • 修正安全性漏洞：將 mdast-util-to-hast 更新至 13.2.1 - PR #17601
    • 將 jws 從 3.2.2 升級至 3.2.3 - PR #17494

新貢獻者​

  • @weichiet 完成了他們的第一次貢獻於 PR #17242
  • @AndyForest 完成了他們的第一次貢獻於 PR #17220
  • @omkar806 完成了他們的第一次貢獻於 PR #17217
  • @v0rtex20k 完成了他們的第一次貢獻於 PR #17178
  • @hxomer 完成了他們的第一次貢獻於 PR #17207
  • @orgersh92 完成了他們的第一次貢獻於 PR #17316
  • @dannykopping 完成了他們的第一次貢獻於 PR #17313
  • @rioiart 完成了他們的第一次貢獻於 PR #17333
  • @codgician 完成了他們的第一次貢獻於 PR #17278
  • @epistoteles 完成了他們的第一次貢獻於 PR #17277
  • @kothamah 完成了他們的第一次貢獻於 PR #17368
  • @flozonn 完成了他們的第一次貢獻於 PR #17371
  • @richardmcsong 完成了他們的第一次貢獻於 PR #17389
  • @matt-greathouse 完成了他們的第一次貢獻於 PR #17384
  • @mossbanay 完成了他們的第一次貢獻於 PR #17380
  • @mhielpos-asapp 完成了他們的第一次貢獻於 PR #17376
  • @Joilence 完成了他們的第一次貢獻於 PR #17367
  • @deepaktammali 完成了他們的第一次貢獻於 PR #17357
  • @axiomofjoy 完成了他們的第一次貢獻於 PR #16611
  • @DevajMody 完成了他們的第一次貢獻於 PR #17445
  • @andrewtruong 完成了他們的第一次貢獻於 PR #17439
  • @AnasAbdelR 完成了他們的第一次貢獻於 PR #17490
  • @dominicfeliton 完成了他們的第一次貢獻於 PR #17516
  • @kristianmitk 完成了他們的第一次貢獻於 PR #17504
  • @rgshr 完成了他們的第一次貢獻於 PR #17130
  • @dominicfallows 完成了他們的第一次貢獻於 PR #17489
  • @irfansofyana 完成了他們的第一次貢獻於 PR #17467
  • @GusBricker 完成了他們的第一次貢獻於 PR #17191
  • @OlivverX 完成了他們的第一次貢獻於 PR #17255
  • @withsmilo 完成了他們的第一次貢獻於 PR #17585

完整變更記錄​

在 GitHub 上檢視完整變更記錄

🚅
LiteLLM Enterprise
為正式環境打造的 SSO/SAML、稽核記錄、支出追蹤、多團隊管理與防護欄。
深入瞭解 →