v1.80.0-stable - 介紹 Agent Hub：註冊、發布與分享代理程式
部署此版本
- Docker
- Pip
docker run litellm
docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:v1.80.0-stable
pip install litellm
pip install litellm==1.80.0
主要亮點
- 🆕 Agent Hub 支援 - 為您的組織註冊並公開代理程式
- RunwayML 提供者 - 完整支援影片生成、圖像生成與文字轉語音
- GPT-5.1 系列支援 - 對 OpenAI 最新的 GPT-5.1 與 GPT-5.1-Codex 模型提供首日支援
- Prometheus OSS - Prometheus 指標現已可於開源版本使用
- Vector Store Files API - 完整的 OpenAI 相容 Vector Store Files API，具備完整 CRUD 作業
- Embeddings 效能 - 透過共用工作階段對路由器 embeddings 進行 O(1) 查找最佳化
代理程式中樞
此版本新增為您的組織註冊並公開代理程式的支援。這對於想要在組織內建立一個集中位置、讓使用者能夠探索代理程式的 Proxy 管理員 來說非常實用。
流程如下：
- 將代理程式新增至 litellm。
- 將其設為公開。
- 允許任何人在公開的 AI Hub 頁面上探索它。
效能 – /embeddings p95 延遲降低 13×
此更新透過將 /embeddings 延遲路由到與 /chat/completions 相同且已最佳化的管線，顯著改善其延遲，並受益於先前套用的所有網路最佳化。
結果
| 指標 | 之前 | 之後 | 改善 |
|---|---|---|---|
| p95 latency | 5,700 ms | 430 ms | −92%（約快 13×）** |
| p99 latency | 7,200 ms | 780 ms | −89% |
| Average latency | 844 ms | 262 ms | −69% |
| Median latency | 290 ms | 230 ms | −21% |
| RPS | 1,216.7 | 1,219.7 | +0.25% |
測試設定
| 類別 | 規格 |
|---|---|
| 負載測試 | Locust：1,000 位並行使用者，500 個漸進增加 |
| 系統 | 4 vCPUs、8 GB RAM、4 個 workers、4 個 instances |
| 資料庫 | PostgreSQL（未使用 Redis） |
| 設定 | config.yaml |
| 負載腳本 | no_cache_hits.py |
🆕 RunwayML
RunwayML 的 Gen-4 系列模型完整整合，支援影片生成、圖像生成與文字轉語音。
支援的端點：
/v1/videos- 影片生成（Gen-4 Turbo、Gen-4 Aleph、Gen-3A Turbo）/v1/images/generations- 圖像生成（Gen-4 Image、Gen-4 Image Turbo）/v1/audio/speech- 文字轉語音（ElevenLabs Multilingual v2）
快速開始：
Generate Video with RunwayML
curl --location 'http://localhost:4000/v1/videos' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer sk-1234' \
--data '{
"model": "runwayml/gen4_turbo",
"prompt": "A high quality demo video of litellm ai gateway",
"input_reference": "https://example.com/image.jpg",
"seconds": 5,
"size": "1280x720"
}'
Prometheus 指標 - 開源版
Prometheus 指標現已可在 LiteLLM 的開源版本中使用，為您的 AI Gateway 提供完整的可觀測性，且無需企業授權。
快速開始：
litellm_settings:
success_callback: ["prometheus"]
failure_callback: ["prometheus"]
向量儲存檔案 API
完整相容 OpenAI 的 Vector Store Files API 現已穩定，可在向量儲存中實現完整的檔案生命週期管理。
支援的端點：
POST /v1/vector_stores/{vector_store_id}/files- 建立 vector store fileGET /v1/vector_stores/{vector_store_id}/files- 列出 vector store filesGET /v1/vector_stores/{vector_store_id}/files/{file_id}- 取得 vector store fileGET /v1/vector_stores/{vector_store_id}/files/{file_id}/content- 取得檔案內容DELETE /v1/vector_stores/{vector_store_id}/files/{file_id}- 刪除 vector store fileDELETE /v1/vector_stores/{vector_store_id}- 刪除 vector store
快速開始：
Create Vector Store File
curl --location 'http://localhost:4000/v1/vector_stores/vs_123/files' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer sk-1234' \
--data '{
"file_id": "file_abc"
}'
新的提供者與端點
新提供者
| 提供者 | 支援的端點 | 說明 |
|---|---|---|
| RunwayML | /v1/videos, /v1/images/generations, /v1/audio/speech | Gen-4 影片生成、圖像生成與文字轉語音 |
新 LLM API 端點
| 端點 | 方法 | 說明 | 文件 |
|---|---|---|---|
/v1/vector_stores/{vector_store_id}/files | POST | 建立 vector store file | 文件 |
/v1/vector_stores/{vector_store_id}/files | GET | 列出 vector store files | 文件 |
/v1/vector_stores/{vector_store_id}/files/{file_id} | GET | 取得 vector store file | 文件 |
/v1/vector_stores/{vector_store_id}/files/{file_id}/content | GET | 取得檔案內容 | 文件 |
/v1/vector_stores/{vector_store_id}/files/{file_id} | DELETE | 刪除 vector store file | 文件 |
/v1/vector_stores/{vector_store_id} | DELETE | 刪除 vector store | 文件 |
新模型 / 已更新模型
新模型支援
| 提供者 | 模型 | 上下文視窗 | 輸入（$/1M tokens） | 輸出（$/1M tokens） | 功能 |
|---|---|---|---|---|---|
| OpenAI | gpt-5.1 | 272K | $1.25 | $10.00 | Reasoning、vision、PDF input、responses API |
| OpenAI | gpt-5.1-2025-11-13 | 272K | $1.25 | $10.00 | Reasoning、vision、PDF input、responses API |
| OpenAI | gpt-5.1-chat-latest | 128K | $1.25 | $10.00 | Reasoning、vision、PDF input |
| OpenAI | gpt-5.1-codex | 272K | $1.25 | $10.00 | Responses API、reasoning、vision |
| OpenAI | gpt-5.1-codex-mini | 272K | $0.25 | $2.00 | Responses API、reasoning、vision |
| Moonshot | moonshot/kimi-k2-thinking | 262K | $0.60 | $2.50 | Function calling、web search、reasoning |
| Mistral | mistral/magistral-medium-2509 | 40K | $2.00 | $5.00 | Reasoning、function calling |
| Vertex AI | vertex_ai/moonshotai/kimi-k2-thinking-maas | 256K | $0.60 | $2.50 | Function calling、web search |
| OpenRouter | openrouter/deepseek/deepseek-v3.2-exp | 164K | $0.20 | $0.40 | Function calling、prompt caching |
| OpenRouter | openrouter/minimax/minimax-m2 | 205K | $0.26 | $1.02 | Function calling、reasoning |
| OpenRouter | openrouter/z-ai/glm-4.6 | 203K | $0.40 | $1.75 | Function calling、reasoning |
| OpenRouter | openrouter/z-ai/glm-4.6:exacto | 203K | $0.45 | $1.90 | Function calling、reasoning |
| Voyage | voyage/voyage-3.5 | 32K | $0.06 | - | 嵌入 |
| Voyage | voyage/voyage-3.5-lite | 32K | $0.02 | - | 嵌入 |
影片生成模型
| 提供者 | 模型 | 每秒成本 | 解析度 | 功能 |
|---|---|---|---|---|
| RunwayML | runwayml/gen4_turbo | $0.05 | 1280x720, 720x1280 | 文字 + 圖像轉影片 |
| RunwayML | runwayml/gen4_aleph | $0.15 | 1280x720, 720x1280 | 文字 + 圖像轉影片 |
| RunwayML | runwayml/gen3a_turbo | $0.05 | 1280x720, 720x1280 | 文字 + 圖像轉影片 |
圖像生成模型
| 提供者 | 模型 | 每張圖片成本 | 解析度 | 功能 |
|---|---|---|---|---|
| RunwayML | runwayml/gen4_image | $0.05 | 1280x720, 1920x1080 | 文字 + 圖像轉圖像 |
| RunwayML | runwayml/gen4_image_turbo | $0.02 | 1280x720, 1920x1080 | 文字 + 圖像轉圖像 |
| Fal.ai | fal_ai/fal-ai/flux-pro/v1.1 | $0.04/image | - | 圖像生成 |
| Fal.ai | fal_ai/fal-ai/flux/schnell | $0.003/image | - | 快速圖像生成 |
| Fal.ai | fal_ai/fal-ai/bytedance/seedream/v3/text-to-image | $0.03/image | - | 圖像生成 |
| Fal.ai | fal_ai/fal-ai/bytedance/dreamina/v3.1/text-to-image | $0.03/image | - | 圖像生成 |
| Fal.ai | fal_ai/fal-ai/ideogram/v3 | $0.06/image | - | 圖像生成 |
| Fal.ai | fal_ai/fal-ai/imagen4/preview/fast | $0.02/image | - | 快速圖像生成 |
| Fal.ai | fal_ai/fal-ai/imagen4/preview/ultra | $0.06/image | - | 高品質圖像生成 |
音訊模型
| 提供者 | 模型 | 成本 | 功能 |
|---|---|---|---|
| RunwayML | runwayml/eleven_multilingual_v2 | $0.0003/char | 文字轉語音 |
功能
-
- 修正 Magistral 串流以輸出推理區塊 - PR #16434
-
- 新增 Kimi K2 thinking model 支援 - PR #16445
-
- 修正 SambaNova API 在訊息內容以清單格式傳遞時拒絕請求 - PR #16612
-
- 修正 Azure 驗證參數對 None 值的處理 - PR #14436
-
- 修正 Groq 失敗區塊的解析 - PR #16595
-
- 新增 Voyage 3.5 與 3.5-lite embeddings 定價及文件更新 - PR #16641
錯誤修正
- 一般
LLM API 端點
新端點
- GET /providers
- 新增 GET 提供者清單端點 - PR #16432
功能
-
- 允許內部使用者存取影片生成路由 - PR #16472
-
- 向量儲存區檔案正式版發布，具備完整 CRUD 作業 - PR #16643
POST /v1/vector_stores/{vector_store_id}/files- 建立向量儲存區檔案GET /v1/vector_stores/{vector_store_id}/files- 列出向量儲存區檔案GET /v1/vector_stores/{vector_store_id}/files/{file_id}- 取得向量儲存區檔案GET /v1/vector_stores/{vector_store_id}/files/{file_id}/content- 取得檔案內容DELETE /v1/vector_stores/{vector_store_id}/files/{file_id}- 刪除向量儲存區檔案DELETE /v1/vector_stores/{vector_store_id}- 刪除向量儲存區
- 確保使用者可在串流與非串流回應中存取
search_results- PR #16459
- 向量儲存區檔案正式版發布，具備完整 CRUD 作業 - PR #16643
錯誤
管理端點 / UI
功能
-
Proxy CLI 驗證
- 修正 add_deployment 中移除嚴格的 master_key 檢查 - PR #16453
-
虛擬金鑰
-
模型 + 端點
-
團隊
-
預算
- UI - 將預算移出實驗性功能 - PR #16544
-
防護欄
-
回呼
-
用量與分析
-
健康檢查
- 將 Langfuse OTEL 與 SQS 加入健康檢查 - PR #16514
-
一般 UI
-
SSO
- 當使用者被插入到 LiteLLM 時，請確保使用來自 SSO 提供者的
role- PR #16794
- 當使用者被插入到 LiteLLM 時，請確保使用來自 SSO 提供者的
錯誤
- 管理端點
Logging / Guardrail / Prompt Management 整合
新整合
- 🆕 Zscaler AI Guard
- 新增 Zscaler AI Guard 掛鉤以強制執行安全政策 - PR #15691
記錄
防護欄
- IBM Detector
- 確保 detector-id 以標頭形式傳遞給 IBM detector server - PR #16649
提示詞管理
Spend Tracking、預算與速率限制
- 終端使用者預算
- 允許將 max_end_user budget 指向某個 id，讓預設 ID 套用於所有終端使用者 - PR #16456
MCP 閘道
- 組態
代理程式
- 代理程式註冊 (A2A 規格)
- 支援依照 Agent-to-Agent specification 進行 agent registration + discovery - PR #16615
效能 / 負載平衡 / 可靠性改善
-
嵌入效能
- 對 embeddings 使用 router 的 O(1) lookup 與共用 sessions - PR #16344
-
路由器可靠性
- 支援未知模型的預設 fallback - PR #16419
-
回呼管理
- 新增 atexit handlers 以在 async completions 時 flush callbacks - PR #16487
一般 Proxy 改善
- 組態管理
- 修正 update model_cost_map_url 以使用環境變數 - PR #16429
文件更新
-
Provider 文件
-
API 文件
-
一般文件
新貢獻者
- @artplan1 在 PR #16423 完成了首次貢獻
- @JehandadK 在 PR #16472 完成了首次貢獻
- @vmiscenko 在 PR #16453 完成了首次貢獻
- @mcowger 在 PR #16429 完成了首次貢獻
- @yellowsubmarine372 在 PR #16395 完成了首次貢獻
- @Hebruwu 在 PR #16201 完成了首次貢獻
- @jwang-gif 在 PR #15691 完成了首次貢獻
- @AnthonyMonaco 在 PR #16502 完成了首次貢獻
- @andrewm4894 在 PR #16487 完成了首次貢獻
- @f14-bertolotti 在 PR #16485 完成了首次貢獻
- @busla 在 PR #16293 完成了首次貢獻
- @MightyGoldenOctopus 在 PR #16537 完成了首次貢獻
- @ultmaster 在 PR #14436 完成了首次貢獻
- @bchrobot 在 PR #16542 完成了首次貢獻
- @sep-grindr 在 PR #16622 完成了首次貢獻
- @pnookala-godaddy 在 PR #16607 完成了首次貢獻
- @dtunikov 在 PR #16592 完成了首次貢獻
- @lukapecnik 在 PR #16648 完成了首次貢獻
- @jyeros 在 PR #16618 完成了首次貢獻