v1.81.0-stable - Claude Code - 全部提供者的 Web Search
部署此版本
- Docker
- Pip
docker run litellm
docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:v1.81.0-stable
pip install litellm
pip install litellm==1.81.0
主要亮點
- Claude Code - 支援在 Bedrock、Vertex AI 與所有 LiteLLM 提供者之間使用 web search
- 重大變更 - 圖片 URL 下載的 50MB 限制，以提升可靠性
- 效能 - 透過從熱路徑移除過早的 model.dump() 呼叫，達成 CPU 使用量降低 25%
- UI 中的已刪除金鑰稽核表格 - 檢視已刪除的金鑰與團隊以供稽核，包含刪除當下的支出與預算資訊
Claude Code - 全部提供者的 Web Search
此版本將 web search 支援帶入 LiteLLM 所有提供者上的 Claude Code（Bedrock、Azure、Vertex AI 等），讓 AI 程式撰寫助理能夠搜尋網路以取得即時資訊。
這表示您現在可以在任何提供者上使用 Claude Code 的 web search 工具，而不僅限於 Anthropic 的原生 API。LiteLLM 會自動攔截 web search 請求，並使用您設定的搜尋提供者（Perplexity、Tavily、Exa AI 等）在伺服器端執行。
Proxy 管理員可以在 LiteLLM proxy 設定中設定 web search 攔截，為使用 Claude Code 搭配 Bedrock、Azure 或任何其他受支援提供者的團隊啟用此功能。
重大變更 - /chat/completions 圖片 URL 下載大小限制
為了提升可靠性並防止記憶體問題，LiteLLM 現在預設包含可設定的 50MB 限制，用於圖片 URL 下載。先前圖片下載沒有限制，遇到非常大的圖片時偶爾可能會造成記憶體問題。
其運作方式
圖片 URL 超過 50MB 的請求將收到一則有幫助的錯誤訊息：
curl -X POST 'https://your-litellm-proxy.com/chat/completions' \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer sk-1234' \
-d '{
"model": "gpt-4o",
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "What is in this image?"
},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/very-large-image.jpg"
}
}
]
}
]
}'
錯誤回應：
{
"error": {
"message": "Error: Image size (75.50MB) exceeds maximum allowed size (50.0MB). url=https://example.com/very-large-image.jpg",
"type": "ImageFetchError"
}
}
設定限制
預設的 50MB 限制對大多數使用情境都很合適，但如有需要，您可以輕鬆調整：
提高限制（例如，調整為 100MB）：
export MAX_IMAGE_URL_DOWNLOAD_SIZE_MB=100
停用圖片 URL 下載（基於安全性）：
export MAX_IMAGE_URL_DOWNLOAD_SIZE_MB=0
Docker 設定：
docker run \
-e MAX_IMAGE_URL_DOWNLOAD_SIZE_MB=100 \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:v1.81.0
Proxy 設定（config.yaml）：
general_settings:
master_key: sk-1234
# Set via environment variable
environment_variables:
MAX_IMAGE_URL_DOWNLOAD_SIZE_MB: "100"
為什麼要加入這項功能？
此功能透過以下方式提升可靠性：
- 防止超大圖片造成記憶體問題
- 與 OpenAI 的 50MB 負載限制保持一致
- 及早驗證圖片大小（當 Content-Length 標頭可用時）
效能 - CPU 使用量降低 25%
LiteLLM 現在透過從請求處理的熱路徑中移除過早的 model.dump() 呼叫來降低 CPU 使用量。先前，Pydantic 模型序列化會比必要時更早且更頻繁地執行，導致每個請求都有不必要的 CPU 負擔。透過將序列化延後到真正需要時，LiteLLM 可降低 CPU 使用量，並在高負載下提升請求吞吐量。
UI 中的已刪除金鑰稽核表格
LiteLLM 現在在 UI 中直接為已刪除的 API 金鑰與團隊提供完整的稽核表格。此功能可讓您輕鬆追蹤已刪除金鑰的支出、檢視其相關團隊資訊，並維護準確的財務記錄，以供稽核與法遵用途。此表格會顯示金鑰別名、團隊關聯，以及刪除當下擷取的支出資訊等詳細資料。若要進一步瞭解如何使用此功能，請參閱 Deleted Keys & Teams 文件。
新模型 / 更新模型
新模型支援
| 提供者 | 模型 | 功能 |
|---|---|---|
| OpenAI | gpt-5.2-codex | 程式碼生成 |
| Azure | azure/gpt-5.2-codex | 程式碼生成 |
| Cerebras | cerebras/zai-glm-4.7 | 推理、函式呼叫 |
| Replicate | 所有 chat models | 全面支援所有 Replicate chat models |
功能
-
- 在多模態訊息中處理 OpenAI 風格的 image_url 物件 - PR #18272
-
- 將 finish_reason 設為 tool_calls，並移除有問題的能力檢查 - PR #18924
-
- 允許為 Watsonx inferencing 傳遞 scope ID - PR #18959
-
- 新增所有 chat Replicate models 支援 - PR #18954
-
- 新增 OpenRouter 對 image/generation endpoints 的支援 - PR #19059
-
- 為 Volcengine models（deepseek-v3-2、glm-4-7、kimi-k2-thinking）新增 max_tokens 設定 - PR #19076
-
Azure Model Router
- 新模型 - LiteLLM AI Gateway 上的 Azure Model Router - PR #19054
-
GPT-5 模型
-
文字完成
- 支援將 token IDs（整數清單）作為 prompt - PR #18011
錯誤修正
LLM API 端點
功能
錯誤
- 一般
管理端點 / UI
功能
虛擬金鑰
- 檢視已刪除的金鑰以供稽核 - PR #18228, PR #19268
- 為金鑰清單新增 status query parameter - PR #19260
- 建立金鑰後重新擷取金鑰 - PR #18994
- 刪除時重新整理金鑰清單 - PR #19262
- 簡化金鑰產生權限錯誤 - PR #18997
- 在金鑰編輯團隊下拉選單中新增搜尋 - PR #19119
團隊與組織
- 檢視已刪除的團隊以供稽核 - PR #18228, PR #19268
- 為 organization 表格新增篩選器 - PR #18916
- 為
/organization/list新增查詢參數 - PR #18910 - 為團隊清單新增 status query parameter - PR #19260
- 僅向內部使用者顯示其支出 - PR #19227
- 允許防止團隊管理員從團隊中刪除成員 - PR #19128
- 重構團隊成員圖示按鈕 - PR #19192
模型 + 端點
- 在公開 model hub 顯示健康資訊 - PR #19256, PR #19258
- Anthropic models 的生活品質改善 - PR #19058
- 建立可重用的 model select component - PR #19164
- 編輯設定的 model 下拉選單 - PR #19186
- 修正 model hub 用戶端例外 - PR #19045
用量與分析
- 允許頂部 virtual keys 和 models 顯示更多項目 - PR #19050
- 修正 model activity 圖表的 Y 軸 - PR #19055
- 在匯出報告中新增 Team ID 與 Team Name - PR #19047
- 為 Prometheus 新增使用者指標 - PR #18785
SSO 與驗證
- 允許設定自訂的 MSFT Base URLs - PR #18977
- 允許覆寫 env var 屬性名稱 - PR #18998
- 修正 SCIM GET /Users 錯誤並強制 SCIM 2.0 相容性 - PR #17420
- SCIM 相容性修正的功能旗標 - PR #18878
一般 UI
- 在下拉元件中新增 allowClear 以改善 UX - PR #18778
- 新增社群互動按鈕 - PR #19114
- UI 意見回饋表單 - 為什麼選擇 LiteLLM - PR #18999
- 將使用者與團隊表格篩選器重構為可重用元件 - PR #19010
- 調整新徽章 - PR #19278
錯誤
- Container API 路由對非管理員使用者回傳 401 - openai_routes 中缺少路由 - PR #19115
- 允許將 Containers API 路由至區域性端點 - PR #19118
- 修正 Azure Storage circular reference 錯誤 - PR #19120
- 修正使用 Prisma FieldNotFoundError 時 prompt 刪除失敗 - PR #18966
AI 整合
記錄
-
- 將語意慣例更新至 1.38（gen_ai 屬性） - PR #18793
-
- 提升執行緒分組中繼資料（session_id、thread） - PR #18982
-
- 使用 Langfuse callback 時，在 JSON 記錄中包含 Langfuse logger - PR #19162
-
- 新增可透過 env var 自訂 Logfire base URL 的能力 - PR #19148
-
一般記錄
防護欄
支出追蹤、預算與速率限制
-
成本計算修正
-
價格更新
-
預算與速率限制
MCP 閘道
- 防止重複註冊 MCP reload 排程器 - PR #18934
- 以不區分大小寫方式轉發 MCP 額外標頭 - PR #18940
- 修正 MCP REST 驗證檢查 - PR #19051
- 修正回應中生成兩個 telemetry 事件 - PR #18938
- 修正 MCP chat completions - PR #19129
效能 / 負載平衡 / 可靠性改善
-
效能改善
-
可靠性
-
基礎架構
-
Helm Chart
資料庫變更
結構描述更新
| 資料表 | 變更類型 | 說明 | PR |
|---|---|---|---|
LiteLLM_ProxyModelTable | 新增欄位 | 新增 created_at 和 updated_at 時戳欄位 | PR #18937 |
文件更新
- 新增 LiteLLM 架構 md 文件 - PR #19057, PR #19252
- 新增疑難排解指南 - PR #19096, PR #19097, PR #19099
- 新增 CPU 與記憶體問題的結構化問題回報指南 - PR #19117
- 為高流量部署新增 Redis 要求警告 - PR #18892
- 搭配 enable_pre_call_checks 更新負載平衡與路由 - PR #18888
- 使用 guided 參數更新 pass_through - PR #18886
- 更新 message content types 連結並新增 content types 表格 - PR #18209
- 新增包含 kwargs 的 Redis 初始化 - PR #19183
- 改善透過 SAP Gen AI Hub 路由 LLM 請求的文件 - PR #19166
- 刪除 Keys 與 Teams 文件 - PR #19291
- Claude Code 最終使用者追蹤指南 - PR #19176
- 新增 MCP 疑難排解指南 - PR #19122
- 新增驗證訊息 UI 文件 - PR #19063
- 新增在 Helm/K8s 中掛載自訂回呼的指南 - PR #19136
錯誤修正
- 修正 OpenAPI schema 中 server_root_path 的 Swagger UI 路徑執行錯誤 - PR #18947
- 標準化 OpenAI SDK BaseModel choices/messages 以避免 Pydantic 序列化器警告 - PR #18972
- 新增上下文間隙檢查與單字形式數字 - PR #18301
- 清理儲存庫根目錄中孤兒檔案 - PR #19150
- 在 non-root 中包含 proxy/prisma_migration.py - PR #18971
- 更新 prisma_migration.py - PR #19083
新貢獻者
- @yogeshwaran10 在 PR #18898 完成了第一次貢獻
- @theonlypal 在 PR #18937 完成了第一次貢獻
- @jonmagic 在 PR #18935 完成了第一次貢獻
- @houdataali 在 PR #19025 完成了第一次貢獻
- @hummat 在 PR #18972 完成了第一次貢獻
- @berkeyalciin 在 PR #18966 完成了第一次貢獻
- @MateuszOssGit 在 PR #18959 完成了第一次貢獻
- @xfan001 在 PR #18947 完成了第一次貢獻
- @nulone 在 PR #18884 完成了第一次貢獻
- @debnil-mercor 在 PR #18919 完成了第一次貢獻
- @hakhundov 在 PR #17420 完成了第一次貢獻
- @rohanwinsor 在 PR #19078 完成了第一次貢獻
- @pgolm 在 PR #19020 完成了第一次貢獻
- @vikigenius 在 PR #19148 完成了第一次貢獻
- @burnerburnerburnerman 在 PR #19090 完成了第一次貢獻
- @yfge 在 PR #19076 完成了第一次貢獻
- @danielnyari-seon 在 PR #19083 完成了第一次貢獻
- @guilherme-segantini 在 PR #19166 完成了第一次貢獻
- @jgreek 在 PR #19147 完成了第一次貢獻
- @anand-kamble 在 PR #19193 完成了第一次貢獻
- @neubig 在 PR #19162 完成了第一次貢獻