v1.85.1 - Gemini 3.5 Flash 與可靠性修正
部署此版本
- Docker
- Pip
docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:1.85.1
pip install litellm==1.85.1
v1.85.1 是建立在 v1.85.0 之上的修補版發行。它為 Gemini 3.5 Flash 新增 day-0 支援,並提供兩項可靠性修正——跨叢集節點支出準確性與 Vertex AI 工具呼叫。
新模型 / 更新模型
新模型支援(1 個新模型)
| 提供者 | 模型 | 上下文視窗 | 輸入($/百萬 tokens) | 輸出($/百萬 tokens) | 功能 |
|---|---|---|---|---|---|
| Gemini / Vertex AI | gemini/gemini-3.5-flash, vertex_ai/gemini-3.5-flash | 1M | $1.50 | $9.00 | Reasoning、vision、audio input、PDF input、prompt caching、web search、function calling、response schema |
功能
錯誤修正
- Vertex AI
- 在 Vertex Gemini 3.5+ 的工具回合中省略
function_call/function_responseid,修正 HTTP 400Unknown name "id"錯誤。Google AI Studio(gemini提供者)仍會在 Gemini 3.5+ 上轉送id,以符合嚴格的工具呼叫比對 - PR #28324
- 在 Vertex Gemini 3.5+ 的工具回合中省略
支出追蹤、預算與速率限制
- 透過
SET NX而非INCRBYFLOAT來初始化 Redis 支出計數器,以防止跨叢集節點重複初始化。在多節點部署中,這過去會在 Redis 快取失敗 / TTL 到期後,導致團隊spend飆升至約節點數的 Nx,進而觸發錯誤的「Budget Crossed」警示 - PR #27854
完整變更紀錄
https://github.com/BerriAI/litellm/compare/v1.85.0...v1.85.1