5 篇文章 含有標籤「stability」

在過去兩週，我們處理了兩個重大的產品品質問題：

1. MCP Gateway 沒有單一的憑證解析類別。
2. 透傳 API 的記憶體消耗過高。

在同一期間，我們總共推出了 134 個錯誤修正。這篇文章先介紹這兩個重大變更，接著說明其餘的 AI 工程與可靠性工作、完整細目，以及我們接下來要做什麼。

日期： 2026 年 2 月 27 日 持續時間： 約 6 天（2 月 21 日合併 -> 2 月 27 日修正） 嚴重性： 高 狀態： 已解決

注意： 此修正自 LiteLLM v1.81.14.rc.2 或更高版本開始可用。

摘要​

一項用於改善 Redis 連線池清理的變更引入了迴歸問題，會關閉仍被 proxy 積極使用的 httpx 用戶端。LLMClientCache（一個記憶體中的 TTL 快取）將 Redis 用戶端與 httpx 用戶端都存放在相同的驅逐政策下。當快取項目過期或被驅逐時，新的清理程式碼會對被驅逐的值呼叫 aclose()/close()；這對 Redis 用戶端運作正確，但會摧毀系統中其他部分仍持有參考且正在用於 LLM API 請求的 httpx 用戶端。

影響： 任何命中快取 TTL（預設 10 分鐘）或容量上限（200 筆項目）的 proxy 實例，都會在其下方被關閉 httpx 用戶端，導致對 LLM 提供者的請求因連線錯誤而失敗。

日期： 2026 年 1 月 22 日 持續時間： 約 4 天（直到修正於 2026 年 1 月 26 日合併） 嚴重性： 高 狀態： 已修復

注意： 此修正自 LiteLLM v1.81.3.rc.6 或更高版本開始可用。

摘要​

一個 PR（#19467）意外地從 proxy_server.py 中的 FastAPI 應用程式初始化移除了 root_path=server_root_path 參數。這導致代理程式在提供 UI 時忽略 SERVER_ROOT_PATH 環境變數。當 LiteLLM 部署在具有路徑前綴的反向代理之後（例如 /api/v1 或 /llmproxy）時，使用者發現所有 UI 頁面都回傳 404 Not Found。

• LLM API 請求： 無影響。API 路由未受影響。
• UI 頁面： 使用 SERVER_ROOT_PATH 的部署中，所有 UI 頁面都回傳 404。
• Swagger/OpenAPI 文件： 透過設定的根路徑存取時無法運作。

日期： 2026 年 2 月 13 日 持續時間： 約 3 小時 嚴重性： 高 狀態： 已解決

注意： 此修正將自 LiteLLM 的 v1.81.13-nightly 或更高版本開始提供。

摘要​

Claude Code 開始將不受支援的 Anthropic beta 標頭傳送給非 Anthropic 提供者（Bedrock、Azure AI、Vertex AI），造成 invalid beta flag 錯誤。LiteLLM 在未進行提供者特定驗證的情況下轉送了所有 beta 標頭。當透過 LiteLLM 將 Claude Code 請求路由至這些提供者時，使用者會遇到請求失敗。

• 對 Anthropic 的 LLM 請求： 無影響。
• 對 Bedrock/Azure/Vertex 的 LLM 請求： 在出現不受支援的標頭時，會以 invalid beta flag 錯誤失敗。
• 成本追蹤與路由： 無影響。

日期： 2026 年 1 月 27 日 持續時間： ~20 分鐘 嚴重程度： 低 狀態： 已修正

摘要​

model_prices_and_context_window.json 中一筆格式錯誤的 JSON 項目被合併到 main（562f0a0）。這導致 LiteLLM 悄悄回退到已過時的本機 model cost map 副本。使用較舊套件版本的使用者僅對較新的模型（例如 azure/gpt-5.2）失去成本追蹤。沒有任何 LLM 請求被阻擋。

• LLM 請求與 proxy 路由： 無影響。
• 成本追蹤： 受影響的僅是本機備份中未包含的較新模型。較舊模型不受影響。此事件持續約 20 分鐘，直到提交被還原。