部落格

Day 0 支援：Nano Banana 2.1

LiteLLM 上 Google AI Studio 與 Gemini Enterprise Agent Platform 的 Gemini Nano Banana 2.1 Day 0 支援，提供的影像輸出價格僅為 Nano Banana 2 的一半。

LiteLLM Lens 如何在 1,000 多個代理程式追蹤中找出重複失敗

Lens 內部：平行追蹤審查、處理大型追蹤的 Python 工具，以及將重複失敗連結到來源證據的調查。

我們如何將長提示的首字回應時間縮短 94%

一個 44 萬 token 的基準測試，首字回應時間中位數從 553 毫秒降到 35 毫秒。我們在模型呼叫前移除了不必要的提示快取路由工作。

我們如何在 2 天內打造自己的內部 Devin

我們如何運用 Render、Modal、Hermes、Temporal 和 LiteLLM 打造 Moyai Devin：可持久化的工作階段、平行代理程式、Slack，以及共享的組織連線。

新增自架 Auto Router 分類器：Laya 與 Nimble

使用 Laya 或 Bespoke Nimble 在您自己的基礎架構上對 Auto Router 請求進行分類。控制分類執行的位置、您提供哪個模型，以及如何佈建它。

推出 LiteLLM Lens

LiteLLM Lens 將流經您閘道的追蹤轉化為可供您的代理程式採取行動的發現。為產生 20 萬筆以上追蹤的代理程式群設計。

我們如何將 LiteLLM 每次請求的 Redis 往返次數降低 64%

一個送往 LiteLLM AI Gateway 的受管請求曾在 Redis 上等待 22 次。現在只等待 8 次：在模型呼叫前，每個 Redis 後端各一個 pipeline；在模型呼叫後，再一個。

我們如何將 LiteLLM Usage 頁面加速 120 倍

從六分鐘到 3.2 秒：將彙總移到 Postgres 如何讓 LiteLLM 的 Usage 頁面在我們的基準測試中大約快了 120 倍。

Day 0 支援：GPT-6.1 Sol

LiteLLM 對 GPT-6.1 Sol 的 Day 0 支援，快取輸入價格只有 GPT-6 Sol 的一半。

以引導式課程學習 LiteLLM 閘道

跟著一則請求走過 LiteLLM 閘道、Router 和 SDK。這是一門為部署閘道的團隊與進行程式碼變更的貢獻者設計的引導式課程。

Day 0 支援：Claude Sonnet 5.5

LiteLLM AI Gateway 對 Claude Sonnet 5.5 的 Day 0 支援。可透過 Anthropic、Bedrock、Gemini Enterprise Agent Platform 和 Azure 使用。

LiteLLM ROI 計算器介紹

比較每位工程師的 LiteLLM 閘道支出與其已合併拉取請求的預估工時。開源且可自行代管。

介紹 LiteAgents

無需重寫您的代理程式即可切換 agent harness。保留您的工具與模型組態，使用原生 harness 控制，並在需要可持久執行時加入 Temporal。

9 月 Townhall 更新：583 個錯誤修復、Rust 上的 OCR，以及 83.5% 覆蓋率

9 月 LiteLLM town hall 回顧：安全性與穩定性更新、預設在 Rust 上執行的 OCR、測試覆蓋率超過 80% 目標，以及 Fusion 和 liteagents 的新發布。

第 0 天支援：Gemini 3.8 Flash TTS 與 Flash-Lite TTS

LiteLLM 的 /v1/audio/speech 對 Gemini 3.8 Flash TTS 與 Flash-Lite TTS 的第 0 天支援，並追蹤至 2026 年的上市定價。

介紹 LiteAdmin MCP

讓您的代理程式擁有建立金鑰、新增模型及管理預算的工具，並搭配 LiteAdmin MCP 使用。透過同一個連接器，也可使用 LiteAdmin——我們的 Slack 管理代理程式。

Day 0 支援：GPT-6 Sol 與 GPT-6 Luna

LiteLLM 對 GPT-6 Sol 與 GPT-6 Luna 的 Day 0 支援，價格僅為其 GPT-5.6 對應模型的一半。

Day 0 支援：Claude Opus 5.5

LiteLLM AI Gateway 對 Claude Opus 5.5 的 Day 0 支援。可透過 Anthropic、Bedrock、Gemini Enterprise Agent Platform 和 Azure 使用。

在 LiteLLM 上開始使用 Fireworks AI

初學者教學：在 LiteLLM 閘道後方於 Fireworks AI 上執行開放模型，使用您已在用的 OpenAI SDK 呼叫它，然後再新增第二個模型與備援。

Day 0 支援：Xiaomi MiMo V2.6

LiteLLM 對 Xiaomi MiMo V2.6 Pro 和 Flash 的 Day 0 支援，首次以原生路由計價。

透過 LiteLLM 使用 Claude Code 伺服器端自動模式

Anthropic 正將 Claude Code 自動模式的安全分類器移至伺服器端。LiteLLM 的原生 /v1/messages 路由現在會將防護契約轉送至 Anthropic API、Bedrock InvokeModel、Bedrock Mantle 與 Vertex AI。以下說明該契約、變更內容、涵蓋哪些版本，以及如何驗證。

第 0 天支援：Grok 4.7

LiteLLM 對 Grok 4.7 的第 0 天支援，價格與 Grok 4.6 相同。

JEV 分類器：速度比 Haiku 快 5.43 倍，成本降低 96%

在我們的 AI Gateway 基準測試中，JEV 依據中位延遲分類請求的速度比 Haiku 快 5.43 倍。探索設定、成本節省與方法。

LiteLLM 上的 TypeSafe Jev

TypeSafe AI 的 Jev 登場於 LiteLLM v1.103.0-rc：透過 proxy 搭配記錄與成本追蹤來呼叫它。

Auto-Router：在不發生加密內容失敗的情況下切換層級

LiteLLM 如何安全地從跨層後續請求中移除無法解密的加密推理，讓 Auto-Router 能持續路由請求

支援首日：Qwen3.8-Omni-Flash

LiteLLM 對 Qwen3.8-Omni-Flash 的支援首日，支援文字、圖片、音訊和影片輸入。

使用 TypeSafe Jev 與 LiteLLM 降低代理程式內容脈絡

使用 TypeSafe Jev 移除機器人對話中的舊工具結果，並為 LiteLLM 中的團隊啟用壓縮。

Auto Router：節省成本、提升速度與團隊控管的 5 項改進

Auto Router 的五項更新：快取成本估算、依層級設定 Fast Mode、團隊管理的 router、即時 CLI 統計，以及更精準的 Anthropic 節省。

9 月市政大會：產品 + 路線圖更新

歡迎於 9 月 24 日星期四上午 7:30（PT）參加 LiteLLM 9 月市政大會，了解 LiteLLM 的產品更新與路線圖。

Auto Router：使用我們的 Fuse LLM 分類器將品質與節省最大化

我們透過結合複雜度與能力評估來改進 Fuse V2，以了解每個模型在哪些情況下成功、失敗，以及何時需要升級。

OCR 自 v1.102.0-rc.1 起預設使用 Rust

自 v1.102.0-rc.1 起，OCR 請求會預設使用 Rust 實作，同時保留既有 API。

事件報告：重試麵包屑記憶體成長導致 v1.100.0 發生 OOM

日期： 2026 年 9 月 7 日至 2026 年 9 月 9 日

Auto Router：25 個 SWE-bench 任務降低 45% 成本

我們使用 LiteLLM 的實驗性能力路由器，以 $11.15 解決了 25 個 SWE-bench Verified 任務中的 23 個；相較之下，使用 Opus 5 為 $20.27。

Pfizer 如何大規模改善 LiteLLM Gateway 的效能與韌性

Pfizer AI Platform Engineering 如何隔離出一個 Redis 連線處理錯誤，該錯誤在零 HTTP 錯誤的情況下使 LiteLLM gateway 吞吐量降低約 48%，將 CI 負載測試延遲降低 76%，並與 LiteLLM 一起建立防止回歸的框架。

自動路由器更新：支援 Harness 感知的路由

針對 Claude Code 和 Codex 的支援 Harness 感知的 Auto-Router 更新：更少的分類器上下文、支援加密任務，以及更清楚的路由記錄。

以具備身分意識的存取與支出控制安全保護共享 AI 代理程式

LiteLLM 如何在共享代理程式之間保留呼叫者身分、管理模型與 MCP 存取，並為每個業務單位強制執行獨立預算。

AutoRouter：為您的流量調校啟發式規則

為特定工作負載調校 AutoRouter 的啟發式維度、提升分類準確度，並從您已在提供的模型設定分層。

我們更新後的 SOC 2 Type 2 報告已可取得

LiteLLM 更新後的 SOC 2 Type 2 報告現已可透過 LiteLLM Trust Center 取得。

子任務專屬路由：相同品質，成本降低 46%

依據代理程式正在做什麼——探索、實作或驗證——來路由每個代理程式回合，而不是依據提示看起來有多難。在 SWE-bench Verified 子集合上，它以比固定 Claude Opus-5 低 46% 的成本，達到相同品質，且 86% 的回合從未碰到前沿模型。

AutoRouter 每一跳壓縮：再將 LLM 分類器成本降低 32%

complexity router 的 LLM 分類器現在可以使用與它路由到的模型呼叫不同的壓縮。分類器只需要足夠的上下文來正確路由，不需要產生回應。在內部測試中，將其積極壓縮後，分類成本在共享壓縮之外又進一步降低了 32%，且路由準確度沒有變化。

Auto-Router：將卡住的任務提升處理層級

Auto-Router 現在會讀取助理本身最近的工具呼叫，察覺代理式任務何時卡在重試迴圈中，並自動將其提升一個層級，這與 escalation_keywords 已提供的 bump 提升相同。

第 0 天支援：GPT-6 Astra

LiteLLM 對 OpenAI 的 GPT-6 Astra 提供第 0 天支援，包含定價、推理參數與 Responses API 橋接。

Day 0 支援：Meta Muse Spark 1.3

LiteLLM 對 Meta Muse Spark 1.3 的 Day 0 支援，並提供標準與貢獻者方案的成本追蹤。

支援第 0 天：Gemini 3.8 Flash

LiteLLM 對 Gemini 3.8 Flash 的第 0 天支援，並追蹤 Google AI Studio 與 Vertex AI 的上市定價。

介紹 AutoRouter Heuristic v2：以 45% 更低成本解決多 27% 的任務

Heuristic v2 是 LiteLLM 的 AutoRouter 新分類器，先以多輪分級回應資料預訓練，因此出貨時就沒有冷啟動問題。在 Terminal-Bench 2.0 的 21 任務子集中，它比 Heuristic v1 多解決 3 個任務，而且每個已解決任務的成本低 45%，延遲也更低。

介紹 LiteLLM Fusion：比 Fable 5 多解決 56% 的任務

LiteLLM 自動路由 Fusion 在同一任務上同時執行三個模型並綜合其成果，在 21 個 Terminal-Bench 任務中解決了 14 個，單靠 Claude Fable-5 則解決了 9 個。總支出增加 36%，每個已解決任務的成本下降 12%，而單輪延遲上升了 5 倍。

Auto-Router：根據上下文大小與模態進行路由

Auto-Router 現在支援更多路由設定：上下文視窗升級會在送出前將過大的提示移至可容納它們的最便宜層級，模態路由會將圖片請求送往可見圖片的層級，分類可以僅在使用者回合上執行，而 shadow 評估則可在團隊的即時流量上比較多個路由器設定。

Day 0 支援：Claude Fable 5.1

LiteLLM AI Gateway 對 Claude Fable 5.1 的 Day 0 支援，並自首次請求起追蹤 0.025x 的快取讀取價格。

八月 Townhall 更新：安全性、穩定性與產品

八月 LiteLLM town hall 摘要：79 項安全修補、375 項 bug 修復、142 個功能 commit、新任安全總監、公開狀態儀表板，以及來自 production 的 Auto-Router 結果。

陰影評估：用您自己的正式流量測試 Auto-Router

陰影評估會透過 auto-router 複製一個 key 的即時流量樣本切片，並讓一個 LLM 法官盲測比較答案。在我們自己的流量上，路由器在 88.1% 的受評回應中與目前模型表現相同或更好；而且是在任何使用者可見回應改變之前進行測量。

第 0 天支援：Gemini 3.7 Flash

LiteLLM 對 Gemini 3.7 Flash 的第 0 天支援，並追蹤 Google AI Studio 與 Vertex AI 的上市定價。

8 月全體員工大會：產品 + 路線圖更新

加入 LiteLLM 於 8 月 27 日星期四上午 7:30（PT）舉辦的全體員工大會，了解 LiteLLM 的產品更新與路線圖。

線上正式部署回報 51% 成本節省

一位 LiteLLM 客戶將 Auto Router 推廣到正式環境中的 450+ 位使用者，並分享了四個月的數據：272,876 次請求、7.08 億個 tokens，以及相較於全旗艦基準節省的 $12,249。

Auto Router：以最高達 27% 更低成本達成 Opus 等級品質

在 Terminal-Bench 2.0 的 21 個任務子集上，自動路由器以比 Claude Opus-5 低 27% 的成本，達到相同的解題率。加入前 3 則使用者訊息作為分類器上下文後，相對品質提升 14%，但成本多 44%；加入助理回覆則兩者都變差。

AutoRouter：輕鬆掌握您的節省成效

Cost Optimization 中新增 Auto-Router Usage 分頁、每個請求的分類器成本回報、依您自己的部署進行預設比對，以及兩項路由修正。

AutoRouter：1 次點擊部署

Auto-Router 的六項變更：Anthropic 和 OpenAI 的 1 次點擊預設、單行代理程式設定技能、UI 中的 Test Routing、可替換的分類器系統提示、可自訂層級，以及可設定的提醒標記。

Auto Router v1.97：使用量基準測試與更低成本下的更佳品質

v1.97 為 auto router 新增成本與使用量基準測試，讓 LLM 分類器可看到先前幾輪對話，並預設關閉 session affinity。根據 5,600 次實際 classifier 請求，加入先前幾輪後，對指涉性追問的 tier 一致率從 14% 提升到 78%，每次請求成本不到十分之一美分，且沒有可測得的延遲變化。

Prompt 快取可與 Auto Router 搭配使用

對 auto-routing 最常見的疑慮是，切換模型會丟失您的 prompt 快取。我們在五個資料集上進行了測量，其中包括使用提供者自身快取計費的真實閘道流量，而答案是否定的。

以近乎前沿模型的品質，將 Claude Code 成本降低 75%

針對四層 Auto Router 組態與全前沿基準的兩項獨立評估：8,619 個評分過的提示、14,000 則模擬真實對話，以及成本與品質數字實際取決於什麼。

July Townhall Updates: 38 Security Fixes, 317 Bug Fixes, and Autorouter V2

7 月 LiteLLM 線上大會回顧：38 項安全修補、317 項錯誤修正、140 個功能提交、全新的 Rust 閘道基準測試，以及 Autorouter V2 的推出。

Day 0 支援：Claude Opus 5

LiteLLM AI Gateway 上對 Claude Opus 5 的 Day 0 支援。可透過 Anthropic、Azure、Vertex AI 與 Bedrock 使用。

LiteLLM Rust AI Gateway 基準測試：額外負擔、記憶體與成本

AIGatewayBench 量測 AI 閘道在上游模型之上增加的額外負擔，並在可重現的 deterministic mock 上進行隔離測試，涵蓋 LiteLLM (Rust)、LiteLLM (Python v1)、Portkey 與 Bifrost。LiteLLM Rust 閘道在這四者中具有最低的額外負擔與記憶體占用。

宣布 Router Plugins：自訂路由訊號

Router plugins 現已在 LiteLLM 上線。設定一個插件管線，以決定針對給定輸入要選擇哪些模型。插件也可以串接

Auto Router v2：一個整合複雜度、語義與自適應路由的路由器

Auto Router v2 將 LiteLLM 的複雜度、語義與自適應路由器整合為單一路由器，搭配 LLM 分類器、關鍵字分層、多模型池與自適應 Thompson sampling。

事件報告：Bedrock Invoke 上 Claude Code 的提示快取失效

日期：2026 年 7 月 4 日至 2026 年 7 月 10 日

7 月穩定性更新：強化 MCP 驗證與縮減透傳記憶體

兩週的產品品質更新。我們修正了兩個重大問題（MCP 憑證解析與透傳記憶體），並總共推出 134 個錯誤修正。另有我們下一個目標：95% 的端到端測試涵蓋率。

7 月 Townhall：產品 + 路線圖更新

歡迎於 7 月 23 日星期四上午 7:30（PT）參加 LiteLLM 7 月 townhall，了解 LiteLLM 的產品更新與路線圖。

第 0 天支援：GPT-5.6（Sol、Terra、Luna）

LiteLLM 對 GPT-5.6 系列（Sol、Terra、Luna）的第 0 天支援。

透過 LiteLLM 降低 Claude Code 成本的 5 種方式

平台管理員可在 LiteLLM proxy 上採取的實用槓桿，用來降低 Claude Code 支出，而無需要求開發者做任何變更。

第 0 天支援：Claude Sonnet 5

LiteLLM AI Gateway 上對 Claude Sonnet 5 的第 0 天支援。可透過 Anthropic、Azure、Vertex AI 與 Bedrock 使用。

LiteLLM × Headroom: 與 Claude Code 一起使用更少 60–95% 的 token

將 Headroom 作為 LiteLLM 上的 pre_call 防護欄，藉此在 Claude Code 與其他 LLM 流量上減少輸入 token。

6 月 Townhall 更新：94 個 Bug 修正、OCR + Realtime 改用 Rust，以及零回歸承諾

June LiteLLM town hall 的回顧，涵蓋安全加強、零回歸承諾、78 項功能提交，以及閘道逐步遷移至 Rust。

將 OpenAI Code Interpreter 換成 E2B/OpenSandbox

在您的請求中保留 OpenAI code_interpreter tool，並在您自己的 sandbox 中執行程式碼。LiteLLM 會攔截 tool 呼叫並將其路由到 E2B 或 OpenSandbox；無需變更用戶端。

將 LiteLLM 遷移至 Rust - 打造最快、最輕量的 AI 閘道

LiteLLM 正在將其 AI 閘道遷移到 Rust：15 倍吞吐量、少 11 倍記憶體，以及每次請求不到 1ms 的額外負擔。沒有 v2、沒有遷移，您的設定維持不變。

LiteLLM 版本支援：聚焦最近四條穩定次版本線

自 2026 年 6 月 29 日星期一起，LiteLLM 將主動支援最近四條穩定次版本線。較舊的版本線將進入生命週期結束，並且隨著新的穩定版本線發布，支援視窗會往前推進。

Valkey 與 AWS ElastiCache 上的語意快取

LiteLLM 現已支援在執行 valkey-search 模組的 Valkey 叢集上進行語意提示快取，包括 AWS ElastiCache for Valkey，且無需 RediSearch、Redis Stack 或 Qdrant。

6 月 Townhall：產品 + 路線圖更新

請於 6 月 25 日星期四美西時間上午 7:30 參加 LiteLLM 6 月 townhall，瞭解 LiteLLM 的產品更新與路線圖。

六月穩定性更新：我們正讓穩定性成為 LiteLLM 的一等公民

第 0 天支援：Claude Fable 5

LiteLLM AI Gateway 提供 Claude Fable 5 的第 0 天支援。可在 Anthropic、Azure、Vertex AI 與 Bedrock 上使用。

統一的代理程式控制平面

AI 閘道正往上層移動：從路由模型請求，走向路由代理程式工作。

宣佈 LiteLLM x Microsoft ASSERT

LiteLLM 現已與 Microsoft ASSERT 整合，提供以政策驅動的代理程式評估——在問題進入正式環境前先攔截安全性與品質缺陷。

LiteLLM Labs：宣布 Lite-Harness SDK — Claude Code、Codex 與 Pi AI 的統一 API

一個 SDK。只要更改字串即可在 Claude Code、Codex 與 Pi AI 之間切換。可搭配 LiteLLM AI Gateway 使用，提供金鑰、預算、記錄與備援。

已在 1.84.0+ 修正 - 版本更新：透過 Host Header Injection 的認證繞過（GHSA-4xpc-pv4p-pm3w）

揭露 LiteLLM proxy 中存在的 Host header 認證繞過。已在 v1.84.0 中處理。受影響的部署非常有限，且沒有任何 LiteLLM Cloud 客戶受到影響。

Day 0 支援：Claude Opus 4.8

LiteLLM AI Gateway 對 Claude Opus 4.8 的 Day 0 支援。可透過 Anthropic、Azure、Vertex AI 和 Bedrock 使用。

我們如何打造一個背景代理程式，覆蓋 30% 的待辦工作

我們如何在 LiteLLM AI Gateway 上打造一個背景代理程式，在沒有人工介入的情況下合併 PR（以及背後的基礎架構、harness 與憑證範圍設定作業）。

5 月 Townhall 更新：安全強化、版本發布編號，以及 Agent 平台

5 月 LiteLLM town hall 回顧，涵蓋 89 項安全修補、新的版本發布編號、MCP 工具集、效能提升，以及 LiteLLM Agent Platform。

DAY 0 支援：LiteLLM 上的 Gemini 3.5 Flash

在 LiteLLM Proxy 和 SDK 中使用 Gemini 3.5 Flash 的指南，提供 day 0 支援。

LiteLLM 上的 Google AI Studio 受管代理程式

LiteLLM 現在支援 Google AI Studio Managed Agents API。透過 LiteLLM 建立、管理並執行自訂代理程式。

5 月員工大會：產品 + 路線圖更新

歡迎於 5 月 19 日星期二 PST 上午 7:30 參加 LiteLLM 5 月員工大會，了解 LiteLLM 的產品更新與路線圖。

公告：Componentized Deployments

LiteLLM 的 componentized deployment 如何將管理／UI 控制平面與 LLM 資料平面隔離，提升大規模下的可靠性。

安全更新：Mistral AI PyPI 供應鏈攻擊 — LiteLLM 未受影響

2026 年 5 月 11 日，mistralai PyPI 套件的惡意版本被發布，作為協同供應鏈攻擊的一部分。LiteLLM 未受影響 — 我們僅透過 httpx 直接呼叫 Mistral，從不匯入 mistralai SDK。

LiteLLM 受管代理程式平台 — Alpha 現已開放公開預覽

在 LiteLLM Gateway 上啟動受沙箱隔離的代理程式工作階段 — 一個用於受管代理程式的控制平面，現已進入公開預覽。

LiteLLM Proxy 的安全更新：CVE-2026-42208

CVE-2026-42208（LiteLLM Proxy 的 API key 驗證路徑中的 SQL injection）已修正。請升級至 v1.83.10-stable。

事件報告：Prisma DB 重連會阻塞事件迴圈並終止存活檢查

日期： 2026 年 4 月

LiteLLM 版本發布版號制度正在變更：採用標準命名、每週發版升級 MINOR、hotfix 保留 PATCH

移除 `-stable` 和 `-nightly` 後綴。每週發版將升級 MINOR；PATCH 現在保留給真正的 hotfix。舊版發佈會永久保留其標籤；新版將以 `1.84.0` 開始。

Gemini Embedding 2 (GA)：LiteLLM 上的多模態嵌入

透過 Gemini API 和 Vertex AI 在 LiteLLM 上使用正式可用的 gemini-embedding-2 進行多模態嵌入——與預覽版相同的流程，且模型 ID 穩定。

Day 0 支援：GPT-5.5 與 GPT-5.5 Pro

LiteLLM 上 GPT-5.5 與 GPT-5.5 Pro 的 Day 0 支援。

安全更新：CVE-2026-30623 — 透過 Anthropic 的 MCP SDK 進行命令注入

CVE-2026-30623（透過 MCP stdio 傳輸進行的已驗證 RCE）已修復。請升級至 v1.83.6-nightly 或 v1.83.7-stable 或更新版本。

LiteLLM × Akto：與內建防護欄並行的基於模型偵測

將 Akto 的基於模型偵測與 LiteLLM 的內建防護欄串接在一起——攔截僅靠模式比對檢查會漏掉的 PII、提示注入與政策違規。

Day 0 支援：Claude Opus 4.7

Claude Opus 4.7 在 LiteLLM AI Gateway 上的 Day 0 支援 - 可跨 Anthropic、Azure、Vertex AI 和 Bedrock 使用。

讓 AI 閘道對 Redis 故障具備韌性

LiteLLM 的正式環境 AI 閘道如何在大規模情況下處理 Redis 劣化而不發生連鎖故障 — 斷路器模式、0ms 快速失敗、自動復原。

4 月 Townhall 更新：CI/CD v2、穩定性與產品藍圖

4 月 LiteLLM town hall 的回顧，涵蓋 CI/CD v2、產品穩定性工作，以及近期藍圖。

安全更新：漏洞揭露與持續強化

LiteLLM v1.83.0 中已修補之安全漏洞的揭露，以及我們的漏洞賞金計畫啟動。

四月市政大會：安全性 + 產品藍圖

歡迎參加 LiteLLM 4 月市政大會，時間為 4 月 10 日星期五上午 7:30，了解 LiteLLM 的安全性與產品藍圖。

宣佈 LiteLLM 的 CI/CD v2

CI/CD v2 導入了隔離環境、更強的安全防護欄，以及為 LiteLLM 提供更安全的發佈分離。

LiteLLM + Vanta：SOC 2 Type 2 與 ISO 27001 重新認證

LiteLLM 正與 Vanta 合作進行 SOC 2 Type 2 與 ISO 27001 重新認證，並聘請獨立稽核員進行驗證。

安全 Townhall 更新

發生了什麼、我們已經做了什麼，以及 LiteLLM 的發布與安全流程接下來會如何演進。

安全更新：疑似供應鏈事件

截至 2026 年 3 月 24 日下午 2:00（ET）

事件報告：Guardrail 記錄將秘密標頭暴露於 spend logs 和 traces 中

日期： 2026 年 3 月 18 日

首日支援：GPT-5.4-mini 與 GPT-5.4-nano

LiteLLM 中對 GPT-5.4-mini 與 GPT-5.4-nano 模型的支援

新增 Video Characters、Edit 與 Extension API 支援

LiteLLM 現在支援在多次影片生成之間建立、擷取及管理可重複使用的 video characters。

即時 WebRTC HTTP 端點

使用 LiteLLM proxy 透過 HTTP 路由 OpenAI 風格的 WebRTC 即時通訊：client_secrets 與 SDP 交換。

第 0 天支援：GPT-5.4

LiteLLM 中對 GPT-5.4 模型的支援

DAY 0 支援：LiteLLM 上的 Gemini 3.1 Flash Lite Preview

在 LiteLLM Proxy 和 SDK 上使用 Gemini 3.1 Flash Lite Preview 的指南，具備 day 0 支援。

事故報告：快取驅逐關閉了使用中的 httpx 用戶端

日期： 2026 年 2 月 27 日

Day 0 支援：GPT-5.3-Codex

LiteLLM 對 GPT-5.3-Codex 的 Day 0 支援，包括 Responses API 的 phase 參數處理。

事件報告：多區域 Responses API 負載平衡中的加密內容失敗

日期： 2026 年 2 月 24 日

事件報告：成本對照表重新載入後，萬用字元封鎖新模型

日期： 2026 年 2 月 23 日

事故報告：SERVER_ROOT_PATH 回歸導致 UI 路由失效

日期： 2026 年 1 月 22 日

DAY 0 支援：LiteLLM 上的 Gemini 3.1 Pro

在 LiteLLM Proxy 和 SDK 上使用 Gemini 3.1 Pro 並提供 day 0 支援的指南。

事件報告：vLLM Embeddings 因 encoding_format 參數失效

日期： 2026 年 2 月 16 日

第 0 天支援：Claude Sonnet 4.6

LiteLLM AI Gateway 對 Claude Sonnet 4.6 的第 0 天支援 - 可跨 Anthropic、Azure、Vertex AI 和 Bedrock 使用。

Claude Code 無效 beta 標頭事件報告

日期： 2026 年 2 月 13 日

Day 0 支援：MiniMax-M2.5

LiteLLM 對 MiniMax-M2.5 的 Day 0 支援

事件報告：main 上無效的 model cost map

日期： 2026 年 1 月 27 日

您的中介軟體可能是瓶頸

我們如何透過替換單一中介軟體基底類別，改善 LiteLLM proxy 的延遲與吞吐量

透過 24 小時負載測試提升發佈穩定性

我們如何打造一套長時間執行的發佈驗證系統，在回歸問題到達使用者之前就將其攔截。

第 0 天支援：Claude Opus 4.6

LiteLLM AI Gateway 對 Claude Opus 4.6 的第 0 天支援 - 可跨 Anthropic、Azure、Vertex AI 和 Bedrock 使用。

達成次毫秒級 Proxy 額外負擔

我們第一季的效能目標，以及在一般硬體上達成次毫秒級 Proxy 額外負擔的架構方向。

LiteLLM 上的 DAY 0 支援：Gemini 3 Flash

在 LiteLLM Proxy 與 SDK 上使用具備 day 0 支援的 Gemini 3 Flash 之指南。

第 0 天支援：Claude 4.5 Opus（+進階功能）

LiteLLM 中 Claude Opus 4.5 與進階功能指南：Tool Search、Programmatic Tool Calling 與 Effort 參數。

LiteLLM 上的 DAY 0 支援：Gemini 3

使用 gemini-3-pro-preview 搭配 LiteLLM Proxy 和 SDK 的常見問題與最佳做法。

Gemini Embedding 2 預覽版：LiteLLM 上的多模態嵌入

透過 LiteLLM 上的 gemini-embedding-2-preview，經由 Gemini API（每個輸入一個向量，與 OpenAI 相容）與 Vertex AI（每個請求一個單一整合向量），從文字、圖片、音訊、影片和 PDF 產生嵌入。