24 篇文章 含有標籤「routing」

最後更新：2026 年 9 月 18 日

Auto Router 在選定的模型能回應之前，必須先為分類付費。在我們的基準測試中，TypeSafe JEV 分類請求的速度比 Haiku 快 5.43 倍，比較的是分類器中位延遲：126.81 ms 對 688.40 ms。依登錄表定價的分類器成本低 96.12%，在標題中四捨五入為 96%

JEV 與我們基準測試中預期的層級相符率為 95.00%，Haiku 則為 73.75%。此結果取決於此處使用的提示、層級定義、指示與上下文。預期層級是以合成提示撰寫，未經獨立審查。此比較不代表一般分類準確度，亦不代表最終答案的品質

Auto-Router 可以在請求從簡單工作變成較困難的任務時，在不同層級之間移動對話。Responses API 用戶端可能會讓這種切換變得困難，因為先前的回應可能包含只有建立它的部署才能解密的加密推理內容

LiteLLM 現在會保留可讀的歷史記錄，並移除新選定層級無法驗證的加密推理。請求可以繼續送往所選模型，而不是因為 invalid_encrypted_content 而失敗

這項修正已包含在 LiteLLM v1.102.x 發行線，並已合併於 PR #40280

在 CLI 中預測快取成本、按層級設定速度、讓團隊管理 routers，並查看所選模型與節省金額。

我們透過結合複雜度與能力評估來改進 Fuse V2，以了解每個模型在哪些情況下成功、失敗，以及何時需要升級。

我們使用 LiteLLM 的實驗性能力路由器，以 $11.15 解決了 25 個 SWE-bench Verified 任務中的 23 個。若所有 solver 請求都使用 Opus 5，我們以 $20.27 解決了 23 個任務。包含分類器請求在內，兩次執行皆啟用提示快取，我們總共少花了 45%。

我們已更新 Auto-Router，以因應 Claude Code 和 Codex 封裝請求的方式。現在它會從分類中移除更多 harness 上下文、保留加密的委派任務，並清楚顯示分類器實際收到的內容

Heuristic v1 會為七個提示信號評分，包括推理語言、程式碼、技術詞彙與提示長度。您可以針對路由器所處理的流量調校這些信號。

這個實驗性的路由器會依代理程式所處的階段為每個回合選擇模型，在 SWE-bench Verified 子集合上，以比固定 Claude Opus-5 低 46% 的成本，達到相同品質。

complexity router 的 LLM 分類器現在可以比您的模型呼叫更積極地壓縮。在內部測試中，這讓分類成本在共享壓縮原本已節省的基礎上再降低 32%，且路由準確度沒有變化。

Heuristic v2，LiteLLM 的新 AutoRouter 分類器，效率最高可比 Heuristic v1 高 45%：以更低成本，在更短時間內解決更多任務。 只有分類器改變了。

LiteLLM Auto Router Fusion 在 21 個 Terminal-Bench 任務中解決了 14 個；Claude Fable-5 單獨則解決了 9 個。 Fusion 會在多個模型上平行執行任務，並由其中一個模型將候選成果綜合成單一答案。兩個分支都執行了相同的 21 個任務。

Auto-Router 會先詢問請求有多難，來挑選模型。這次版本新增了接下來緊接著的問題：請求是否適合我們挑選的模型，而該模型是否真的看得到它？

我們已展示 Auto-Router 在正式環境節省 51% 以及 疊加 prompt caching 節省 69%。接下來我們最常聽到的問題總是相同：「它在我的流量上也能維持品質嗎？」

您可以預期從第一天起使用 Auto Router 大約可減少 40% 的成本，隨著 tier maps 的調整還會更多。我們的一位正式環境使用者分享了他的統計數據，展示在大規模下會是什麼樣子。

他們將 Auto-Router 部署到 dev、staging 和 prod 執行個體中的 450+ 位使用者，並節省了 $12,249，涵蓋 270k+ 次請求。

自動路由器在 Terminal-Bench 2.0 的 21 個任務子集上，以 27% 更低的成本達到與 Claude Opus-5 相同的解題率。 每個 arm 都執行相同的 21 個任務，因此比較是同類相較。

我們讓設定與測試 Auto-Router 比以往任何時候都更容易，而且透過可自訂的層級名稱 + 分類器系統提示，您可以超越複雜度路由。

v1.97 對 auto router 做了三項變更。

• LLM 分類器現在會接收一段先前對話輪次，預設為三輪。這將追問分類的準確率從 14% 提升到 78%，成本最高為每 1,000 次請求 $0.61，且不增加額外延遲。
• 新的 Benchmarks 檢視會以 all-frontier 基準為您的路由流量定價並回報差異，這些節省現在也會出現在 Cost Optimization 總計中。
• session affinity 現在預設為關閉，這符合我們先前的文章所示：這會導致品質變差，且沒有成本改善。

是的，您可以在 Auto-Routing 中使用 prompt 快取。 兩者是相輔相成，而非彼此抵消。我們在五個資料集上進行了測量，其中兩個會回報提供者的快取實際做了什麼。

自動路由承諾在不降低答案品質的前提下，讓帳單更小。我們以把每個請求都送往 claude-opus-5 的基準來衡量兩個面向：8,619 個評分過的提示，以及對 14,000 則真實對話的成本模擬。

Router plugins 現已可在 LiteLLM 上使用。每個插件都會接收路由內容、加以擴充，然後在 router 做出最終決策之前將其傳給下一個插件。

這股推動力來自 autorouter 討論（#32168）：團隊希望將自己的訊號（語言偵測、網域分類、租戶政策、預算上限）層疊到路由之上，而不必等待每一項都進入核心。這個插件擴充功能讓團隊能在維持 LiteLLM 路由核心穩定的同時完成這些變更。

Auto Router v2 將複雜度、語義與自適應路由整合為單一 auto_router/complexity_router。現在只需一份設定即可涵蓋啟發式評分、LLM 分類、詞彙或語義關鍵字規則，以及以 Thompson sampling 抽樣的階層池。

這項推動來自社群。在 discussion #32168 中，使用者指出這三種路由策略都應該收斂成單一 Auto Router。使用可設定訊號與權重的單一路由器，能讓 API 保持簡潔，同時讓路由引擎在內部演進，而不是強迫您一開始就選定某種模式。

營運層面的另一半則來自 discussion #32172：可預測性在可除錯性上勝過聰明作法。將能力類別對應到模型的固定、版本化映射，才能在事後回答「為什麼今天這個回應成本高了 4 倍」。

LiteLLM 現在支援影片 character、edit 與 extension API。