4 篇文章 含有標籤「auto-router」

LiteLLM Auto Router 現在支援 Laya 和 Bespoke Nimble 作為自架分類器。在您的基礎架構上執行任一模型，以選擇由哪個 completion model 處理每個請求。您的應用程式仍會呼叫相同的 router endpoint。

在 CLI 中預測快取成本、按層級設定速度、讓團隊管理 routers，並查看所選模型與節省金額。

我們透過結合複雜度與能力評估來改進 Fuse V2，以了解每個模型在哪些情況下成功、失敗，以及何時需要升級。

LiteLLM Auto Router Fusion 在 21 個 Terminal-Bench 任務中解決了 14 個；Claude Fable-5 單獨則解決了 9 個。 Fusion 會在多個模型上平行執行任務，並由其中一個模型將候選成果綜合成單一答案。兩個分支都執行了相同的 21 個任務。