新增自架 Auto Router 分類器：Laya 與 Nimble

LiteLLM Auto Router 現在支援 Laya 和 Bespoke Nimble 作為自架分類器。在您的基礎架構上執行任一模型，以選擇由哪個 completion model 處理每個請求。您的應用程式仍會呼叫相同的 router endpoint。

為什麼要自架分類器？​

客戶希望將分類維持在本地、避免再依賴另一個 hosted classifier vendor，並使用他們已在運作的 cluster。自架可讓您控制：

• Prompt 資料。 在您控制的伺服器上處理分類 context，並使用您自己的存取與 logging policy。
• 供應商依賴。 不必註冊另一個 hosted classifier service 的帳戶，即可執行分類器。
• 部署位置。 選擇分類執行的 network 與 region，包括您現有的 private cluster。
• 容量與延遲調校。 為您的流量配置 compute，讓 model 保持 warm，並將其放在靠近 gateway 的位置。
• 模型版本。 選擇您提供的受支援 checkpoint，並決定何時推出升級。
• 運算成本。 使用您的基礎架構預算，並針對您的 workload 將其成本與 hosted inference 進行比較。

您負責營運並支付分類器服務費用。使用 evaluation guide 在您自己的流量上衡量延遲、routing 品質與總成本。

運作方式​

1. 您的應用程式將請求送至 LiteLLM Auto Router。
2. 您的自架分類器會選擇一個 complexity tier，例如 SIMPLE 或 COMPLEX。
3. LiteLLM 會呼叫指派給該 tier 的 completion model 來產生答案。

completion model 仍會收到該請求。您可另行選擇該模型是本地執行，還是透過 hosted provider 執行。

開始使用​

將您的分類器 endpoint 連接到 LiteLLM：

• Connect Laya： 設定伺服器的 base URL、憑證與分類器模型。
• Connect Nimble： 連接您的 System One endpoint，並選取其提供的模型。

在 Models + Endpoints → Auto Router 中，選取 OSS Classifier，選擇您的提供者，並將 completion models 指派給各 tier。使用 Test Routing 在送出 completions 之前檢查選擇結果。

connection guide 說明了 endpoint 設定與憑證，並提供一個 complete YAML example 以設定 tiers 與 fallback 行為。Jev 仍可作為 hosted classifier 選項。