宣布 Router Plugins:自訂路由訊號
可用性
Router plugins 自 v1.94.x 起可在 proxy 上運作。此設計仍在演進中;歡迎告訴我們您會如何使用它,以及您接下來希望看到什麼,請參閱 GitHub 上的 autorouter 討論(#32168)。
Router plugins 現已可在 LiteLLM 上使用。每個插件都會接收路由內容、加以擴充,然後在 router 做出最終決策之前將其傳給下一個插件。
這股推動力來自 autorouter 討論(#32168):團隊希望將自己的訊號(語言偵測、網域分類、租戶政策、預算上限)層疊到路由之上,而不必等待每一項都進入核心。這個插件擴充功能讓團隊能在維持 LiteLLM 路由核心穩定的同時完成這些變更。
