跳至主要內容

2 篇文章 含有標籤「observability」

檢視所有標籤

Auto Router v1.97:使用量基準測試與更低成本下的更佳品質

Tin Lo
AI Product Engineer, LiteLLM

LiteLLM Autorouter V2:在選擇模型前先讀取對話的最後 N 輪,以提升複雜情境下的路由準確度,準確率高出 5.6 倍



🚀 協助塑造 Auto-Router

搶先體驗、直接與 LiteLLM 團隊合作,並用您的生產流量影響產品藍圖。

申請成為設計夥伴

已經在測試了嗎?請在 discussion #32168 分享您的結果。

v1.97 對 auto router 做了三項變更。

  • LLM 分類器現在會接收一段先前對話輪次,預設為三輪。這將追問分類的準確率從 14% 提升到 78%,成本最高為每 1,000 次請求 $0.61,且不增加額外延遲。
  • 新的 Benchmarks 檢視會以 all-frontier 基準為您的路由流量定價並回報差異,這些節省現在也會出現在 Cost Optimization 總計中。
  • session affinity 現在預設為關閉,這符合我們先前的文章所示:這會導致品質變差,且沒有成本改善。
兩個預設值已變更

classifier_context_window_size 現在預設為 3(僅 LLM 分類器),而 session_affinity 現在預設為 false(所有 routers)。設定檔不會被修改,但新預設值會套用到任何尚未設定的鍵,因此從未提及 session_affinity 的設定,在升級後會重新分類每一輪。明確設定任一鍵值的設定不受影響。

透過 24 小時負載測試提升發佈穩定性

Alexsander Hamir
Performance Engineer, LiteLLM
Krrish Dholakia
CEO, LiteLLM
Ishaan Jaffer
CTO, LiteLLM

LiteLLM 觀測平台

隨著 LiteLLM 的採用持續成長,外界對可靠性、效能與營運安全性的期待也隨之提高。要滿足這些期待,不能只靠以正確性為中心的測試,還需要驗證系統在真實世界條件下,隨時間推移會如何表現。

這篇文章介紹 LiteLLM Observatory,這是我們打造的一套長時間執行的發佈驗證系統,用來在回歸問題到達使用者之前將其攔截。