Auto Router v1.97:使用量基準測試與更低成本下的更佳品質

🚀 協助塑造 Auto-Router
v1.97 對 auto router 做了三項變更。
- LLM 分類器現在會接收一段先前對話輪次,預設為三輪。這將追問分類的準確率從 14% 提升到 78%,成本最高為每 1,000 次請求 $0.61,且不增加額外延遲。
- 新的 Benchmarks 檢視會以 all-frontier 基準為您的路由流量定價並回報差異,這些節省現在也會出現在 Cost Optimization 總計中。
- session affinity 現在預設為關閉,這符合我們先前的文章所示:這會導致品質變差,且沒有成本改善。
兩個預設值已變更
classifier_context_window_size 現在預設為 3(僅 LLM 分類器),而 session_affinity 現在預設為 false(所有 routers)。設定檔不會被修改,但新預設值會套用到任何尚未設定的鍵,因此從未提及 session_affinity 的設定,在升級後會重新分類每一輪。明確設定任一鍵值的設定不受影響。




