跳至主要內容

1 篇文章 含有標籤「case-study」

檢視所有標籤

線上正式部署回報 51% 成本節省

Tin Lo
AI Product Engineer, LiteLLM

您可以預期從第一天起使用 Auto Router 大約可減少 40% 的成本,隨著 tier maps 的調整還會更多。我們的一位正式環境使用者分享了他的統計數據,展示在大規模下會是什麼樣子。

他們將 Auto-Router 部署到 dev、staging 和 prod 執行個體中的 450+ 位使用者,並節省了 $12,249,涵蓋 270k+ 次請求。

正式流量記錄到使用 Auto-Router 可節省 51% 成本