Auto Router：節省成本、提升速度與團隊控管的 5 項改進

在 CLI 中預測快取成本、按層級設定速度、讓團隊管理 routers，並查看所選模型與節省金額。

1. 在切換模型前預測快取成本​

切換到更便宜的模型，可能代表需要付費重建 prompt cache。在切換前，先根據過去的請求估算這些成本。

• 比較目前模型與候選模型的輸入 token 成本，包含 cache 讀取與寫入。
• 檢查 cache 狀態，並比較 cold-cache 與 warm-cache 成本。
• 查看每個估算背後的過去請求。如果缺少 token 數或價格，您會看到未知估算。

使用同時包含兩個部署 ID 與受支援的原生 Anthropic Messages 請求呼叫 POST /cost/predict-cache。

2. 依每個層級設定 Fast Mode​

在 Auto Router 編輯器中，於 reasoning effort 旁邊開啟 Fast。

• 在某一層級中的模型啟用它，例如 Reasoning，同時讓其他層級維持不變。
• 將速度與 reasoning effort 分開設定。
• 在直接 Anthropic 上，將 Fast Mode 與受支援的模型一起使用。

您需要 Anthropic Fast Mode 的存取權與額度，而且會支付較高費率。關閉 Fast 會清除該層級設定；會套用呼叫端與提供者預設值。

3. 讓團隊成員管理 Auto Routers​

管理員可授權團隊建立 Auto Routers，而無需授予 proxy-admin 存取權。

• 管理員在 Teams → Member Permissions 下啟用 /auto_router/manage。
• 成員在 Models + Endpoints → Auto-Routers 下建立 router，選擇團隊並新增其模型。
• 團隊成員可以使用該 router。其建立者或管理員可以編輯；既有的模型與相依性權限仍然適用。

4. 在 CLI 中查看模型與節省金額​

無需離開您的 coding agent 即可追蹤 Auto Router 使用情況。

• 查看處理您上一輪互動的模型。

• 比較工作階段支出與您 router 最高層級中最昂貴模型的估算值。

• 使用您現有的 LiteLLM API 金鑰讀取自己的工作階段統計資料。

• **使用 lite configure 進行設定。**使用您的 proxy URL，將 LITELLM_PROXY_API_KEY 設為您的金鑰，並將 production-auto-router 替換為您的 router 名稱：

  lite configure \
    --gateway-url http://localhost:4000 \
    claude \
    --api-key "$LITELLM_PROXY_API_KEY" \
    --model production-auto-router
  

在此範例中，該工作階段花費 $3.03，相較於 $14.00 的估算基準，節省了 78%。您的結果取決於您的工作階段。統計資料可能會在完成一輪互動後延遲，因為 proxy 正在記錄它。

5. 取得更精準的 Anthropic 節省​

我們已修正基準計算，以納入 Anthropic 的 Fast Mode 與區域定價。

• 比較包含相同 Fast Mode 與區域費用的成本，例如 inference_geo: us。
• 保留您為部署設定的任何自訂價格。
• 當路由的請求與基準具有相同的使用量、快取處理與價格時，請查看零節省。

請參閱 PR #41341 中的修正。

試用​

對 Simple 與 Medium 使用 Sonnet，對 Complex 使用 Opus，對 Reasoning 使用 Fast Opus。請選擇包含這些更新的 proxy 與 CLI 建置版本，來源為 main。

在使用此設定前，請先設定 ANTHROPIC_API_KEY、DATABASE_URL 和 LITELLM_MASTER_KEY。工作階段統計資料請使用 PostgreSQL，並使用以 sk- 開頭的 master key。

下載 config.yaml。

model_list:
  - model_name: sonnet-standard
    litellm_params:
      model: anthropic/claude-sonnet-5
      api_key: os.environ/ANTHROPIC_API_KEY

  - model_name: opus
    litellm_params:
      model: anthropic/claude-opus-5
      api_key: os.environ/ANTHROPIC_API_KEY

  - model_name: production-auto-router
    litellm_params:
      model: auto_router/complexity_router
      complexity_router_config:
        classifier_type: heuristic
        session_affinity: true
        tiers:
          SIMPLE:
            - model_name: sonnet-standard
          MEDIUM:
            - model_name: sonnet-standard
          COMPLEX:
            - model_name: opus
          REASONING:
            - model_name: opus
              litellm_params:
                speed: fast

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
  database_url: os.environ/DATABASE_URL