Auto Router [附加元件]

🚀 協助塑造 Auto-Router

搶先取得存取權，直接與 LiteLLM 團隊合作，並透過您的生產流量影響路線圖。

已經在測試了嗎？請在 discussion #32168 分享您的結果。

一鍵設定。 Configure 會自動檢查您的代理伺服器目前已提供的模型，並為您填入全部四個階層；無需選擇樣板。
用戶端只需一個模型名稱。 閘道會分類每個請求並選擇模型。
每個階層皆可使用任何模型、任何提供者。 單一模型、隨機池，或 Thompson 抽樣池。
分類器選擇。 啟發式規則、LLM、透過 TypeSafe System One Choice 的 JEV、關鍵字規則，或自訂外掛
每個請求都會回報節省。 相較於全前沿基準，在記錄中以及 Cost Optimization 中。
適用於代理程式。 提示快取、上下文視窗升級、模態路由、任務中停滯升級，以及可選的工作階段固定。

結果

結果	測量方式	了解更多
JEV：依分類延遲中位數比 Haiku 快 5.43 倍，且註冊表定價的分類器成本降低 96.12%	80 個撰寫的合成案例，三次成對重複，在一個固定準則下，與撰寫的預期階層相符度為 95.00% 對 73.75%	JEV 比較
Claude Opus-5 以低 27% 的成本達成解題率	Terminal-Bench 2.0 的 21 任務子集，兩者皆完成 16/21	Terminal-Bench
Heuristic v2：在每個任務成本低 45% 的情況下，比 v1 多解出 27% 的任務	相同的 21 任務子集，未呼叫 LLM 分類器	Heuristic v2
以 87.3% 的前沿品質達成便宜 74.5%	RouterArena，8,399 個評分過的查詢	成本與品質
節省 51.1%，四個月內省下 $12,249	272,876 個生產請求，450+ 位使用者	生產案例研究
比只使用快取便宜 37% 到 69%	包含實際閘道流量在內的五個資料集	提示快取
在 88.1% 的回應上與目前模型相符或更勝一籌	對實際流量進行影子評估，143 個經判定的回合	影子評估

快速開始

儀表板： Models + Endpoints、Add Model、Auto Router 分頁，輸入名稱，然後按一下 Configure automatically 或選擇樣板。檢閱階層、Test Routing，並儲存。
代理程式： 告訴它 run curl -fsSL https://docs.litellm.ai/skills/auto-router and follow the instructions。
config.yaml： 一個路由器項目，其階層命名同一檔案中的其他模型。

config.yaml
model_list:
  - model_name: claude-haiku-4-5
    litellm_params:
      model: anthropic/claude-haiku-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: claude-sonnet-5
    litellm_params:
      model: anthropic/claude-sonnet-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: claude-opus-5
    litellm_params:
      model: anthropic/claude-opus-5
      api_key: os.environ/ANTHROPIC_API_KEY

  - model_name: smart-router
    litellm_params:
      model: auto_router/complexity_router
      complexity_router_config:
        tiers:
          SIMPLE:    claude-haiku-4-5
          MEDIUM:    claude-sonnet-5
          COMPLEX:   claude-opus-5
          REASONING: claude-opus-5
        classifier_type: heuristic
      complexity_router_default_model: claude-sonnet-5

curl -X POST http://localhost:4000/v1/chat/completions \
  -H "Authorization: Bearer $LITELLM_API_KEY" \
  -d '{"model": "smart-router", "messages": [{"role": "user", "content": "What is 2+2?"}]}'