---
title: "自動路由基準測試：成本階梯"
url: "/docs/proxy/auto_routing_benchmark"
canonical_url: "https://docs.litellm.ai/docs/proxy/auto_routing_benchmark"
type: "docs"
last_updated: "2026-10-08"
related:
  - "/docs/proxy/auto_routing_semantic"
  - "/docs/adaptive_router"
---
# 自動路由基準測試：成本階梯

> Index of all LiteLLM docs: https://docs.litellm.ai/llms.txt


此基準測試評估 LiteLLM 路由策略在維持回應品質的同時降低成本的效果。它比較了語意 [自動路由器](./auto_routing_semantic.md)、規則式 `complexity_router`、固定模型基準，以及在三模型 Gemini 3.x 成本階梯上的成本匹配洗牌對照組。

## 重點發現 {#key-findings}

- 語意自動路由器在相同成本下，比 `complexity_router` 保留了更多品質。在約 58% 的節省下，語意路由器相較於旗艦模型達到 46.8% 的勝率，以及 82/90 的完全匹配答案。擬合的 `complexity_router` 達到 41.5% 和 71/90。
- 語意路由器的表現明顯優於洗牌對照組。`complexity_router` 則沒有。
- 規則式複雜度分數無法預測便宜模型何時會產生可接受的答案。
- 此階梯中的中階模型成本是便宜模型的 14.1 倍，卻產生較差的結果。因此，模型層級選擇與路由器選擇同等重要。

## 基準測試設計 {#benchmark-design}

### 評估資料集 {#evaluation-dataset}

評估使用了三個類別共 300 個提示詞：

| 類別 | 提示詞 | 來源 |
|---|---:|---|
| 聊天 | 120 | WildChat-1M |
| 可驗證推理 | 90 | MATH-500 第 4 和第 5 級，以及 MMLU-Pro |
| 程式碼 | 90 | BigCodeBench |

另有一組獨立的 100 個提示詞訓練集，用於所有設定與閾值擬合決策。訓練與評估提示詞來自互不重疊的索引範圍。

### 回應生成與評分 {#response-generation-and-scoring}

三個模型各自以溫度 0 為每個評估提示詞生成一個回應，形成固定的 3 x 300 回應矩陣。每種路由策略都從同一個矩陣中選取。此設計將各策略完全配對，並防止生成抽樣影響比較。

品質以兩種方式衡量：

1. 來自不同提供者家族的模型會針對全旗艦基準進行盲測、成對比較。每一對都會以兩種回應順序判定，而衝突判定則記錄為平手。
2. 90 個可驗證推理提示詞使用機械式完全匹配評分，未使用 LLM 評審。

報告的成本包含所選模型的輸入、輸出與思考 token。

## 結果 {#results}

| 策略 | 相較於旗艦的勝率 | 95% CI | 成本 | 相較於旗艦的節省 | 完全匹配 |
|---|---:|---:|---:|---:|---:|
| 全旗艦（基準） | 50.0% | | $9.320 | | 82/90 |
| 語意自動路由器，閾值 0.3 | 48.2% | [45.8%, 50.5%] | $4.893 | 47.5% | 82/90 |
| 語意自動路由器，閾值 0.2 | 46.8% | [44.0%, 49.5%] | $3.894 | 58.2% | 82/90 |
| 全便宜 | 43.7% | [40.0%, 47.5%] | $0.247 | 97.4% | 81/90 |
| `complexity_router`，擬合 | 41.5% | [38.0%, 45.0%] | $3.889 | 58.3% | 71/90 |
| `complexity_router`，預設 | 39.8% | [36.0%, 43.7%] | $2.053 | 78.0% | 76/90 |
| 洗牌對照組 | 39.2% | [35.7%, 42.7%] | $3.784 | 59.4% | 68/90 |

50% 的勝率表示該策略與全旗艦基準無法區分。平手算作半勝。

### 相同成本下的比較 {#comparison-at-matched-cost}

最清楚的比較是兩種約有 58% 節省的策略：

| 策略 | 節省 | 相較於旗艦的勝率 | 完全匹配 |
|---|---:|---:|---:|
| 語意自動路由器，閾值 0.2 | 58.2% | 46.8% | 82/90 |
| `complexity_router`，擬合 | 58.3% | 41.5% | 71/90 |

在實際相同的成本下，語意路由器達到高 5.3 個百分點的勝率，並多正確回答 11 個可驗證提示詞。

## 路由決策是否增加價值？ {#does-the-routing-decision-add-value}

洗牌對照組使用擬合的 `complexity_router` 的精確層級數量，但以固定種子隨機將這些層級指派給提示詞。因此，其成本在設計上相近。將路由器與此對照組比較，可測試路由決策是否在整體便宜與昂貴模型組合之外帶來價值。

與洗牌對照組相比：

- 語意路由器在閾值 0.3 時，勝率提升 9.0 個百分點，95% 信賴區間為 [+5.3, +12.7]。
- 語意路由器在閾值 0.2 時，勝率提升 7.7 個百分點，95% 信賴區間為 [+3.8, +11.5]。
- 擬合的 `complexity_router` 提升 2.3 個百分點，95% 信賴區間為 [-0.2, +4.8]。
- 預設的 `complexity_router` 提升 0.7 個百分點，95% 信賴區間為 [-2.5, +3.8]。

兩個語意路由器的信賴區間都不包含 0。兩個 `complexity_router` 的區間都包含 0。在此評估中，語意路由帶來了可衡量的價值；規則式複雜度路由則沒有。

## 為何複雜度分數表現不佳 {#why-the-complexity-score-underperformed}

訓練提示詞是透過比較旗艦與便宜回應，並找出便宜回應較差的案例來標註。接著，將複雜度分數評估為這些標籤的預測因子。

其 ROC 曲線下面積（AUC）為：

- 0.524，涵蓋完整訓練集，接近隨機。
- 0.420，針對聊天提示詞，表示略為反向的預測。

對於便宜模型足夠，以及便宜模型不足的提示詞，其平均複雜度分數相同到小數點後三位。沒有任何測試閾值優於一律預測便宜模型足夠。

預設評分權重著重於程式碼與明確推理標記等特徵。這些特徵描述的是提示詞類型，但它們無法預測便宜模型是否能成功回答。在此評估中：

- 97% 的聊天提示詞被分派到最便宜的層級。
- 97% 的程式碼提示詞被分派到中階層級。
- 90% 的可驗證推理提示詞由便宜模型足夠應付，但聊天提示詞僅有 50%。

這些結果適用於同家族成本階梯，在其中每個模型都可以嘗試每個請求，而路由決策主要在於便宜模型是否足夠。跨不同能力模型的路由是另一個使用案例。

## 在調整路由器之前先驗證模型層級 {#validate-the-model-tiers-before-tuning-the-router}

中階層級 `gemini-3-flash-preview`，根據標價看來似乎提供了有用的價格與品質權衡。但其實測表現並不支持這個假設：

| 指標 | `gemini-3-flash-preview` | `gemini-3.1-flash-lite` |
|---|---:|---:|
| 相對成本 | Flash-Lite 成本的 14.1 倍 | 基準 |
| 相較於旗艦的勝率 | 37.5% | 43.7% |
| 完全匹配 | 63/90 | 81/90 |

在這兩個模型中，僅有一個答對的提示詞裡，Flash-Lite 以 20 比 2 勝出。中階層級在此資料集上未提供有用的成本-品質權衡。

思考 token 解釋了大部分意料之外的成本。`gemini-3-flash-preview` 產生了 981,308 個思考 token，而旗艦模型為 581,883 個。因此，其 4 倍標價輸出優勢只帶來 2.7 倍的實測成本優勢。Flash-Lite 未產生思考 token，且成本比旗艦低 37 倍；相較之下，標價所暗示的差異只有 8 倍。

兩種 `complexity_router` 設定都將大多數提示詞送往表現不佳的中階層級。在調整路由器之前，請在具代表性的流量上測量每個候選模型，並將思考 token 費用納入成本計算。

## 選擇路由策略 {#choosing-a-routing-strategy}

對於單一模型家族內的成本階梯：

1. 從語意 [自動路由器](./auto_routing_semantic.md) 開始。
2. 根據標註範例建立路由，這些範例顯示何時便宜模型足夠。
3. 在代表生產流量的保留訓練集上擬合 `score_threshold`。
4. 根據明確的品質與節省目標選擇閾值。

`score_threshold` 控制路由器何時回退到 `auto_router_default_model`：

- 在 0.3 時，路由器將 52% 的提示詞送往旗艦模型，節省 47.5%，並達到 48.2% 的勝率。
- 在 0.2 時，它將 38% 的提示詞送往旗艦模型，節省 58.2%，並達到 46.8% 的勝率。

較低的閾值使節省增加 10.7 個百分點，並使勝率下降 1.4 個百分點。兩種設定都未能在 95% 信賴下同時達到 45% 的勝率下限與 50% 的節省目標：閾值 0.3 未達節省目標，而閾值 0.2 的勝率下限為 44.0%。

不要在評估集上調整閾值。這樣做會使報告結果過度擬合，且無法提供生產效能的有效估計。

## 限制 {#limitations}

此基準測試涵蓋一個提供者家族、一個三模型梯度、一個 300 個提示的評估集，以及一個裁判模型。其他限制包括：

- 當回應順序反轉時，裁判在 32% 的配對上與自身判定不一致。這些不一致被記錄為平手，這會使結果朝 50% 靠攏。
- 在可驗證子集上，裁判決定與機械真實標準有 90% 的時間一致。
- 程式碼回應有被判定，但未執行。
- 這些結果衡量的是這個特定模型梯度與資料集。其他模型與正式工作負載可能會產生不同的成本-品質取捨。

在評估其他部署時，請使用該方法論，而不是精確百分比：產生一個配對回應矩陣、保留獨立的訓練集、納入一個成本匹配的隨機打亂對照、計算思考 token，並在評估路由器之前先定義品質與節省需求。

## Related pages

- [語意自動路由器（已棄用）](https://docs.litellm.ai/docs/proxy/auto_routing_semantic.md)
- [[BETA] 自適應路由器](https://docs.litellm.ai/docs/adaptive_router.md)