---
title: "A/B 測試 - 流量鏡像"
url: "/docs/traffic_mirroring"
canonical_url: "https://docs.litellm.ai/docs/traffic_mirroring"
type: "docs"
last_updated: "2026-10-08"
related:
  - "/docs/proxy/management_cli"
  - "/docs/proxy/dynamic_logging"
---
# A/B 測試 - 流量鏡像

> Index of all LiteLLM docs: https://docs.litellm.ai/llms.txt


流量鏡像可讓您將生產流量「模擬」到第二個（靜默）模型，以供評估之用。靜默模型的回應會在背景中收集，不會影響主要請求的延遲或結果。

這對以下情況很有用：
- 在切換前，先測試新模型在生產提示上的效能。
- 比較不同提供者之間的成本與延遲。
- 透過將流量鏡像到更詳細的模型來除錯問題。

## 快速開始 {#quick-start}

若要啟用流量鏡像，請將 `silent_model` 新增到部署的 `litellm_params` 中。

**SDK**

```python
from litellm import Router

model_list = [
    {
        "model_name": "gpt-5.6-luna",
        "litellm_params": {
            "model": "azure/chatgpt-v-2",
            "api_key": "...",
            "silent_model": "gpt-5.6-terra" # 👈 Mirror traffic to gpt-5.6-terra
        },
    },
    {
        "model_name": "gpt-5.6-terra",
        "litellm_params": {
            "model": "openai/gpt-5.6-terra",
            "api_key": "..."
        },
    }
]

router = Router(model_list=model_list)

# The request to "gpt-5.6-luna" will trigger a background call to "gpt-5.6-terra"
response = await router.acompletion(
    model="gpt-5.6-luna",
    messages=[{"role": "user", "content": "How does traffic mirroring work?"}]
)
```

**Proxy**

將 `silent_model` 新增到您的 `config.yaml`：

```yaml
model_list:
  - model_name: primary-model
    litellm_params:
      model: azure/gpt-5.6-luna
      api_key: os.environ/AZURE_API_KEY
      silent_model: evaluation-model # 👈 Mirror traffic here
  - model_name: evaluation-model
    litellm_params:
      model: openai/gpt-5.6-terra
      api_key: os.environ/OPENAI_API_KEY
```

## 運作方式 {#how-it-works}
1. **收到請求**：對模型群組發出請求（例如 `primary-model`）。
2. **選取部署**：LiteLLM 從群組中挑選一個部署。
3. **主要呼叫**：LiteLLM 對主要部署發出呼叫。
4. **鏡像**：如果存在 `silent_model`，LiteLLM 會觸發對該模型的背景呼叫。 
   - 對於 **Sync** 呼叫：使用共享的執行緒池。
   - 對於 **Async** 呼叫：使用 `asyncio.create_task`。
5. **隔離**：背景呼叫會使用原始請求參數的 `deepcopy`，並設定 `metadata["is_silent_experiment"] = True`。它也會移除記錄 ID，以防止使用量追蹤中的衝突。

## 主要功能 {#key-features}
- **延遲隔離**：主要請求在準備好後立即回應。背景（靜默）呼叫不會阻塞。
- **統一記錄**：背景呼叫會透過 Router 處理，這表示它們會自動記錄到您設定的可觀測性工具（Langfuse、S3 等）。
- **評估**：在您的記錄中使用 `is_silent_experiment: True` 標記，以篩選並比較主要與鏡像呼叫之間的結果。

## Related pages

- [LiteLLM Proxy CLI](https://docs.litellm.ai/docs/proxy/management_cli.md)
- [動態回呼管理](https://docs.litellm.ai/docs/proxy/dynamic_logging.md)