路由與負載平衡

📄️ 路由器 - 負載平衡

LiteLLM Router 用於在多個 LLM 部署與提供者之間進行負載平衡、路由、重試、冷卻時間與備援（故障轉移）。

使用 litellm/fusion-1 產生來自平行模型面板的評審綜合回應。

routing-plugins}

beta-adaptive-router}

beta-request-prioritization}

beta-auto-routing}

semantic-auto-router-deprecated}

auto-routing-benchmark-cost-ladders}

proxy---load-balancing}

ui---router-settings-for-keys-and-teams}

budget-routing}

在 LiteLLM 中設定自動提供者故障轉移。若模型或提供者在 num_retries 後失敗，則備援到另一個模型群組，以達到高可用性與可靠性。

new-fallback-management-endpoints}

tag-based-routing}

timeouts}

provider-specific-wildcard-routing}

health-check-driven-routing}