路由與負載平衡

📄️ Router - 負載平衡

LiteLLM 路由器用於在多個 LLM 部署與提供者之間進行負載平衡、路由、重試、冷卻與備援（故障移轉）。

beta-adaptive-router}

beta-request-prioritization}

auto-routing}

semantic-auto-router-deprecated}

proxy---load-balancing}

ui---router-settings-for-keys-and-teams}

budget-routing}

在 LiteLLM 中設定自動提供者故障轉移。若模型或提供者在 num_retries 後失敗，則備援到另一個模型群組，以達到高可用性與可靠性。

new-fallback-management-endpoints}

tag-based-routing}

timeouts}

provider-specific-wildcard-routing}

health-check-driven-routing}