跳至主要內容

請求標頭

LiteLLM 支援的特殊標頭。

標頭轉送

預設情況下,LiteLLM 不會將用戶端標頭轉送到 LLM 提供者 API。不過,您可以針對特定模型群組選擇性啟用標頭轉送。深入瞭解如何設定標頭轉送

LiteLLM 標頭

x-litellm-timeout Optional[float]:請求的逾時時間(秒)。

x-litellm-stream-timeout Optional[float]:取得回應第一個區塊的逾時時間(秒)(僅適用於串流請求)。示範影片

x-litellm-enable-message-redaction: Optional[bool]:不要將訊息內容記錄到記錄整合中。只追蹤支出。深入瞭解

x-litellm-tags: Optional[str]:以逗號分隔的標籤清單(例如 tag1,tag2,tag3),用於依標籤路由 支出追蹤

x-litellm-num-retries: Optional[int]:請求的重試次數。

x-litellm-spend-logs-metadata: Optional[str]:包含要納入支出記錄的自訂中繼資料之 JSON 字串。範例:{"user_id": "12345", "project_id": "proj_abc", "request_type": "chat_completion"}深入瞭解

x-litellm-customer-id: Optional[str]:用於傳遞客戶/終端使用者 ID 的標準標頭。始終會檢查,無需任何設定。深入瞭解

x-litellm-end-user-id: Optional[str]:用於傳遞客戶/終端使用者 ID 的標準標頭。始終會檢查,無需任何設定。深入瞭解

Anthropic 標頭

anthropic-version Optional[str]:要使用的 Anthropic API 版本。
anthropic-beta Optional[str]:要使用的 Anthropic API beta 版本。

  • 對於 /v1/messages 端點,這將一律把標頭轉送到基礎模型。
  • 對於 /chat/completions 端點,只有在模型已於 forward_client_headers_to_llm_api 中設定時才會轉送。深入瞭解

OpenAI 標頭

openai-organization Optional[str]:OpenAI API 要使用的組織。(目前需要透過 general_settings::forward_openai_org_id: true 啟用)

自訂標頭

當模型已在 forward_client_headers_to_llm_api 中設定時,開頭為 x- 的自訂標頭可轉送至 LLM 提供者 API。深入瞭解標頭轉送設定

🚅
LiteLLM Enterprise
為正式環境打造的 SSO/SAML、稽核記錄、支出追蹤、多團隊管理與防護欄。
深入瞭解 →