config_settings

environment_variables: {}

model_list:
  - model_name: string
    litellm_params: {}
    model_info:
      id: string
      mode: embedding
      input_cost_per_token: 0
      output_cost_per_token: 0
      max_tokens: 2048
      base_model: gpt-5.6-terra
      additionalProp1: {}

litellm_settings:
  # Logging/Callback settings
  success_callback: ["langfuse"]  # list of success callbacks
  failure_callback: ["sentry"]  # list of failure callbacks
  callbacks: ["otel"]  # list of callbacks - runs on success and failure
  service_callback: ["datadog", "prometheus"]  # logs redis, postgres failures on datadog, prometheus
  turn_off_message_logging: boolean  # prevent the messages and responses from being logged to on your callbacks, but request metadata will still be logged. Useful for privacy/compliance when handling sensitive data.
  redact_user_api_key_info: boolean  # Redact information about the user api key (hashed token, user_id, team id, etc.), from logs. Currently supported for Langfuse, OpenTelemetry, Logfire, ArizeAI logging.
  langfuse_default_tags: ["cache_hit", "cache_key", "proxy_base_url", "user_api_key_alias", "user_api_key_user_id", "user_api_key_user_email", "user_api_key_team_alias", "semantic-similarity", "proxy_base_url"] # default tags for Langfuse Logging
  langfuse_enable_update_trace_keys: boolean  # allow callers to copy named request metadata onto an existing Langfuse trace.
  # Networking settings
  request_timeout: 10 # (int) llm requesttimeout in seconds. Raise Timeout error if call takes longer than 10s. Sets litellm.request_timeout
  force_ipv4: boolean # If true, litellm will force ipv4 for all LLM requests. Some users have seen httpx ConnectionError when using ipv6 + Anthropic API. HTTP(S)_PROXY / NO_PROXY are still honored

  # Cost tracking settings
  cost_discount_config:
    vertex_ai: 0.05 # Apply a 5% discount to Vertex AI costs
    gemini: 0.05 # Apply a 5% discount to Gemini costs
  cost_margin_config:
    global: 0.05 # Apply a 5% margin to all providers
    openai: 0.10 # Apply a 10% margin to OpenAI costs
  
  # Debugging - see debugging docs for more options
  # Use `--debug` or `--detailed_debug` CLI flags, or set LITELLM_LOG env var to "INFO", "DEBUG", or "ERROR"
  json_logs: boolean # if true, logs will be in json format
  request_correlation_in_logs: boolean # if true, stamps every log line with the request's trace_id and session_id

  # Fallbacks, reliability
  default_fallbacks: ["claude-opus"] # set default_fallbacks, in case a specific model group is misconfigured / bad.
  content_policy_fallbacks: [{ "gpt-3.5-turbo-small": ["claude-opus"] }] # fallbacks for ContentPolicyErrors
  context_window_fallbacks: [{ "gpt-3.5-turbo-small": ["gpt-3.5-turbo-large", "claude-opus"] }] # fallbacks for ContextWindowExceededErrors

  # MCP Aliases - Map aliases to MCP server names for easier tool access
  mcp_aliases: {
      "github": "github_mcp_server",
      "zapier": "zapier_mcp_server",
      "deepwiki": "deepwiki_mcp_server",
    } # Maps friendly aliases to MCP server names. Only the first alias for each server is used

  # Caching settings
  cache: true
  cache_params: # set cache params for redis
    type: redis # type of cache to initialize (options: "local", "redis", "s3", "gcs")

    # Optional - Redis Settings
    host: "localhost" # The host address for the Redis cache. Required if type is "redis".
    port: 6379 # The port number for the Redis cache. Required if type is "redis".
    password: "your_password" # The password for the Redis cache. Required if type is "redis".
    namespace: "litellm.caching.caching" # namespace for redis cache
    max_connections: 100  # [OPTIONAL] Set Maximum number of Redis connections. Passed directly to redis-py. 
    # Optional - Redis Cluster Settings
    redis_startup_nodes: [{ "host": "127.0.0.1", "port": "7001" }]

    # Optional - Redis Sentinel Settings
    service_name: "mymaster"
    sentinel_nodes: [["localhost", 26379]]

    # Optional - GCP IAM Authentication for Redis
    gcp_service_account: "projects/-/serviceAccounts/your-sa@project.iam.gserviceaccount.com" # GCP service account for IAM authentication
    gcp_ssl_ca_certs: "./server-ca.pem" # Path to SSL CA certificate file for GCP Memorystore Redis
    ssl: true # Enable SSL for secure connections
    ssl_cert_reqs: null # Set to null for self-signed certificates
    ssl_check_hostname: false # Set to false for self-signed certificates

    # Optional - Qdrant Semantic Cache Settings
    qdrant_semantic_cache_embedding_model: openai-embedding # the model should be defined on the model_list
    qdrant_collection_name: test_collection
    qdrant_quantization_config: binary
    qdrant_semantic_cache_vector_size: 1536 # vector size must match embedding model dimensionality
    similarity_threshold: 0.8 # similarity threshold for semantic cache

    # Optional - S3 Cache Settings
    s3_bucket_name: cache-bucket-litellm # AWS Bucket Name for S3
    s3_region_name: us-west-2 # AWS Region Name for S3
    s3_aws_access_key_id: os.environ/AWS_ACCESS_KEY_ID # us os.environ/<variable name> to pass environment variables. This is AWS Access Key ID for S3
    s3_aws_secret_access_key: os.environ/AWS_SECRET_ACCESS_KEY # AWS Secret Access Key for S3
    s3_endpoint_url: https://s3.amazonaws.com # [OPTIONAL] S3 endpoint URL, if you want to use Backblaze/cloudflare s3 bucket

    # Optional - GCS Cache Settings
    gcs_bucket_name: cache-bucket-litellm # GCS Bucket Name for caching
    gcs_path_service_account: os.environ/GCS_PATH_SERVICE_ACCOUNT # Path to GCS service account JSON file
    gcs_path: cache/ # [OPTIONAL] GCS path prefix for cache objects

    # Common Cache settings
    # Optional - Supported call types for caching
    supported_call_types:
      ["acompletion", "atext_completion", "aembedding", "atranscription"]
      # /chat/completions, /completions, /embeddings, /audio/transcriptions
    mode: default_off # if default_off, you need to opt in to caching on a per call basis
    ttl: 600 # ttl for caching
    disable_copilot_system_to_assistant: False # DEPRECATED - GitHub Copilot API supports system prompts.

  # Virtual key auth cache — shares API key / virtual-key auth across workers via Redis.
  # Reduces DB round trips when caches are cold on new workers or pods.
  # Requires litellm_settings.cache: true AND cache_params.type: redis above.
  enable_redis_auth_cache: false

callback_settings:
  otel:
    message_logging: boolean # OTEL logging callback specific settings

general_settings:
  completion_model: string
  store_prompts_in_spend_logs: boolean
  forward_client_headers_to_llm_api: boolean
  disable_spend_logs: boolean  # turn off writing each transaction to the db
  disable_master_key_return: boolean  # turn off returning master key on UI (checked on '/user/info' endpoint)
  disable_retry_on_max_parallel_request_limit_error: boolean  # turn off retries when max parallel request limit is reached
  disable_reset_budget: boolean  # turn off reset budget scheduled task
  disable_adding_master_key_hash_to_db: boolean  # turn off storing master key hash in db, for spend tracking
  disable_responses_id_security: boolean  # turn off response ID security checks that prevent users from accessing other users' responses
  allow_unmanaged_response_ids: boolean  # let keys address response IDs this proxy never issued, e.g. raw provider IDs
  vector_store_deny_by_default: boolean  # if true, a vector store must be granted in object_permission.vector_stores of the key and its team (or the user when there is neither); empty lists grant nothing
  disable_auto_add_proxy_admin_to_teams: boolean  # if true, a proxy admin calling /team/new is no longer auto-added to the new team as team admin
  search_tool_deny_by_default: boolean  # if true, a search tool must be granted in object_permission.search_tools of the key and its team (or the user when there is neither); empty lists grant nothing
  enforce_fallback_model_access: boolean  # if true, router_settings fallbacks only run when the calling key, team and project may call the fallback model
  enforce_fallback_budget: boolean  # default true; set false to let router_settings fallbacks run even when the calling key or user is out of budget
  enable_jwt_auth: boolean  # allow proxy admin to auth in via jwt tokens with 'litellm_proxy_admin' in claims
  enforce_user_param: boolean  # requires all openai endpoint requests to have a 'user' param
  reject_clientside_metadata_tags: boolean  # if true, rejects requests with client-side 'metadata.tags' to prevent users from influencing budgets
  missing_session_id: generate  # or "reject". What to do with LLM API requests that carry no session id; unset keeps the legacy behavior
  disable_batch_input_file_rate_limiting: boolean  # skip TPM/RPM accounting for batch input files
  skip_batch_input_file_rate_limiting_for_providers: ["hosted_vllm"]  # apply the batch accounting skip only to these providers
  disable_budget_reservation: boolean  # disable pre-request budget reservation; may allow overspend under concurrency
  allowed_routes: ["route1", "route2"]  # list of allowed proxy API routes - a user can access. (currently JWT-Auth only)
  key_management_system: google_kms  # either google_kms or azure_kms
  master_key: string  # falls back to LITELLM_MASTER_KEY; the proxy will not start when the master key is unset, empty, or has a known unsafe value
  dangerously_permit_weak_or_unset_master_key: boolean  # local development only; lets the proxy start with no master key or a known unsafe value
  maximum_spend_logs_retention_period: 30d # The maximum time to retain spend logs before deletion.
  maximum_spend_logs_retention_interval: 1d # interval in which the spend log cleanup task should run in.
  maximum_daily_tag_spend_retention_period: 90d # Optional. Prune LiteLLM_DailyTagSpend rows for days older than this.
  user_mcp_management_mode: restricted  # or "view_all"

  # Database Settings
  database_url: string
  database_connection_pool_limit: 0  # default 10
  database_connection_timeout: 0  # default 60s
  database_connect_timeout: 0  # Prisma `connect_timeout` URL param (seconds). Unset => Prisma default.
  database_socket_timeout: 0  # Prisma `socket_timeout` URL param (seconds). Idle/slow connections beyond this are closed.
  database_statement_timeout: 0  # Postgres statement_timeout (seconds). Caps how long any one statement may run, and therefore how long it can hold locks. Unset => no bound.
  database_lock_timeout: 0  # Postgres lock_timeout (seconds). Caps how long a statement waits for a lock another transaction holds. Unset => no bound.
  database_extra_connection_params: {}  # Extra key/value pairs appended to the Prisma DATABASE_URL / DIRECT_URL query string (e.g. sslmode, pgbouncer, statement_cache_size). Overrides LiteLLM defaults.
  database_disable_prepared_statements: boolean  # if true, appends pgbouncer=true to the Prisma connection URL, disabling server-side prepared statements. For PgBouncer transaction pooling and avoiding "cached plan must not change result type" errors during rolling migrations.
  allow_requests_on_db_unavailable: boolean  # if true, will allow requests that can not connect to the DB to verify Virtual Key to still work 
  fail_closed_budget_enforcement: boolean  # if true, validates spend against the DB for every budgeted request and rejects with 503 when spend cannot be verified against Redis or the DB
  fail_closed_rate_limit_enforcement: boolean  # if true, rejects requests with 503 while the tpm/rpm/max_parallel_requests counters in Redis are unreachable, instead of enforcing the limits per instance from memory

  custom_auth: string
  max_parallel_requests: 0 # the max parallel requests allowed per deployment
  global_max_parallel_requests: 0 # the max parallel requests allowed on the proxy all up
  infer_model_from_keys: true
  background_health_checks: true
  health_check_interval: 300
  alerting: ["slack", "email"]
  alerting_threshold: 0
  use_client_credentials_pass_through_routes: boolean  # use client credentials for all pass through routes like "/vertex-ai", /bedrock/. When this is True Virtual Key auth will not be applied on these endpoints

worker_registry:                    # top-level key, not nested under general_settings
  - worker_id: string               # unique id for the worker
    name: string                    # display name shown in the UI
    url: string                     # full URL of the worker, must start with http:// or https://

router_settings:
  routing_strategy: simple-shuffle # Literal["simple-shuffle", "least-busy", "usage-based-routing","latency-based-routing"], default="simple-shuffle" - RECOMMENDED for best performance
  redis_host: <your-redis-host>           # string
  redis_password: <your-redis-password>   # string
  redis_port: <your-redis-port>           # string
  enable_pre_call_checks: true            # bool - Before call is made check if a call is within model context window 
  allowed_fails: 3 # cooldown model if it fails > 1 call in a minute. 
  cooldown_time: 30 # (in seconds) how long to cooldown model if fails/min > allowed_fails
  disable_cooldowns: True                  # bool - Disable cooldowns for all models 
  enable_tag_filtering: True                # bool - Use tag based routing for requests
  tag_filtering_match_any: True             # bool - Tag matching behavior (only when enable_tag_filtering=true). `true`: match if deployment has ANY requested tag; `false`: match only if deployment has ALL requested tags
  tag_routing_prefix: "route:"              # string - Opt-in marker prefix (default ""). A request tag starting with this exact string is stripped and matched as an explicit routing directive, skipping the known-tag-vocabulary heuristic. Unprefixed tags keep matching as today.
  retry_policy: {                          # Dict[str, int]: retry policy for different types of exceptions
    "AuthenticationErrorRetries": 3,
    "TimeoutErrorRetries": 3,
    "RateLimitErrorRetries": 3,
    "ContentPolicyViolationErrorRetries": 4,
    "InternalServerErrorRetries": 4,
    "ServiceUnavailableErrorRetries": 4,
    "NotFoundErrorRetries": 0,             # never retry a 404
    "DefaultRetries": 2                    # retries for every error with no field of its own
  }
  allowed_fails_policy: {
    "BadRequestErrorAllowedFails": 1000, # Allow 1000 BadRequestErrors before cooling down a deployment
    "AuthenticationErrorAllowedFails": 10, # int 
    "TimeoutErrorAllowedFails": 12, # int 
    "RateLimitErrorAllowedFails": 10000, # int 
    "ContentPolicyViolationErrorAllowedFails": 15, # int 
    "InternalServerErrorAllowedFails": 20, # int 
  }
  content_policy_fallbacks: [{"claude-sonnet-5": ["my-fallback-model"]}] # List[Dict[str, List[str]]]: Fallback model for content policy violations
  fallbacks: [{"claude-sonnet-5": ["my-fallback-model"]}] # List[Dict[str, List[str]]]: Fallback model for all errors

litellm_settings - 參考

預設欄位是 LiteLLM 在未從 config.yaml 省略該設定時使用的值。null 表示該設定未設置，而說明則會解釋 LiteLLM 在該情況下的行為。當未設置時會從環境變數讀取的設定，會在其說明中列出該環境變數。

名稱	類型	預設值	說明
success_callback	strings 陣列	`[]`	成功回呼清單。Doc Proxy logging callbacks, Doc Metrics
failure_callback	strings 陣列	`[]`	失敗回呼清單 Doc Proxy logging callbacks, Doc Metrics
callbacks	strings 陣列	`[]`	回呼清單 - 會在成功與失敗時執行 Doc Proxy logging callbacks, Doc Metrics
service_callback	object 陣列	`[]`	系統健康監控 - 會在指定服務上記錄 redis、postgres 失敗（例如 datadog、prometheus）Doc Metrics
turn_off_message_logging	boolean	`false`	若為 true，會防止訊息與回應被記錄到回呼中，但請求中繼資料仍會被記錄。對於處理敏感資料時的隱私／合規性很有用 Proxy Logging
modify_params	boolean	`false`	若為 true，允許在請求送出到 LLM 提供者之前修改其參數
enable_preview_features	boolean	`false`	若為 true，會啟用預覽功能 - 例如支援串流的 Azure O1 Models。
disable_stop_sequence_limit	boolean	`false`	若為 true，會停用將 `stop` 參數截斷為 OpenAI 規格允許的 4 個序列。
redact_user_api_key_info	boolean	`false`	若為 true，會在記錄中遮蔽使用者 API 金鑰相關資訊 Proxy Logging
mcp_aliases	object	`{}`	將友善別名對應到 MCP 伺服器名稱，以便更容易存取工具。每個伺服器只會使用第一個別名。MCP 別名
langfuse_default_tags	strings 陣列	`[]`	Langfuse Logging 的預設標籤。如果您想控制哪些 LiteLLM 特定欄位會被 LiteLLM proxy 以標籤形式記錄，請使用此項。預設情況下，LiteLLM Proxy 不會將任何 LiteLLM 特定欄位記錄為標籤。更多文件
set_verbose	boolean	`false`	已棄用 - 請參閱除錯文件改用 `--debug` 或 `--detailed_debug` CLI 旗標，或將 `LITELLM_LOG` 環境變數設為 "INFO"、"DEBUG" 或 "ERROR"。
json_logs	boolean	`false`	若為 true，記錄將採用 json 格式。如果您需要將記錄儲存為 JSON，只要設定 `litellm.json_logs = True` 即可。我們目前只是將來自 litellm 的原始 POST 請求以 JSON 形式記錄下來。更多文件
request_correlation_in_logs	boolean	`false`	若為 true，會在每一行記錄（純文字或 JSON）上標註該請求的 `trace_id` 與 `session_id`，並在 `StandardLoggingPayload` 中加入 `session_id` 欄位。更多文件
default_fallbacks	strings 陣列	`[]`	若特定模型群組設定錯誤／異常時，要使用的備援模型清單。更多文件
request_timeout	integer	`6000`（秒）	請求逾時（以秒為單位）。若未設定，預設值為 `6000 seconds`。供參考，OpenAI Python SDK 的預設值為 `600 seconds`。設定後，也會套用到原生提供者 passthrough 路由（`/v1/responses`、`/v1/messages`、Bedrock `/converse`），其優先順序高於 `general_settings.pass_through_request_timeout`，低於任何部署或路由逾時。文件
force_ipv4	boolean	`false`	若為 true，litellm 會強制所有 LLM 請求使用 ipv4。有些使用者在使用 ipv6 + Anthropic API 時曾遇到 httpx ConnectionError。`HTTP_PROXY` / `HTTPS_PROXY` / `NO_PROXY` 在 aiohttp 與 httpx 兩種傳輸方式上仍會被遵守；在 httpx 傳輸方式上只有直接連線會固定為 IPv4，連到 proxy 本身的那一跳不會
disable_aiohttp_transport	boolean	`false`	若為 true，LLM 請求會改走一般的 httpx，而不是預設的 aiohttp 傳輸。若您看到 aiohttp 連接器錯誤，例如 `CancelledError` 以 `No response returned` 形式出現在 `/v1/responses`、`/v1/chat/completions` 或 `/v1/messages` 上，請設定此項（或 `DISABLE_AIOHTTP_TRANSPORT` 環境變數）。預設為 False
http2	boolean	`false`	若為 true，LiteLLM 會透過 TLS 與 LLM 提供者協商 HTTP/2（若提供者不支援則回退至 HTTP/1.1）。流量會經由 httpx，而非預設的 aiohttp 傳輸。也可透過 `LITELLM_HTTP2` 環境變數設定。自 v1.103.0 起可用。更多文件。預設為 False
content_policy_fallbacks	objects 陣列	`[]`	當遇到 ContentPolicyViolationError 時要使用的備援。更多文件
context_window_fallbacks	objects 陣列	`[]`	當遇到 ContextWindowExceededError 時要使用的備援。更多文件
cache	boolean	`false`	若為 true，會啟用快取。更多文件
cache_params	object	`{}`（`type` 預設為 `redis`）	快取參數。更多文件
enable_redis_auth_cache	boolean	`false`	當 `true` 時，會將虛擬金鑰驗證負載儲存在 Redis（與回應快取相同的 client）中，因此每個 worker/pod 都會共享快取的驗證查詢——在快取未命中時，重複讀取資料庫的次數更少。需要 `cache: true` 與 `cache_params.type: redis`（Redis 或 Redis Cluster）。選用：可設定 `general_settings.user_api_key_cache_ttl`，讓 TTL 同時一致地套用於記憶體與 Redis。更多文件
force_redis_hash_tag_grouping	boolean	`false`	當 `true` 時，即使快取是一般 Redis 連線而非 Redis Cluster，速率限制器也會依 hash slot 分組其 Redis Lua 腳本的鍵。若是仍會拒絕跨槽命令的單一端點 Redis 服務，請設定此項，例如採用 Enterprise clustering policy 的 Azure Managed Redis；若不設定，這些服務會使批次 `EVALSHA` 呼叫以 `CROSSSLOT Keys in request don't hash to the same slot` 失敗，而速率限制會回退到每個 pod 的記憶體。
disable_end_user_cost_tracking	boolean	`false`	若為 true，會關閉 proxy 上 Prometheus 指標 + litellm spend logs table 的終端使用者成本追蹤。
enable_end_user_cost_tracking_prometheus_only	boolean	`false`	若為 true，會在 Prometheus 指標中加入 `end_user` 標籤。預設為停用，以維持 Prometheus cardinality 有上限。更多文件
cost_discount_config	object	`{}`	套用於成本計算的特定提供者百分比折扣。請在 `litellm_settings` 下方設定。更多文件
cost_margin_config	object	`{}`	套用於成本計算的特定提供者或全域百分比／固定加價。請在 `litellm_settings` 下方設定。更多文件
key_generation_settings	object	`null`（無限制）	限制誰可以產生金鑰。更多文件
disable_add_transform_inline_image_block	boolean	`false`	針對 Fireworks AI 模型 - 若為 true，且模型不是視覺模型，則會關閉自動將 `#transform=inline` 加到 image_url 的 url 上。
use_chat_completions_url_for_anthropic_messages	boolean	`false`	若為 true，會將 OpenAI `/v1/messages` 請求改走 chat/completions，而不是 Responses API。也可透過環境變數 `LITELLM_USE_CHAT_COMPLETIONS_URL_FOR_ANTHROPIC_MESSAGES=true` 設定。

| route_all_chat_openai_to_responses | boolean | false | 若為 true，會將所有 OpenAI /chat/completions 請求透過 Responses API 橋接器路由。建議用於 OpenAI 模型。也可透過環境變數 LITELLM_ROUTE_ALL_CHAT_OPENAI_TO_RESPONSES=true 設定。 | | skip_system_message_in_guardrail | boolean | false | 若為 true，統一防護欄僅在 聊天完成 和 Anthropic /v1/messages 上，會從掃描輸入中省略 role: system；Lakera v2 也會在聊天完成上遵循此設定。LLM 仍會接收完整訊息。每個防護欄可個別覆寫：在每個防護欄上設定 litellm_params.skip_system_message_in_guardrail。防護欄快速上手 | | skip_tool_message_in_guardrail | boolean | false | 若為 true，統一防護欄僅在 聊天完成 和 Anthropic /v1/messages 上，會從掃描輸入中省略 role: tool；Lakera v2 也會在聊天完成上遵循此設定。LLM 仍會接收完整訊息。每個防護欄可個別覆寫：在每個防護欄上設定 litellm_params.skip_tool_message_in_guardrail。防護欄快速上手 | | disable_hf_tokenizer_download | boolean | false | 若為 true，預設對所有模型（包含 huggingface 模型）使用 openai tokenizer。 | | enable_json_schema_validation | boolean | false | 若為 true，會為所有請求啟用 json schema 驗證。 | | enable_key_alias_format_validation | boolean | false | 若為 true，會在 /key/generate 和 /key/update 上驗證 key_alias 格式。必須為 2-255 個字元，開頭/結尾須為英數字元，且僅允許 a-zA-Z0-9_-/.@。 | | key_alias_pattern | string | None | 每個 key_alias 在 /key/generate、/key/update 和 /key/{key}/regenerate 上都必須完整符合的 Regex。當 enable_key_alias_format_validation 啟用時，會取代內建規則。別名上限為 255 個字元。不符合的別名會被拒絕，並回傳一則命名該模式的 400。進一步文件 | | require_managed_files | boolean | false | 當 true 時，POST /v1/files 需要 target_model_names，並以 400 拒絕傳統提供者檔案上傳。用於強制使用 LiteLLM 管理檔案，以實現檔案擁有權與存取控制。進一步文件 | | user_url_validation | boolean | true | 當 true 時，proxy 會在抓取前驗證使用者可控制的 URL（例如：當 OpenAPI spec_path 是一個 http(s) URL、圖片 URL，以及類似情況）：會解析 DNS，並封鎖連線到非全球可路由位址（RFC1918、loopback、link-local 等），除非 URL 中的 hostname 已列於 user_url_allowed_hosts。設為 false 可略過驗證（僅在您信任可提供 URL 的人員時使用）。必須設定在 litellm_settings 底下，而非 general_settings。 | | user_url_allowed_hosts | array of strings | [] | 當 user_url_validation 為 true 時，允許解析為私有/內部 IP 的主機名稱。請比對主機 在 URL 中呈現的樣子（例如 api.corp.internal、127.0.0.1、127.0.0.1:8080、[::1]:443）。對於 split-horizon DNS，請將 public hostname 加入允許清單，而不是解析後的 10.x 位址。必須設定在 litellm_settings 底下，而非 general_settings。請參閱 OpenAPI 的 MCP 與自訂程式碼防護欄。 | | disable_copilot_system_to_assistant | boolean | false | 已淘汰 - GitHub Copilot API 支援 system prompts。 | | default_team_params | object | null | 套用於透過 /team/new 建立的每個新 team 的預設參數（包含 SSO 自動建立的 teams）。會填入請求中被省略或 null 的欄位，但 budget_duration 除外：明確的 "budget_duration": null 會略過預設值，並建立不會重設的 budget。子欄位：max_budget（float）、budget_duration（string，例如 "30d"）、tpm_limit（integer）、rpm_limit（integer）、team_member_permissions（array of strings，例如 ["/team/daily/activity", "/key/generate"]）、models（array of strings — 僅套用於 SSO 自動建立的 teams）。 | | budget_reset_time | string | null (midnight) | 將在下一個版本提供（在 v1.94.0 之後）。以設定的 timezone 為準的當天/每週/每月 budget 重設的實際時間，格式為加引號的 24 小時制 "HH:MM" 或 "HH:MM:SS" 字串，例如 "09:00"。未設定時預設為 midnight；小於一天的持續時間會忽略它。格式錯誤的值會在啟動時使設定載入失敗。進一步文件 | | overwrite_user_with_key_hash | boolean | false | 自 v1.95.0 起可用。當 true 時，會強制將傳出的 chat/completions 上的 user 設為呼叫該金鑰的身分，覆寫任何用戶端提供的值，並在未提供時也會設定：虛擬金鑰的 sha256 hash（在支出記錄中等於 user_api_key_hash）或 master-key 請求的 litellm_proxy_master_key 別名。提供穩定、不可竄改的終端使用者 id，因此 provider 端以 user 為鍵的濫用監控或其他處理可對應回單一金鑰。僅影響經 proxy 驗證的金鑰；custom-auth 與 JWT 請求不受影響。進一步文件 | | drop_params | boolean | false | 若為 true，會靜默捨棄目標提供者不支援的任何請求參數，而不是拋出錯誤。也可透過環境變數 LITELLM_DROP_PARAMS=true 設定。進一步文件 | | add_function_to_prompt | boolean | false | 若為 true，當提供者不支援 function/tool calling 時，會將 function 定義附加到 prompt，而不是拋出錯誤。 | | ssl_verify | boolean or string | true | 控制送往 LLM 的外送請求之 TLS 憑證驗證。設為 false 可停用驗證，或設為 CA bundle 的字串路徑。 | | return_response_headers | boolean | false | 若為 true，會在回應上顯示提供者的 rate-limit 回應標頭（例如 x-ratelimit-remaining-requests）。 | | max_budget | float | 0 (no cap) | 此執行個體跨所有提供者的全域支出上限（USD）。0 表示停用上限。 | | max_internal_user_budget | float | null | 套用於每位內部使用者的預設最大 budget（USD）。null 表示沒有每位使用者的上限。進一步文件 | | default_max_internal_user_budget | float | null | 當 max_internal_user_budget 未設定時，供內部使用者使用的備用最大 budget（USD）。null 表示沒有上限。 | | max_ui_session_budget | float | 1.0 | 每次 Admin UI 登入 session 的最大支出（USD）（playground、test connection）。null 會停用上限。 | | store_audit_logs | boolean | null | 若為 true，會為金鑰、teams 和 users 的建立/更新/刪除動作寫入稽核記錄。未設定時，會讀取 LITELLM_STORE_AUDIT_LOGS 環境變數；若該變數也未設定，則企業部署會開啟稽核記錄，否則關閉。 | | default_key_generate_params | object | null | 當呼叫端未提供時，套用於 /key/generate 請求的預設參數。進一步文件 | | upperbound_key_generate_params | object | null | 強制套用於 /key/generate 參數的硬性上限（例如最大 max_budget、duration）；超出上限的請求會被拒絕。進一步文件 | | default_internal_user_params | object | null | 套用於首次 SSO 登入時自動建立的內部使用者之預設參數（角色、模型、budget）。進一步文件 |

一般設定 - 參考

名稱	類型	預設值	說明
completion_model	string	`null`	要用於所有 completions 的模型，會覆寫請求中指定的任何 `model`
enable_drain_endpoint	boolean	`false`	若為 true，會公開未經驗證的 `GET /health/drain` 端點，供 Kubernetes `preStop` hooks 在關機前排空進行中的請求。預設為關閉；只有在健康連接埠僅可從叢集內部存取時才啟用，因為任何能連到它的呼叫者都可以將 pod 移出輪替。請參閱 `GRACEFUL_SHUTDOWN_TIMEOUT`。
drain_endpoint_token	string	`null`	`/health/drain` 端點的共享密鑰。設定後，drain 呼叫必須帶有相符的 `X-Drain-Token` 標頭（與 `secrets.compare_digest` 比對），否則會以 401 拒絕；kubelet 會從 preStop `httpGet.httpHeaders` 提供它。也可透過 `DRAIN_ENDPOINT_TOKEN` 環境變數設定。
disable_spend_logs	boolean	`false`	若為 true，則關閉將每筆交易寫入資料庫
disable_spend_updates	boolean	`false`	若為 true，則關閉所有支出更新到 DB。包含 key/user/team 的支出更新。
disable_master_key_return	boolean	`false`	若為 true，則關閉在 UI 上回傳 master key。（在 '/user/info' 端點檢查）
disable_env_credential_login	boolean	`false`	預設 `false`。若為 true，Admin UI 不再接受環境憑證（`UI_USERNAME`/`UI_PASSWORD`，或在 `UI_PASSWORD` 未設定時的 master key）；只能透過資料庫使用者與 SSO 登入。請先建立一個帶密碼的 `proxy_admin` 使用者；如果太早啟用，移除此設定並重新啟動即可恢復環境登入。停用環境憑證登入
disable_retry_on_max_parallel_request_limit_error	boolean	`false`	若為 true，則在達到最大平行請求限制時關閉重試
disable_reset_budget	boolean	`false`	若為 true，則關閉重設預算的排程工作
disable_adding_master_key_hash_to_db	boolean	n/a	代理程式不再讀取此項；將 master key 雜湊寫入 DB 的程式碼已在 litellm#8268 中移除。若為 true，則關閉將 master key 雜湊儲存在 db 中
disable_responses_id_security	boolean	`false`	若為 true，則停用 response ID 安全檢查，避免使用者存取其他使用者的 response ID。若為 false（預設），response ID 會以使用者資訊加密，以確保使用者只能存取自己的回應。適用於 /v1/responses 端點
allow_unmanaged_response_ids	boolean	`false`	若為 true，允許金鑰處理此 proxy 從未發出的 response ID，例如原始提供者 ID，或是在 response ID 加密啟用前發放的 ID。若為 false（預設），因為 proxy 無法辨識其擁有者，這些 ID 會以 403 拒絕。proxy 實際發出的 ID 不論哪種情況都會進行擁有者檢查。適用於 /v1/responses 端點
disable_auto_add_proxy_admin_to_teams	boolean	`false`	當使用者呼叫 `/team/new` 時，LiteLLM 會自動將該呼叫者加入新團隊並設為團隊管理員。將此項設為 `true`，即可不再自動新增 proxy 管理員；您在 `members_with_roles` 中明確列出的成員仍會被新增，而非管理員呼叫者（例如內部使用者）仍會自動新增。也可在 Admin UI 的 Settings > Router Settings > General Settings 中切換。
search_tool_deny_by_default	boolean	`false`	若為 true，請求只能使用其金鑰與團隊、無金鑰團隊成員所屬團隊，或使用者（若兩者皆無）在 `object_permission.search_tools` 中列出的搜尋工具。缺少或空白的清單不授予任何權限，而且網頁搜尋攔截不再回退到預設提供者。master key 與儀表板工作階段不受影響。更多資訊請見此處
enforce_fallback_model_access	boolean	`false`	預設 `false`。當 `true` 時，配置在 `router_settings`（`fallbacks`、`context_window_fallbacks`、`content_policy_fallbacks`、`default_fallbacks`）中的備援只有在呼叫的金鑰、其團隊及其專案都被允許呼叫該備援模型時才會執行；未授權的目標會被略過，且當沒有剩餘目標時會回傳主要模型的錯誤。更多資訊請見此處
enforce_fallback_budget	boolean	`true`	預設 `true`。配置在 `router_settings` 中的備援只有在呼叫的金鑰與使用者仍在預算內時才會執行；超出預算的目標會被略過，且當沒有剩餘目標時會回傳主要模型的錯誤。零成本的備援目標一律允許，且主要嘗試永遠不會被阻擋。設為 `false` 可讓備援不受預算限制執行。更多資訊請見此處
enable_jwt_auth	boolean	`false`	允許 proxy 管理員透過在 claims 中包含 'litellm_proxy_admin' 的 jwt tokens 進行驗證。JWT Tokens 文件
enforce_user_param	boolean	`false`	若為 true，則要求所有 OpenAI 端點請求都必須有 'user' 參數。call hooks 文件
reject_clientside_metadata_tags	boolean	`false`	若為 true，會拒絕包含用戶端 'metadata.tags' 的請求，以防止使用者透過送出不同的 tags 來影響預算。tags 只能從 API key metadata 繼承。
missing_session_id	string	`null`（舊版行為）	對於沒有 session id 的 LLM API 請求要如何處理（`x-litellm-session-id` 標頭、`metadata.session_id`、W3C `baggage` `session.id` 等）。`generate` 會為每個請求建立一個 id，並將其標記到 `litellm_session_id`、`litellm_trace_id` 和 `metadata.session_id`，因此 SpendLogs 中的 `session_id` 欄位與傳送給 Langfuse 等記錄回呼的 session id 會一致。`reject` 會為此類請求回傳一個 `400`。未設定則保留舊版行為，也就是 SpendLogs 會回退到 trace id，而回呼不會收到 session id。MCP 路由不受影響。
disable_batch_input_file_rate_limiting	boolean	`false`	預設 `false`。設為 `true` 可在提交批次輸入檔案時略過 TPM 與 RPM 計算。當 API key 有模型允許清單時，系統仍會讀取檔案。請參閱批次速率限制。
skip_batch_input_file_rate_limiting_for_providers	array of strings	`[]`	為列出的提供者略過批次輸入檔案的 TPM 與 RPM 計算，例如 `["hosted_vllm"]`。LiteLLM 會根據所選路由決定提供者。當 API key 有模型允許清單時，系統仍會讀取檔案。
skip_batch_input_file_rate_limiting_for_models	array of strings	`[]`	已棄用。此設定沒有作用，且會產生啟動警告。請改用 `skip_batch_input_file_rate_limiting_for_providers` 或 `disable_batch_input_file_rate_limiting`。
disable_budget_reservation	boolean	`false`	預設 `false`。設為 `true` 可停用請求前的成本預留。這可能使並行請求超出已設定的預算；但若預算已經耗盡，請求仍會被拒絕。啟用此選項時，LiteLLM 會記錄警告。請參閱預算預留。
allowed_routes	array of strings	`null`（所有路由）	使用者可存取的允許 proxy API 路由清單控制允許路由的文件
key_management_system	string	`null`	指定金鑰管理系統。密鑰管理器文件

| master_key | string | null（若未設定則回退至 LITELLM_MASTER_KEY） | 代理程式的主金鑰。若未設定、為空，或具有已知不安全值，代理程式將不會啟動。設定 Virtual Keys、代理程式因已知不安全的主金鑰而拒絕啟動 | | dangerously_permit_weak_or_unset_master_key | boolean | false | 僅供本機開發使用：若為 true，即使主金鑰未設定、為空，或具有已知不安全值，代理程式也會啟動，並在每次開機時記錄警告。也可透過 LITELLM_DANGEROUSLY_PERMIT_WEAK_OR_UNSET_MASTER_KEY 環境變數設定。代理程式因已知不安全的主金鑰而拒絕啟動 | | database_url | string | null（若未設定則回退至 DATABASE_URL） | 資料庫連線的 URL 設定 Virtual Keys | | database_connection_pool_limit | integer | 10 | 資料庫連線池限制設定 DB 連線池限制 | | database_connection_timeout | integer | 60（秒） | 資料庫連線逾時，單位為秒設定 DB 連線池限制、逾時 | | database_connect_timeout | float | null | 對應到 Prisma connect_timeout URL 參數（秒）。限制引擎在失敗前等待建立新連線的最長時間。若未設定，則使用 Prisma 內建值。 | | database_socket_timeout | float | null | 對應到 Prisma socket_timeout URL 參數（秒）。設定後，在此時間窗內未產生資料的閒置或緩慢連線會被關閉。請用此項來限制 LiteLLM 的閒置 Prisma 連線。 | | database_statement_timeout | float | null | Postgres statement_timeout 的秒數，透過 DATABASE_URL 以 options=-c statement_timeout=<ms> 傳遞。限制單一敘述可執行的最長時間，因此也限制其持有列鎖的時間。若不設定，批次寫入若超出 Prisma 用戶端的 HTTP 讀取逾時，仍會在伺服器端繼續執行，而後續寫入會在這些鎖後方排隊。未套用於 DIRECT_URL，因此永遠不會取消 migration。未設定表示不限制。限制敘述與鎖定時間 | | database_lock_timeout | float | null | Postgres lock_timeout 的秒數，透過 DATABASE_URL 以 options=-c lock_timeout=<ms> 傳遞。限制敘述等待其他交易已持有之鎖的時間，因此被阻擋的寫入會快速失敗，而不是耗盡整個敘述預算。請保持遠低於 database_statement_timeout。未設定表示不限制。限制敘述與鎖定時間 | | database_extra_connection_params | object | {} | 逃生閥——額外的 key/value 配對會原樣附加到 Prisma DATABASE_URL / DIRECT_URL 查詢字串（例如 sslmode、pgbouncer、statement_cache_size）。此處的 key 會覆寫 LiteLLM 設定的任何預設值。 | | database_disable_prepared_statements | boolean | false | 將 pgbouncer=true 附加到 Prisma 連線 URL，停用伺服器端 prepared statements 的重用。請在 PgBouncer transaction pooling 後方使用，或避免 rolling schema migrations 期間的 cached plan must not change result type 錯誤。pgbouncer 中明確的 database_extra_connection_params key 具有優先權。停用伺服器端 prepared statements | | allow_requests_on_db_unavailable | boolean | false | 若為 true，即使資料庫無法連線，也允許請求成功。僅在您於自己的 VPC 中執行 LiteLLM 時使用此項。即使 LiteLLM 無法連線到資料庫以驗證 Virtual Key，這也會讓請求仍可運作資料庫暫時無法使用時的文件 | | fail_closed_budget_enforcement | boolean | false | 當 true 時，預算檢查會對每個受預算限制的請求（key、team、user、organization、end-user、tag 與每個時間窗的預算）改以權威資料庫驗證支出，而不是只信任跨 pod 的 Redis 計數器；若目前支出無法從 Redis 或資料庫驗證，請求會以 503 被拒絕。當已設定的預算必須是硬性上限，即使 Redis 降級或重新啟動時也應如此，請使用此項；若要讓健康的、低於預算的流量不要碰到資料庫，請保持關閉。預算強制執行文件 | | fail_closed_rate_limit_enforcement | boolean | false | 當 true 時，tpm、rpm 或 max_parallel_requests 計數器無法從 Redis 驗證的請求，會以 503 被拒絕，而不是由每個執行個體的記憶體內計數器放行；後者在 N 個執行個體上最多可放行 N 倍限制。當已設定的速率限制必須是硬性上限，即使 Redis 當機也應如此，請使用此項；若要在 Redis 中斷期間持續提供服務，請保持關閉。未配置 Redis 時無效。速率限制強制執行文件 | | custom_auth | string | null | 撰寫您自己的自訂驗證邏輯自訂驗證文件 | | max_parallel_requests | integer | null（沒有限制） | 每個部署允許的最大平行請求數 | | global_max_parallel_requests | integer | null（沒有限制） | 代理程式整體允許的最大平行請求數 | | max_in_flight_requests_per_worker | integer | null（已停用 admission control） | 每個 worker 程序可同時受理請求的上限。超過上限的請求會在有界佇列中等待，其餘請求會收到 503 與 retry-after: 1。除非設定，否則為關閉。請參見每個 worker 的 admission control | | max_queued_requests_per_worker | integer | null（與 max_in_flight_requests_per_worker 相同） | 每個 worker 在新請求到來前可等待槽位的請求數。預設為 max_in_flight_requests_per_worker | | admission_queue_timeout_seconds | float | 1.0 | 預設 1.0。排隊中的請求若在此時間內未取得槽位，會以 503 被拒絕 | | cancel_on_disconnect | boolean | false | 若為 true，當用戶端中斷連線時，會取消進行中的上游 LLM 請求（非串流），釋放後端容量（例如 vLLM GPU 槽位）。被取消的請求會以 499 失敗記錄。預設 false | | infer_model_from_keys | boolean | false | 若為 true，會從提供的 keys 推斷模型 | | background_health_checks | boolean | false | 若為 true，會啟用背景健康檢查。健康檢查文件 | | health_check_interval | integer | 300（秒） | 健康檢查間隔，單位為秒健康檢查文件 | | alerting | array of strings | null | 警示方法清單 Slack 警示文件 | | alerting_threshold | integer | 600（秒） | 觸發警示的閾值 Slack 警示文件 | | use_client_credentials_pass_through_routes | boolean | n/a | 代理程式不再讀取；pass-through 驗證檢查已在 litellm#12847 中重新設計。若為 true，則對所有 pass-through 路由使用 client credentials。pass through 路由文件 | | health_check_details | boolean | true | 若為 false，會隱藏健康檢查詳細資訊（例如剩餘速率限制）。健康檢查文件 | | public_routes | List[str] | [] | （企業功能）公開路由控制清單 | | alert_types | List[str] | null（所有警示類型） | 要傳送到 slack 的警示類型控制清單（警示類型文件）[./alerting.md] | | enforced_params | List[str] | null | （企業功能）所有傳送到代理程式的請求都必須包含的參數清單 |

| enable_oauth2_auth | boolean | false | （企業功能）如果為 true，則在 LLM + info 路由上啟用 oauth2.0 驗證 | | use_x_forwarded_for | str | false | 如果為 true，則使用 X-Forwarded-For 標頭來推導客戶端 IP，以及從 X-Forwarded-Proto / X-Forwarded-Host / X-Forwarded-Port 推導 proxy 的公開來源（用於 MCP OAuth，以及判定是否應將 session/SSO/SAML cookie 標記為 Secure，適用於終止 TLS 的反向 proxy 之後）。只有在同時設定 mcp_trusted_proxy_ranges，且請求對端的 IP 落在這些 CIDR 之一內時，才會採用這些標頭。對於經 ingress 的部署，請優先使用 PROXY_BASE_URL。請參閱安全最佳實務 — 在反向 proxy 後方保護 cookie 與 MCP OAuth — 反向 proxy 與 ingress 設定。 | | service_account_settings | List[Dict[str, Any]] | null | 如果您想建立只適用於 service account 金鑰的設定，請設定 service_account_settings（service accounts 文件）[./service_accounts.md] | | image_generation_model | str | null | 用於圖片生成的預設模型 - 會忽略請求中設定的模型 | | store_model_in_db | boolean | false | 如果為 true，則啟用在 DB 中儲存模型 + 憑證資訊。 | | supported_db_objects | List[str] | null | 當 store_model_in_db 為 True 時，可細緻控制要從資料庫載入哪些物件類型。可用類型："models"、"mcp"、"guardrails"、"vector_stores"、"pass_through_endpoints"、"prompts"、"model_cost_map"。若未設定，則會載入所有物件類型（預設行為）。範例：supported_db_objects: ["mcp"] 以僅從 DB 載入 MCP servers。 | | vector_store_deny_by_default | boolean | false | 如果為 true，請求只能使用其金鑰與團隊所列於 object_permission.vector_stores 的 vector store，若為無金鑰的團隊成員，則只能使用其團隊所列的 vector store；若兩者皆無，則只能使用使用者的 vector store。缺少或空的清單不會授予任何權限。主金鑰與儀表板 session 不在此限。預設拒絕 vector store 的文件 | | user_mcp_management_mode | string | null | 控制非管理員在 MCP 儀表板上可見的內容。restricted（預設）只列出使用者所屬團隊明確被允許存取的 MCP servers。view_all 讓每位使用者都能看到完整的 MCP server 清單。Tool list/call 一律遵守每個金鑰的權限，因此使用者仍無法在沒有存取權的情況下執行 MCP 呼叫。 | | store_prompts_in_spend_logs | boolean | false | 如果為 true，允許將 prompts 與 responses 儲存在 spend logs 資料表中。 | | scope_spend_list_endpoints_to_caller | boolean | n/a | proxy 不再讀取此設定；/spend/keys 與 /spend/users 一律將非管理員呼叫者範圍限制在其自己的列。當 true（預設）時，/spend/keys 與 /spend/users 只會回傳非管理員 API 金鑰呼叫者自己的列。設定為 false 可停用範圍限制。請參閱 Spend list endpoints。 | | legacy_unscoped_spend_list_endpoints | boolean | n/a | proxy 不再讀取此設定；/spend/keys 與 /spend/users 一律將非管理員呼叫者範圍限制在其自己的列。當 true 時，會還原 /spend/keys 與 /spend/users 的範圍限制前行為（非管理員金鑰可列出所有列）。會覆寫 scope_spend_list_endpoints_to_caller。環境變數：LITELLM_LEGACY_UNSCOPED_SPEND_LIST_ENDPOINTS。 | | max_request_size_mb | int | null（無上限） | 請求的最大大小（MB）。超過此大小的請求將被拒絕。 | | max_response_size_mb | int | null（無上限） | 回應的最大大小（MB）。超過此大小的 LLM 回應將不會送出。 | | max_batch_file_size_mb | int | null（無上限） | 上傳到 /v1/files 並搭配 purpose="batch" 的批次輸入檔案，其最大大小（MB）。較大的上傳會在到達提供者之前以 413 拒絕。未設定表示沒有上限。請參閱批次輸入檔案驗證 | | max_batch_file_records | int | null（無上限） | 上傳到 /v1/files 並搭配 purpose="batch" 的批次輸入檔案中，請求行的最大數量。空白行不計算在內。超過此數量的檔案會在到達提供者之前以 413 拒絕。此設定以每個金鑰為單位；proxy 管理員可在金鑰的 metadata 中覆寫，並在團隊的 metadata 中新增團隊上限，而以金鑰與團隊值中較低者為準。必須是正整數。請參閱批次輸入檔案驗證 | | max_batch_file_uploads_per_day | int | null（無上限） | 每個金鑰（或每位使用者，適用於沒有金鑰的 JWT 呼叫者）在一個 UTC 日內可上傳到 /v1/files 的批次輸入檔案數量。超過上限後，上傳會收到 429，並附帶一個 Retry-After 標頭，倒數至 00:00 UTC。proxy 管理員可在金鑰的 metadata 中覆寫，並在團隊的 metadata 中新增全團隊上限。必須是正整數。請參閱批次上傳與下載限制 | | max_file_downloads_per_minute | int | null（無上限） | 每個金鑰（或每位使用者，適用於沒有金鑰的 JWT 呼叫者）在一分鐘內可透過 /v1/files/{file_id}/content 下載單一檔案內容的次數。超過上限後，該檔案的下載會收到 429，並附帶一個 Retry-After 標頭；其他檔案不受影響。proxy 管理員可在金鑰的 metadata 中覆寫，並在團隊的 metadata 中新增全團隊上限。必須是正整數。請參閱批次上傳與下載限制 | | max_file_size_mb | int | null（無上限） | 任何 purpose 上傳到 /v1/files 的檔案最大大小（MB）。較大的上傳會在到達提供者之前以 413 拒絕。未設定表示沒有上限。 | | allowed_file_extensions | List[str] | null（允許任何副檔名） | 上傳到 /v1/files 的唯一允許檔案副檔名（例如 [".jsonl", ".pdf", ".txt"]），適用於任何 purpose。會針對上傳的檔名以不區分大小寫方式比對。具有其他副檔名或沒有副檔名的檔案，會在到達提供者之前以 400 拒絕。空清單會拒絕每一次上傳。未設定表示不套用允許清單。請參閱限制檔案上傳 | | blocked_file_extensions | List[str] | null（無封鎖） | 已淘汰，請改用 allowed_file_extensions。上傳到 /v1/files 的檔案副檔名（例如 [".exe", ".sh"]），適用於任何 purpose。會針對上傳的檔名以不區分大小寫方式比對。當允許清單與此設定同時存在時，仍會在允許清單之後強制執行。未設定表示沒有副檔名被封鎖。 | | proxy_budget_rescheduler_min_time | int | 597（秒） | 在檢查資料庫是否有 budget 重設之前，需等待的最短時間（秒）。預設為 597 秒 | | proxy_budget_rescheduler_max_time | int | 605（秒） | 在檢查資料庫是否有 budget 重設之前，需等待的最長時間（秒）。預設為 605 秒 | | proxy_batch_write_at | int | 10（秒） | 在批次寫入 spend logs 到資料庫之前需等待的時間（秒）。預設為 10 秒 | | proxy_batch_polling_interval | int | 3600（秒） | 在輪詢批次之前需等待的時間（秒），以檢查是否已完成。輪詢器另外最多會再加入 30 秒的抖動。預設為 3600 秒（1 小時） | | proxy_config_reload_interval_seconds | int | 30 | 當啟用 store_model_in_db 時，每個 pod 從資料庫重新載入 config-in-DB 物件（models、credentials、guardrails 等）的頻率。較低的值可加快跨 pod 一致化，但會增加 DB 負載；套用於 proxy 啟動時。環境變數：PROXY_CONFIG_RELOAD_INTERVAL_SECONDS。預設為 30 秒 |

| scheduled_job_stagger | dict | null（啟用錯開，300 秒視窗） | 將 proxy 的排程背景工作分散到一個視窗中，而不是在每個副本上同時觸發。鍵：enabled（bool，預設 true）、window_seconds（int，預設 300）、identity（str，取代偏移雜湊中由 POD_NAME/HOSTNAME 衍生的部分）、offsets（scheduler job id 到秒數的 dict，其中 0 會將工作固定在未偏移的排程）。請參閱錯開排程工作 | | alerting_args | dict | null | Slack Alerting 的引數 Slack Alerting 文件 | | custom_key_generate | str | null | 用於 key 產生的自訂函式自訂 key 產生文件 | | custom_key_update | str | null | 用於 key 更新的自訂函式。若 custom_key_generate 原則也應套用於 key 編輯，則為必要設定自訂 key 更新文件 | | custom_key_policy | str | null | 會在每次 key 操作（產生、更新、重新產生）時執行的自訂函式，並帶入操作與實際生效的 key 狀態自訂 key 原則文件 | | allowed_ips | List[str] | null（所有 IP） | 允許存取 proxy 的 IP 清單。若未設定，則允許所有 IP。 | | embedding_model | str | n/a | proxy 不再讀取此值；/embeddings 路由不會讀取它；請在請求中設定預設模型，或使用 model_list 別名。用於 embeddings 的預設模型 - 會忽略請求中設定的 model | | alert_to_webhook_url | Dict[str] | null | 為每種警示類型指定 webhook url。 | | key_management_settings | List[Dict[str, Any]] | null | 金鑰管理系統設定（例如 AWS KMS、Azure Key Vault）金鑰管理文件 | | allow_user_auth | boolean | false | （已棄用）使用者驗證的舊方法。 | | user_api_key_cache_ttl | int | null | 將使用者 API 金鑰快取於記憶體中的時間（秒）。 | | user_api_key_cache_max_size | int | 200 | 每個 worker 在其記憶體內驗證快取中保留的最大項目數（虛擬金鑰、團隊、使用者、終端使用者、成員資格等）。預設為 200。當您有比這更多的作用中金鑰時請調高，否則項目會在請求之間被逐出，而每次驗證查詢都會命中資料庫。可在執行階段從 Admin UI 的 Settings > Router Settings > General 進行編輯。 | | disable_prisma_schema_update | boolean | false | 若為 true，則關閉資料庫的自動 schema 更新 | | litellm_key_header_name | str | null（讀取 Authorization） | 若設定，允許將 LiteLLM keys 作為自訂標頭傳入。自訂標頭文件 | | moderation_model | str | null | 用於 moderation 的預設模型。 | | custom_sso | str | null | 指向實作自訂 SSO 邏輯的 python 檔案路徑。自訂 SSO 文件 | | allow_cli_sso_verification_uri_complete | boolean | false | 預設 false。當 true 時，POST /sso/cli/start 也會回傳 verification_uri_complete，且 lite login 會開啟瀏覽器驗證頁面並預先填入代碼，讓使用者只需確認即可。預設為關閉，因此代碼必須手動輸入。CLI SSO 文件 | | include_call_id_in_error_body | boolean | false | 預設 false。當 true 時，JSON 錯誤本文也會包含 x-litellm-call-id 回應標頭的值，在 OpenAI 形狀的路由上作為 error.litellm_call_id，以及 /v1/messages，並在轉送路由上作為頂層 litellm_call_id，因此只列印本文的用戶端仍能顯示要查找的請求名稱。回報問題文件 | | allow_client_side_credentials | boolean | false | 若為 true，允許將用戶端端憑證傳遞給 proxy。（在測試 finetuning 模型時很有用）用戶端端憑證文件 | | admin_only_routes | List[str] | null | （企業功能）僅供管理員使用者存取的路由清單。僅限管理員路由文件 | | use_azure_key_vault | boolean | false | 若為 true，則從 azure key vault 載入 keys | | use_google_kms | boolean | false | 若為 true，則從 google kms 載入 keys | | spend_report_frequency | str | 7d | 指定您希望多久寄送一次支出報告（例如「1d」、「2d」、「30d」）更多內容 | | spend_capture_rate_check | object | null（關閉） | 每日將 LiteLLM 擷取的支出與提供者帳單進行比對，當比率低於 threshold（預設 0.9）時發出警示。鍵：providers、threshold、lookback_days、openai_project_ids。需要 OPENAI_ADMIN_KEY。支出擷取比率文件 | | ui_access_mode | Literal["admin_only"] | all | 若設定，會將 UI 的存取限制為僅限管理員使用者。文件 | | max_failed_login_attempts_per_source | integer | 10 | 允許來自單一來源位址的 Admin UI 登入失敗次數，跨所有使用者計算，於 failed_login_window_seconds 內累積；超過後會將該位址封鎖 failed_login_block_seconds。此值的一半（無條件捨去，至少 1）是來自該位址的單一使用者允許次數，僅會封鎖該位址與使用者配對。每位址限制僅在設定 trusted_proxy_ranges 時適用（[] 當用戶端直接連線時）；若留空，則只套用每使用者的一半限制。IPv6 位址會依 /64 分組。文件 | | max_failed_login_attempts_per_source_overrides | dict | null | 依 IP 位址或 CIDR 範圍鍵入的 max_failed_login_attempts_per_source 每位址覆寫，例如 {"203.0.113.7": 50, "10.0.0.0/8": 100}。最特定的匹配優先，單一使用者允許次數會隨覆寫值的一半而定，而 0 會將該位址從兩種限制中豁免 | | failed_login_window_seconds | integer | 60 | 計算 Admin UI 登入失敗嘗試次數的固定秒數視窗，從第一次失敗開始計算 | | failed_login_block_seconds | integer | 300 | 被封鎖的位址，或位址與使用者配對，會維持被封鎖多久。來自被封鎖 key 的每次嘗試都會在驗證密碼前以 429 拒絕，且被拒絕的嘗試不會延長封鎖時間 | | litellm_jwtauth | Dict[str, Any] | null | JWT 驗證設定。文件 | | litellm_license | str | null | proxy 的授權金鑰。文件 | | oauth2_config_mappings | Dict[str, str] | {} | 定義 OAuth2 設定對應 | | pass_through_endpoints | List[Dict[str, Any]] | null | 定義轉送端點。文件 | | pass_through_request_timeout | float | null | 轉送路由（自訂端點與原生提供者轉送）的上游請求逾時，單位為秒。預設值：600。每端點 timeout 會在自訂端點上覆寫此值。在原生提供者轉送路由上，部署或路由逾時以及明確設定的 litellm_settings.request_timeout 會覆寫它。文件 | | enable_oauth2_proxy_auth | boolean | false | （企業功能）若為 true，則啟用 oauth2.0 驗證 | | forward_openai_org_id | boolean | false | 若為 true，則將 OpenAI Organization ID 轉送到後端 LLM 請求（若為 OpenAI）。 |

worker_registry - 參考

頂層鍵。將其設定在全域控制平面上，以列出其 UI 管理的獨立 proxy。

名稱	類型	說明
worker_id	string	worker 的唯一識別碼。必要
name	string	顯示於 worker 選擇器中的顯示名稱。必要
url	string	worker 執行個體的完整 URL，必須以 `http://` 或 `https://` 開頭。必要

router_settings - 參考

資訊

多數值也可透過 litellm_settings 設定。若看到重疊的值，則 router_settings 上的設定會覆寫 litellm_settings 上的設定。

router_settings:
  routing_strategy: simple-shuffle # Literal["simple-shuffle", "least-busy", "usage-based-routing","latency-based-routing"], default="simple-shuffle" - RECOMMENDED for best performance
  redis_host: <your-redis-host>           # string
  redis_password: <your-redis-password>   # string
  redis_port: <your-redis-port>           # string
  enable_pre_call_checks: true            # bool - Before call is made check if a call is within model context window
  allowed_fails: 3 # cooldown model if it fails > 1 call in a minute.
  cooldown_time: 30 # (in seconds) how long to cooldown model if fails/min > allowed_fails
  disable_cooldowns: True                  # bool - Disable cooldowns for all models
  enable_tag_filtering: True                # bool - Use tag based routing for requests
  tag_filtering_match_any: True             # bool - Tag matching behavior (only when enable_tag_filtering=true). `true`: match if deployment has ANY requested tag; `false`: match only if deployment has ALL requested tags
  tag_routing_prefix: "route:"              # string - Opt-in marker prefix (default ""). A request tag starting with this exact string is stripped and matched as an explicit routing directive, skipping the known-tag-vocabulary heuristic. Unprefixed tags keep matching as today.
  retry_policy: {                          # Dict[str, int]: retry policy for different types of exceptions
    "AuthenticationErrorRetries": 3,
    "TimeoutErrorRetries": 3,
    "RateLimitErrorRetries": 3,
    "ContentPolicyViolationErrorRetries": 4,
    "InternalServerErrorRetries": 4,
    "ServiceUnavailableErrorRetries": 4,
    "NotFoundErrorRetries": 0,             # never retry a 404
    "DefaultRetries": 2                    # retries for every error with no field of its own
  }
  allowed_fails_policy: {
    "BadRequestErrorAllowedFails": 1000, # Allow 1000 BadRequestErrors before cooling down a deployment
    "AuthenticationErrorAllowedFails": 10, # int
    "TimeoutErrorAllowedFails": 12, # int
    "RateLimitErrorAllowedFails": 10000, # int
    "ContentPolicyViolationErrorAllowedFails": 15, # int
    "InternalServerErrorAllowedFails": 20, # int
  }
  content_policy_fallbacks: [{"claude-sonnet-5": ["my-fallback-model"]}] # List[Dict[str, List[str]]]: Fallback model for content policy violations
  fallbacks: [{"claude-sonnet-5": ["my-fallback-model"]}] # List[Dict[str, List[str]]]: Fallback model for all errors

名稱	類型	預設值	說明
routing_strategy	string	`simple-shuffle`	用於路由請求的策略。選項："simple-shuffle"、"least-busy"、"usage-based-routing"、"latency-based-routing"。預設為 "simple-shuffle"。更多資訊請見此處
redis_host	string	`null`	Redis 伺服器的主機位址。僅在您有多個 LiteLLM Proxy 實例，且希望在它們之間共用目前的 tpm/rpm 追蹤時才設定此項
redis_password	string	`null`	Redis 伺服器的密碼。僅在您有多個 LiteLLM Proxy 實例，且希望在它們之間共用目前的 tpm/rpm 追蹤時才設定此項
redis_port	string	`null`	Redis 伺服器的埠號。僅在您有多個 LiteLLM Proxy 實例，且希望在它們之間共用目前的 tpm/rpm 追蹤時才設定此項
redis_db	int	`null`	Redis 伺服器的資料庫編號。僅在您有多個 LiteLLM Proxy 實例，且希望在它們之間共用目前的 tpm/rpm 追蹤時才設定此項
content_policy_fallbacks	array of objects	`[]`	指定內容政策違規時的備援模型。更多資訊請見此處
fallbacks	array of objects	`[]`	指定所有類型錯誤的備援模型。更多資訊請見此處
enable_tag_filtering	boolean	`false`	若為 true，則對請求使用基於標籤的路由基於標籤的路由
enable_weighted_failover	boolean	`false`	若為 true 且 `routing_strategy` 是 `simple-shuffle`，則單一部署上的可重試失敗會在跨群組備援前，於同一模型群組內的其他部署之間重新挑選（加權）。預設：false。
fallback_access_check	Optional[FallbackAccessCheck]	`null`	僅限 SDK。路由器在每次跨模型備援嘗試前會查詢的一個非同步謂詞 `(model, request_kwargs, llm_router) -> bool`；會略過它拒絕的目標。Proxy 會注入自己的檢查，並透過 `general_settings.enforce_fallback_model_access` 暴露。更多資訊請見此處
fallback_budget_check	Optional[FallbackBudgetCheck]	`null`	僅限 SDK。路由器在每次跨模型備援嘗試前會查詢的一個非同步謂詞 `(model, request_kwargs, llm_router) -> bool`；會略過它拒絕為超出預算的目標。Proxy 會注入自己的檢查，並透過 `general_settings.enforce_fallback_budget` 暴露。更多資訊請見此處
tag_filtering_match_any	boolean	`true`	標籤比對行為（僅在 enable_tag_filtering=true 時）。`true`：若部署具有任何一個請求的標籤則比對；`false`：僅在部署具有所有請求的標籤時才比對
tag_routing_prefix	string	`""` (off)	預設 `""`（無操作）。以此完全相同字串開頭的請求標籤會被移除，並作為明確且受信任的路由指示來比對；不受其他情況下會從部署標籤詞彙推斷路由意圖的啟發式規則影響。未加前綴的標籤則維持現有比對方式。基於標籤的路由
cooldown_time	integer	`5` (seconds)	若模型超過允許的失敗次數，將其冷卻的持續時間（秒）。
disable_cooldowns	boolean	`false`	若為 true，則停用所有模型的冷卻。更多資訊請見此處
retry_policy	object	`null`	指定不同類型例外的重試次數。更多資訊請見此處
allowed_fails	integer	`3`	在將模型冷卻之前允許的失敗次數。更多資訊請見此處
allowed_fails_policy	object	`null`	在將部署冷卻之前，針對不同錯誤類型允許的失敗次數。更多資訊請見此處
default_max_parallel_requests	Optional[int]	`null` (no limit)	部署的預設最大平行請求數。
default_priority	(Optional[int])	`null`	請求的預設優先順序。僅適用於 '.scheduler_acompletion()'。預設為 None。
polling_interval	(Optional[float])	`0.03` (seconds)	輪詢佇列的頻率。僅適用於 '.scheduler_acompletion()'。預設為 3ms。
max_fallbacks	Optional[int]	`5`	呼叫結束前要嘗試的備援最大數量。
default_litellm_params	Optional[dict]	`null`	要加入所有請求的預設 litellm 參數（例如 `temperature`、`max_tokens`）。
timeout	Optional[float]	`null` (uses `litellm_settings.request_timeout`)	請求的預設逾時。預設為 10 分鐘。
stream_timeout	Optional[float]	`null` (uses `timeout`)	串流請求的預設逾時。若未設定，則使用 'timeout' 值。
keepalive_seconds	Optional[float]	`null` (off)	當上游模型靜默超過這麼多秒時，就在串流回應中送出一則 SSE `: ping` 註解，並每隔 `keepalive_seconds` 秒重複一次，直到真正內容恢復。用於防止負載平衡器或反向代理關閉看起來閒置的 SSE 連線，例如在第一個可見 token 出現前的長時間靜默思考。預設僅供操作人員使用：除非部署也設定 `allow_client_keepalive_override: true`，否則請求層級在請求主體中的 `keepalive_seconds` 會被忽略；若已設定，則請求可縮小或變更部署的值，包括透過明確的 `0` 將其停用。部署層級的 `0` 一律為硬性停用，無論是否允許覆寫，請求都無法覆寫。有效值會被限制在 1-300 秒範圍內。預設為 None（關閉）。
allow_client_keepalive_override	Optional[bool]	`false`	是否允許請求的 `keepalive_seconds` 覆寫此部署的 `keepalive_seconds`。預設為 `false`，表示對此部署而言 `keepalive_seconds` 僅供操作人員使用，任何請求層級的值都會被靜默忽略。
debug_level	Literal["DEBUG", "INFO"]	`INFO`	路由器中記錄函式庫的除錯等級。
client_ttl	int	`3600` (seconds)	快取用戶端的存活時間（秒）。
cache_kwargs	dict	`{}`	快取初始化的額外關鍵字引數。當透過 `REDIS_*` 環境變數設定時，若非字串 Redis 參數可能失敗，請使用此項。
routing_strategy_args	dict	`{}`	路由策略的額外關鍵字引數，例如最低延遲路由的預設 ttl
model_group_alias	dict	`{}`	模型群組別名對應。例如 `{"claude-3-haiku": "claude-3-haiku-20240229"}`
num_retries	int	`2`	一次請求的重試次數。
default_fallbacks	Optional[List[str]]	`null`	若未定義模型群組特定的備援，則要嘗試的備援。
caching_groups	Optional[List[tuple]]	`null`	用於跨模型群組快取的模型群組清單。- 例如 caching_groups=[("openai-gpt-3.5-turbo", "azure-gpt-3.5-turbo")]
alerting_config	AlertingConfig	`null`	[僅限 SDK 的參數] Slack 警示組態。進一步文件
assistants_config	AssistantsConfig	`null`	透過 `assistant_settings` 設定於 proxy。進一步文件
set_verbose	boolean	`false`	已棄用參數 - 請參閱 debug 文件若為 true，則將記錄等級設為 verbose。
retry_after	int	`0` (seconds)	重試請求前要等待的時間（秒）。如果從 LLM API 收到 `x-retry-after`，則此值會被覆寫。

| provider_budget_config | ProviderBudgetConfig | null | 提供者預算設定。請用此項目設定 llm_provider 的預算上限。範例：每天給 OpenAI $100、每天給 Azure $100 等。進一步文件 | | enable_pre_call_checks | boolean | false | 若為 true，則在呼叫前檢查此次請求是否在模型的 context window 內。在 model_info.max_input_tokens 強制執行時為必填。更多資訊請見此處 | | model_group_retry_policy | Dict[str, RetryPolicy] | {} | [僅 SDK 參數] 為模型群組設定重試政策。 | | context_window_fallbacks | List[Dict[str, List[str]]] | [] | 用於 context window 違規的備援模型。 | | redis_url | str | null | Redis 伺服器的 URL。Redis URL 有已知的效能問題。 | | cache_responses | boolean | false | 啟用快取 LLM 回應的旗標；若快取設定於 router_settings 下方。若為 true，則會快取回應。 | | router_general_settings | RouterGeneralSettings | {async_only_mode: true, pass_through_all_models: false} 於 proxy（SDK 中為 async_only_mode: false）| [僅 SDK] 路由器一般設定 - 包含像 'async_only_mode' 之類的最佳化。文件 | | optional_pre_call_checks | List[str] | null | 要新增到路由器的呼叫前檢查清單。支援：router_budget_limiting、prompt_caching、responses_api_deployment_check、encrypted_content_affinity（需要 LiteLLM >= 1.82.3）、deployment_affinity、session_affinity、forward_client_headers_by_model_group | | deployment_affinity_ttl_seconds | int | 3600（秒） | 當啟用 deployment_affinity 時，使用者金鑰 → 部署親和性對應的 TTL（秒）（在 Router 初始化 / proxy 啟動時設定）。 | | model_group_affinity_config | Dict[str, List[str]] | null | 每個模型群組的親和性旗標。鍵為模型群組名稱；值為要啟用的檢查清單（deployment_affinity、responses_api_deployment_check、session_affinity）。未列出的群組會回退到全域 optional_pre_call_checks。文件 | | ignore_invalid_deployments | boolean | true 於 proxy（SDK 中為 false）| 若為 true，則忽略無效的部署。proxy 一律會設定此項，因此無效的模型不會阻止其餘 model_list 載入。 | | auto_router_capability_limit | Optional[AutoRouterCapabilityLimit] | null | 僅限 SDK。路由器在每次註冊與模型寫入時都會查詢的一個可呼叫 () -> Optional[int]，用來決定各複雜度路由器可聲稱的每個授權自動路由器能力數量（classifier_type: heuristic_v2，以及操作員定義的 tier_definitions）；None 代表不受限。每項能力各自保有自己的計數。proxy 會注入其自身以授權為後盾的解析器（一個能力一個路由器，除非授權 allowed_features 包含 auto_router），並在 router_settings 中忽略此鍵。 | | heuristic_v2_router_limit | Optional[HeuristicV2RouterLimit] | null | 僅限 SDK。auto_router_capability_limit 的目前名稱，直到 BerriAI/litellm#39674 重新命名 Router kwarg；在 () -> Optional[int] 路由器上的相同可呼叫 classifier_type: heuristic_v2 上限。 | | search_tools | List[SearchToolTypedDict] | null | 用於 Search API 整合的搜尋工具設定清單。每個工具指定 search_tool_name 與 litellm_params，包含 search_provider、api_key、api_base 等。進一步文件 | | guardrail_list | List[GuardrailTypedDict] | null | 用於 guardrail 負載平衡的 guardrail 設定清單。可在多個具有相同 guardrail_name 的 guardrail 部署之間啟用負載平衡。進一步文件 | | enable_health_check_routing | boolean | false | 若為 true，則啟用以健康檢查為驅動的部署篩選，以避免將請求路由到不健康的部署 | | background_health_check_model_groups | Optional[List[str]] | null（所有群組） | 背景健康檢查與健康檢查路由所適用的模型群組。在 proxy 上這通常透過 general_settings.background_health_check_model_groups 設定。預設為 None（所有群組） | | health_check_staleness_threshold | integer | 600（秒） | 快取健康檢查結果在被標記為過期前的最大秒數 | | health_check_ignore_transient_errors | boolean | false | 若為 true，則忽略 429（速率限制）與 408（逾時）的健康檢查失敗，且不會影響路由或冷卻 | | routing_groups | Optional[List[RoutingGroup]] | null | 各自對模型子集套用自己的路由策略的模型群組清單。每個群組都有 group_name、models（與請求的模型比對的模型名稱清單）、routing_strategy，以及可選的 routing_strategy_args。 | | plugins | Optional[List[RoutingPlugin]] | null | [僅 SDK 參數] 在做出路由決策前執行的路由外掛管線。每個外掛都會實作 async def run(context: RoutingContext) -> RoutingContext，讀取／縮減 candidate_models，並附加 signals，供下一個外掛（或最終路由決策）讀取。若外掛將候選縮減為零，則會直接拋出錯誤，而不是回退到未篩選的池。 |

環境變數 - 參考

名稱	說明
LITELLM_DISABLE_LOGIN_RATE_LIMIT	設為 `true` 以關閉管理員 UI 的登入失敗限制。啟動時讀取一次。文件
A2A_API_BASE	A2A 代理程式請求的基礎 URL
ACTIONS_ID_TOKEN_REQUEST_TOKEN	用於在 GitHub Actions 中請求 ID 的權杖
ACTIONS_ID_TOKEN_REQUEST_URL	用於在 GitHub Actions 中請求 ID 權杖的 URL
AGENT365_CLIENT_ID	網關的 Entra 應用程式註冊中，用於 `agent_365` 防護欄 On-Behalf-Of 交換的用戶端 ID
AGENT365_CLIENT_SECRET	網關的 Entra 應用程式註冊中，用於 `agent_365` 防護欄的用戶端密鑰
AGENT365_TENANT_ID	`agent_365` 防護欄用於 On-Behalf-Of 權杖交換的 Entra 租用戶 ID
AGENTOPS_ENVIRONMENT	AgentOps 記錄整合的環境
AGENTOPS_API_KEY	AgentOps 記錄整合的 API 金鑰
AGENTOPS_SERVICE_NAME	AgentOps 記錄整合的服務名稱
AI21_API_BASE	AI21 的基礎 URL。預設為 https://api.ai21.com/studio/v1
AIMLAPI_KEY	AI/ML API 影像生成中 `AIML_API_KEY` 的其他拼寫；僅在 `AIML_API_KEY` 未設定時讀取
AIOHTTP_CONNECTOR_LIMIT	aiohttp 連接器的連線限制。設為 0 時，不套用限制。預設為 0
AIOHTTP_CONNECTOR_LIMIT_PER_HOST	aiohttp 連接器每個主機的連線限制。設為 0 時，不套用限制。預設為 0
AIOHTTP_KEEPALIVE_TIMEOUT	aiohttp 連線的 keep-alive 逾時（秒）。預設為 120
AIOHTTP_SO_KEEPALIVE	在 aiohttp socket 上啟用 TCP `SO_KEEPALIVE`，讓閒置的提供者連線能在 NAT/負載平衡器靜默丟棄之前被偵測並回收。預設為 False
AIOHTTP_TCP_KEEPCNT	在連線被視為已失效前，未確認的 TCP keepalive 探測次數（當 `AIOHTTP_SO_KEEPALIVE=True` 時適用）。預設為 5
AIOHTTP_TCP_KEEPIDLE	aiohttp TCP 連線在送出 keepalive 探測前必須閒置的秒數（當 `AIOHTTP_SO_KEEPALIVE=True` 時適用）。預設為 60
AIOHTTP_TCP_KEEPINTVL	aiohttp TCP keepalive 探測之間的秒數（當 `AIOHTTP_SO_KEEPALIVE=True` 時適用）。預設為 30
AIOHTTP_TRUST_ENV	傳遞 `trust_env=True` 到底層 aiohttp `ClientSession` 的旗標，讓 aiohttp 本身也會讀取 `~/.netrc` 以及 `SSL_CERT_FILE` / `SSL_CERT_DIR` 環境變數。代理伺服器不需要：除非設定了 `DISABLE_AIOHTTP_TRUST_ENV`，LiteLLM 已針對每個請求解析 `HTTP_PROXY` / `HTTPS_PROXY` / `NO_PROXY`。預設為 False
AIOHTTP_TTL_DNS_CACHE	aiohttp 的 DNS 快取存活時間（秒）。預設為 300
AKTO_GUARDRAIL_API_BASE	Akto Guardrail API 的基礎 URL（例如 `http://localhost:9090`）。供 Akto 防護欄整合使用。
AKTO_API_KEY	用於向 Akto Guardrail 服務驗證的 API 金鑰。
ALEPH_ALPHA_API_BASE	Aleph Alpha 的基礎 URL。預設為 https://api.aleph-alpha.com/complete
ALEPH_ALPHA_API_KEY	Aleph Alpha 的 API 金鑰
ALERTING_WEBHOOK_URL	`SLACK_WEBHOOK_URL` 的提供者中立備援；當 `SLACK_WEBHOOK_URL` 未設定時，用於 Slack 格式警示（例如 Rocket.Chat 或 Mattermost 的傳入 webhook）
ALLOWED_EMAIL_DOMAINS	允許存取的電子郵件網域清單
AMAZON_NOVA_API_BASE	Amazon Nova 的基礎 URL。預設為 https://api.nova.amazon.com/v1
ANTHROPIC_AWS_API_BASE	Claude on AWS 的基礎 URL，於 `ANTHROPIC_AWS_BASE_URL` 之後讀取
ANTHROPIC_AWS_API_KEY	Claude on AWS 的 API 金鑰。設定後，請求會攜帶此金鑰，而不是使用 AWS SigV4 簽章
ANTHROPIC_AWS_BASE_URL	Claude on AWS 的基礎 URL，於 `ANTHROPIC_AWS_API_BASE` 之前讀取。若兩者皆未設定，端點將從已解析的 AWS 區域推導
ANTHROPIC_AWS_WORKSPACE_ID	隨 Claude on AWS 請求一併傳送的 Anthropic 工作區 ID，除非每個請求另行傳入工作區 ID。`ANTHROPIC_WORKSPACE_ID` 可作為備援
ANTHROPIC_WORKSPACE_ID	`ANTHROPIC_AWS_WORKSPACE_ID` 的備援
ANYSCALE_API_BASE	Anyscale 的基礎 URL。預設為 https://api.endpoints.anyscale.com/v1
APISERPENT_API_BASE	APISerpent 搜尋提供者的基礎 URL
APSCHEDULER_COALESCE	是否將工作中多個待處理的執行合併為一次。預設為 False
APSCHEDULER_MAX_INSTANCES	每個工作的並行實例最大數。預設為 1
APSCHEDULER_MISFIRE_GRACE_TIME	逾時未執行工作的寬限時間（秒）。預設為 1
APSCHEDULER_REPLACE_EXISTING	是否以相同 ID 的工作取代既有工作。預設為 False
ARIZE_API_KEY	Arize 平台整合的 API 金鑰
ARIZE_SPACE_KEY	Arize 平台的空間金鑰
ARGILLA_BATCH_SIZE	Argilla 記錄的批次大小
ARGILLA_API_KEY	Argilla 平台的 API 金鑰
ARGILLA_SAMPLING_RATE	Argilla 記錄的抽樣率
ARGILLA_DATASET_NAME	Argilla 記錄的資料集名稱
ARGILLA_BASE_URL	Argilla 服務的基礎 URL
ARK_API_BASE	Volcengine Ark 回應的基礎 URL，於 `VOLCENGINE_API_BASE` 之後讀取
ATHINA_API_KEY	Athina 服務的 API 金鑰
ATHINA_BASE_URL	Athina 服務的基礎 URL（預設為 `https://log.athina.ai`）
AUTO_REDIRECT_UI_LOGIN_TO_SSO	當已設定 SSO 時，啟用將 UI 登入頁面自動重新導向至 SSO 的旗標。預設為 false
AUDIO_SPEECH_CHUNK_SIZE	音訊語音處理的區塊大小。預設為 1024
ANTHROPIC_API_KEY	Anthropic 服務的 API 金鑰。驗證時使用 `x-api-key` 標頭。
ANTHROPIC_AUTH_TOKEN	Anthropic 服務的替代驗證權杖。使用 `Authorization: Bearer` 標頭取代 `x-api-key`。當 `ANTHROPIC_API_KEY` 未設定時作為備援。
ANTHROPIC_API_BASE	Anthropic API 的基礎 URL。預設為 https://api.anthropic.com
ANTHROPIC_BASE_URL	設定 Anthropic API 基礎 URL 時，可作為 `ANTHROPIC_API_BASE` 的替代。當 `ANTHROPIC_API_BASE` 未設定時作為備援。
ANTHROPIC_TOKEN_COUNTING_BETA_VERSION	Anthropic token 計數 API 的 beta 版本標頭。預設為 `token-counting-2024-11-01`
AWS_ACCESS_KEY_ID	AWS 服務的存取金鑰 ID
AWS_BATCH_ROLE_ARN	AWS IAM 角色的 ARN，用於批次作業
AWS_BEDROCK_RUNTIME_ENDPOINT	Bedrock runtime 的端點 URL，當每個請求未傳入 `api_base` 或 `aws_bedrock_runtime_endpoint` 時使用。會覆寫 LiteLLM 原本會從 AWS 區域推導的端點
AWS_DEFAULT_REGION	若未設定 AWS_REGION，則用於服務互動的預設 AWS 區域
AWS_PROFILE_NAME	要使用的 AWS CLI 設定檔名稱
AWS_REGION	用於服務互動的 AWS 區域（優先於 AWS_DEFAULT_REGION）
AWS_REGION_NAME	用於服務互動的預設 AWS 區域
AWS_ROLE_ARN	用於驗證而假設的 AWS IAM 角色 ARN
AWS_ROLE_NAME	AWS IAM 使用的角色名稱
AWS_S3_BUCKET_NAME	用於檔案操作的 AWS S3 儲存貯體名稱
AWS_S3_OUTPUT_BUCKET_NAME	用於批次作業的 AWS S3 輸出儲存貯體名稱
AWS_SECRET_ACCESS_KEY	AWS 服務的秘密存取金鑰
AWS_SESSION_NAME	AWS 工作階段名稱
AWS_WEB_IDENTITY_TOKEN	AWS 的 web identity 權杖
AWS_WEB_IDENTITY_TOKEN_FILE	含有 AWS web identity 權杖的檔案路徑
AZURE_API_VERSION	使用中的 Azure API 版本
AZURE_AI_API_BASE	Azure AI 服務的基礎 URL（例如 Azure AI Anthropic）
AZURE_AI_API_KEY	Azure AI 服務的 API 金鑰（例如 Azure AI Anthropic）
AZURE_AUTHORITY_HOST	Azure authority 主機 URL
AZURE_CERTIFICATE_PASSWORD	Azure OpenAI 憑證密碼
AZURE_CLIENT_ID	Azure 服務的用戶端 ID
AZURE_CLIENT_SECRET	Azure 服務的用戶端密鑰
AZURE_COMPUTER_USE_INPUT_COST_PER_1K_TOKENS	Azure Computer Use 服務每 1K tokens 的輸入成本
AZURE_COMPUTER_USE_OUTPUT_COST_PER_1K_TOKENS	Azure Computer Use 服務每 1K tokens 的輸出成本
AZURE_DEFAULT_RESPONSES_API_VERSION	使用中的 Azure Default Responses API 版本。預設為 "preview"
AZURE_DOCUMENT_INTELLIGENCE_API_VERSION	Azure Document Intelligence 服務的 API 版本
AZURE_DOCUMENT_INTELLIGENCE_DEFAULT_DPI	Azure Document Intelligence 服務的預設 DPI（每英吋點數）設定
AZURE_SPEECH_API_BASE	Azure Speech 語音轉錄的基礎 URL
AZURE_SPEECH_API_KEY	Azure Speech 語音轉錄的 API 金鑰
AZURE_TENANT_ID	Azure Active Directory 的租用戶 ID
AZURE_USERNAME	Azure 服務的使用者名稱，與 AZURE_PASSWORD 一併用於 azure ad token 的基本使用者名稱/密碼工作流程

| MCP_OAUTH2_TOKEN_CACHE_DEFAULT_TTL | MCP OAuth2 權杖快取的預設 TTL（秒）。預設為 3600 | MCP_OAUTH2_TOKEN_CACHE_MAX_SIZE | MCP OAuth2 權杖快取中的最大項目數。預設為 200 | MCP_OAUTH2_TOKEN_CACHE_MIN_TTL | MCP OAuth2 權杖快取的最小 TTL（秒）。預設為 10 | MCP_OAUTH2_TOKEN_EXPIRY_BUFFER_SECONDS | 計算快取 TTL 時，從權杖到期時間中扣除的秒數。預設為 60 | MCP_SSO_ASSERTION_CACHE_TTL_SECONDS | 讀取 MCP oauth2_id_jag 路徑上 SSO 身分斷言的每個程序快取之 TTL（秒）。另一個 pod 上的登入會在一個 TTL 內變得可見。預設為 60 | MCP_PER_USER_TOKEN_DEFAULT_TTL | 儲存在 Redis 中、每位使用者的 MCP OAuth 權杖預設 TTL（秒）。預設為 43200（12 小時） | MCP_PER_USER_TOKEN_EXPIRY_BUFFER_SECONDS | 計算 Redis TTL 時，從每位使用者的 MCP OAuth 權杖到期時間中扣除的秒數。預設為 60 | MCP_TOKEN_EXCHANGE_CACHE_MAX_SIZE | MCP OAuth2 權杖交換快取中的最大項目數。預設為 500 | MCP_TRUSTED_REDIRECT_ORIGINS | 以逗號分隔的其他 redirect_uri 來源允許清單，這些來源由 MCP OAuth authorize 端點接受，除了同源與 loopback 之外。每個項目為 host 或 host:port；*.suffix 前綴可匹配任何更深一層的子網域。僅限 HTTPS。請用於姊妹網域上的第一方 OAuth 用戶端（例如 app.example.com）。對於入口式部署中 proxy 自身來源位置不正確的情況，請改設 PROXY_BASE_URL。請參閱 MCP OAuth — 反向代理與 ingress 組態。 | MCP_TRUSTED_NATIVE_REDIRECT_URIS | 受信任的原生 MCP 用戶端回呼 URI 以逗號分隔的清單，例如 myclient://auth/callback。會擴充內建的受信任回呼 cursor://anysphere.cursor-mcp/oauth/callback。每個項目都要包含回呼路徑。請參閱 MCP OAuth：靜態 OAuth 用戶端的重新導向 URL。 | | DEFAULT_MOCK_RESPONSE_COMPLETION_TOKEN_COUNT | 模擬回應 completions 的預設 token 數量。預設為 20 | DEFAULT_MOCK_RESPONSE_PROMPT_TOKEN_COUNT | 模擬回應 prompts 的預設 token 數量。預設為 10 | DEFAULT_MODEL_CREATED_AT_TIME | 模型的預設建立時間戳記。預設為 1677610602 | DEFAULT_NUM_WORKERS_LITELLM_PROXY | 當未設定 NUM_WORKERS 時，LiteLLM proxy 的預設 worker 數量。預設為 1。在單一容器、VM 或裸機主機上，請將 NUM_WORKERS 設為可用 vCPU 的數量（例如 NUM_WORKERS=8 或 --num_workers 8）；CPU、記憶體和資料庫連線池都會按每個 worker 計算，因此請相應地配置主機與 database_connection_pool_limit 的大小。在 Kubernetes 上，請每個 pod 執行一個 worker，並改用 replicas 進行擴充，請參閱 Production Best Practices。 | DEFAULT_PROMPT_INJECTION_SIMILARITY_THRESHOLD | prompt injection 相似度的預設閾值。預設為 0.7 | DEFAULT_POLLING_INTERVAL | 排程器的預設輪詢間隔（秒）。預設為 0.03 | DEFAULT_REASONING_EFFORT_DISABLE_THINKING_BUDGET | 預設 reasoning effort disable thinking budget。預設為 0 | DEFAULT_REASONING_EFFORT_HIGH_THINKING_BUDGET | 預設 high reasoning effort thinking budget。預設為 4096 | DEFAULT_REASONING_EFFORT_LOW_THINKING_BUDGET | 預設 low reasoning effort thinking budget。預設為 1024 | DEFAULT_REASONING_EFFORT_MAX_THINKING_BUDGET | 舊版 Anthropic 模型所使用的預設 max reasoning effort thinking budget，這些模型使用 thinking.budget_tokens（Claude 4.5 系列 + Haiku）。在 Claude 4.6/4.7 上，max 等級會改由 adaptive output_config.effort=max 進行路由，並忽略此常數。預設為 16384 | DEFAULT_REASONING_EFFORT_MEDIUM_THINKING_BUDGET | 預設 medium reasoning effort thinking budget。預設為 2048 | DEFAULT_REASONING_EFFORT_MINIMAL_THINKING_BUDGET | 預設 minimal reasoning effort thinking budget。預設為 512 | DEFAULT_REASONING_EFFORT_MINIMAL_THINKING_BUDGET_GEMINI_2_5_FLASH | Gemini 2.5 Flash 的預設 minimal reasoning effort thinking budget。預設為 512 | DEFAULT_REASONING_EFFORT_MINIMAL_THINKING_BUDGET_GEMINI_2_5_FLASH_LITE | Gemini 2.5 Flash Lite 的預設 minimal reasoning effort thinking budget。預設為 512 | DEFAULT_REASONING_EFFORT_MINIMAL_THINKING_BUDGET_GEMINI_2_5_PRO | Gemini 2.5 Pro 的預設 minimal reasoning effort thinking budget。預設為 512 | DEFAULT_REASONING_EFFORT_XHIGH_THINKING_BUDGET | 舊版 Anthropic 模型所使用的預設 xhigh reasoning effort thinking budget，這些模型使用 thinking.budget_tokens。沿用 low/medium/high 的 2× 進展 1024 → 2048 → 4096 → 8192。在 Claude 4.6/4.7 上，xhigh 等級會改由 adaptive output_config.effort=xhigh 進行路由，並忽略此常數。預設為 8192 | DEFAULT_REDIS_MAJOR_VERSION | 無法判定版本時，預設要假設的 Redis 主版本。預設為 7 | DEFAULT_REDIS_SYNC_INTERVAL | Redis 同步間隔（秒）的預設值。預設為 1 | DEFAULT_SEMANTIC_GUARD_EMBEDDING_MODEL | Semantic Guard（路由比對防護欄）的預設 embedding 模型。預設為 "text-embedding-3-small" | DEFAULT_SEMANTIC_GUARD_SIMILARITY_THRESHOLD | Semantic Guard 路由比對的預設相似度閾值。預設為 0.75 | DEFAULT_REPLICATE_GPU_PRICE_PER_SECOND | Replicate GPU 每秒的預設價格。預設為 0.001400 | DEFAULT_REPLICATE_POLLING_DELAY_SECONDS | Replicate 輪詢的預設延遲（秒）。預設為 1 | DEFAULT_REPLICATE_POLLING_RETRIES | Replicate 輪詢的預設重試次數。預設為 5 | DEFAULT_SQS_BATCH_SIZE | SQS 記錄的預設批次大小。預設為 512 | DEFAULT_SQS_FLUSH_INTERVAL_SECONDS | SQS 記錄的預設清空間隔（秒）。預設為 10 | DEFAULT_S3_BATCH_SIZE | S3 記錄的預設批次大小。預設為 512 | DEFAULT_S3_FLUSH_INTERVAL_SECONDS | S3 記錄的預設清空間隔（秒）。預設為 10 | DEFAULT_S3_MAX_CONCURRENT_UPLOADS | s3_v2 記錄每次清空時可同時進行的最大 S3 PUT 上傳數。預設為 16 | DEFAULT_SLACK_ALERTING_THRESHOLD | Slack 警示的預設閾值。預設為 300 | DEFAULT_SOFT_BUDGET | LiteLLM proxy 金鑰的預設 soft budget。預設為 50.0 | DEFAULT_TRIM_RATIO | 要從 prompt 結尾修剪的 token 預設比例。預設為 0.75 | DEFAULT_GOOGLE_VIDEO_DURATION_SECONDS | google 中影片生成的預設持續時間（秒）。預設為 8 | DEFER_PYDANTIC_BUILD | 延後建置 LiteLLM 的 pydantic 模型 schema，直到每個模型第一次被使用，這可加快 proxy 啟動並降低記憶體用量。true、1 或 on 會啟用此功能；任何其他值都會在匯入時建置每個 schema。OpenAI 與 Anthropic SDK 也會讀取相同的變數。預設為 true | DIRECT_URL | 服務端點的直接 URL | DISABLE_ADMIN_UI | 切換以停用管理 UI | LITELLM_HIDE_DEFAULT_CREDENTIALS_HINT | 用來隱藏管理 UI 登入頁面上的「Default Credentials」資訊卡的旗標（/ui/login 與 /fallback/login）。當 UI 憑證由 UI_USERNAME / UI_PASSWORD 或 SSO 管理，且關於 admin + MASTER_KEY 的硬編碼提示變得誤導或被安全掃描器標記時，這項設定很有用。預設為 false | LITELLM_ENABLE_HSTS | 用來在 proxy 與 UI 回應中傳送 Strict-Transport-Security 回應標頭的旗標。僅在透過 HTTPS 提供服務的部署上生效。預設為 false | DISABLE_AIOHTTP_TRANSPORT | 用來停用 aiohttp transport 的旗標。當此值設為 True 時，litellm 會使用 httpx 而非 aiohttp。預設為 False | DISABLE_AIOHTTP_TRUST_ENV | 用來停止 LiteLLM 在 aiohttp transport 的請求上解析 HTTP_PROXY / HTTPS_PROXY / NO_PROXY 的旗標。預設情況下，這些環境變數會在不需額外設定的情況下被遵循。對於 httpx transport（DISABLE_AIOHTTP_TRANSPORT=True）沒有影響，因為它一律會遵循這些變數。預設為 False | DISABLE_PRISMA_HEALTH_CHECK_ON_STARTUP | 用來略過 proxy 在 Prisma 連線完成且 migration 套用後，對資料庫執行的 SELECT 1 驗證查詢的旗標。Prisma 連線本身不受影響；只有額外的可達性探測會被略過，因此能接受連線但無法提供查詢的資料庫，會在第一次請求時才被發現，而不是在啟動時。預設為 False | DISABLE_SCHEMA_UPDATE | 切換以停用 schema 更新

| GENERIC_INCLUDE_CLIENT_ID | 在 OAuth 請求中包含 client ID | GENERIC_INCLUDE_TOKEN_CLAIMS | 設為 true 時，若 UserInfo 不完整，也會從 ID token 和 access token 取得 generic OIDC SSO 使用者聲明。UserInfo 聲明優先 | GENERIC_SCOPE | generic OAuth 提供者的 scope 設定 | GENERIC_TOKEN_ENDPOINT | generic OAuth 提供者的 token endpoint | GENERIC_USER_DISPLAY_NAME_ATTRIBUTE | generic auth 中使用者顯示名稱的屬性 | GENERIC_USER_EMAIL_ATTRIBUTE | generic auth 中使用者電子郵件的屬性 | GENERIC_USER_EXTRA_ATTRIBUTES | 以逗號分隔的額外欄位清單，從 generic SSO 提供者回應中擷取（例如："department,employee_id,groups"）。可在自訂 SSO handler 中透過 CustomOpenID.extra_fields 存取。支援巢狀欄位的點記法 | GENERIC_USER_FIRST_NAME_ATTRIBUTE | generic auth 中使用者名字的屬性 | GENERIC_USER_ID_ATTRIBUTE | generic auth 中使用者 ID 的屬性。請使用每個帳號皆唯一且不可變更的聲明，例如 sub；預設為 preferred_username | GENERIC_USER_LAST_NAME_ATTRIBUTE | generic auth 中使用者姓氏的屬性 | GENERIC_USER_PROVIDER_ATTRIBUTE | 指定使用者提供者的屬性 | GENERIC_USER_ROLE_ATTRIBUTE | 指定使用者角色的屬性 | GENERIC_USERINFO_ENDPOINT | 在 generic OAuth 中擷取使用者資訊的 endpoint | GENERIC_LOGGER_ENDPOINT | Generic Logger 回呼要傳送記錄的 endpoint URL | GENERIC_LOGGER_HEADERS | 要包含在 Generic Logger 回呼請求中的標頭 JSON 字串 | GENERIC_ROLE_MAPPINGS_DEFAULT_ROLE | 當 generic SSO 中沒有任何角色對應符合時，要指派的預設 LiteLLM 角色。與 GENERIC_ROLE_MAPPINGS_ROLES 搭配使用 | GENERIC_ROLE_MAPPINGS_GROUP_CLAIM | SSO token 中包含使用者群組的聲明/屬性名稱。用於角色對應 | GENERIC_ROLE_MAPPINGS_ROLES | 將 LiteLLM 角色對應到 SSO 群組名稱的 Python dict 字串。範例：{"proxy_admin": ["admin-group"], "internal_user": ["users"]} | GEMINI_API_BASE | Gemini API 的 base URL。預設為 https://generativelanguage.googleapis.com | GALILEO_API_KEY | Galileo Cloud（託管版）的 API 金鑰。當 success_callback 包含 galileo 時，與 v2 spans API 搭配使用。 | GALILEO_BASE_URL | Galileo platform 的 base URL。對於 Galileo Cloud，請使用 https://api.galileo.ai。對於企業版/自架版，請將 console URL 中的 console 替換為 api。 | GALILEO_LOG_STREAM_ID | Galileo Cloud v2 spans 記錄的 log stream ID（選用）。 | GALILEO_PASSWORD | Galileo enterprise Observe 驗證密碼 | GALILEO_PROJECT_ID | Galileo 使用的專案 ID | GALILEO_USERNAME | Galileo enterprise Observe 驗證使用者名稱 | GITHUB_COPILOT_TOKEN_DIR | 儲存 GitHub Copilot token 的目錄，供 github_copilot llm provider 使用 | GITHUB_COPILOT_API_KEY_FILE | 儲存 GitHub Copilot API key 的檔案，供 github_copilot llm provider 使用 | GITHUB_COPILOT_ACCESS_TOKEN_FILE | 儲存 GitHub Copilot access token 的檔案，供 github_copilot llm provider 使用 | GITHUB_COPILOT_API_BASE | GitHub Copilot API 的 base URL。對於具有自訂主機的 GitHub Enterprise 訂閱，類似於 https://copilot-api.my-company.ghe.com. 預設為 https://api.githubcopilot.com | GITHUB_COPILOT_DEVICE_CODE_URL | GitHub Copilot device code 驗證的 URL。對於具有自訂主機的 GitHub Enterprise 訂閱，類似於 https://my-company.ghe.com/login/device/code. 預設為 https://github.com/login/device/code | GITHUB_COPILOT_ACCESS_TOKEN_URL | 取得 GitHub Copilot access token 的 URL。對於具有自訂主機的 GitHub Enterprise 訂閱，類似於 https://my-company.ghe.com/login/oauth/access_token. 預設為 https://github.com/login/oauth/access_token | GITHUB_COPILOT_API_KEY_URL | 取得 GitHub Copilot API key 的 URL。對於具有自訂主機的 GitHub Enterprise 訂閱，類似於 https://my-company.ghe.com/api/v3/copilot_internal/v2/token. 預設為 https://api.github.com/copilot_internal/v2/token | GITHUB_COPILOT_CLIENT_ID | GitHub Copilot device flow 驗證的 Client ID。這由 github_copilot provider 用於 device code 驗證。預設為 "Iv1.b507a08c87ecfe98" | GREENSCALE_API_KEY | Greenscale 服務的 API 金鑰 | GREENSCALE_ENDPOINT | Greenscale 服務的 endpoint URL | GRAYSWAN_API_BASE | GraySwan API 的 base URL。預設為 https://api.grayswan.ai | GRAYSWAN_API_KEY | GraySwan Cygnal 服務的 API 金鑰 | GRAYSWAN_REASONING_MODE | GraySwan 防護欄的推理模式 | GRAYSWAN_VIOLATION_THRESHOLD | GraySwan 防護欄的違規閾值 | GOOGLE_APPLICATION_CREDENTIALS | Google Cloud 憑證 JSON 檔案的路徑 | GOOGLE_CLIENT_ID | Google OAuth 的 Client ID | GOOGLE_CLIENT_SECRET | Google OAuth 的 client secret | GOOGLE_KMS_RESOURCE_NAME | Google KMS 中的資源名稱 | GUARDRAILS_AI_API_BASE | Guardrails AI API 的 base URL | GUARDRAIL_SCANNED_MESSAGES_CACHE_TTL_SECONDS | 當 only_scan_new_messages 啟用時，記住哪些訊息片段已由防護欄掃描過的每個工作階段快取之 TTL（秒）。預設為 86400（24 小時） | HEALTH_CHECK_TIMEOUT_SECONDS | 健康檢查的逾時秒數。預設為 60 | HEROKU_API_BASE | Heroku API 的 base URL | HEROKU_API_KEY | Heroku 服務的 API 金鑰 | HF_API_BASE | Hugging Face API 的 base URL | HCP_VAULT_ADDR | Hashicorp Vault Secret Manager 的位址 | HCP_VAULT_APPROLE_MOUNT_PATH | Hashicorp Vault Secret Manager 中 AppRole 驗證的 mount 路徑。預設為 "approle" | HCP_VAULT_APPROLE_ROLE_ID | Hashicorp Vault Secret Manager 中 AppRole 驗證的 Role ID | HCP_VAULT_APPROLE_SECRET_ID | Hashicorp Vault Secret Manager 中 AppRole 驗證的 Secret ID | HCP_VAULT_CLIENT_CERT | Hashicorp Vault Secret Manager 的 client certificate 路徑 | HCP_VAULT_CLIENT_KEY | Hashicorp Vault Secret Manager 的 client key 路徑 | HCP_VAULT_LOGIN_NAMESPACE | 在 Hashicorp Vault Secret Manager 的 AppRole 與 TLS 憑證登入時，作為 X-Vault-Namespace 標頭送出的 namespace。若未設定則回退至 HCP_VAULT_NAMESPACE | HCP_VAULT_MOUNT_NAME | Hashicorp Vault Secret Manager 的 mount 名稱 | HCP_VAULT_NAMESPACE | Hashicorp Vault Secret Manager 的 namespace | HCP_VAULT_PATH_PREFIX | Hashicorp Vault Secret Manager 的路徑前綴 | HCP_VAULT_SECRET_NAMESPACE | 在 Hashicorp Vault Secret Manager 的 secret 讀取與寫入 URL 路徑中使用的 namespace。若未設定則回退至 HCP_VAULT_NAMESPACE | HCP_VAULT_TOKEN | Hashicorp Vault Secret Manager 的 token | HCP_VAULT_CERT_ROLE | Hashicorp Vault Secret Manager Auth 的角色 | HELICONE_API_KEY | Helicone 服務的 API 金鑰 | HELICONE_API_BASE | Helicone 服務的 base URL，預設為 https://api.helicone.ai | HELICONE_MOCK | 啟用 Helicone 整合測試的 mock 模式。設為 true 時，會攔截 Helicone API 呼叫並回傳 mock 回應，而不會進行實際網路呼叫。預設為 false | HELICONE_MOCK_LATENCY_MS | 啟用 mock 模式時，Helicone API 呼叫的 mock 延遲（毫秒）。模擬網路往返時間。預設為 100ms | HOSTNAME | 伺服器的主機名稱，這會被發出至 datadog 記錄 | HOURS_IN_A_DAY | 用於計算的一天小時數。預設為 24 | HIDDENLAYER_API_BASE | HiddenLayer API 的 base URL。預設為 https://api.hiddenlayer.ai | HIDDENLAYER_AUTH_URL | HiddenLayer 的驗證 URL。預設為 https://auth.hiddenlayer.ai | HIDDENLAYER_CLIENT_ID | HiddenLayer SaaS 驗證的 Client ID | HIDDENLAYER_CLIENT_SECRET | HiddenLayer SaaS 驗證的 client secret | HUGGINGFACE_API_BASE | Hugging Face API 的 base URL | HUGGINGFACE_API_KEY | Hugging Face API 的 API 金鑰 | HUMANLOOP_PROMPT_CACHE_TTL_SECONDS | Humanloop 中快取提示的存活時間（秒）。預設為 60 | IAM_TOKEN_DB_AUTH | 設為 True，可使用短效 IAM token 對 Amazon RDS 或 Amazon Aurora 上的 PostgreSQL 進行驗證。LiteLLM 會使用 boto3 產生並更新 token。此選項不支援 Google Cloud SQL；請改用 Cloud SQL Auth Proxy 搭配 --auto-iam-authn。不可與 AZURE_POSTGRESQL_AUTH 組合使用。需要 DATABASE_HOST、DATABASE_PORT、DATABASE_USER 和 DATABASE_NAME。關於 ECS task-role 設定與重新啟動行為，請參閱 --iam_token_db_auth。 | IBM_GUARDRAILS_API_BASE | IBM Guardrails API 的 base URL

| LITELLM_BILLING_METRICS_EXPORT_INTERVAL_MS | 以毫秒為單位的可計費請求計量推送週期。預設為 60000 | LITELLM_BLOG_POSTS_URL | 用於擷取 LiteLLM 部落格文章 JSON 的自訂 URL。預設為 GitHub main 分支 URL | LITELLM_CLI_DISABLE_KEYRING | 在執行 lite CLI 的機器上設為 1、true、yes 或 on，可讓 CLI 不使用作業系統金鑰圈，因此來自 lite login 的憑證會保留在 ~/.litellm/token.json（0600）中。預設為未設定，這會在可存取金鑰圈時將憑證儲存在金鑰圈中 | LITELLM_CLI_JWT_EXPIRATION_HOURS | CLI 產生的 JWT 權杖到期時間（小時）。預設為 24 小時 | LITELLM_PROXY_API_OAUTH_REDIRECT_URIS | 以逗號分隔、完全相符且受信任的 HTTPS 回呼，用於代管的 proxy:read 授權，允許模型清單與彙總使用量報告。預設為空。不允許管理操作或模型呼叫。請參閱代管應用程式登入 | LITELLM_PROXY_API_OAUTH_ADMIN_REDIRECT_URIS | 以逗號分隔、完全相符且受信任的 HTTPS 回呼，用於要求代管的 proxy:admin 授權。需要目前 proxy_admin 的明確同意；閘道在使用時會重新檢查角色與既有政策。預設為空。列出的應用程式也可以要求 proxy:read。請參閱代管應用程式登入 | LITELLM_CLI_SSO_CLAIM_MAP | CLI_SSO_CLAIM_MAP 的別名 — CLI SSO 歸因中繼資料的允許清單 OIDC claim | LITELLM_CORS_ALLOW_CREDENTIALS | 設為 true 以明確允許 CORS 回應中的憑證。未設定時，若 LITELLM_CORS_ORIGINS 為 *（萬用字元），系統會自動停用憑證，以避免瀏覽器安全設定錯誤地以憑證回傳任何來源 | LITELLM_CORS_ORIGINS | 允許的 CORS 來源以逗號分隔清單指定（例如 https://app.example.com,https://admin.example.com）。未設定時預設為 *（所有來源） | LITELLM_DANGEROUSLY_PERMIT_WEAK_OR_UNSET_MASTER_KEY | 僅供本機開發：設為 true 可在 master key 未設定、為空，或具有已知不安全值時讓 proxy 啟動。與 general_settings.dangerously_permit_weak_or_unset_master_key 相同。預設為 false。Proxy 會拒絕在已知不安全的 master key 下啟動 | LITELLM_DD_AGENT_HOST | 用於 LiteLLM 特定記錄的 DataDog agent 主機名稱或 IP。設定後，記錄會傳送至 agent，而非直接 API | LITELLM_DEPLOYMENT_ENVIRONMENT | 部署的環境名稱（例如「production」、「staging」）。當未設定 OTEL_ENVIRONMENT_NAME 時用作備援。會在遙測資料中設定 environment 標籤 | LITELLM_DETAILED_TIMING | 設為 true 時，會在回應中加入每個階段的詳細計時標頭（x-litellm-timing-{pre-processing,llm-api,post-processing,message-copy}-ms）。預設為 false。請參閱延遲額外負擔文件 | LITELLM_DD_AGENT_PORT | 用於 LiteLLM 特定記錄接收的 DataDog agent 連接埠。預設為 10518 | LITELLM_DD_LLM_OBS_PORT | Datadog LLM Observability agent 的連接埠。預設為 8126 | LITELLM_DEFAULT_EMBEDDING_ENCODING_FORMAT | 當 OpenAI 相容的 embedding 請求未在請求本身或模型 litellm_params（例如 float、base64）中設定時，預設的 encoding_format。備援為 float。請參閱 Embeddings。 | LITELLM_DEV_ENV_HOT_RELOAD | proxy 以 --reload 啟動時自行設定的內部旗標，會通知重新載入的 worker 以 override=True 重新讀取 .env，使既有鍵值的編輯在重新載入時生效。非供使用者設定 | LITELLM_DONT_SHOW_FEEDBACK_BOX | 隱藏 LiteLLM UI 中意見回饋方塊的旗標 | LITELLM_DROP_PARAMS | 要在 LiteLLM 請求中捨棄的參數 | LITELLM_MODIFY_PARAMS | 要在 LiteLLM 請求中修改的參數 | LITELLM_EMAIL | 與 LiteLLM 帳戶關聯的電子郵件 | LITELLM_FAVICON_URL | LiteLLM UI favicon 的自訂 URL。設定後會覆寫預設 favicon | LITELLM_GLOBAL_MAX_PARALLEL_REQUEST_RETRIES | LiteLLM 平行請求的最大重試次數 | LITELLM_GLOBAL_MAX_PARALLEL_REQUEST_RETRY_TIMEOUT | LiteLLM 平行請求重試的逾時時間 | LITELLM_DISABLE_ACCESS_LOG_PATHS | 以逗號分隔的 URL 路徑清單，要從 uvicorn access logs 中排除（例如 /health,/metrics）。可用於抑制雜訊過多的健康檢查記錄項目。 | | LITELLM_DISABLE_LAZY_LOADING | 設為「1」、「true」、「yes」或「on」時，會停用屬性的延遲載入（目前僅影響 encoding/tiktoken）。這可確保在 VCR 開始記錄 HTTP 請求之前就已初始化 encoding，修正 VCR cassette 建立問題。請參閱 issue #18659 | LITELLM_DISABLE_LAZY_ROUTES | 設為「1」、「true」、「yes」或「on」時，會在 worker 啟動時、LITELLM_WORKER_STARTUP_HOOKS 執行前以及第一個請求之前，註冊每個可選功能路由器（MCP、防護欄、代理程式、向量儲存、轉接與其餘項目），而不是在第一次請求其路徑時才註冊。當您需要在啟動時取得完整路由表時請使用，例如從啟動回呼過濾 app.routes，或在提供流量前稽核 GET /routes。預設：未設定，因此可選路由器會以延遲方式載入。 | | LITELLM_DISABLE_NO_REDIS_WARNING | 設為「true」時，會隱藏在未設定 Redis 時顯示的 Admin UI 橫幅。僅應在單一 worker 部署上設定；請參閱 What Needs Redis。 | LITELLM_DISABLE_REDACT_SECRETS | 設為「true」時，會停用從 proxy 記錄輸出中自動遮罩機密（API 金鑰、權杖、憑證）。預設會啟用機密遮罩。 | LITELLM_DISABLE_ACCESS_LOG_PATHS | 完全相符的請求路徑以逗號分隔的清單，其 uvicorn access-log 行應被捨棄（例如健康檢查、root 探測、淹沒記錄的 metrics 抓取）。路徑會比對任何查詢字串之前的部分。空白/未設定會停用篩選。 | LITELLM_MIGRATION_DIR | prisma migrations 的自訂 migrations 目錄，用於唯讀檔案系統中的資料庫基準化。 | LITELLM_LITEASK_MODEL | 原生 LiteAsk 管理聊天所使用的模型別名，適用於包含 LiteAsk 的 gateway 版本。預設未設定，這會隱藏小工具。請在 gateway 或管理後端上設定支援工具呼叫的模型。只有目前的 proxy 管理員可以使用，且必須使用自己的憑證。讀取在沒有 Redis 的情況下也可運作；已核准的變更需要共享 Redis 以進行一次性核准。 | LITELLM_UI_API_DOC_BASE_URL | 當管理 UI 執行於與 proxy 不同的主機上時，用於 API Reference 基底 URL（用於範例程式碼/文件）的選用覆寫。未設定時預設為 PROXY_BASE_URL。 | LITELLM_UI_PATH | Admin UI 檔案的目錄路徑。當在唯讀檔案系統（例如 Kubernetes）上執行時使用。Docker 中預設為 /var/lib/litellm/ui。 | LITELLM_UI_SESSION_DURATION | UI 登入工作階段的持續時間（使用者名稱/密碼、SSO、邀請連結）。格式：「30s」、「30m」、「24h」、「7d」。不適用於 EXPERIMENTAL_UI_LOGIN 流程，該流程為安全起見使用固定 10 分鐘到期時間。預設為「24h」 | LITELLM_EXECUTED_BATCH_CONCURRENCY | 當 LiteLLM 自行執行批次時，會平行執行單一批次中的幾行；它會針對伺服器沒有 Files API 的 hosted_vllm 部署這麼做。預設為 4。請參閱 vLLM batches | LITELLM_EXPIRED_UI_SESSION_KEY_CLEANUP_BATCH_SIZE | 每次清理執行時可刪除的過期 LiteLLM dashboard session key 最大數量。預設為 1000。 | LITELLM_EXPIRED_UI_SESSION_KEY_CLEANUP_ENABLED | 設為 true 以啟用過期 LiteLLM dashboard session key 的背景清理工作。預設為 false。 | LITELLM_EXPIRED_UI_SESSION_KEY_CLEANUP_INTERVAL_SECONDS | 執行過期 LiteLLM dashboard session key 清理工作的間隔秒數。預設為 86400（24 小時）。 | LITELM_ENVIRONMENT | LiteLLM 執行個體的環境，由記錄服務使用。目前僅供 DeepEval 使用。 | LITELLM_KEY_ROTATION_ENABLED | 啟用 LiteLLM 的自動金鑰輪替（布林值）。預設為 false。 | LITELLM_KEY_ROTATION_CHECK_INTERVAL_SECONDS | 自動輪替金鑰的工作執行間隔秒數。預設為 86400（24 小時）。 | LITELLM_KEY_ROTATION_GRACE_PERIOD | 輪替後保留舊金鑰有效的持續時間（例如「24h」、「2d」）。預設為空白（立即撤銷）。用於排程輪替，以及在 regenerate request 未指定時作為備援。

| LITELLM_KEY_ROTATION_LOCK_TTL_SECONDS | 金鑰輪替作業所使用之分散式鎖的 TTL（秒）。預設為 600（10 分鐘）。 | LITELLM_JOB_ROLE | 此程序註冊哪些排程背景作業。all（未設定時的預設值）和 worker 會註冊所有作業；serving 不會註冊任何單一擁有者作業，因此服務部署可將預算重設、支出記錄清理、金鑰輪替、用量匯出及其他共享作業交由專用的 worker 部署處理。不分大小寫；無法識別的值會在警告後回退為 all。請參閱在專用 worker 上執行背景作業。 | LITELLM_LICENSE | LiteLLM 使用授權金鑰 | LITELLM_LOCAL_ANTHROPIC_BETA_HEADERS | 設定為 True 時，只使用本機隨附的 Anthropic beta headers 設定，停用遠端擷取。預設為 False | LITELLM_LOCAL_AUTOROUTER_PRESETS | 設定為 True 時，只提供套件隨附的 auto-router 預設目錄，停用遠端擷取。預設為 False | LITELLM_OIDC_ALLOWED_CREDENTIAL_DIRS | 以逗號分隔的絕對目錄清單，oidc/file/ 提供者被允許從中讀取權杖檔案。預設為 /var/run/secrets,/run/secrets。 | LITELLM_LOCAL_BLOG_POSTS | 設定為 True 時，只使用本機隨附的部落格文章，停用從 GitHub 的遠端擷取。預設為 False | LITELLM_LOCAL_MODEL_COST_MAP | 設定為 True 時，只使用套件隨附的模型成本對照表（litellm/model_prices_and_context_window_backup.json），停用啟動時及 /reload/model_cost_map 的 GitHub 遠端擷取。預設為 False：遠端檔案會在啟動時擷取，隨附副本僅在擷取失敗時作為備援使用 | LITELLM_LOCAL_POLICY_TEMPLATES | 設定為 "true" 時，使用本機備援政策範本，而非從 GitHub 擷取。政策範本預設從 https://raw.githubusercontent.com/BerriAI/litellm/main/policy_templates.json 擷取，若失敗則自動回退至本機備援 | LITELLM_LOG | 啟用 LiteLLM 的詳細記錄 | LITELLM_MODEL_COST_MAP_URL | 用於擷取模型成本對照表資料的 URL。預設為 https://raw.githubusercontent.com/BerriAI/litellm/main/model_prices_and_context_window.json | LITELLM_LOGGER_NAME | OTEL logger 的名稱 | LITELLM_METER_NAME | OTEL Meter 的名稱 | LITELLM_OTEL_INTEGRATION_ENABLE_EVENTS | 可選擇為 OTEL 啟用語義記錄（gen_ai.content.prompt/gen_ai.content.completion，或 semconv 模式中的 gen_ai.client.inference.operation.details）。預設 false。請參閱OpenTelemetry | LITELLM_OTEL_INTEGRATION_ENABLE_METRICS | 可選擇為 OTEL 啟用語義指標（TTFT、TPOT、回應持續時間、成本、token 用量）。預設 false。請參閱OpenTelemetry | LITELLM_OTEL_BAGGAGE_TEAM_METADATA_KEYS | 以逗號分隔的允許清單，列出會提升到 OTEL spans 中 litellm.team.metadata 下的 team-metadata 子鍵。預設為空，因此在每個子鍵明確列入允許清單之前，團隊的所有自由格式 metadata 都不會傳送到您的追蹤後端。也可在 config.yaml 的 callback_settings.otel 下透過 baggage_team_metadata_keys 設定。請參閱OpenTelemetry。 | LITELLM_ENABLE_PYROSCOPE | 若為 true，則啟用 Pyroscope CPU profiling。設定檔會傳送至 PYROSCOPE_SERVER_ADDRESS。預設關閉。請參閱Pyroscope profiling。 | LITELLM_ENABLE_TEAM_STALE_ALIAS_BYPASS | 當 true 時，若團隊的舊版 model_aliases 項目將公開模型名稱對應至內部 model_name_<team_id>_<uuid> 部署，在公開名稱已有團隊範圍的同層部署時，前置呼叫處理可略過該重寫——因此負載平衡 / order 會在同層部署間套用。為向後相容，預設為 false。請參閱團隊範圍模型與舊版別名。當偵測到過期別名且此旗標為關閉時，proxy 可能會記錄一次性警告。 | PYROSCOPE_APP_NAME | 回報給 Pyroscope 的應用程式名稱。當 LITELLM_ENABLE_PYROSCOPE 為 true 時為必要。無預設值。 | PYROSCOPE_SERVER_ADDRESS | 用於傳送設定檔的 Pyroscope 伺服器 URL。當 LITELLM_ENABLE_PYROSCOPE 為 true 時為必要。無預設值。 | PYROSCOPE_SAMPLE_RATE | 可選。Pyroscope profiling 的取樣率（整數）。無預設值；未設定時，會使用 pyroscope-io 函式庫的預設值。 | PYROSCOPE_GRAFANA_USER | 可選。供 basic auth 使用的 Grafana Cloud Pyroscope 使用者／租戶 ID。當設定 PYROSCOPE_GRAFANA_API_TOKEN 時為必要。 | PYROSCOPE_GRAFANA_API_TOKEN | 可選。供 Pyroscope basic auth 使用的 Grafana Cloud API／存取原則 token。當設定 PYROSCOPE_GRAFANA_USER 時為必要。 | LITELLM_MASTER_KEY | proxy 驗證用的主金鑰。若未設定、為空，或具有已知不安全值，proxy 將不會啟動。Proxy refuses to start with a known unsafe master key | LITELLM_MIGRATE_FROM_MASTER_KEY | 先前的主金鑰。當與新的、安全的 LITELLM_MASTER_KEY 一起設定，且沒有 LITELLM_SALT_KEY 時，proxy 會在啟動後、開始提供流量前，重新加密所有可用先前金鑰解密的已儲存值，並在可刪除該變數時記錄。之後保留此設定不會有作用。Proxy refuses to start with a known unsafe master key | LITELLM_MAX_BUDGET_PER_SESSION_TTL | max-budget-per-session 限制器所使用的 session 預算計數器 TTL（秒）。預設為 3600（1 小時） | LITELLM_MAX_ITERATIONS_TTL | max-iterations 限制器所使用的 session 迭代計數器 TTL（秒）。預設為 3600（1 小時） | LITELLM_MAX_STREAMING_DURATION_SECONDS | 串流回應允許的最長持續時間（秒）。超過此持續時間的串流會以 Timeout 錯誤終止。預設為 None（無限制） | LITELLM_STORE_AUDIT_LOGS | 為每一次對金鑰、團隊與使用者等管理物件執行的建立、更新與刪除記錄稽核日誌項目的旗標。litellm_settings.store_audit_logs 的環境等效項；僅在設定檔未設定該項時讀取，而寫入這些項目需要企業授權。在企業授權下預設為 True，否則為 False | LITELLM_MODE | LiteLLM 的運作模式（例如 production、development） | LITELLM_NON_ROOT | 讓 LiteLLM 在非 root 模式下執行的旗標，以提升 Docker 容器中的安全性 | LITELLM_RATE_LIMIT_WINDOW_SIZE | LiteLLM 的速率限制視窗大小。預設為 60 | LITELLM_REASONING_AUTO_SUMMARY | 若設定為 "true"，會自動為跨所有轉換路徑（Anthropic adapter、Responses API 等）的 reasoning models 啟用詳細推理摘要（summary: "detailed"）。預設為 "false" | LITELLM_SALT_KEY | LiteLLM 中用於加密的 salt key | LITELLM_SET_REPLICA_IDENTITY_FULL | 設定為 true 時，會在每次 migration run 結束時，於每一個 LiteLLM 資料表上執行 ALTER TABLE ... REPLICA IDENTITY FULL。Neon 或 lakehouse sync 等邏輯複寫消費者需要 FULL replica identity 才能讀取 UPDATE 或 DELETE 的舊列；Prisma 會讓新資料表維持 Postgres 預設值。需要 migration 使用者擁有這些資料表。預設為 false | LITELLM_SENSITIVE_ROUTING_TTL | 黏性敏感資料路由決策的 TTL（秒）；控制一個 session 會被固定在路由 guardrail 選定的 on-premise model 上多久。預設為 3600 | LITELLM_SSL_CIPHERS | 用於更快握手的 SSL/TLS cipher 設定。控制 OpenSSL 連線的 cipher suite 偏好。 | LITELLM_SECRET_AWS_KMS_LITELLM_LICENSE | AWS KMS 加密的 LiteLLM 授權 | LITELLM_TPM_TOKEN_RESERVATION_ENABLED | 預設 true。設定為 false 時，會停用 v3 rate limiter 中的請求前 TPM 預留，並在每次即時請求完成後套用實際用量。這會讓每個請求少一次 Redis 操作，但併發請求可能暫時超過 TPM 限制。此設定不適用於 POST /v1/batches，後者使用獨立的輸入檔案限制器。請參閱預估輸出 token。 | | LITELLM_USE_CHAT_COMPLETIONS_URL_FOR_ANTHROPIC_MESSAGES | 設定為 "true" 時，將 OpenAI /v1/messages 請求透過 chat/completions 而非 Anthropic models 的 Responses API 路由。也可透過 litellm_settings.use_chat_completions_url_for_anthropic_messages 設定 | LITELLM_ROUTE_ALL_CHAT_OPENAI_TO_RESPONSES | 設定為 "true" 時，將所有 OpenAI /chat/completions 請求透過 Responses API 橋接層路由。建議用於 OpenAI models。也可透過 litellm_settings.route_all_chat_openai_to_responses 設定

| LITELLM_GEMINI_LIVE_DEFER_SETUP | 設為 "true" 時，會延後 Gemini/Vertex Live 的設定，直到用戶端送出 session.update（用於執行階段工具注入）。為了向後相容，預設為 "false"，此時會在連線時自動送出設定。也可透過 litellm.gemini_live_defer_setup 設定 | LITELLM_USER_AGENT | LiteLLM API 請求的自訂 user agent 字串。用於合作夥伴遙測歸因 | LITELLM_WORKER_STARTUP_HOOKS | 以逗號分隔的 module.path:function_name 可呼叫物清單，會在啟動期間於每個 worker process 中執行。會在 worker 生命週期早期執行（在設定/DB 載入之前）。適用於重新初始化每個 process 的狀態，例如 gflags。詳情請參閱 Worker Startup Hooks | LITELLM_PRINT_STANDARD_LOGGING_PAYLOAD | 若為 true，會將標準記錄負載列印到主控台 - 適合除錯 | LITELLM_PRISMA_BOOTSTRAP_TIMEOUT | 允許 Prisma CLI 所使用的 Node toolchain 進行一次性安裝的秒數，此安裝會在任何 migration 之前、每個容器只執行一次。在安裝超過十分鐘的較慢或頻寬受限節點上可提高此值。非正數或非數值會被忽略並顯示警告，然後套用預設值。預設為 600 | LITELLM_PRISMA_COMMAND_TIMEOUT | 除了 prisma migrate deploy 之外，任何單一 Prisma 指令在被終止並重試前可執行的秒數。當對大型或高度負載的資料庫執行 migration status、resolve 或 db push 等步驟，且確實需要超過一分鐘時可提高此值。不是正數的值會被忽略並顯示警告，然後套用預設值，因此輸入錯字也不會意外停用逾時。預設為 60 | LITELLM_PRISMA_MIGRATE_DEPLOY_TIMEOUT | 一個 prisma migrate deploy 在被終止並重試前可執行的秒數。該指令會一次套用所有待處理的 migration，因此全新或長時間閒置的資料庫需要的時間遠長於任何其他 Prisma 指令。在套用累積待辦需要超過十分鐘時可提高此值；在從不回應的資料庫上可降低此值以更快失敗。不是正數的值會被忽略並顯示警告，然後套用預設值。未設定時，預算為 600 與 LITELLM_PRISMA_COMMAND_TIMEOUT 兩者中較大者，因此若某個 deployment 已為了通過緩慢的 deploy 而提高每個指令的逾時，便會保留較大的預算。預設為 600 | LITELM_ENVIRONMENT | LiteLLM Instance 的環境。目前僅記錄到 DeepEval，用以判定 DeepEval 整合的環境。 | LITELLM_ASYNCIO_QUEUE_MAXSIZE | asyncio 佇列的最大大小（例如記錄佇列、花費更新佇列，以及 cookbook 範例中的即時音訊，例如 nova_sonic_realtime.py）。限制記憶體成長以避免 OOM。預設為 1000。 | LOGFIRE_TOKEN | Logfire 記錄服務的 Token | LOGFIRE_BASE_URL | Logfire 記錄服務的 Base URL（適用於自架部署） | LOGGING_WORKER_CONCURRENCY | asyncio event loop 上 logging worker 可同時使用的 coroutine 插槽最大數。預設為 100。設定過高會讓 logging tasks 淹沒 event loop，降低請求的整體延遲。 | LOGGING_WORKER_MAX_QUEUE_SIZE | logging worker 佇列的最大大小。當佇列已滿時，worker 會積極清除任務以騰出空間，而不是捨棄 logs。預設為 50,000 | LOGGING_WORKER_MAX_TIME_PER_COROUTINE | logging worker 中每個 coroutine 在逾時前允許的最長秒數。預設為 20.0 | LOGGING_WORKER_CLEAR_PERCENTAGE | 清除時要擷取的佇列百分比。預設為 50% | MAX_BASE64_LENGTH_FOR_LOGGING | 在記錄負載中保留的 base64 字元最大數量。超過此值的 Data URI 會以大小占位符取代。設為 0 可停用截斷。預設為 64 | MAX_BASE64_LENGTH_STDOUT_LOG | 寫入 stdout 的 log line 中，允許原樣保留的 base64 串長度上限（字元數），適用於包含 DEBUG 在內的所有記錄等級。較長的串會在訊息與任何 traceback 中以大小占位符取代，例如 [base64_data truncated: 2.86MB]，而其周圍文字會保留。hex 與 decimal 串（摘要、數字 id）則不受影響。logging callbacks（OTEL、Datadog 等）仍會收到完整記錄。設為 0 可停用。預設為 4096 | MAX_COMPETITOR_NAMES | policy template enrichment 中允許的競爭者名稱最大數量。預設為 100 | MAX_EXCEPTION_MESSAGE_LENGTH | 例外訊息的最大長度。預設為 2000 | MAX_ITERATIONS_TO_CLEAR_QUEUE | 在關機期間嘗試清除 logging worker 佇列時的最大迭代次數。預設為 200 | MAX_TIME_TO_CLEAR_QUEUE | 關機期間用於清除 logging worker 佇列的最長秒數。預設為 5.0 | LOGGING_WORKER_AGGRESSIVE_CLEAR_COOLDOWN_SECONDS | 佇列已滿時，允許下一次積極清除操作前的冷卻時間（秒）。預設為 0.5 | MAX_STRING_LENGTH_PROMPT_IN_DB | 在清理 request bodies 時，花費 logs 中字串的最大長度。超過此長度的字串會被截斷。預設為 1000 | MAX_STRING_LENGTH_STDOUT_LOG | INFO 或更高等級的 log line（訊息或 traceback）可寫入 stdout 的字元最大數。較長的行會在 litellm_truncated skipped N chars 標記前後保留首尾，而該標記會計入上限。DEBUG 行永遠不會被截斷，因此 --detailed_debug 仍會列印完整負載，而 logging callbacks（OTEL、Datadog 等）仍會收到完整記錄。設為 0 可停用。預設為 4096 | MAX_IN_MEMORY_QUEUE_FLUSH_COUNT | 記憶體內佇列 flush 操作的最大次數。預設為 1000 | MAX_IMAGE_URL_DOWNLOAD_SIZE_MB | 透過 URL 下載圖片的最大大小（MB）。可防止下載非常大的圖片造成記憶體問題。超過此限制的圖片會在下載前被拒絕。設為 0 可完全停用 image URL 處理（所有 image_url 請求都會被封鎖）。預設為 50MB（與 OpenAI's limit 相同） | MAX_LONG_SIDE_FOR_IMAGE_HIGH_RES | 高解析度圖片長邊的最大長度。預設為 2000 | MAX_REDIS_BUFFER_DEQUEUE_COUNT | Redis buffer dequeue 操作的最大次數。預設為 100 | MAX_REQUEST_BODY_SIZE_TO_REPAIR_MB | LiteLLM 在無法將請求主體解析為 JSON 時，嘗試修復的最大 request body 大小（MB）。修復備援會執行兩次完整主體的 regex 掃描，以修正無效的 surrogate escapes，這會在大型損壞負載上阻塞 event loop。超過此大小的主體會略過修復並立即回傳 400；小於或等於此大小的主體仍會修復。設為 0 可停用上限並始終嘗試修復。預設為 1（MB） | MAX_SHORT_SIDE_FOR_IMAGE_HIGH_RES | 高解析度圖片短邊的最大長度。預設為 768 | MAX_SIZE_IN_MEMORY_QUEUE | 記憶體內佇列的最大大小。預設為 10000 | MAX_SIZE_PER_ITEM_IN_MEMORY_CACHE_IN_KB | 記憶體快取中每個項目的最大大小（KB）。預設為 512 或 1024 | MAX_SPENDLOG_ROWS_TO_QUERY | 要查詢的 spend log 資料列最大數量。預設為 1,000,000 | MAX_TEAM_LIST_LIMIT | 要列出的 team 最大數量。預設為 20 | MAX_TILE_HEIGHT | 圖片 tile 的最大高度。預設為 512 | MAX_TILE_WIDTH | 圖片 tile 的最大寬度。預設為 512 | MAX_TOKEN_TRIMMING_ATTEMPTS | 嘗試修剪 token 訊息的最大次數。預設為 10 | MAXIMUM_TRACEBACK_LINES_TO_LOG | 在 LiteLLM Logs UI 中記錄 traceback 的最大行數。預設為 100 | MAX_RETRY_DELAY | 重試請求的最長延遲（秒）。預設為 8.0 | MAX_LANGFUSE_INITIALIZED_CLIENTS | 在 proxy 上要初始化的 Langfuse clients 最大數量。預設為 50。這樣設定是因為每初始化一個 client，langfuse 就會初始化 1 個 thread。我們過去曾發生過因為多次初始化 Langfuse 而導致 CPU 使用率達到 100% 的事件。 | MAX_MCP_SEMANTIC_FILTER_TOOLS_HEADER_LENGTH | MCP semantic filter tools 的標頭最大長度。預設為 150 | MAX_POLICY_ESTIMATE_IMPACT_ROWS | 在估算 policy 影響時回傳的列數上限。預設為 1000 | MAX_PAYLOAD_SIZE_FOR_DEBUG_LOG | 完整 DEBUG 序列化的 payload 大小上限（位元組）。超過此值的 payload 會在 logs 中被截斷。預設為 102400（100 KB） | MIN_NON_ZERO_TEMPERATURE | 非零 temperature 值的最小值。預設為 0.0001 | MINIMUM_CUSTOM_KEY_LENGTH | 使用者在 /key/generate 和 /key/regenerate 提供的 key 值最小長度。預設為 16 | MINIMUM_PROMPT_CACHE_TOKEN_COUNT | 快取 prompt 所需的最小 token 數。預設為 1024 | MISTRAL_API_BASE | Mistral API 的 Base URL。預設為 https://api.mistral.ai | MISTRAL_API_KEY | Mistral API 的 API 金鑰

| MICROSOFT_AUTHORIZATION_ENDPOINT | Microsoft SSO 的自訂授權端點 URL（覆寫預設的 Microsoft OAuth 授權端點） | MICROSOFT_CLIENT_ID | Microsoft 服務的用戶端 ID | MICROSOFT_CLIENT_SECRET | Microsoft 服務的用戶端密鑰 | MICROSOFT_GRAPH_ENDPOINT | 在 SSO 同步 Entra ID 群組成員資格時使用的 Microsoft Graph API 基底 URL。預設為 https://graph.microsoft.com/v1.0。若為 Azure Government Cloud（GCC High），請設定為 https://graph.microsoft.us/v1.0 | MICROSOFT_SERVICE_PRINCIPAL_ID | Microsoft Enterprise Application 的 Service Principal ID。（如果您希望 litellm 根據其 Microsoft Entra ID 群組自動指派成員到 Litellm Teams，這是一項進階功能） | MICROSOFT_TENANT | Microsoft Azure 的租戶 ID | MICROSOFT_TOKEN_ENDPOINT | Microsoft SSO 的自訂權杖端點 URL（覆寫預設的 Microsoft OAuth 權杖端點） | MICROSOFT_USER_DISPLAY_NAME_ATTRIBUTE | Microsoft SSO 回應中使用者顯示名稱的欄位名稱。預設為 displayName | MICROSOFT_USER_EMAIL_ATTRIBUTE | Microsoft SSO 回應中使用者電子郵件的欄位名稱。預設為 userPrincipalName | MICROSOFT_USER_FIRST_NAME_ATTRIBUTE | Microsoft SSO 回應中使用者名字的欄位名稱。預設為 givenName | MICROSOFT_USER_ID_ATTRIBUTE | Microsoft SSO 回應中使用者 ID 的欄位名稱。預設為 id | MICROSOFT_USER_LAST_NAME_ATTRIBUTE | Microsoft SSO 回應中使用者姓氏的欄位名稱。預設為 surname | MICROSOFT_USERINFO_ENDPOINT | Microsoft SSO 的自訂 userinfo 端點 URL（覆寫預設的 Microsoft Graph userinfo 端點） | MODEL_COST_MAP_MAX_SHRINK_RATIO | 驗證擷取的模型成本對應相對於本機備份時允許的最大縮減比例。若擷取的對應小於備份的此比例，將予以拒絕。預設為 0.5 | MODEL_COST_MAP_MIN_MODEL_COUNT | 擷取的成本對應要被視為有效時，所需包含的最少模型數量。預設為 50 | MS_TEAMS_WEBHOOK_URL | Microsoft Teams 警示的傳入 webhook URL，當 ms_teams 位於 general_settings.alerting 時使用。請參閱 MS Teams 警示 | NEW_RELIC_APP_NAME | 用於 New Relic AI Monitoring 整合的應用程式名稱 | | NEW_RELIC_LICENSE_KEY | 用於 New Relic 驗證的授權金鑰 | | NO_DOCS | 停用 Swagger UI 文件的旗標 | NO_OPENAPI | 停用 /openapi.json 端點的旗標 | NO_REDOC | 停用 Redoc 文件的旗標 | NO_PROXY | 要略過 proxy 的位址清單 | NON_LLM_CONNECTION_TIMEOUT | 非 LLM 服務連線的逾時秒數。預設為 15 | OAUTH_TOKEN_INFO_ENDPOINT | 用於取得 OAuth 權杖資訊的端點 | OPENAI_BASE_URL | OpenAI API 的基底 URL | OPENAI_API_BASE | OpenAI API 的基底 URL。預設為 https://api.openai.com/ | OPENAI_API_KEY | OpenAI 服務的 API 金鑰 | OPENAI_CHATGPT_API_BASE | CHATGPT_API_BASE 的替代項。ChatGPT API 的基底 URL | OPENAI_FILE_SEARCH_COST_PER_1K_CALLS | OpenAI 檔案搜尋每 1000 次請求的成本。預設為 0.0025 | OPENAI_IDENTITY_PROVIDER_ID | OpenAI 工作負載身分聯盟的身分提供者 ID（idp_...）。當此項、OPENAI_SERVICE_ACCOUNT_ID 和 OPENAI_IDENTITY_TOKEN_FILE 都已設定，且未設定 OpenAI API 金鑰時，proxy 會透過將 OIDC token 交換為短效 bearer（RFC 8693）來驗證 openai/ 模型。這些環境變數是 proxy 層級的預設值；相同的三個值也可以分別設定在部署或憑證層級，作為 openai_identity_provider_id、openai_service_account_id 和 openai_identity_token_file，且其優先順序較高。請參閱 OpenAI 工作負載身分聯盟。需要 openai>=2.32.0 | OPENAI_IDENTITY_TOKEN_FILE | 用於 OpenAI 工作負載身分聯盟的 OIDC 主體權杖檔案路徑，例如 Kubernetes 投影的 service account 權杖路徑 | OPENAI_ORGANIZATION | OpenAI 的組織識別碼 | OPENAI_SERVICE_ACCOUNT_ID | OpenAI 平台 service account ID（user-...），工作負載身分聯盟會以此進行驗證。與 LiteLLM 虛擬金鑰 service account 無關 | OPENAPI_URL | OpenAPI JSON 端點的路徑。預設為 "/openapi.json" | OPENID_BASE_URL | OpenID Connect 服務的基底 URL | OPENID_CLIENT_ID | OpenID Connect 驗證的用戶端 ID | OPENID_CLIENT_SECRET | OpenID Connect 驗證的用戶端密鑰 | OPENMETER_API_ENDPOINT | OpenMeter 整合的 API 端點 | OPENMETER_API_KEY | OpenMeter 服務的 API 金鑰 | OPENMETER_EVENT_TYPE | 傳送至 OpenMeter 的事件類型 | OPENMETER_TRUST_REQUEST_USER | 若為 false，則忽略請求本文中的 user，並從已驗證金鑰的 user_id 解析 OpenMeter 主體。預設為 true | ONYX_API_BASE | Onyx Security AI Guard 服務的基底 URL（預設為 https://ai-guard.onyx.security） | ONYX_API_KEY | Onyx Security AI Guard 服務的 API 金鑰 | ONYX_TIMEOUT | Onyx Guard server 請求的逾時秒數。預設為 10 | OTEL_ENDPOINT | 用於 traces 的 OpenTelemetry 端點 | OTEL_EXPORTER_OTLP_CERTIFICATE | OTLP HTTP exporter 信任的 CA bundle 路徑。由 OpenTelemetry SDK 設定；設定後，會在 OTLP 匯出時優先於 SSL_CERT_FILE 和 ssl_verify | OTEL_EXPORTER_OTLP_ENDPOINT | 用於 traces 的 OpenTelemetry 端點 | OTEL_ENVIRONMENT_NAME | OpenTelemetry 的環境名稱 | OTEL_EXPORTER | OpenTelemetry 的 exporter 類型 | OTEL_EXPORTER_OTLP_PROTOCOL | OpenTelemetry 的 exporter 類型 | OTEL_HEADERS | OpenTelemetry 請求的標頭 | OTEL_MODEL_ID | OpenTelemetry tracing 的模型 ID | OTEL_EXPORTER_OTLP_HEADERS | OpenTelemetry 請求的標頭 | OTEL_SERVICE_NAME | OpenTelemetry 的服務名稱識別碼 | OTEL_TRACER_NAME | OpenTelemetry tracing 的 tracer 名稱 | OTEL_LOGS_EXPORTER | OpenTelemetry logs 的 exporter 類型（例如 console） | OTEL_IGNORE_CONTEXT_PROPAGATION | 當為 true 時，忽略父 span context propagation（傳入的 traceparent 標頭以及任何作用中的 span），使每個 LiteLLM trace 都成為自己的根。預設 false | OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT | 控制是否在 OpenTelemetry traces 中擷取 prompts 與 completions。可接受 NO_CONTENT（依規格預設）、SPAN_ONLY、EVENT_ONLY、SPAN_AND_EVENT，或布林形式（true 對應 EVENT_ONLY，false 對應 NO_CONTENT） | OTEL_SEMCONV_STABILITY_OPT_IN | 設為 gen_ai_latest_experimental 以發出遵循最新 OpenTelemetry GenAI semantic conventions 的 spans。將 LLM 呼叫 span 重新命名為 {operation} {model}，抑制 raw_gen_ai_request，新增 gen_ai.provider.name，並整合事件。依 OTEL 規格可用逗號分隔 | USE_OTEL_LITELLM_REQUEST_SPAN | 當為 true 時，proxy 會為每次 LLM 呼叫發出獨立的 litellm_request span，作為 Received Proxy Server Request span 的子 span。預設 false（自 v1.81.0 起）；LLM 呼叫屬性會直接設定在 proxy 根 span 上。請參閱為什麼我看不到 litellm_request span？ | OTEL_DEBUG | 當為 true 時，會將 exporter 與 span 建立診斷輸出到 stderr。當 traces 沒有送達後端時很有用。預設 false | DEBUG_OTEL | OTEL_DEBUG 的別名 | PAGERDUTY_API_KEY | PagerDuty Alerting 的 API 金鑰 | PANW_PRISMA_AIRS_API_KEY | PANW Prisma AIRS 服務的 API 金鑰 | PANW_PRISMA_AIRS_API_BASE | PANW Prisma AIRS 服務的基底 URL | PHOENIX_API_KEY | Arize Phoenix 的 API 金鑰 | PHOENIX_COLLECTOR_ENDPOINT | Arize Phoenix 的 API 端點 | PHOENIX_COLLECTOR_HTTP_ENDPOINT | Arize Phoenix 的 API http 端點 | PILLAR_API_BASE | Pillar API Guardrails 的基底 URL | PILLAR_API_KEY | Pillar API Guardrails 的 API 金鑰 | PILLAR_ON_FLAGGED_ACTION | 內容被標記時要採取的動作（'block' 或 'monitor'） | PKCE_STRICT_CACHE_MISS | 設為 true 時，若在快取中找不到 PKCE code_verifier（例如跨 pod 快取未命中），SSO callback 會回傳 401 錯誤。當為 false（預設）時，會記錄警告並在沒有 code_verifier 的情況下繼續。 | POD_NAME | 伺服器的 pod 名稱，這會以 POD_NAME 的形式送出到 datadog 記錄 | POINTFIVE_API_KEY | PointFive 記錄整合的 API 金鑰。用於為每一批記錄請求預簽署上傳 URL

| POINTFIVE_API_URL | PointFive 擷取 API 的基礎 URL，整合會呼叫此 API。預設為 https://api.pointfive.co/api/v1/ingestion | POSTHOG_API_KEY | 用於 PostHog 分析整合的 API 金鑰 | POSTHOG_API_URL | PostHog API 的基礎 URL（預設為 https://us.i.posthog.com） | POSTHOG_MOCK | 啟用 PostHog 整合測試的模擬模式。設為 true 時，會攔截 PostHog API 呼叫並回傳模擬回應，而不會發出實際的網路請求。預設為 false | POSTHOG_MOCK_LATENCY_MS | 啟用模擬模式時，PostHog API 呼叫的模擬延遲（毫秒）。模擬網路往返時間。預設為 100ms | PRISMA_AUTH_RECONNECT_LOCK_TIMEOUT_SECONDS | Prisma 驗證重新連線的鎖定逾時（秒）。預設為 0.1 | PRISMA_AUTH_RECONNECT_TIMEOUT_SECONDS | Prisma 驗證重新連線嘗試的逾時（秒）。預設為 2.0 | PRISMA_HEALTH_WATCHDOG_ENABLED | 啟用 Prisma DB 健康監控器，以監控連線中斷並在斷線時重新連線。預設為 true | PRISMA_HEALTH_WATCHDOG_INTERVAL_SECONDS | Prisma 健康監控器探測的間隔（秒）。預設為 30 | PRISMA_HEALTH_WATCHDOG_PROBE_TIMEOUT_SECONDS | 每次 Prisma 健康探測的逾時（秒）。預設為 5.0 | PRISMA_RECONNECT_COOLDOWN_SECONDS | Prisma 重新連線嘗試之間的冷卻時間（秒）。預設為 15 | PRISMA_RECONNECT_ESCALATION_THRESHOLD | 在升級重新連線策略前，連續重新連線失敗的次數。預設為 3 | PRISMA_WATCHDOG_RECONNECT_TIMEOUT_SECONDS | Prisma 監控器觸發的重新連線逾時（秒）。預設為 30.0 | PREDIBASE_API_BASE | Predibase API 的基礎 URL | PRESIDIO_ANALYZER_API_BASE | Presidio Analyzer 服務的基礎 URL | PRESIDIO_ANONYMIZER_API_BASE | Presidio Anonymizer 服務的基礎 URL | PROMETHEUS_BUDGET_METRICS_PER_REQUEST_TIMEOUT | 在略過之前，為發送每個請求的 Prometheus 預算指標所允許的最長秒數；逾時時，該發送會獨立丟棄，因此緩慢的 Redis/DB 查詢不會取消整個成功記錄事件。預設為 5.0 | PROMETHEUS_BUDGET_METRICS_REFRESH_INTERVAL_MINUTES | Prometheus 預算指標的重新整理間隔（分鐘）。預設為 5 | PROMETHEUS_FALLBACK_STATS_SEND_TIME_HOURS | 將統計資料傳送至 Prometheus 的備援時間（小時）。預設為 9 | PROMETHEUS_URL | Prometheus 服務的 URL | PROMPTLAYER_API_KEY | 用於 PromptLayer 整合的 API 金鑰 | PROXY_ADMIN_ID | 代理伺服器的管理員識別碼 | PROXY_BASE_URL | 代理服務的基礎 URL。MCP OAuth authorize 端點也會使用此值，作為驗證瀏覽器提供的 redirect_uri 值時代理的公開原點，並決定工作階段/SSO/SAML cookie 是否標記為 Secure — 當 LiteLLM 位於 TLS 終止的 ingress 後方時，請將此值設為使用者在網址列中看到的確切原點（例如 https://llm.example.com）。僅限完整原點：scheme + host（若非預設則含 port），不可有尾隨斜線，也不可有 path。設定後，它會優先於 X-Forwarded-* 標頭（僅在 use_x_forwarded_for 為 true 且請求對等端位於 mcp_trusted_proxy_ranges 時適用）。請參閱安全性最佳實務 — 在反向代理後方保護 cookie 與 MCP OAuth — 反向代理與 ingress 設定。 | PROXY_BATCH_WRITE_AT | 在將支出記錄批次寫入資料庫前等待的秒數。預設為 10 | PROXY_BATCH_POLLING_INTERVAL | 在輪詢批次以檢查是否已完成前等待的秒數。預設為 3600s（1 小時） | PROXY_BATCH_POLLING_ENABLED | 設為 false 可完全停用 CheckBatchCost 與 CheckResponsesCost 背景輪詢作業。對於有大量過時受管物件的安裝，在緊急緩解時很有用。預設為 true | PROXY_CONFIG_RELOAD_INTERVAL_SECONDS | 當 store_model_in_db 啟用時，每個 pod 從資料庫重新載入 database 內設定的物件（模型、憑證、防護欄等）的頻率。較低的值可加快跨 pod 收斂，但會增加 DB 負載；在 proxy 啟動時套用。預設為 30 | PROXY_DB_LOOKUP_DEADLINE_SECONDS | 預請求 DB 查詢最多可花費的秒數，包含等待 PROXY_DB_LOOKUP_MAX_CONCURRENCY 閘道插槽的時間；超過後，請求會以 503 失敗，而不是停留在查詢上。預設為 10，最小值為 0.1 | PROXY_DB_LOOKUP_MAX_CONCURRENCY | 代理同時送至 Prisma query engine 的 key-object DB 備援查詢與支出計數器重新播種查詢的最大數量。額外的查詢會在 proxy 內等待，而不是在 engine 的 HTTP client 內排隊；其每個請求的簿記會隨排隊請求數量增加，並在快取未命中突發時拖慢 event loop。預設為 25 | PROXY_DB_LOOKUP_STALL_WINDOW_SECONDS | 查詢超過 PROXY_DB_LOOKUP_DEADLINE_SECONDS 後多久，/health/readiness 端點會回報 "db":"stalled"。設為 0 可停用。預設為 30 | MAX_OBJECTS_PER_POLL_CYCLE | 每個輪詢週期擷取的受管物件（批次 / 回應）最大數量。可避免在有許多過時列的安裝上發生 OOM。預設為 50 | MANAGED_OBJECT_STALENESS_CUTOFF_DAYS | 在非終端狀態下，超過此天數的受管物件會在每個輪詢週期開始時被標記為 stale_expired 並略過。預設為 7 | PROXY_BUDGET_RESCHEDULER_MAX_TIME | 在檢查資料庫以進行預算重設前，最多等待的秒數。預設為 605 | PROXY_BUDGET_RESCHEDULER_MIN_TIME | 在檢查資料庫以進行預算重設前，最少等待的秒數。預設為 597 | PYTHON_GC_THRESHOLD | GC 閾值（'gen0,gen1,gen2'，例如 '1000,50,50'）；預設為 Python 的值。 | PROXY_LOGOUT_URL | 登出 proxy 服務的 URL | QDRANT_API_BASE | Qdrant API 的基礎 URL | QDRANT_API_KEY | Qdrant 服務的 API 金鑰 | QDRANT_SCALAR_QUANTILE | Qdrant 操作的純量分位數。預設為 0.99 | QDRANT_URL | Qdrant 資料庫的連線 URL | QDRANT_VECTOR_SIZE | Qdrant 操作的向量大小。預設為 1536 | REDIS_CONNECTION_POOL_TIMEOUT | Redis 連線池的逾時（秒）。預設為 5 | REDIS_CIRCUIT_BREAKER_ENABLED | 當為 false 時，Redis circuit breaker 會停用且永遠不會開啟。預設為 true | REDIS_CIRCUIT_BREAKER_FAILURE_THRESHOLD | Redis circuit breaker 開啟前的連續失敗次數。預設為 5 | REDIS_CIRCUIT_BREAKER_RECOVERY_TIMEOUT | Redis circuit breaker 開啟後嘗試復原前的等待時間（秒）。預設為 60 | REDIS_CIRCUIT_BREAKER_TIMEOUT_MIN_DURATION | 只有逾時的失敗連續持續至少此秒數後，Redis circuit breaker 才會開啟；硬性連線失敗仍會在失敗門檻時開啟。預設為 5.0 | REDIS_CLUSTER_NODES | Redis Cluster 模式的 Redis cluster 啟動節點 JSON 格式清單。範例：[{"host": "node1", "port": 6379}] | REDIS_HOST | Redis 伺服器的主機名稱 | REDIS_PASSWORD | Redis 服務的密碼 | REDIS_PORT | Redis 伺服器的連接埠號 | REDIS_SOCKET_TIMEOUT | LiteLLM 建立且未明確設定 socket_timeout 的 Redis client 之 socket 逾時，這在目前表示 Sentinel 連線路徑。proxy cache client 不會讀取它：它一律傳遞自己的 socket_timeout（預設 5.0 s），因此請改用 cache_params.socket_timeout 來變更。請參閱 Redis socket_timeout。預設為 0.1 | REDIS_TIMEOUT_LOG_INTERVAL | Redis 逾時記錄行之間的秒數。某一連續逾時的第一次逾時會以正常層級記錄，後續則以 DEBUG 記錄，而當間隔時間到達後，會有一行報告被抑制了多少筆。非逾時的 Redis 錯誤不會被節流。預設為 5.0 | REDIS_GCP_SERVICE_ACCOUNT | 用於與 Redis 進行 IAM 驗證的 GCP 服務帳戶。格式："projects/-/serviceAccounts/name@project.iam.gserviceaccount.com" | REDIS_GCP_SSL_CA_CERTS | 用於安全 GCP Memorystore Redis 連線的 SSL CA 憑證檔案路徑 | REDOC_URL | Redoc Fast API 文件的路徑。預設為 "/redoc" | REPEATED_STREAMING_CHUNK_LIMIT | 用於偵測迴圈的重複串流分塊限制。預設為 100 | REALTIME_CREDENTIAL_RESOLUTION_TIMEOUT_SECONDS | realtime 工作階段開始前，擷取 Vertex AI 存取權杖的逾時（秒）。預設為 20.0 | REALTIME_WEBSOCKET_MAX_MESSAGE_SIZE_BYTES | realtime 連線中 WebSocket 訊息的最大大小（位元組）。預設為 None。 | REPLICATE_MODEL_NAME_WITH_ID_LENGTH | 含 ID 的 Replicate 模型名稱長度。預設為 64 | REPLICATE_POLLING_DELAY_SECONDS | Replicate 輪詢作業的延遲（秒）。預設為 0.5

| USE_LITELLM_PROXY | 預設透過 LiteLLM proxy 路由每個 litellm SDK completion 呼叫，這可讓模型名稱保持其原始提供者格式，例如 gemini/gemini-3.5-flash。相當於 litellm.use_litellm_proxy = True 的環境變數。預設為 False | USE_V2_MIGRATION_RESOLVER | 用於選擇哪個 resolver 在啟動時套用資料庫 migration 的旗標。v2 resolver 會略過 diff-and-force 復原，該復原在 rolling deploy 期間有兩個 LiteLLM 版本對同一個資料庫執行 migration 時，會造成 schema thrashing。設為 false 可回退至舊版 v1 resolver。預設為 True | USE_PRISMA_MIGRATE | 已在 PR #13555 中移除；prisma migrate deploy 現在是預設值。設定此項不會有任何影響，且可安全移除。 | VANTAGE_API_KEY | Vantage 成本匯入整合的 API 金鑰 | VANTAGE_BASE_URL | Vantage API 的 Base URL。預設為 https://api.vantage.sh | VANTAGE_EXPORT_FREQUENCY | Vantage 的匯出頻率 — hourly（預設）、daily 或 interval | VANTAGE_EXPORT_INTERVAL_SECONDS | 當 VANTAGE_EXPORT_FREQUENCY 為 interval 時的間隔（秒） | VANTAGE_INTEGRATION_TOKEN | Vantage 成本匯入端點的整合權杖 | WANDB_API_KEY | Weights & Biases (W&B) 記錄整合的 API 金鑰 | WANDB_HOST | Weights & Biases (W&B) 服務的主機 URL | WANDB_PROJECT_ID | Weights & Biases (W&B) 記錄整合的專案 ID | WEBHOOK_URL | 用於接收來自外部服務的 webhook 的 URL | SPEND_LOG_RUN_LOOPS | 用於設定 spend_log_cleanup 任務應執行多少次 1000 筆批次刪除的常數 | SPEND_LOG_CLEANUP_BATCH_SIZE | 清理期間每個批次刪除的記錄數。預設為 1000 | SPEND_LOG_PARTITION_INTERVAL | LiteLLM_SpendLogs 分割區的粒度，當表格已分割時：day、week 或 month。預設為 day | SPEND_LOG_PARTITION_PRECREATE_AHEAD | 每次清理執行時要預先建立的未來 spend-log 分割區數量。預設為 7 | SPEND_LOG_QUEUE_POLL_INTERVAL | spend log 佇列的輪詢間隔（秒）。預設為 2.0 | SPEND_LOG_QUEUE_SIZE_THRESHOLD | 處理前的 spend log 佇列大小門檻。預設為 100 | SPEND_LOG_WRITE_BATCH_MAX_BYTES | 單一傳送至資料庫的 spend-log 寫入語句可序列化負載上限（位元組）。也限制每個 LiteLLM_SpendLogToolIndex 和 LiteLLM_SpendLogGuardrailIndex 寫入語句，這些語句會針對每個工具或防護欄、每個請求展開為一列。限制 Prisma 查詢引擎的常駐記憶體，這是由其執行的最大語句所設定的高水位標記。如果 pod 儲存提示與回應，而您需要更嚴格的記憶體下限，請降低此值。預設為 2000000 | SPEND_LOG_WRITE_BATCH_MAX_ROWS | 單一 spend-log、工具索引或防護欄索引寫入語句中的最大列數，會與 SPEND_LOG_WRITE_BATCH_MAX_BYTES 一起套用，因此以先觸發的預算來切分語句。查詢引擎對每列以及每個位元組都會消耗記憶體，因此當 store_prompts_in_spend_logs 關閉且列很小時，這就是會生效的預算。提高它可用記憶體換取更少往返次數。預設為 100 | SPEND_ROLLUP_LOCK_TIMEOUT_MS | 每日 spend rollup 交易（LiteLLM_DailyUserSpend、LiteLLM_DailyToolSpend、LiteLLM_DailyModelUsage、每實體 spend 增量）在 Postgres 取消該語句之前，可能等待另一個 pod 正在更新的列的最長時間（毫秒）（lock_timeout，SQLSTATE 55P03）。已取消的語句不會套用，因此寫入器會將其列重新排入下一次 flush，而共用連線會被釋放，而不是卡在持有者後方。當叢集共用少數熱門 rollup 列且 pod 回報 too many clients already 時，請降低此值；如果 flush 記錄顯示健康資料庫上有 lock timeout，請提高此值。預設為 5000 | SPEND_LOG_QUEUE_MAX_BYTES | 在記憶體中等待寫入的 spend log 記憶體預算（位元組）。當資料庫無法連線時，失敗的批次會重新排隊而非被丟棄，因此佇列會隨著停機時間持續成長；超過此預算後，最舊的記錄會被丟棄並記錄錯誤。提高它可在較長的停機期間保留更多 spend；在記憶體受限的 pod 上則可降低它，尤其是當提示與回應儲存在 spend log 中時。預設為 64000000 | SPEND_LOG_CLEANUP_MAX_CONSECUTIVE_BATCH_FAILURES | 在 spend log 清理執行中止前可容忍的連續批次失敗次數。預設為 3 | SPEND_LOG_CLEANUP_BATCH_FAILURE_BACKOFF_SECONDS | 失敗的 spend log 清理批次之間的退避時間（秒）。預設為 0.5 | SPEND_LOG_CLEANUP_RUN_BUDGET_SECONDS | 整次 spend log 清理執行的整體預算（秒），由它清理的每個資料表共用。當預算用完時，執行會停止，並在下一個 tick 從相同的 cutoff 繼續。設定 general_settings.maximum_spend_logs_cleanup_run_budget 的預設值；若有設定，則會覆寫它。預設為 300 | SPEND_LOG_CLEANUP_BATCH_TIMEOUT_SECONDS | Postgres statement_timeout 與 lock_timeout（秒），套用於 spend log 清理執行所發出的每個語句，確保不會有單一語句在使用者流量排隊於其後時持有鎖定。設定 general_settings.maximum_spend_logs_cleanup_batch_timeout 的預設值；若有設定，則會覆寫它。預設為 30 | SPEND_LOG_CLEANUP_REMAINING_COUNT_CAP | 用於計算仍在等待的過期列數的探測上限，因此回報 backlog 不會本身變成大型資料表的完整掃描。計數會在此值飽和。預設為 100000 | SPEND_COUNTER_RESEED_LOCKS_MAX_SIZE | 用於在強制執行路徑上協調來自資料庫的並行 spend-counter reseed 的每個 counter LRU lock dict 最大大小。預設為 10000。 | COROUTINE_CHECKER_MAX_SIZE_IN_MEMORY | CoroutineChecker 記憶體內快取的最大大小。預設為 1000 | DEFAULT_SHARED_HEALTH_CHECK_TTL | 在 shared health check 模式下，共用快取健康檢查結果的存活時間（秒）。預設為 300（5 分鐘） | DEFAULT_SHARED_HEALTH_CHECK_LOCK_TTL | 在 shared health check 模式下，健康檢查鎖定的存活時間（秒）。預設為 60（1 分鐘） | ZSCALER_AI_GUARD_API_KEY | Zscaler AI Guard 服務的 API 金鑰 | ZSCALER_AI_GUARD_POLICY_ID | Zscaler AI Guard 防護欄的政策 ID | ZSCALER_AI_GUARD_URL | Zscaler AI Guard API 的 Base URL。預設為 https://api.us1.zseclipse.net/v1/detection/execute-policy

litellm_settings - 參考​

一般設定 - 參考​

worker_registry - 參考​

router_settings - 參考​

環境變數 - 參考​

litellm_settings - 參考

一般設定 - 參考

worker_registry - 參考

router_settings - 參考

環境變數 - 參考