Gateway Quickstart

如果您需要為團隊或平台提供一個共用的 OpenAI 相容端點，請使用此路徑。

如果您需要以 Docker 或資料庫優先的設定，請使用 Docker + Database 教學。否則，請使用以下步驟快速取得可運作的請求。

1. 安裝閘道

uv tool install 'litellm[proxy]'

2. 設定一個提供者金鑰

export OPENAI_API_KEY="your-api-key"

3. 建立 `config.yaml`

model_list:
  - model_name: gpt-4o-mini
    litellm_params:
      model: openai/gpt-4o-mini
      api_key: os.environ/OPENAI_API_KEY

general_settings:
  master_key: sk-1234
  database_url: postgresql://llmproxy:dbpassword9090@db:5432/litellm

4. 啟動閘道

litellm --config config.yaml

您應該會看到 proxy 在 http://0.0.0.0:4000 啟動。

5. 傳送您的第一個請求

curl -X POST 'http://0.0.0.0:4000/chat/completions' \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer sk-1234' \
  -d '{
    "model": "gpt-4o-mini",
    "messages": [
      {"role": "user", "content": "Hello from LiteLLM Gateway"}
    ]
  }'

6. 檢查回應

如果請求成功，proxy 會回傳 200 OK，並附上 OpenAI 風格的回應。

助理文字將位於：

choices[0].message.content

如果您的閘道路由到 OpenAI，實際回應可能如下所示：

{
  "id": "chatcmpl-abc123",
  "created": 1677858242,
  "model": "gpt-4o-mini-2024-07-18",
  "object": "chat.completion",
  "system_fingerprint": "fp_406d6473f8",
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "Hello! How can I assist you today?",
        "tool_calls": null,
        "function_call": null,
        "annotations": []
      }
    }
  ],
  "usage": {
    "completion_tokens": 9,
    "prompt_tokens": 13,
    "total_tokens": 22,
    "completion_tokens_details": {
      "accepted_prediction_tokens": 0,
      "audio_tokens": 0,
      "reasoning_tokens": 0,
      "rejected_prediction_tokens": 0
    },
    "prompt_tokens_details": {
      "audio_tokens": 0,
      "cached_tokens": 0
    }
  },
  "service_tier": "default"
}