---
title: "GradientAI"
url: "/docs/providers/gradient_ai"
canonical_url: "https://docs.litellm.ai/docs/providers/gradient_ai"
type: "docs"
last_updated: "2026-10-08"
related:
  - "/docs/providers/chatgpt"
  - "/docs/providers/groq"
---
# GradientAI

> Index of all LiteLLM docs: https://docs.litellm.ai/llms.txt

https://digitalocean.com/products/gradientai

LiteLLM 原生支援 GradientAI 模型。
若要使用 GradientAI 模型，請在您的 LiteLLM 請求中將其指定為 `gradient_ai/<model-name>`。

## API 金鑰與端點 {#api-key--endpoint}

將您的 API 金鑰設為環境變數。請求預設會送至無伺服器推論端點 `https://inference.do-ai.run/v1/chat/completions`，因此不需要端點變數：

```python
import os
os.environ['GRADIENT_AI_API_KEY'] = "your-api-key"
```

若要改為呼叫 GradientAI 代理程式，請將 `GRADIENT_AI_AGENT_ENDPOINT`（或傳入 `api_base`）設為該代理程式的基底 URL。LiteLLM 會在其後附加 `/api/v1/chat/completions`，因此不要包含路徑：

```python
os.environ['GRADIENT_AI_AGENT_ENDPOINT'] = "https://<agent-id>.agents.do-ai.run"  # optional, agents only
```

## 範例用法 {#sample-usage}

```python
from litellm import completion
import os

os.environ['GRADIENT_AI_API_KEY'] = "your-api-key"
response = completion(
    model="gradient_ai/model-name",
    messages=[
        {"role": "user", "content": "Hello, how are you?"}
    ],
)
print(response.choices[0].message.content)
```

## 串流範例 {#streaming-example}

```python
from litellm import completion
import os

os.environ['GRADIENT_AI_API_KEY'] = "your-api-key"
response = completion(
    model="gradient_ai/model-name",
    messages=[
        {"role": "user", "content": "Write a story about a robot learning to love"}
    ],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")
```

## 支援的參數 {#supported-parameters}

| 參數                        | 類型         | 說明                                                        |
|-----------------------------------|--------------|--------------------------------------------------------------------|
| `temperature`                     | float        | 控制隨機性（0.0-2.0）                                      |
| `top_p`                           | float        | 核心採樣參數（0.0-1.0）                               |
| `max_tokens`                      | int          | 要生成的最大 tokens 數                                         |
| `max_completion_tokens`           | int          | max_tokens 的替代項                                          |
| `stream`                          | bool         | 是否串流回應                                     |
| `k`                               | int          | 從知識庫傳回的前幾個結果                         |
| `retrieval_method`                | string       | 擷取策略（rewrite/step_back/sub_queries/none）            |
| `frequency_penalty`               | float        | 對重複 tokens 施加懲罰（-2.0 到 2.0）                            |
| `presence_penalty`                | float        | 根據出現次數對 tokens 施加懲罰（-2.0 到 2.0）                   |
| `stop`                            | string/list  | 停止生成的序列                                       |
| `kb_filters`                      | List[Dict]   | 知識庫擷取篩選器                               |
| `instruction_override`            | string       | 覆寫代理程式的預設指令                               |
| `include_retrieval_info`          | bool         | 包含文件擷取中繼資料                                |
| `include_guardrails_info`         | bool         | 包含防護欄觸發中繼資料                                 |
| `provide_citations`               | bool         | 在回應中包含引用                                      |

---

更多詳情請參閱 [DigitalOcean GradientAI 文件](https://digitalocean.com/products/gradientai)。

## Related pages

- [ChatGPT 訂閱](https://docs.litellm.ai/docs/providers/chatgpt.md)
- [Groq](https://docs.litellm.ai/docs/providers/groq.md)