[Beta] 根據請求中繼資料進行路由
根據請求中繼資料建立路由規則。
設定
將以下內容加入您的 litellm proxy 設定 yaml 檔案。
litellm proxy config.yaml
router_settings:
enable_tag_filtering: True # 👈 Key Change
1. 建立標籤
在 LiteLLM UI 中，前往 Experimental > Tag Management > Create Tag。
建立一個名為 private-data 的標籤，並且只選取具有此標籤的請求允許使用的模型。建立後，您會在 Tag Management 頁面看到該標籤。
2. 測試標籤路由
現在我們將測試基於標籤的路由規則。
2.1 無效模型
此請求會失敗，因為我們送出 tags=private-data，但模型 gpt-4o 不在 private-data 標籤允許的模型中。
以下是使用 OpenAI Python SDK 傳送相同請求的範例。
- OpenAI Python SDK
- cURL
from openai import OpenAI
client = OpenAI(
api_key="sk-1234",
base_url="http://0.0.0.0:4000/v1/"
)
response = client.chat.completions.create(
model="gpt-4o",
messages=[
{"role": "user", "content": "Hello, how are you?"}
],
extra_body={
"tags": "private-data"
}
)
curl -L -X POST 'http://0.0.0.0:4000/v1/chat/completions' \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer sk-1234' \
-d '{
"model": "gpt-4o",
"messages": [
{
"role": "user",
"content": "Hello, how are you?"
}
],
"tags": "private-data"
}'
2.2 有效模型
此請求會成功，因為我們送出 tags=private-data，而模型 us.anthropic.claude-3-7-sonnet-20250219-v1:0 在 private-data 標籤允許的模型中。
以下是使用 OpenAI Python SDK 傳送相同請求的範例。
- OpenAI Python SDK
- cURL
from openai import OpenAI
client = OpenAI(
api_key="sk-1234",
base_url="http://0.0.0.0:4000/v1/"
)
response = client.chat.completions.create(
model="us.anthropic.claude-3-7-sonnet-20250219-v1:0",
messages=[
{"role": "user", "content": "Hello, how are you?"}
],
extra_body={
"tags": "private-data"
}
)
curl -L -X POST 'http://0.0.0.0:4000/v1/chat/completions' \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer sk-1234' \
-d '{
"model": "us.anthropic.claude-3-7-sonnet-20250219-v1:0",
"messages": [
{
"role": "user",
"content": "Hello, how are you?"
}
],
"tags": "private-data"
}'