使用您的 MCP
本文說明如何將 LiteLLM 作為 MCP 閘道使用。您可以了解如何搭配 Responses API、Cursor IDE 和 OpenAI SDK 使用它。若要在端點、傳輸與驗證模式之間進行選擇，請參閱 MCP 組態參考
在 LiteLLM UI 上使用
請依照此逐步示範，將您的 MCP 用於 LiteLLM UI
搭配 Responses API 使用
將 http://localhost:4000 替換為您的 LiteLLM Proxy base URL。
使用 LiteLLM Proxy 搭配 Responses API 的示範影片：點此觀看示範影片
- cURL
- Python SDK
cURL Example
curl --location 'http://localhost:4000/v1/responses' \
--header 'Content-Type: application/json' \
--header "Authorization: Bearer $LITELLM_API_KEY" \
--data '{
"model": "gpt-5.6-terra",
"input": [
{
"role": "user",
"content": "give me TLDR of what BerriAI/litellm repo is about",
"type": "message"
}
],
"tools": [
{
"type": "mcp",
"server_label": "litellm",
"server_url": "litellm_proxy",
"require_approval": "never"
}
],
"stream": true,
"tool_choice": "required"
}'
Python SDK Example
"""
Use LiteLLM Proxy MCP Gateway to call MCP tools.
When using LiteLLM Proxy, you can use the same MCP tools across all your LLM providers.
"""
import openai
client = openai.OpenAI(
api_key="sk-<your-litellm-api-key>", # paste your litellm proxy api key here
base_url="http://localhost:4000" # paste your litellm proxy base url here
)
print("Making API request to Responses API with MCP tools")
response = client.responses.create(
model="gpt-5.6-terra",
input=[
{
"role": "user",
"content": "give me TLDR of what BerriAI/litellm repo is about",
"type": "message"
}
],
tools=[
{
"type": "mcp",
"server_label": "litellm",
"server_url": "litellm_proxy",
"require_approval": "never"
}
],
stream=True,
tool_choice="required"
)
for chunk in response:
print("response chunk: ", chunk)
指定 MCP 工具
您可以使用 allowed_tools 參數來指定可用的 MCP 工具。這可讓您限制對 MCP 伺服器中特定工具的存取。
若要在使用 LiteLLM MCP 閘道時取得允許的工具清單，您可以前往 LiteLLM UI 中的 MCP Servers > MCP Tools > 點選該 Tool > Copy Tool Name。
- cURL
- Python SDK
cURL Example with allowed_tools
curl --location 'http://localhost:4000/v1/responses' \
--header 'Content-Type: application/json' \
--header "Authorization: Bearer $LITELLM_API_KEY" \
--data '{
"model": "gpt-5.6-terra",
"input": [
{
"role": "user",
"content": "give me TLDR of what BerriAI/litellm repo is about",
"type": "message"
}
],
"tools": [
{
"type": "mcp",
"server_label": "litellm",
"server_url": "litellm_proxy",
"require_approval": "never",
"allowed_tools": ["GitMCP-fetch_litellm_documentation"]
}
],
"stream": true,
"tool_choice": "required"
}'
Python SDK Example with allowed_tools
import openai
client = openai.OpenAI(
api_key="sk-<your-litellm-api-key>",
base_url="http://localhost:4000"
)
response = client.responses.create(
model="gpt-5.6-terra",
input=[
{
"role": "user",
"content": "give me TLDR of what BerriAI/litellm repo is about",
"type": "message"
}
],
tools=[
{
"type": "mcp",
"server_label": "litellm",
"server_url": "litellm_proxy",
"require_approval": "never",
"allowed_tools": ["GitMCP-fetch_litellm_documentation"]
}
],
stream=True,
tool_choice="required"
)
print(response)
搭配 Cursor IDE 使用
直接從 Cursor IDE 搭配 LiteLLM MCP 使用工具：
設定說明：
- 開啟 Cursor Settings：使用
⇧+⌘+J（Mac）或Ctrl+Shift+J（Windows/Linux） - 前往 MCP Tools：進入「MCP Tools」分頁，然後點選「New MCP Server」
- 新增設定：複製並貼上以下 JSON 設定，接著使用
Cmd+S或Ctrl+S儲存
Basic Cursor MCP Configuration
{
"mcpServers": {
"LiteLLM": {
"url": "http://localhost:4000/mcp",
"headers": {
"x-litellm-api-key": "Bearer sk-<your-litellm-api-key>"
}
}
}
}
server_url="litellm_proxy" 時的運作方式
當 server_url="litellm_proxy" 時，LiteLLM 會將非 MCP 提供者橋接到您的 MCP 工具。
- 工具探索：LiteLLM 會取得 MCP 工具，並將其轉換為與 OpenAI 相容的定義
- LLM 呼叫：工具會隨著您的輸入傳送給 LLM；LLM 會選擇要呼叫哪些工具
- 工具執行：LiteLLM 會自動解析引數、將請求路由到 MCP 伺服器、執行工具，並擷取結果
- 回應整合：工具結果會傳回 LLM，以產生最終回應
- 輸出：結合 LLM 推理與工具執行結果的完整回應
這可讓任何 LiteLLM 支援的提供者都能使用 MCP 工具，不受原生 MCP 支援與否限制。
如果工具呼叫在回應中缺失或失敗，請參閱疑難排解手冊中的 Responses 與 Chat Completions 失敗。
require_approval: "never" 的自動執行
設定 require_approval: "never" 會觸發自動工具執行，並在單一 API 請求中傳回最終回應，不需額外使用者互動。
