LiteLLM 是整合所有模型、工具與代理程式的單一閘道，透過統一 API 串接 100+ 家 LLM 提供者、MCP 工具與 A2A 代理程式，並集中控管金鑰、預算及記錄每次請求的成本。
LiteLLM
curl -fsSL https://raw.githubusercontent.com/BerriAI/litellm/main/scripts/quickstart.sh | shPython SDK
completion() 函式對 OpenAI、Anthropic、Bedrock 及 100 多家其他提供者皆使用相同參數，並統一回傳 OpenAI 格式結果。切換模型只需替換一個字串，同時內建串流、重試、備援機制與每次呼叫的成本計算。
from litellm import completion
messages = [{"role": "user", "content": "Hello"}]
completion(model="openai/gpt-5.6-terra", messages=messages)
completion(model="anthropic/claude-sonnet-5", messages=messages)
AI Gateway
任何程式語言的應用程式皆可以 OpenAI 格式向閘道發送請求。每個應用程式或成員皆可獲配具備預算上限與速率限制的虛擬金鑰；閘道會記錄每筆請求及其成本，且提供者 API 金鑰安全保留於閘道內。
curl http://localhost:4000/v1/chat/completions \
-H "Authorization: Bearer sk-<virtual-key>" \
-H "Content-Type: application/json" \
-d '{"model": "gpt-5.6-terra",
"messages": [{"role": "user", "content": "Hello"}]}'
當您的應用程式呼叫閘道時，同一套部署也能為您的應用程式提供 MCP 工具與代理，並為每個請求挑選合適的模型。您可以從終端機或程式設計代理直接操作它。
工具與代理程式
模型路由與代理框架
Auto Router（擴充功能）
簡單的提示詞會自動路由至低成本模型，而您的應用程式程式碼完全無需修改。
LiteAgents（預覽版）
只需替換一個參數即可在 Deep Agents、Pydantic AI、Claude Agent SDK、Codex 與 OpenCode 之間切換，既有的工具與 MCP 連線皆維持不變。
ProfileOptions(
harness="deepagents", # or "claude-sdk", "codex", "pydantic-ai"
model="my-model",
)
終端機與程式開發代理
lite CLI
lite CLI 會登入您的閘道並透過閘道啟動工具。開發人員無需持有提供者 API 金鑰，預算、記錄與防護欄皆可自動套用至每位成員。
lite login # 登入您的閘道
lite claude # 透過閘道啟動 Claude Code
LiteAdmin MCP
將 Claude 或 Codex 連接至閘道後，即可直接指示代理程式建立金鑰、新增模型、管理團隊與預算，或查詢發生錯誤的請求。
Enterprise 企業版
只需設定授權金鑰，即可在同一個閘道啟用企業版功能，涵蓋 SSO、SCIM、所有管理變更的稽核記錄，以及各團隊專屬管理員；同時支援跨區域部署，並由 LiteLLM 原廠工程團隊提供技術支援。