整合

本節涵蓋可與 LiteLLM（Proxy 或 SDK）搭配使用的各種工具與服務整合。

---

可觀測性

使用可觀測性平台追蹤、除錯並分析 LLM 請求。

Langfuse

LLM 可觀測性與分析。

Datadog

指標、追蹤與儀表板。

Grafana Cloud

LLM 追蹤、GenAI 指標與儀表板。

OpenTelemetry

供應商中立的追蹤。

LangSmith

LLM 偵錯與評估。

Arize / Phoenix

ML 可觀測性與評估。

Helicone

LLM 請求記錄與分析。

MLflow

實驗追蹤。

Weights & Biases

ML 實驗追蹤。

PostHog

產品分析。

查看所有可觀測性整合 →

---

告警與監控

設定告警、指標蒐集與基礎架構監控。

Prometheus

指標收集與監控。

PagerDuty

事件回應與警示。

Alerting

Slack、Teams 與 webhook 警示。

Pyroscope

持續分析。

---

防護欄提供者

為 LLM 請求新增安全性與內容過濾。

Lakera AI

提示注入偵測。

Azure Content Safety

內容審核。

Bedrock Guardrails

AWS Bedrock 安全性。

OpenAI Moderation

OpenAI 內容政策。

Secret Detection

防止憑證外洩。

PII Masking

遮罩敏感資料。

查看所有防護欄提供者 →

---

政策

定義並強制執行跨 LLM 部署的使用政策。

Guardrail Policies

以政策為基礎的 guardrail 規則。

Policy Flow Builder

視覺化政策設定。

Policy Templates

預先建立的政策範本。

---

AI 工具

將 LiteLLM 連接到 AI 驅動的程式碼與生產力工具。

OpenWebUI

自架設的 ChatGPT 風格介面。

Claude Code

將 LiteLLM 與 Claude Code 搭配使用。

Cursor

AI 程式碼編輯器整合。

GitHub Copilot

GitHub Copilot 整合。

OpenCode

開源程式撰寫助理。

Retool Assist

Retool AI 助理。

---

代理程式 SDK

將 LiteLLM 與代理程式框架和 SDK 搭配使用。

OpenAI Agents SDK

使用 OpenAI 的 SDK 建立代理程式。

Claude Agent SDK

使用 Anthropic 的 SDK 建立代理程式。

Google ADK

Google Agent Development Kit。

CopilotKit

應用程式內 AI 副駕。

Letta

使用具持久記憶的狀態式 LLM 代理程式。

LiveKit

即時語音與視訊 AI 代理程式。

---

提示詞管理

管理、版本控制並部署提示詞。

LiteLLM Prompt Management

內建提示管理。

Custom Prompt Management

使用您自己的提示儲存庫。

Arize Phoenix Prompts

與 Phoenix 搭配的提示管理。

---

使用 AI 代理程式管理

使用 AI 代理程式來管理您的 LiteLLM 部署：透過自然語言建立使用者、團隊、金鑰、模型等。

LiteLLM Skills

透過 Claude Code 管理 LiteLLM：使用自然語言指令建立金鑰、團隊、模型等。