整合

本節涵蓋可與 LiteLLM（Proxy 或 SDK）搭配使用的各種工具與服務整合。

---

可觀測性

使用可觀測性平台追蹤、除錯並分析 LLM 請求。

🪢

Langfuse

LLM 可觀測性與分析。

🐶

Datadog

指標、追蹤與儀表板。

📡

OpenTelemetry

提供者中立的追蹤。

🔗

LangSmith

LLM 除錯與評估。

🔥

Arize / Phoenix

ML 可觀測性與評估。

🌀

Helicone

LLM 請求記錄與分析。

📊

MLflow

實驗追蹤。

🏋️

Weights & Biases

ML 實驗追蹤。

📉

PostHog

產品分析。

查看所有可觀測性整合 →

---

告警與監控

設定告警、指標蒐集與基礎架構監控。

📈

Prometheus

指標蒐集與監控。

🚨

PagerDuty

事件回應與告警。

🔔

告警

Slack、Teams 與 webhook 告警。

🔍

Pyroscope

持續效能剖析。

---

防護欄提供者

為 LLM 請求新增安全性與內容過濾。

🛡️

Lakera AI

提示詞注入偵測。

☁️

Azure Content Safety

內容審核。

🛏️

Bedrock Guardrails

AWS Bedrock 安全性。

🤖

OpenAI Moderation

OpenAI 內容政策。

🔐

Secret Detection

防止憑證外洩。

🕵️

PII Masking

遮罩敏感資料。

查看所有防護欄提供者 →

---

政策

定義並強制執行跨 LLM 部署的使用政策。

📋

Guardrail Policies

基於政策的防護欄規則。

🔀

Policy Flow Builder

視覺化政策設定。

📄

Policy Templates

預先建立的政策範本。

---

AI 工具

將 LiteLLM 連接到 AI 驅動的程式碼與生產力工具。

💬

OpenWebUI

自架的 ChatGPT 風格介面。

🤖

Claude Code

將 LiteLLM 與 Claude Code 搭配使用。

🖱️

Cursor

AI 程式碼編輯器整合。

🐙

GitHub Copilot

GitHub Copilot 整合。

💻

OpenCode

開源程式碼助理。

🔧

Retool Assist

Retool AI 助理。

---

代理程式 SDK

將 LiteLLM 與代理程式框架和 SDK 搭配使用。

🤖

OpenAI Agents SDK

使用 OpenAI 的 SDK 建立代理程式。

🧠

Claude Agent SDK

使用 Anthropic 的 SDK 建立代理程式。

🌐

Google ADK

Google Agent Development Kit。

🚀

CopilotKit

應用程式內 AI 副駕。

🧬

Letta

使用具持久記憶的狀態式 LLM 代理程式建立。

🎙️

LiveKit

即時語音與視訊 AI 代理程式。

---

提示詞管理

管理、版本控制並部署提示詞。

📝

LiteLLM Prompt Management

內建提示詞管理。

🔌

Custom Prompt Management

使用您自己的提示詞儲存區。

🔥

Arize Phoenix Prompts

使用 Phoenix 進行提示詞管理。

---

使用 AI 代理程式管理

使用 AI 代理程式管理您的 LiteLLM 部署 — 透過自然語言建立使用者、團隊、金鑰、模型等。

🤖

LiteLLM Skills

透過 Claude Code 管理 LiteLLM — 使用自然語言命令建立金鑰、團隊、模型等。