📄️ 入門教學
End-to-End tutorial for LiteLLM Proxy to:
🗃️ 代理程式與 MCP Gateway
4 個項目
🗃️ Config.yaml
3 個項目
🗃️ 設定與部署
16 個項目
🗃️ 管理介面
6 個項目
🗃️ 架構
12 個項目
🔗 所有端點（Swagger）
🗃️ 驗證
11 個項目
🗃️ 預算與速率限制
12 個項目
📄️ Caching
For OpenAI/Anthropic Prompt Caching, go here
📄️ Memory Management
Store user preferences and feedback so your LLM remembers them across sessions. Scoped per user and team, with built-in access control.
🗃️ 防護欄
8 個項目
🗃️ 政策
4 個項目
🗃️ 建立自訂外掛程式
Modify requests, responses, and more
📄️ LiteLLM Proxy CLI
The lite CLI is a command-line tool for managing your LiteLLM proxy
🔗 負載平衡、路由與備援（故障切換）
📄️ A/B Testing - Traffic Mirroring
Traffic mirroring allows you to "mimic" production traffic to a secondary (silent) model for evaluation purposes. The silent model's response is gathered in the background and does not affect the latency or result of the primary request.
🗃️ 記錄、告警與指標
5 個項目
🗃️ 發出 LLM 請求
6 個項目
🗃️ 模型存取
6 個項目
🗃️ 密鑰管理器
10 個項目
🗃️ 支出追蹤
10 個項目
🗃️ 成本最佳化
5 個項目