v1.56.1
key management, budgets/rate limits, logging, guardrails
資訊
在此取得 LiteLLM Enterprise 7 天免費試用 here。
不需要來電
✨ 預算 / 費率限制層級
定義具有速率限制的層級。將它們指派給金鑰。
可用於在大量金鑰之間控管存取與預算。
curl -L -X POST 'http://0.0.0.0:4000/budget/new' \
-H 'Authorization: Bearer sk-1234' \
-H 'Content-Type: application/json' \
-d '{
"budget_id": "high-usage-tier",
"model_max_budget": {
"gpt-4o": {"rpm_limit": 1000000}
}
}'
OTEL 錯誤修正
LiteLLM 先前會對 litellm_request span 重複記錄。這個問題現在已修正。
微調端點記錄
現在所有記錄提供者（例如 Datadog）都可取得微調請求的記錄。
每個請求記錄的內容：
- file_id
- finetuning_job_id
- 任何金鑰／團隊中繼資料
從這裡開始：
防護欄的動態參數
現在您可以在每個請求中為防護欄設定自訂參數（例如成功閾值）。