跳至主要內容

API 參考

代理程式追蹤 API​

所有四個端點都需要 proxy 驗證。請在 Authorization: Bearer <key> 標頭中傳送 proxy 金鑰。

端點用途
POST /v1/traces將 OTLP/HTTP 追蹤以 protobuf(application/x-protobuf)或 JSON(application/json)擷取。支援使用 Content-Encoding: gzip 的 gzip。
GET /v1/traces列出追蹤摘要。選用的 start_ms 和 end_ms 為 Unix 毫秒。預設視窗為最近 24 小時。
GET /v1/traces/{trace_id}讀取該追蹤的 summary、agents,以及 spans。接受選用的 trace_ref。
GET /v1/traces/{trace_id}/spans/{span_id}讀取某個 span 的 input、output,以及 attributes。接受選用的 trace_ref。

列表回應包含 data 和 next_cursor,預設每頁 50 筆摘要。將 next_cursor 以 cursor 傳回即可讀取下一頁。讀取追蹤或其 spans 時,請使用摘要的 trace_ref。

curl -H "Authorization: Bearer <key>" \
"https://<your-litellm-proxy>/v1/traces"

proxy 管理員與 proxy 管理員檢視者可以讀取每一筆追蹤。唯讀 proxy 管理員不能擷取追蹤。其他所有使用者(包括 SCIM 佈建的使用者)只會讀取以自己的金鑰送出的追蹤,以及每個與之共享的團隊的追蹤,如 誰可以看見哪些追蹤 所述。屬於任何使用者都不擁有的金鑰,例如團隊服務帳號金鑰,無法讀取追蹤,且會收到 403。

誰可以看見哪些追蹤​

團隊會透過 /spend/logs 成員權限與其成員共享追蹤。團隊管理員一律可看見該團隊的追蹤,而一般成員只有在團隊的 team_member_permissions 包含 /spend/logs 後才看得到。可從管理介面(Teams,開啟團隊,Member Permissions 分頁)授予,或透過 API:

curl -X POST "https://<your-litellm-proxy>/team/permissions_update" \
-H "Authorization: Bearer <admin-key>" \
-H "Content-Type: application/json" \
-d '{"team_id": "<team-id>", "team_member_permissions": ["/spend/logs"]}'

若要一次授予所有現有團隊:

curl -X POST "https://<your-litellm-proxy>/team/permissions_bulk_update" \
-H "Authorization: Bearer <admin-key>" \
-H "Content-Type: application/json" \
-d '{"permissions": ["/spend/logs"], "apply_to_all_teams": true}'

若要讓每個新團隊都共享其追蹤(包括 SCIM 從身分識別提供者群組建立的團隊),請在 default_team_params 中設定。接著,身分識別提供者中的群組成員資格會決定誰可以看見哪些追蹤,而不需要逐一對每個團隊操作:

litellm_settings:
default_team_params:
team_member_permissions: ["/spend/logs"]

之後對群組的 SCIM 更新會保留該團隊的權限。相同的權限也允許成員檢視該團隊的支出記錄。/lens 下的調查與發現結果仍只限於 proxy 管理員。

Lens API​

在您的 LiteLLM proxy 上啟動調查並讀取發現結果。請在 Authorization: Bearer <key> 標頭中傳送 proxy 管理員金鑰。

端點用途
GET /lens列出 lenses 底下的調查,以及 workers 和 tracing_enabled。
POST /lens建立調查並排入其第一次執行。請傳送 name、model,以及 context 或 checks;會回傳調查 id 與 jobs。
GET /lens/{id}讀取已儲存的 settings、最近的 jobs,以及 findings。每個作業都包含 status、stage、coverage,以及 cost。
POST /lens/{id}/runs排入另一個執行。請傳送 {} 以重用已儲存的設定,或傳送 settings 物件作為一次性覆寫。
curl -H "Authorization: Bearer <key>" \
"https://<your-litellm-proxy>/lens"

唯讀 proxy 管理員可以預覽活動並讀取調查、發現結果與歷史紀錄。團隊與一般虛擬金鑰無法使用此 API。

LiteLLM Enterprise
為正式環境打造的 SSO/SAML、稽核記錄、支出追蹤、多團隊管理與防護欄。
深入瞭解 →