4 篇文章 含有標籤「guardrails」

機器人先查詢天氣，接著查看商店的營業時間。使用者問：「商店幾點關門？」機器人仍然把先前的天氣報告送給模型，儘管它已經無助於回答這個問題。

TypeSafe Jev 可協助 LiteLLM 找出不再需要的工具結果。LiteLLM 會在呼叫模型之前，以簡短提示取代這些結果。這稱為壓縮，可減少長對話所使用的輸入 token。

Headroom 現在可作為 LiteLLM proxy 上的原生防護欄執行，在工具輸出、RAG 載荷、資料庫結果與檔案讀取到達模型之前先行壓縮。

Akto 現已原生在 LiteLLM proxy 中以串接式防護欄運作。

日期： 2026 年 3 月 18 日 持續時間： 不明 嚴重性： 高 狀態： 已修復

摘要​

當自訂 guardrail 傳回完整的 LiteLLM request/data dictionary 時，LiteLLM 記錄的 guardrail 回應可能包含 secret_fields.raw_headers，其中包括含有 API 金鑰或其他憑證的明文 Authorization 標頭。

這些資訊接著可能傳播到會消耗 guardrail 中繼資料的記錄與可觀測性表面，包括：

• LiteLLM UI 中的 spend logs： 對可存取 spend-log 資料的管理員可見
• OpenTelemetry traces： 對任何可存取相關 telemetry 後端的人可見

LLM 呼叫、proxy 路由，以及提供者執行都不會因這個 bug 而被阻擋。影響是敏感請求標頭在可觀測性與記錄路徑中被暴露。