Blog
跳至主要內容

LiteLLM × Akto:與內建防護欄並行的基於模型偵測

Krrish Dholakia
CEO, LiteLLM
Ishaan Jaffer
CTO, LiteLLM

LiteLLM x Akto 合作夥伴關係

Akto 現已原生在 LiteLLM proxy 中以串接式防護欄運作。

LiteLLM 已內建適用於快速、可預測檢查的防護欄(基於 regex 的 PII、秘密掃描、禁用字詞清單)。Akto 在其上再增加第二層——基於模型偵測,用於可預測規則無法涵蓋的情況:提示注入、語意性 PII 外洩,以及需要 LLM 來分類意圖的自訂政策違規。

您可以將兩者一起使用。LiteLLM 的防護欄負責便宜且快速的檢查;Akto 則負責需要模型介入的情境。

防護欄串接:用戶端 → LiteLLM Proxy → LLMs / MCPs / Agents,LiteLLM 防護欄再串接到 Akto

Akto 以同步模式執行(在呼叫 LLM 之前,若有違規即阻擋)或以非同步模式執行(記錄並告警,不增加延遲)。將其設定為現有 proxy 上的回呼即可——無需變更應用程式層級。

開始使用: Akto 防護欄設定指南

閱讀完整公告請見 Akto 的部落格 →