跳至主要內容

存取群組

存取群組可簡化您在組織中定義與管理資源存取的方式。您不必在每個金鑰或團隊上分別設定模型、MCP 伺服器和代理程式,而是建立一個群組來彙整您要授權的資源,然後將該群組附加到您的金鑰或團隊。

總覽​

存取群組可讓您在單一位置定義一組可重複使用的允許資源(模型、MCP 伺服器和代理程式)。一個群組可授予對這三種資源類型的存取權。將該群組附加到金鑰或團隊,即可讓他們存取該群組中定義的所有內容。

  • 統一的資源控管 – 一個群組可同時控管模型、MCP 伺服器和代理程式的存取
  • 可重複使用 – 定義一次,可附加到多個金鑰或團隊
  • 容易維護 – 更新群組(新增或移除資源)後,所有已附加的金鑰與團隊都會自動反映變更
  • 清楚可見 – 精確查看每個群組授予哪些資源,以及哪些金鑰/團隊正在使用它

運作方式​

核心概念: 在群組中定義資源 → 將群組附加到金鑰或團隊 → 金鑰/團隊取得群組中所有資源的存取權

資源類型群組控管的內容
模型金鑰/團隊可使用哪些 LLM 模型(例如:gpt-4、claude-3-opus)
MCP 伺服器哪些 MCP 伺服器可供工具呼叫
代理程式可呼叫哪些代理程式

如何在 UI 中建立與使用存取群組​

1. 前往存取群組​

前往 Admin UI(例如 http://localhost:4000/ui 或您的 PROXY_BASE_URL/ui),然後在側邊欄中點選 Access Groups。

2. 建立存取群組​

點選 Create Access Group,並為您的群組命名。

3. 在群組中定義資源​

使用分頁選擇此群組要授予哪些模型、MCP 伺服器和代理程式的存取權:

  • Models 分頁 – 選取 LLM 模型
  • MCP Servers 分頁 – 選取 MCP 伺服器(用於工具呼叫)
  • Agents 分頁 – 選取代理程式

4. 將存取群組附加到金鑰​

建立或編輯虛擬金鑰時,展開 Optional Settings 並選取您的存取群組。該金鑰將繼承對該群組中定義的所有模型、MCP 伺服器和代理程式的存取權。

  1. 前往 Virtual Keys 並點選 + Create New Key
  2. 展開 Optional Settings
  3. 在 Access Group 欄位中,選取您建立的群組
  4. 儲存金鑰

5. 將存取群組附加到團隊​

您也可以在建立或編輯團隊時,將存取群組附加到團隊。之後,所有與該團隊相關聯的金鑰都將可存取群組中定義的資源。

使用情境​

以團隊為基礎的存取​

建立像「工程」、「資料科學」或「產品」這類群組,並為每個團隊配置所需的模型、MCP 伺服器和代理程式。將群組附加到團隊,無需在每個金鑰上為每個資源進行設定。

環境區隔​

  • Production 群組 – Production 模型、已核准的 MCP 伺服器,以及 production 代理程式
  • Development 群組 – 成本效益高的模型、實驗性的 MCP 工具,以及 dev 代理程式

根據環境將適當的群組附加到金鑰或團隊。

簡化導入​

新進開發者會取得附有存取群組的金鑰,而不是手動設定模型、MCP 伺服器和代理程式。將他們加入正確的團隊,或提供附有正確群組的金鑰。

集中式更新​

當您將新的模型或 MCP 伺服器新增到群組時,所有附加到該群組的金鑰與團隊都會自動取得存取權。從群組中移除資源後,該資源會立即在所有地方被撤銷。

存取群組 vs. 模型存取群組​

LiteLLM 有兩個相關概念:

功能存取群組(本頁)模型存取群組
定義在 UI 中定義;一個群組可包含模型、MCP 伺服器和代理程式在設定檔中或透過 API 定義;群組以模型為中心
範圍模型 + MCP 伺服器 + 代理程式僅模型
附加到金鑰、團隊金鑰、團隊
適用時機您想從 UI 統一控管模型、MCP 和代理程式您需要以設定檔或 API 為基礎的模型存取控管

若要使用 access_groups 在 model_info 中進行以設定檔為基礎的模型存取,請參閱 Model Access Groups。