LLM 成本的費用/價格加成

對特定提供者或全域套用按百分比或固定金額的加成。這對於需要將營運額外成本加到內部使用者帳單上的企業很有幫助。

何時使用此功能

如果您的生成式 AI 平台包含各種營運與架構額外負擔，以及基礎架構成本，您可能需要具備將額外費用或加成套用到總 LLM 成本的能力。

常見使用情境：

• 內部轉帳收費 - 向內部團隊收費時加入營運額外成本
• 成本回收 - 回收基礎架構、支援與平台維護成本

透過 UI 設定加成

這個操作說明示範如何新增提供者加成，並在 LiteLLM UI 中查看成本明細。

步驟 1：前往設定

從 LiteLLM 儀表板，按一下左側側邊欄的 Settings。

步驟 2：開啟成本追蹤

按一下 Cost Tracking 以存取成本設定選項。

步驟 3：選取費用/價格加成

按一下 Fee/Price Margin - 此區段可讓您為 LLM 成本新增費用或加成，以利內部計費與成本回收。

步驟 4：新增提供者加成

按一下 + Add Provider Margin 以建立新的加成設定。

步驟 5：選取提供者

按一下搜尋欄位以選取要套用加成的提供者。

您可以選取 Global (All Providers) 將加成套用至所有提供者，或選擇像 Bedrock、OpenAI 或 Anthropic 之類的特定提供者。

在這個範例中，我們將選取 Bedrock 作為提供者。

步驟 6：選擇加成類型

選取加成類型。您可以在 Percentage-based（例如，10% 加價）或 Fixed Amount（例如，每個請求 $0.001）之間選擇。

在這個範例中，我們將選取 Fixed Amount，為每個請求新增固定費用。

步驟 7：輸入加成值

輸入加成值。在這個範例中，我們新增的是每個請求 $25 的固定費用。

步驟 8：儲存加成

按一下 Add Provider Margin 以儲存您的設定。

步驟 9：在 Playground 測試加成

前往 Playground，透過發出請求來測試您的加成設定。

選取模型並傳送測試訊息。

在訊息欄位中輸入您的提示詞並送出。

您會收到模型的回應。

步驟 10：在記錄中查看成本明細

前往 Logs 以查看您這次請求的詳細成本明細。

按一下展開圖示以查看請求詳細資訊。

步驟 11：查看成本明細細節

按一下 Cost Breakdown 以查看總成本如何計算，包括加成。

成本明細會顯示已新增的加成金額。在這個範例中，您可以清楚看到 +$25.00 的加成。

總成本反映基礎 LLM 成本加上加成，讓您完整掌握成本結構。

透過設定檔設定加成

您也可以直接在您的 config.yaml 檔案中設定加成。

步驟 1：將加成設定加入 config.yaml

# Apply margins to providers
litellm_settings:
  cost_margin_config:
    global: 0.05            # 5% global margin on all providers
    openai: 0.10            # 10% margin for OpenAI (overrides global)
    anthropic:
      fixed_amount: 0.001   # $0.001 fixed fee per request

步驟 2：啟動 proxy

litellm /path/to/config.yaml

加成會自動套用到已設定提供者的所有成本計算。

加成如何運作

• 加成會在折扣之後套用（如果有設定）
• 加成與折扣是獨立計算的
• 您可以使用：
  • Percentage-based：{"openai": 0.10} = 10% 加成
  • Fixed amount：{"openai": {"fixed_amount": 0.001}} = 每個請求 $0.001
  • Global：{"global": 0.05} = 所有提供者 5% 加成（除非存在特定提供者的加成）
• 特定提供者的加成會覆蓋全域加成
• 加成資訊會記錄在成本明細記錄中
• 加成資訊會透過回應標頭傳回：
  • x-litellm-response-cost-margin-amount - 以 USD 計算的新增總加成
  • x-litellm-response-cost-margin-percent - 套用的加成百分比

加成計算範例

範例 1：僅百分比加成

litellm_settings:
  cost_margin_config:
    openai: 0.10  # 10% margin

如果基礎成本是 $1.00，最終成本 = $1.00 x 1.10 = $1.10

範例 2：僅固定金額

litellm_settings:
  cost_margin_config:
    anthropic:
      fixed_amount: 0.001  # $0.001 per request

如果基礎成本是 $1.00，最終成本 = $1.00 + $0.001 = $1.001

範例 3：具有提供者覆寫的全域加成

litellm_settings:
  cost_margin_config:
    global: 0.05   # 5% global margin
    openai: 0.10   # 10% margin for OpenAI (overrides global)

• OpenAI 請求：套用 10% 加成
• 所有其他提供者：套用 5% 加成

含折扣的加成

加成與折扣是獨立計算的：

1. 計算基礎成本
2. 套用折扣（如果有設定）
3. 將加成套用到折扣後的成本

範例：

litellm_settings:
  cost_discount_config:
    openai: 0.05  # 5% discount
  cost_margin_config:
    openai: 0.10  # 10% margin

如果基礎成本是 $1.00：

• 折扣後：$1.00 x 0.95 = $0.95
• 加成後：$0.95 x 1.10 = $1.045

支援的提供者

您可以將加成套用到所有 LiteLLM 支援的提供者，或使用 global 套用到所有提供者。常見範例如下：

• global - 套用到所有提供者（除非存在特定提供者的加成）
• openai - OpenAI
• anthropic - Anthropic
• vertex_ai - Google Vertex AI
• gemini - Google Gemini
• azure - Azure OpenAI
• bedrock - AWS Bedrock

請參閱 LlmProviders 列舉中的完整提供者清單。