跳至主要內容

2 篇文章 含有標籤「mcp」

檢視所有標籤

7 月穩定性更新:強化 MCP 驗證與縮減透傳記憶體

Ishaan Jaffer
CTO, LiteLLM
Tin Lo
Tin Lo
MCP Eng, LiteLLM
Mateo Wang
AI Engineer, LiteLLM
Yassin Kortam
Senior SWE @ LiteLLM

在過去兩週,我們處理了兩個重大的產品品質問題:

  1. MCP Gateway 沒有單一的憑證解析類別。
  2. 透傳 API 的記憶體消耗過高。

在同一期間,我們總共推出了 134 個錯誤修正。這篇文章先介紹這兩個重大變更,接著說明其餘的 AI 工程與可靠性工作、完整細目,以及我們接下來要做什麼。

透過 LiteLLM 降低 Claude Code 成本的 5 種方式

Krrish Dholakia
CEO, LiteLLM

使用 LiteLLM 節省 Claude Code 成本的 5 種方式

Claude Code 是現代工程組織中最重度消耗輸入 token 的工具之一。冗長的工具迴圈、龐大的檔案讀取,以及包含數百個工具的 MCP 目錄,會讓每個請求都推到 context window 的頂端,而帳單也隨之攀升。

如果 Claude Code 已經透過 ANTHROPIC_BASE_URL 指向 LiteLLM proxy,平台管理員可以透過五個槓桿來降低成本。這些方法都不需要在用戶端做任何變更。