5 月 Townhall 更新：安全強化、版本發布編號，以及 Agent 平台
感謝所有參加我們 5 月 town hall 的人。
我們涵蓋了安全強化、版本發布編號變更、新產品發布（MCP 工具集、on-behalf-of OAuth）、效能提升，以及我們迄今最大的一次投注——LiteLLM Agent Platform。
安全更新
v1.84.1 推出安全強化
過去 4 週的所有安全修補都已整合到 v1.84.1，這是建立在 v1.84.0 之上的修補版本。若可行，請盡快升級。
pip install --upgrade litellm
- 與 v1.83.x 設定向後相容。
- 新的版本發布編號方案（見下文）。
Bug bounty：現已上線
我們現在會為安全回報支付獎金。
- 範圍——LiteLLM 閘道和 SDK。
- 提交方式：透過 GitHub 上的私人漏洞回報。
- 由維護者與 Veria Labs 安全團隊進行分級處理。
每個 PR 的自動化安全審查
現在每個 PR 都會透過 Veria AI + zizmor + semgrep 自動進行安全檢查。請留意 Veria scan；這是必須通過的檢查。誤判會被標記，但不會阻擋合併。
過去 4 週：數字一覽
| 指標 | 數量 |
|---|---|
| 已修補的漏洞 | 89 |
| 由 Veria 掃描器回報 | 78 |
| 已修復的 GHSA | 58 |
| 已關閉的 GHSA | 96 |
所有修補都會隨 v1.84.1 發布。
安全性的下一步
- 改進 GHSA 分級處理與驗證流程。
- 進一步改善 CI pipeline。
- 將 zizmor 加入姊妹專案（project-releaser）。
- 定義先前版本的支援期限。
穩定性更新
版本發布編號：問題
版本字尾太多：-nightly、-dev、-stable、-stable-patch。每週穩定版升版沒有留下 hotfix 的空間，而在搜尋中篩選 -stable 的使用者仍然得翻找大量版本。
自 v1.84.0 起的新版本編號
現在 PyPI 與 Docker 的版本發布編號已一致。
- 不再使用
-stable—— 穩定版遵循 PEP-440 / SemVer 2.0。現在會顯示為v1.84.0。 - 每週進行 minor 升版 —— 每個排定的穩定版都會增加 MINOR 版本，而不是 PATCH。
- hotfix 使用 patch —— 當
v1.84.0需要修補時，會變成v1.84.1。
穩定性的下一步
- EKS 多 Pod 內部部署。
- 捕捉部署回歸與 Claude Code 變更。
- 更高的程式碼涵蓋率：5 個高風險回歸檔案達到 70%。
- 目標：每個穩定版發布的回歸最少化。
產品更新
我們發布了什麼
路由與記憶體
- Adaptive Routing
- Memory Management（beta）
- Prompt Compression
MCP
- MCP Toolsets
- On-behalf-of MCP OAuth
品質與安全
- LLM-as-a-judge guardrails
- Skills Marketplace
MCP 工具集
MCP Toolsets 可讓您將多個 MCP 伺服器上的工具合併成單一扁平清單。代理程式看到的是一份工具清單，而不是在多個伺服器之間切換。
工具是以名稱範圍區隔，因此跨伺服器的衝突是安全的。
範例： 一個「deploy-flow」工具集可能會結合來自 GitHub MCP 的 create_issue、來自 Slack MCP 的 post_message，以及來自 Jira MCP 的 create_ticket，全部作為單一工具清單呈現給代理程式。
MCP 代替授權 OAuth
OAuth 權杖會儲存在代理閘道上，且永遠不會回傳給用戶端。
- 用戶端送出請求時不帶權杖。
- LiteLLM 在呼叫下游 MCP 伺服器時加入權杖。
- 更新會透明進行。用戶端永遠看不到 401。
產品的下一步
- MCP：儲存靜態使用者憑證。
- Claude Code：自動更新標頭相容性表。
- 跨模型與提供者的 reasoning level 支援。
- Claude Code 中完整支援 Bedrock Converse。
效能提升
RPS + TPM 提升 20%
Streaming /chat/completions 現在每秒可處理多 20% 的請求數與每分鐘 token 數。
已推出的最佳化
效能的下一步
- Rust 遷移進行中：在 10k 併發下穩定達到 1K+ RPS。
- 重點是降低高負載下的閘道額外負荷。
- 追蹤項目：TTFT、TPM（串流）；RPS、佔 E2E 比例的額外負荷 %（非串流）。
產品藍圖：LiteLLM Agent Platform
我們的押注
我們相信未來 3 年內，80% 的 AI 工作負載都會是 agent。
我們看到的訊號：
- OpenClaw 使用量暴增
- 企業需求從聊天轉向 agent
- Claude Code 採用率持續上升
LiteLLM Agent Platform：運行您真正能治理的代理程式
四大支柱。一個控制平面。
- Agent Templates：常見任務的預建設定。
- Skills：上傳並在不同代理程式間重複使用技能。
- Projects：儲存庫 + env vars，打包後可供重複使用。
接下來
再次感謝所有提問與回饋。隨著這些努力陸續推出，我們會持續分享具體的進展更新。
招募
我們正在多個職位積極招募中。若您有興趣，請在此申請！