公告：Componentized Deployments
最後更新：2026 年 5 月
LiteLLM proxy 容器做兩件非常不同的事。它既是 LLM data plane，/chat/completions、/v1/messages、embeddings、passthroughs，這些工作的延遲開銷以個位數毫秒計算，而且流量量大且具突發性。它同時也是金鑰、團隊、SSO、稽核記錄，以及支撐儀表板的支出／使用量分析的 管理控制平面，其中單一請求就可能掃描數百萬列資料。
把兩者跑在同一個 event loop 上，控制平面做得最慢的事情，就會決定資料平面最快的事情能達到的可靠性下限。這篇文章說明我們如何透過提供 componentized deployment 模型，提升 LiteLLM 在大規模下的可靠性。