1 篇文章 含有標籤「architecture」

簡介​

我們第一季的效能目標，是在單一具備 4 顆 CPU 與 8 GB RAM 的執行個體上，積極朝次毫秒級 Proxy 額外負擔邁進，並持續擴大這個界線。我們更廣泛的目標，是讓 LiteLLM 具備低部署成本、輕量且快速的特性。本文說明支撐這項努力的架構方向。

Proxy 額外負擔指的是 LiteLLM 本身所引入的延遲，與上游提供者無關。

為了衡量它，我們以相同的 QPS（例如 1,000 QPS）直接對提供者與透過 LiteLLM 發出相同工作負載，並比較延遲差異。為了降低雜訊，負載產生器、LiteLLM 與模擬 LLM 端點都在同一台機器上執行，確保差異反映的是 Proxy 額外負擔，而不是網路延遲。