我們如何將 LiteLLM Usage 頁面加速 120 倍
本週,我們將 LiteLLM Usage 頁面大約加快了 120 倍。
在 5,000 個 API 金鑰的情況下,我們的 Usage 頁面顯示 30 天總計所花的時間超過六分鐘。我們重新設計了資料載入方式,並在我們的基準測試中將其縮短到3.2 秒。這大約是快了 120 倍。
本週,我們將 LiteLLM Usage 頁面大約加快了 120 倍。
在 5,000 個 API 金鑰的情況下,我們的 Usage 頁面顯示 30 天總計所花的時間超過六分鐘。我們重新設計了資料載入方式,並在我們的基準測試中將其縮短到3.2 秒。這大約是快了 120 倍。