記憶體問題分類與重現
1. 分類記憶體問題
選擇最能描述所觀察到記憶體行為的選項：
- 記憶體會隨流量擴增（由 RPS 驅動）
- 在流量未增加的情況下，記憶體增加
- 在 LiteLLM 升級後，記憶體增加
- 記憶體洩漏（記憶體隨時間持續成長）
- 記憶體不足（OOM）事件或 Pod 重新啟動
2. 您可以重現此問題嗎？
在升級處理前，請確認記憶體或 OOM 問題是否能在與正式環境部署相符的測試環境中重現。
如果可以重現，請提供詳細的重現步驟，以及任何相關的請求、工作負載或所使用的設定。
如需了解我們希望取得的資訊類型，請參閱 LiteLLM 疑難排解指南。
3. 無法重現問題
如果記憶體或 OOM 問題無法在與正式環境相符的測試環境中重現，請提供：
-
第 1 與第 2 節的資訊
- 記憶體／問題分類（第 1 節）
- 重現嘗試與環境詳細資訊（第 2 節）
-
其他背景資訊，以協助調查：
- 工作負載： 在尖峰前與尖峰期間處理的具體請求範例，以及任何近期的設定變更。
- 指標： 記憶體使用量、CPU 使用量、P50/P99 延遲，以及任何 Pod 重新啟動或 OOM 事件。請在可能的情況下附上這些指標的截圖。
- 記錄／警示： 在尖峰前與尖峰期間擷取的任何相關記錄或警示，包括 OOM 錯誤或堆疊追蹤（如有）。
提供這些資訊可讓團隊分析模式、將記憶體尖峰或 OOM 與流量或設定關聯起來，並嘗試在內部重現問題。若沒有這些資訊，我們的工程師將無法取得足夠的資訊來調查該問題。