CPU 問題分類與重現

1. 分類 CPU 問題

請選擇最能描述所觀察到 CPU 行為的選項。

• CPU 隨流量擴增（受 RPS 驅動）
• CPU 在沒有流量增加的情況下增加
• CPU 在 LiteLLM 升級後增加

2. 您能重現此問題嗎？

在升級處理前，請確認 CPU 問題是否可在與生產環境相符的測試環境中重現。

如果可以重現，請提供詳細的重現步驟，以及任何相關請求或所使用的設定。
關於我們需要哪些資訊的指引，請參閱 LiteLLM 疑難排解指南。

3. 問題無法重現

如果 CPU 問題無法在與生產環境相符的測試環境中重現，請提供：

1. 第 1 與第 2 節中的資訊

   • CPU 分類（第 1 節）
   • 重現嘗試與環境細節（第 2 節）

2. 其他背景資訊，以協助調查：

   • 工作負載： 在尖峰前與尖峰期間處理的具體請求範例，包括任何近期的設定變更。
   • 指標： CPU 使用率、P50/P99 延遲、記憶體使用量。請盡可能提供指標的截圖。
   • 記錄 / 警示： 在尖峰前與尖峰期間擷取到的任何相關記錄或警示。

提供這些資訊可讓團隊分析模式、將尖峰與流量或設定關聯起來，並嘗試在內部重現此問題。若沒有這些資訊，我們的工程師將沒有足夠的資訊來調查問題。