2 篇文章 含有標籤「testing」

一個與 LiteLLM 共同完成的除錯故事，以及後續的發行測試。

LiteLLM 版本升級暴露出一個長期存在的 Redis 設定錯誤，讓 Pfizer 的 gateway 吞吐量降低了約 48%，而應用程式記錄中完全沒有 HTTP 錯誤。以下說明團隊如何透過設定二分搜尋將其隔離出來，以及雙方正在建立的測試基礎架構，目的是在這類回歸上線前就先捕捉到。

隨著 LiteLLM 的採用持續成長，外界對可靠性、效能與營運安全性的期待也隨之提高。要滿足這些期待，不能只靠以正確性為中心的測試，還需要驗證系統在真實世界條件下，隨時間推移會如何表現。

這篇文章介紹 LiteLLM Observatory，這是我們打造的一套長時間執行的發佈驗證系統，用來在回歸問題到達使用者之前將其攔截。