跳至主要內容

1 篇文章 含有標籤「observability」

檢視所有標籤

透過 24 小時負載測試提升發佈穩定性

Alexsander Hamir
Performance Engineer, LiteLLM
Krrish Dholakia
CEO, LiteLLM
Ishaan Jaffer
CTO, LiteLLM

LiteLLM 觀測平台

隨著 LiteLLM 的採用持續成長,外界對可靠性、效能與營運安全性的期待也隨之提高。要滿足這些期待,不能只靠以正確性為中心的測試,還需要驗證系統在真實世界條件下,隨時間推移會如何表現。

這篇文章介紹 LiteLLM Observatory,這是我們打造的一套長時間執行的發佈驗證系統,用來在回歸問題到達使用者之前將其攔截。