Valkey 與 AWS ElastiCache 上的語意快取
LiteLLM 現已支援在 Valkey 上進行語意提示快取。如果您執行的是搭載 valkey-search 模組的 Valkey 叢集（包括 AWS ElastiCache for Valkey），您可以透過 type: valkey-semantic 將 LiteLLM 指向它，並取得基於嵌入的快取命中，而無需架設 Redis Stack 或獨立的向量資料庫。
1 篇文章 含有標籤「valkey」
檢視所有標籤LiteLLM 現已支援在 Valkey 上進行語意提示快取。如果您執行的是搭載 valkey-search 模組的 Valkey 叢集（包括 AWS ElastiCache for Valkey），您可以透過 type: valkey-semantic 將 LiteLLM 指向它，並取得基於嵌入的快取命中，而無需架設 Redis Stack 或獨立的向量資料庫。