LiteLLM 上的 TypeSafe Jev
TypeSafe AI 的 Jev 今天在 v1.103.0-rc 上線 LiteLLM。Jev 是一個決策模型:它回傳選擇、分數或是/否機率,而不是文字,因此它有自己的 evaluate endpoint,而不是 /chat/completions。LiteLLM 會以記錄與成本追蹤來代理該 endpoint。
TypeSafe AI 的 Jev 今天在 v1.103.0-rc 上線 LiteLLM。Jev 是一個決策模型:它回傳選擇、分數或是/否機率,而不是文字,因此它有自己的 evaluate endpoint,而不是 /chat/completions。LiteLLM 會以記錄與成本追蹤來代理該 endpoint。