DeepEval
什麼是 DeepEval？
DeepEval 是一個針對 LLM 的開源評估框架（Github）。
什麼是 Confident AI？
Confident AI（deepeval 平台）為團隊提供一個可觀測性平台，用於追蹤與監控 LLM 應用程式。可將其視為 LLM 應用程式的 Datadog。該平台可讓您：
- 即時偵測並除錯 LLM 應用程式中的問題
- 使用強大的篩選條件搜尋並分析歷史生成資料
- 蒐集人類對模型回應的意見回饋
- 執行評估以衡量並改善效能
- 追蹤成本與延遲以最佳化資源使用
快速開始
import os
import time
import litellm
os.environ['OPENAI_API_KEY']='<your-openai-api-key>'
os.environ['CONFIDENT_API_KEY']='<your-confident-api-key>'
litellm.success_callback = ["deepeval"]
litellm.failure_callback = ["deepeval"]
try:
response = litellm.completion(
model="gpt-3.5-turbo",
messages=[
{"role": "user", "content": "What's the weather like in San Francisco?"}
],
)
except Exception as e:
print(e)
print(response)
資訊
您可以透過登入 Confident AI 平台來取得您的 CONFIDENT_API_KEY。