PromptLayer

提示

這是由社群維護的文件，如果您遇到錯誤，請提出 issue https://github.com/BerriAI/litellm

Promptlayer 是一個供提示工程師使用的平台。記錄 OpenAI 請求。搜尋使用歷史。追蹤效能。以視覺化方式管理提示範本。

使用 Promptlayer 記錄跨所有 LLM 提供者（OpenAI、Azure、Anthropic、Cohere、Replicate、PaLM）的請求

liteLLM 提供 callbacks，讓您能依據回應狀態輕鬆記錄資料。

使用回呼

從 https://promptlayer.com/ 取得您的 PromptLayer API 金鑰

只要 2 行程式碼，就能立即使用 promptlayer 記錄您跨所有提供者的回應：

litellm.success_callback = ["promptlayer"]

完整程式碼

from litellm import completion

## set env variables
os.environ["PROMPTLAYER_API_KEY"] = "your-promptlayer-key"

os.environ["OPENAI_API_KEY"], os.environ["COHERE_API_KEY"] = "", ""

# set callbacks
litellm.success_callback = ["promptlayer"]

#openai call
response = completion(model="gpt-3.5-turbo", messages=[{"role": "user", "content": "Hi 👋 - i'm openai"}])

#cohere call
response = completion(model="command-nightly", messages=[{"role": "user", "content": "Hi 👋 - i'm cohere"}])

記錄中繼資料

您也可以將 completion 呼叫中繼資料記錄到 Promptlayer。

您可以透過 metadata 參數將中繼資料新增到 completion 呼叫：

completion(model,messages, metadata={"model": "ai21"})

完整程式碼

from litellm import completion

## set env variables
os.environ["PROMPTLAYER_API_KEY"] = "your-promptlayer-key"

os.environ["OPENAI_API_KEY"], os.environ["COHERE_API_KEY"] = "", ""

# set callbacks
litellm.success_callback = ["promptlayer"]

#openai call - log llm provider is openai
response = completion(model="gpt-3.5-turbo", messages=[{"role": "user", "content": "Hi 👋 - i'm openai"}], metadata={"provider": "openai"})

#cohere call - log llm provider is cohere
response = completion(model="command-nightly", messages=[{"role": "user", "content": "Hi 👋 - i'm cohere"}], metadata={"provider": "cohere"})

感謝 Nick Bradford，來自 Vim-GPT，提供這個建議。

支援與創辦人交流

• 預約示範 👋
• 社群 Discord 💭
• 我們的電子郵件 ✉️ ishaan@berri.ai / krrish@berri.ai