Oobabooga Text Web API 教學

安裝 + 匯入 LiteLLM

!uv add litellm
from litellm import completion 
import os

呼叫您的 oobabooga 模型

請記得設定您的 api_base

response = completion(
  model="oobabooga/WizardCoder-Python-7B-V1.0-GPTQ",
  messages=[{ "content": "can you write a binary tree traversal preorder","role": "user"}], 
  api_base="http://localhost:5000",
  max_tokens=4000
)

查看您的回應

print(response)

感謝 Shuai Shao 提供本教學。