Llamafile

LiteLLM 支援 Llamafile 上的所有模型。

屬性	詳細資訊
說明	llamafile 可讓您使用單一檔案來散佈並執行 LLM。 文件
LiteLLM 提供者路由	llamafile/（適用於 OpenAI 相容伺服器）
提供者文件	llamafile ↗
支援的端點	/chat/completions, /embeddings, /completions

快速開始

使用方式 - litellm.completion（呼叫 OpenAI 相容端點）

llamafile 提供 OpenAI 相容的聊天完成端點——以下是如何使用 LiteLLM 呼叫它

若要使用 litellm 呼叫 llamafile，請將下列內容加入您的 completion 呼叫中

• model="llamafile/<your-llamafile-model-name>"
• api_base = "your-hosted-llamafile"

import litellm 

response = litellm.completion(
            model="llamafile/mistralai/mistral-7b-instruct-v0.2", # pass the llamafile model name for completeness
            messages=messages,
            api_base="http://localhost:8080/v1",
            temperature=0.2,
            max_tokens=80)

print(response)

使用方式 - LiteLLM Proxy Server（呼叫 OpenAI 相容端點）

以下是如何使用 LiteLLM Proxy Server 呼叫 OpenAI 相容端點

1. 修改 config.yaml

model_list:
  - model_name: my-model
    litellm_params:
      model: llamafile/mistralai/mistral-7b-instruct-v0.2 # add llamafile/ prefix to route as OpenAI provider
      api_base: http://localhost:8080/v1 # add api base for OpenAI compatible provider

1. 啟動 proxy

$ litellm --config /path/to/config.yaml

1. 將請求送至 LiteLLM Proxy Server

OpenAI Python v1.0.0+

import openai
client = openai.OpenAI(
    api_key="sk-1234", # pass litellm proxy key, if you're using virtual keys
    base_url="http://0.0.0.0:4000" # litellm-proxy-base url
)

response = client.chat.completions.create(
    model="my-model",
    messages = [
        {
            "role": "user",
            "content": "what llm are you"
        }
    ],
)

print(response)

curl

curl --location 'http://0.0.0.0:4000/chat/completions' \
    --header 'Authorization: Bearer sk-1234' \
    --header 'Content-Type: application/json' \
    --data '{
    "model": "my-model",
    "messages": [
        {
        "role": "user",
        "content": "what llm are you"
        }
    ],
}'

嵌入向量

SDK

from litellm import embedding   
import os

os.environ["LLAMAFILE_API_BASE"] = "http://localhost:8080/v1"


embedding = embedding(model="llamafile/sentence-transformers/all-MiniLM-L6-v2", input=["Hello world"])

print(embedding)

PROXY

1. 設定 config.yaml

model_list:
    - model_name: my-model
      litellm_params:
        model: llamafile/sentence-transformers/all-MiniLM-L6-v2 # add llamafile/ prefix to route as OpenAI provider
        api_base: http://localhost:8080/v1 # add api base for OpenAI compatible provider

1. 啟動 proxy

$ litellm --config /path/to/config.yaml

# RUNNING on http://0.0.0.0:4000

1. 測試它！

curl -L -X POST 'http://0.0.0.0:4000/embeddings' \
-H 'Authorization: Bearer sk-1234' \
-H 'Content-Type: application/json' \
-d '{"input": ["hello world"], "model": "my-model"}'

查看 OpenAI SDK/Langchain/etc. 範例