Gemini Embedding 2 (GA)：LiteLLM 上的多模態嵌入

Litellm 現在已完全支援 Gemini Embedding 2 GA。

資訊

如需端到端行為、輸入形狀與 MIME 類型，請參閱 Gemini Embedding 2 預覽版導覽。本篇文章著重於 GA 命名、成本對照表 的涵蓋範圍。

支援的輸入類型

模態	支援格式
文字	純文字
圖片	PNG, JPEG
音訊	MP3, WAV
影片	MP4, MOV
文件	PDF

輸入格式

LiteLLM 接受三種多模態內容輸入格式：

1. Data URI – Base64 編碼內嵌：data:image/png;base64,<encoded_data>
2. GCS URLs – 雲端儲存路徑（Vertex AI）：gs://bucket/path/to/file.png
3. Gemini File References – 預先上傳的檔案（Gemini API）：files/abc123

快速開始

Gemini API

from litellm import embedding
import os

os.environ["GEMINI_API_KEY"] = "your-api-key"

# Text + Image (base64)
response = embedding(
    model="gemini/gemini-embedding-2",
    input=[
        "The food was delicious and the waiter...",
        "data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAgAAAAIAQMAAAD+wSzIAAAABlBMVEX///+/v7+jQ3Y5AAAADklEQVQI12P4AIX8EAgALgAD/aNpbtEAAAAASUVORK5CYII"
    ],
)
print(response)

Vertex AI

import litellm
from litellm import embedding

litellm.vertex_project = "your-project-id"
litellm.vertex_location = "us-central1"

# Text + Image (GCS URL)
response = embedding(
    model="vertex_ai/gemini-embedding-2",
    input=[
        "Describe this image",
        "gs://my-bucket/images/photo.png"
    ],
)
print(response)

LiteLLM Proxy

1. 設定（config.yaml）

model_list:
  - model_name: gemini-embedding-2
    litellm_params:
      model: gemini/gemini-embedding-2
      api_key: os.environ/GEMINI_API_KEY
  - model_name: vertex-gemini-embedding-2
    litellm_params:
      model: vertex_ai/gemini-embedding-2
      vertex_project: os.environ/VERTEXAI_PROJECT
      vertex_location: global

general_settings:
  master_key: sk-1234

2. 啟動 proxy

litellm --config config.yaml

3. 呼叫 embeddings（proxy 上相容 OpenAI 的 POST /v1/embeddings）

curl -sS -X POST http://localhost:4000/v1/embeddings \
  -H "Authorization: Bearer sk-1234" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-embedding-2",
    "input": [
      "The food was delicious and the waiter...",
      "data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAgAAAAIAQMAAAD+wSzIAAAABlBMVEX///+/v7+jQ3Y5AAAADklEQVQI12P4AIX8EAgALgAD/aNpbtEAAAAASUVORK5CYII"
    ]
  }'

輸入格式範例

格式	範例	提供者
Data URI	data:image/png;base64,...	Gemini, Vertex AI
GCS URL	gs://bucket/path/image.png	Vertex AI
檔案參照	files/abc123	僅限 Gemini API

Data URI 支援的 MIME 類型

• 圖片： image/png, image/jpeg
• 音訊： audio/mpeg, audio/wav
• 影片： video/mp4, video/quicktime
• 文件： application/pdf

GCS URL MIME 推斷

對於 Vertex AI，MIME 類型會根據檔案副檔名推斷：

• .png → image/png
• .jpg / .jpeg → image/jpeg
• .mp3 → audio/mpeg
• .wav → audio/wav
• .mp4 → video/mp4
• .mov → video/quicktime
• .pdf → application/pdf

選用參數

參數	說明	對應至
dimensions	輸出嵌入大小	outputDimensionality

response = embedding(
    model="gemini/gemini-embedding-2",
    input=["text to embed"],
    dimensions=768,  # Optional: control output vector size
)