Gemini Embedding 2 (GA)：LiteLLM 上的多模態嵌入
Published:
Sameer KankuteSWE @ LiteLLM (LLM Translation)
Litellm 現在已完全支援 Gemini Embedding 2 GA。
資訊
如需端到端行為、輸入形狀與 MIME 類型，請參閱 Gemini Embedding 2 預覽版導覽。本篇文章著重於 GA 命名、成本對照表 的涵蓋範圍。
支援的輸入類型
| 模態 | 支援格式 |
|---|---|
| 文字 | 純文字 |
| 圖片 | PNG, JPEG |
| 音訊 | MP3, WAV |
| 影片 | MP4, MOV |
| 文件 |
輸入格式
LiteLLM 接受三種多模態內容輸入格式：
- Data URI – Base64 編碼內嵌：
data:image/png;base64,<encoded_data> - GCS URLs – 雲端儲存路徑（Vertex AI）：
gs://bucket/path/to/file.png - Gemini File References – 預先上傳的檔案（Gemini API）：
files/abc123
快速開始
- Gemini API
- Vertex AI
- LiteLLM Proxy
from litellm import embedding
import os
os.environ["GEMINI_API_KEY"] = "your-api-key"
# Text + Image (base64)
response = embedding(
model="gemini/gemini-embedding-2",
input=[
"The food was delicious and the waiter...",
"data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAgAAAAIAQMAAAD+wSzIAAAABlBMVEX///+/v7+jQ3Y5AAAADklEQVQI12P4AIX8EAgALgAD/aNpbtEAAAAASUVORK5CYII"
],
)
print(response)
import litellm
from litellm import embedding
litellm.vertex_project = "your-project-id"
litellm.vertex_location = "us-central1"
# Text + Image (GCS URL)
response = embedding(
model="vertex_ai/gemini-embedding-2",
input=[
"Describe this image",
"gs://my-bucket/images/photo.png"
],
)
print(response)
1. 設定（config.yaml）
model_list:
- model_name: gemini-embedding-2
litellm_params:
model: gemini/gemini-embedding-2
api_key: os.environ/GEMINI_API_KEY
- model_name: vertex-gemini-embedding-2
litellm_params:
model: vertex_ai/gemini-embedding-2
vertex_project: os.environ/VERTEXAI_PROJECT
vertex_location: global
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
2. 啟動 proxy
litellm --config config.yaml
3. 呼叫 embeddings（proxy 上相容 OpenAI 的 POST /v1/embeddings）
curl -sS -X POST http://localhost:4000/v1/embeddings \
-H "Authorization: Bearer $LITELLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "gemini-embedding-2",
"input": [
"The food was delicious and the waiter...",
"data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAgAAAAIAQMAAAD+wSzIAAAABlBMVEX///+/v7+jQ3Y5AAAADklEQVQI12P4AIX8EAgALgAD/aNpbtEAAAAASUVORK5CYII"
]
}'
輸入格式範例
| 格式 | 範例 | 提供者 |
|---|---|---|
| Data URI | data:image/png;base64,... | Gemini, Vertex AI |
| GCS URL | gs://bucket/path/image.png | Vertex AI |
| 檔案參照 | files/abc123 | 僅限 Gemini API |
Data URI 支援的 MIME 類型
- 圖片：
image/png,image/jpeg - 音訊：
audio/mpeg,audio/wav - 影片：
video/mp4,video/quicktime - 文件：
application/pdf
GCS URL MIME 推斷
對於 Vertex AI，MIME 類型會根據檔案副檔名推斷：
.png→image/png.jpg/.jpeg→image/jpeg.mp3→audio/mpeg.wav→audio/wav.mp4→video/mp4.mov→video/quicktime.pdf→application/pdf
選用參數
| 參數 | 說明 | 對應至 |
|---|---|---|
dimensions | 輸出嵌入大小 | outputDimensionality |
response = embedding(
model="gemini/gemini-embedding-2",
input=["text to embed"],
dimensions=768, # Optional: control output vector size
)