跳至主要內容

2 篇文章 含有標籤「multimodal」

檢視所有標籤

Gemini Embedding 2 預覽版:LiteLLM 上的多模態嵌入

Sameer Kankute
SWE @ LiteLLM (LLM Translation)

LiteLLM 現已支援使用 gemini-embedding-2-preview 的多模態嵌入,可在單一請求中混合文字、圖片、音訊、影片與 PDF 內容。可透過 Gemini API(API 金鑰)與 Vertex AI(GCP 憑證)使用。

回應格式因提供者而異
  • Gemini API(gemini/...):每個輸入元素都會回傳各自的嵌入,依 0..N-1 索引,形狀與 OpenAI 的 /embeddings 相同。LiteLLM 會路由至 batchEmbedContents 端點,並為每個輸入使用一個 EmbedContentRequest。
  • Vertex AI(vertex_ai/...):所有輸入元素會透過 embedContent 組合成單一整合嵌入。Vertex AI 不會為 Gemini embedding models 提供 batchEmbedContents,因此 N 部分 → 1 向量。若要為每個項目取得一個向量,請針對每個輸入呼叫一次 embedding(...)。