跳至主要內容

3 篇文章 含有標籤「embeddings」

檢視所有標籤

事件報告:vLLM Embeddings 因 encoding_format 參數失效

Sameer Kankute
SWE @ LiteLLM (LLM Translation)
Krrish Dholakia
CEO, LiteLLM
Ishaan Jaffer
CTO, LiteLLM

日期: 2026 年 2 月 16 日 持續時間: 約 3 小時 嚴重性: 高(針對 vLLM embeddings 使用者) 狀態: 已解決

摘要

一個原本用來修正 OpenAI SDK 行為的提交(dbcae4a)因為在 API 請求中明確傳入 encoding_format=None,導致 vLLM embeddings 失效。vLLM 會拒絕此項並顯示錯誤:"unknown variant \`, expected float or base64"`。

  • vLLM embedding 呼叫: 完全失敗 - 所有請求都被拒絕
  • 其他提供者: 無影響 - OpenAI 與其他提供者皆正常運作
  • 其他 vLLM 功能: 無影響 - 只有 embeddings 受影響

Gemini Embedding 2 預覽版:LiteLLM 上的多模態嵌入

Sameer Kankute
SWE @ LiteLLM (LLM Translation)

LiteLLM 現在支援 gemini-embedding-2-preview多模態嵌入—在單一請求中混合文字、圖片、音訊、影片與 PDF 內容。可透過 Gemini API(API 金鑰)與 Vertex AI(GCP 憑證)使用。

回應格式因提供者而異
  • Gemini APIgemini/...):每個輸入元素都會回傳其自己的嵌入,依 0..N-1 索引 — 與 OpenAI 的 /embeddings 格式相同。LiteLLM 會路由到 batchEmbedContents 端點,且每個輸入使用一個 EmbedContentRequest
  • Vertex AIvertex_ai/...):所有輸入元素會透過 embedContent 合併為單一整合嵌入。Vertex AI 不會為 Gemini 嵌入模型公開 batchEmbedContents,因此 N 部分 → 1 向量。若要每個項目各得一個向量,請對每個輸入各呼叫一次 embedding(...)