跳至主要內容

1 篇文章 含有標籤「vllm」

檢視所有標籤

事件報告:vLLM Embeddings 因 encoding_format 參數失效

Sameer Kankute
SWE @ LiteLLM (LLM Translation)
Krrish Dholakia
CEO, LiteLLM
Ishaan Jaffer
CTO, LiteLLM

日期: 2026 年 2 月 16 日 持續時間: 約 3 小時 嚴重性: 高(針對 vLLM embeddings 使用者) 狀態: 已解決

摘要

一個原本用來修正 OpenAI SDK 行為的提交(dbcae4a)因為在 API 請求中明確傳入 encoding_format=None,導致 vLLM embeddings 失效。vLLM 會拒絕此項並顯示錯誤:"unknown variant \`, expected float or base64"`。

  • vLLM embedding 呼叫: 完全失敗 - 所有請求都被拒絕
  • 其他提供者: 無影響 - OpenAI 與其他提供者皆正常運作
  • 其他 vLLM 功能: 無影響 - 只有 embeddings 受影響