跳至主要內容

8 篇文章 含有標籤「gemini」

檢視所有標籤

DAY 0 支援:LiteLLM 上的 Gemini 3.5 Flash

Sameer Kankute
SWE @ LiteLLM (LLM Translation)
Krrish Dholakia
CEO, LiteLLM
Ishaan Jaffer
CTO, LiteLLM

LiteLLM 現在完整支援 gemini-3.5-flash,並提供 day 0 支援!

備註

如果您只需要成本追蹤,您目前的 LiteLLM 版本無需變更。但如果您想支援此版本新增的功能——thinking levels、strict function-call IDs 和 thought signatures——請使用 v1.87.0-dev.1 或以上版本。

DAY 0 支援:LiteLLM 上的 Gemini 3.1 Flash Lite Preview

Sameer Kankute
SWE @ LiteLLM (LLM Translation)
Krrish Dholakia
CEO, LiteLLM
Ishaan Jaffer
CTO, LiteLLM

LiteLLM 現在完整支援 gemini-3.1-flash-lite-preview,具備完整的 day 0 支援!

備註

如果您只想進行成本追蹤,您目前的 Litellm 版本不需要任何變更。但如果您想使用隨之推出的新功能,例如 thinking levels,則需要使用 v1.80.8-stable.1 或以上版本。

Gemini Embedding 2 預覽版:LiteLLM 上的多模態嵌入

Sameer Kankute
SWE @ LiteLLM (LLM Translation)

LiteLLM 現在支援 gemini-embedding-2-preview多模態嵌入—在單一請求中混合文字、圖片、音訊、影片與 PDF 內容。可透過 Gemini API(API 金鑰)與 Vertex AI(GCP 憑證)使用。

回應格式因提供者而異
  • Gemini APIgemini/...):每個輸入元素都會回傳其自己的嵌入,依 0..N-1 索引 — 與 OpenAI 的 /embeddings 格式相同。LiteLLM 會路由到 batchEmbedContents 端點,且每個輸入使用一個 EmbedContentRequest
  • Vertex AIvertex_ai/...):所有輸入元素會透過 embedContent 合併為單一整合嵌入。Vertex AI 不會為 Gemini 嵌入模型公開 batchEmbedContents,因此 N 部分 → 1 向量。若要每個項目各得一個向量,請對每個輸入各呼叫一次 embedding(...)