跳至主要內容

v1.76.1-stable - Gemini 2.5 Flash Image

部署此版本​

docker run litellm
docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:v1.76.1

主要亮點​

  • 重大效能改善 - 結合 fastuuid 整合後，LiteLLM Python SDK completion 速度提升 6.5 倍。
  • 新模型支援 - Gemini 2.5 Flash Image Preview、Grok Code Fast，以及 GPT Realtime 模型
  • 增強的提供者支援 - Fireworks AI、Vercel AI Gateway 上的 DeepSeek-v3.1 定價，以及改良的 Anthropic/GitHub Copilot 整合
  • MCP 改善 - 更好的連線測試與 SSE MCP tools 錯誤修正

主要變更​

  • 新增支援在 /chat/completions 使用 Gemini 2.5 Flash Image Preview。🚨 警告 如果您一直在使用 gemini-2.0-flash-exp-image-generation，請遵循此遷移指南。 Gemini Image Generation Migration Guide

效能改善​

此版本包含重大效能最佳化：

  • LiteLLM Python SDK Completion 速度提升 6.5 倍 - completion 操作的重大效能提升 - PR #13990
  • fastuuid 整合 - UUID 產生速度提升 2.1 倍，/chat/completions 與其他 LLM 端點的 RPS 提升 +80 - PR #13992, PR #14016
  • 最佳化請求記錄 - 預設不要列印請求參數，以提升 +50 RPS - PR #14015
  • 快取效能 - InMemoryCache.evict_cache 提升 21%，_is_debugging_on 函式提升 45% - PR #14012, PR #13988

新模型 / 更新模型​

新模型支援​

提供者模型上下文視窗輸入（$/百萬 tokens）輸出（$/百萬 tokens）功能
Googlegemini-2.5-flash-image-preview1M$0.30$2.50Chat completions + image generation ($0.039/image)
X.AIxai/grok-code-fast256K$0.20$1.50Code generation
OpenAIgpt-realtime32K$4.00$16.00Real-time conversation + audio
Vercel AI Gatewayvercel_ai_gateway/openai/o3200K$2.00$8.00Advanced reasoning
Vercel AI Gatewayvercel_ai_gateway/openai/o3-mini200K$1.10$4.40Efficient reasoning
Vercel AI Gatewayvercel_ai_gateway/openai/o4-mini200K$1.10$4.40Latest mini model
DeepInfradeepinfra/zai-org/GLM-4.5131K$0.55$2.00聊天補全
Perplexityperplexity/codellama-34b-instruct16K$0.35$1.40Code generation
Fireworks AIfireworks_ai/accounts/fireworks/models/deepseek-v3p1128K$0.56$1.68聊天補全

新增其他模型： 也新增了多個其他 Vercel AI Gateway 模型。請參閱 models.litellm.ai 取得完整清單。

功能​

新提供者支援​

LLM API 端點​

功能​

錯誤​

  • 一般
    • 修正 batch 請求中 None metadata 的處理 - PR #13996
    • 修正含特殊 token 輸入時的 token_counter - PR #13374
    • 移除 azure/gpt-4.1 家族不正確的 web search 支援 - PR #13566

MCP Gateway​

功能​

  • SSE MCP 工具
    • 新增 SSE MCP tools 的錯誤修正 - 在新增 MCP 時改善連線測試 - PR #14048

閱讀更多

管理端點 / UI​

功能​

  • 團隊管理
    • 建立團隊時允許設定 Team Member RPM/TPM 限制 - PR #13943
  • UI 改善
    • 修正 UI 儀表板中的 Next.js 安全漏洞 - PR #14084
    • 修正可摺疊導覽列設計 - PR #14075

錯誤​

  • 驗證
    • 修正 llm_api 類型的 Virtual keys 導致 /anthropic/* 與其他 LLM passthrough 路由出現 Internal Server Error 的問題 - PR #14046

記錄 / 防護欄整合​

功能​

新的防護欄支援​

效能／負載平衡／可靠性改進​

功能​

  • 快取
    • 在提供給用戶端之前，先驗證快取項目是否已過期 - PR #13933
    • 修正將延遲以 timedelta 存入 Redis 時發生的錯誤 - PR #14040
  • 路由器
    • 重構路由器，在 simple_shuffle 中以單一迴圈依照 'weight'、'rpm'、'tpm' 選擇權重 - PR #13562
  • 記錄
    • 修正 LoggingWorker 的優雅關閉，以避免 CancelledError 警告 - PR #14050
    • 強化容器的記錄，將一般格式與 json 格式都寫入檔案 - PR #13394

錯誤​

  • 依賴項
    • 將 orjson 版本升級為 "3.11.2" - PR #13969

一般 Proxy 改進​

功能​

  • AWS
    • 新增對帶有 session token 的 AWS assume_role 支援 - PR #13919
  • OCI 提供者
    • 新增將 oci_key_file 作為 optional_parameter - PR #14036
  • 設定
    • 允許設定在支出記錄中的請求項目被截斷前的門檻 - PR #14042
    • 強化 proxy_config 設定：在 Helm charts 中新增對現有 configmap 的支援 - PR #14041
  • Docker
    • 在 non-root 映像中加回 supervisor - PR #13922

新貢獻者​

完整變更紀錄​

🚅
LiteLLM Enterprise
為正式環境打造的 SSO/SAML、稽核記錄、支出追蹤、多團隊管理與防護欄。
深入瞭解 →