跳至主要內容

v1.78.5-stable - 原生 OCR 支援

部署此版本​

docker run litellm
docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
docker.litellm.ai/berriai/litellm:v1.78.5-stable

主要亮點​

  • 原生 OCR 端點 - 支援 Mistral OCR 與 Azure AI OCR 的原生 /v1/ocr 端點，並具備成本追蹤
  • 全域提供者折扣 - 指定全域提供者折扣百分比，以精確進行成本追蹤與報表
  • 團隊支出報表 - 團隊管理員現在可以匯出其團隊的詳細支出報表
  • Claude Haiku 4.5 - 在 Bedrock、Vertex AI 和 OpenRouter 上於 Day 0 支援 Claude Haiku 4.5，具備 200K context window
  • GPT-5-Codex - 透過 OpenAI 與 Azure 的 Responses API 支援 GPT-5-Codex
  • 效能改進 - 主要路由器最佳化：O(1) model lookups、10-100x 更快的 shallow copy、30-40% 更快的 timing calls，以及從 O(n) 到 O(1) 的 hash generation

新模型 / 更新模型​

新模型支援​

提供者模型上下文視窗輸入（$/百萬 tokens）輸出（$/百萬 tokens）功能
Anthropicclaude-haiku-4-5200K$1.00$5.00聊天、推理、視覺、函式呼叫、提示快取、電腦操作
Anthropicclaude-haiku-4-5-20251001200K$1.00$5.00聊天、推理、視覺、函式呼叫、提示快取、電腦操作
Bedrockanthropic.claude-haiku-4-5-20251001-v1:0200K$1.00$5.00聊天、推理、視覺、函式呼叫、提示快取
Bedrockglobal.anthropic.claude-haiku-4-5-20251001-v1:0200K$1.00$5.00聊天、推理、視覺、函式呼叫、提示快取
Bedrockjp.anthropic.claude-haiku-4-5-20251001-v1:0200K$1.10$5.50聊天、推理、視覺、函式呼叫、提示快取（JP Cross-Region）
Bedrockus.anthropic.claude-haiku-4-5-20251001-v1:0200K$1.10$5.50聊天、推理、視覺、函式呼叫、提示快取（US region）
Bedrockeu.anthropic.claude-haiku-4-5-20251001-v1:0200K$1.10$5.50聊天、推理、視覺、函式呼叫、提示快取（EU region）
Bedrockapac.anthropic.claude-haiku-4-5-20251001-v1:0200K$1.10$5.50聊天、推理、視覺、函式呼叫、提示快取（APAC region）
Bedrockau.anthropic.claude-haiku-4-5-20251001-v1:0200K$1.10$5.50聊天、推理、視覺、函式呼叫、提示快取（AU region）
Vertex AIvertex_ai/claude-haiku-4-5@20251001200K$1.00$5.00聊天、推理、視覺、函式呼叫、提示快取
OpenAIgpt-5272K$1.25$10.00聊天、responses API、推理、視覺、函式呼叫、提示快取
OpenAIgpt-5-codex272K$1.25$10.00Responses API 模式
Azureazure/gpt-5-codex272K$1.25$10.00Responses API 模式
Geminigemini-2.5-flash-image32K$0.30$2.50圖像生成（GA - Nano Banana）- $0.039/圖片
ZhipuAIglm-4.6---聊天 completions

功能​

  • OpenAI

    • GPT-5 透過 /chat/completions 回傳 reasoning content + GPT-5-Codex 可在 Claude Code 上運作 - PR #15441

  • Anthropic

    • 將 claude-4-sonnet max_output_tokens 降至 64k - PR #15409
    • 新增 claude-haiku-4.5 - PR #15579
    • 在 Anthropic v1/messages API 中新增對 thinking blocks 與 redacted thinking blocks 的支援 - PR #15501

  • Bedrock

    • 在 Bedrock、VertexAI 新增 anthropic.claude-haiku-4-5-20251001-v1:0 - PR #15581
    • 新增 Bedrock global 與 US regions 的 Claude Haiku 4.5 支援 - PR #15650
    • 新增 Bedrock 其他 regions 的 Claude Haiku 4.5 支援 - PR #15653
    • 新增 JP Cross-Region Inference jp.anthropic.claude-haiku-4-5-20251001 - PR #15598
    • 修正：bedrock-pricing-geo-inregion-cross-region / 新增 Global Cross-Region Inference - PR #15685
    • 修正：支援 AWS GovCloud Bedrock models 的 us-gov 前綴 - PR #15626
    • 修正 Bedrock 中的 GPT-OSS 現在支援串流。還原假串流 - PR #15668

  • Gemini

    • Feat(pricing): 在 GA 中新增 Gemini 2.5 Flash Image (Nano Banana) - PR #15557
    • 修正：Gemini 2.5 Flash Image 不應具有 supports_web_search=true - PR #15642
    • 移除 penalty params 作為 gemini preview model 的支援參數 - PR #15503

  • Ollama

    • 修正(ollama/chat)：在請求中正確將 reasoning_effort 對應為 think - PR #15465

  • OpenRouter

    • 在 OpenRouter cost map 中新增 anthropic/claude-sonnet-4.5 - PR #15472
    • 透過 OpenRouter 對 anthropic models 進行提示快取 - PR #15535
    • 直接從 OpenRouter 取得完成成本 - PR #15448
    • 修正 OpenRouter Claude Opus 4 model naming - PR #15495

  • CometAPI

    • 修正(cometapi)：改善 CometAPI 提供者支援（embeddings、圖像生成、文件） - PR #15591

  • Lemonade

    • 為 lemonade provider 新增模型 - PR #15554

  • Watson X

    • 修正（pricing）：修正多個模型的 watsonx model family 定價 - PR #15670

  • Vercel AI Gateway

    • 將 glm-4.6 model 新增至 pricing configuration - PR #15679

  • Vertex AI

    • 新增 Vertex AI Discovery Engine Rerank 支援 - PR #15532

錯誤修正​

LLM API 端點​

功能​

  • Responses API

    • Responses API - 在 openai ruby sdk + DB 的 Responses API 串流中，啟用呼叫 anthropic/gemini models - 啟動前 sanity check pending migrations - PR #15432
    • 新增健康檢查中對 responses mode 的支援 - PR #15658

  • OCR API

    • Feat: 新增原生 litellm.ocr() functions - PR #15567
    • Feat: 在 LiteLLM AI Gateway 新增 /ocr route - 新增對原生 Mistral OCR 呼叫的支援 - PR #15571
    • Feat: 新增 Azure AI Mistral OCR Integration - PR #15572
    • Feat: 原生 /ocr endpoint 支援 - PR #15573
    • Feat: 新增 /ocr endpoints 的成本追蹤 - PR #15678

  • /generateContent

    • 修正：GEMINI - CLI - 將 google_routes 新增至 llm_api_routes - PR #15500
    • 修正 Google GenAI 回應中 citationMetadata.citationSources 的 Pydantic validation error - PR #15592

  • Images API

    • 修正：Image Edits API 的 Dall-e-2 - PR #15604

  • Bedrock Passthrough

    • 功能：允許透過 AI Gateway + config.yaml 上的 models 呼叫 /invoke、/converse 路由 - PR #15618

錯誤​

  • 一般
    • 修正：將物件轉換為正確的型別 - PR #15634
    • 錯誤修正：將標籤作為 metadata dict 時會拋出例外 - PR #15625
    • 為 function_to_dict 新增型別提示並修正拼字錯誤 - PR #15580

管理端點 / UI​

功能​

  • 虛擬金鑰

    • 文件：Key Rotations - PR #15455
    • 修正：UI - Key Max Budget Removal Error Fix - PR #15672
    • litellm_Key 設定最大預算移除錯誤修正 - PR #15669

  • 團隊

    • 功能：允許 Team Admins 匯出團隊支出報告 - PR #15542

  • 直通

    • 功能：Passthrough - 允許管理員授予特定 passthrough 端點的存取權限 - PR #15401

  • SCIM v2

    • 功能(scim_v2.py)：如果 group.id 不存在，則使用 external id + Passthrough - 確保更新與刪除可在各個實例之間持續保留 - PR #15276

  • SSO

    • 功能：UI SSO - 為 OKTA SSO 新增 PKCE - PR #15608
    • 修正：將 OAuth M2M authentication 與 UI SSO 分離 + 處理 Oauth2 的 Introspection endpoint - PR #15667
    • 修正/entraid app roles jwt claim 清理 - PR #15583

記錄 / 防護欄 / Prompt 管理整合​

防護欄​

  • 一般

    • 修正 apply_guardrail endpoint 回傳原始字串而非 ApplyGuardrailResponse - PR #15436
    • 修正：確保資料庫更新後防護欄記憶體同步 - PR #15633
    • 功能：為圖片生成新增防護欄 - PR #15619
    • 功能：為 /v1/messages 和 /v1/responses API 新增防護欄 - PR #15686

  • Pillar Security

    • 功能：更新 pillar security integration，以支援 litellm proxy 的 no persistence mode - PR #15599

Prompt 管理​

  • 一般
    • 小修正 code snippet custom_prompt_management.md - PR #15544

支出追蹤、預算與速率限制​

  • 成本追蹤

    • 功能：成本追蹤 - 指定全域提供者折扣以計算成本 - PR #15546
    • 功能：UI - 允許在 UI 上設定提供者折扣 - PR #15550

  • 預算

效能 / 負載平衡 / 可靠性改善​

  • 路由器最佳化

    • 效能(router)：模型別名改用淺拷貝而非 deepcopy - 在巢狀 dict 結構上比 deepcopy 快 10-100 倍 - PR #15576
    • 效能(router)：最佳化雜湊產生中的字串串接 - 將時間複雜度從 O(n²) 改善為 O(n) - PR #15575
    • 效能(router)：使用 O(1) 資料結構最佳化模型查找 - 以索引對映查找取代 O(n) 掃描 - PR #15578
    • 效能(router)：使用 O(1) 索引對映最佳化模型查找 - 使用 model_id_to_deployment_index_map 和 model_name_to_deployment_indices 進行即時查找 - PR #15574
    • 效能(router)：最佳化 completion hot path 中的計時函式 - 使用 time.perf_counter() 進行持續時間測量，並使用 time.monotonic() 進行逾時計算，提供 30-40% 更快的計時呼叫 - PR #15617

  • SSL/TLS 效能

    • 功能(ssl)：新增可設定的 ECDH curve 以提升 TLS 效能 - 可透過 ssl_ecdh_curve 設定，停用 OpenSSL 3.x 上的 PQC，以獲得更好的效能 - PR #15617

  • Token 計數器

    • 修正(token-counter)：從 deployment 擷取 model_info 供 custom_tokenizer 使用 - PR #15680

  • 效能指標

  • CI/CD

    • 修正：CI/CD - 缺少 env key 與 Linter 型別錯誤 - PR #15606

文件更新​

  • 提供者文件

    • Litellm 文件 10 11 2025 - PR #15457
    • 文件：新增 ecs 部署指南 - PR #15468
    • 文件：更新 benchmark 結果 - PR #15461
    • 修正：為 benchmark 文件新增缺少的 context - PR #15688

  • 一般

新貢獻者​

完整變更紀錄​

在 GitHub 上查看完整變更紀錄

🚅
LiteLLM Enterprise
為正式環境打造的 SSO/SAML、稽核記錄、支出追蹤、多團隊管理與防護欄。
深入瞭解 →