7 篇文章 含有標籤「product」

Auto Router v2 將複雜度、語義與自適應路由整合為單一 auto_router/complexity_router。現在只需一份設定即可涵蓋啟發式評分、LLM 分類、詞彙或語義關鍵字規則，以及以 Thompson sampling 抽樣的階層池。

這項推動來自社群。在 discussion #32168 中，使用者指出這三種路由策略都應該收斂成單一 Auto Router。使用可設定訊號與權重的單一路由器，能讓 API 保持簡潔，同時讓路由引擎在內部演進，而不是強迫您一開始就選定某種模式。

營運層面的另一半則來自 discussion #32172：可預測性在可除錯性上勝過聰明作法。將能力類別對應到模型的固定、版本化映射，才能在事後回答「為什麼今天這個回應成本高了 4 倍」。

在過去兩週，我們處理了兩個重大的產品品質問題：

1. MCP Gateway 沒有單一的憑證解析類別。
2. 透傳 API 的記憶體消耗過高。

在同一期間，我們總共推出了 134 個錯誤修正。這篇文章先介紹這兩個重大變更，接著說明其餘的 AI 工程與可靠性工作、完整細目，以及我們接下來要做什麼。

感謝所有參加我們 6 月 town hall 的人。

三個數字概括了這個月：24 個安全性修正、94 個 bug 修正，以及78 個功能提交。以下各節將逐一拆解，並說明我們對零已回報回歸的公開承諾，以及 LiteLLM gateway 逐步遷移到 Rust 的進程。

Harness 是提供者鎖定的下一個前沿。LiteLLM 的設計初衷是讓模型提供者之間能夠輕鬆切換。然而，隨著模型越來越飽和，下一個競爭領域就會變成 harness 與受管理的代理程式。為了讓您更容易在 harness 層切換提供者，我們推出 Lite-Harness SDK。這是一個簡單的 TypeScript+Python SDK，讓開發者能像切換模型一樣切換 harness。

它以統一的 Claude Agents SDK 規格公開各種 harness。這表示，如果您是用 Claude Agents SDK 撰寫應用程式，並且想試試其他 harness（Pi AI、Hermes、Codex、OpenCode），就可以在不重寫程式碼的情況下完成。

目前支援 3 種 harness——Claude Code、Codex 和 Pi AI。如果您希望我們新增其他 harness，請在這裡提出 issue。

運作方式如下：

TypeScript 範例

import { query } from "@lite-harness/sdk";

const prompt = "Fix the failing test";

// Claude Code harness
for await (const message of query({
  prompt,
  options: { harness: "claude-code", model: "claude-opus-4-8" },
})) {
  console.log(message);
}

// Codex harness
for await (const message of query({
  prompt,
  options: { harness: "codex", model: "gpt-5.5" },
})) {
  console.log(message);
}

Python 範例

from lite_harness import query, AgentOptions

prompt = "Fix the failing test"

# Claude Code harness
async for message in query(
    prompt=prompt,
    options=AgentOptions(harness="claude-code", model="claude-opus-4-8"),
):
    print(message)

# Codex harness
async for message in query(
    prompt=prompt,
    options=AgentOptions(harness="codex", model="gpt-5.5"),
):
    print(message)

LiteLLM AI 閘道​

Lite-Harness 支援透過 LiteLLM AI Gateway 代理 harness。這可讓模型切換、成本控制和記錄更容易。

請透過設定兩個環境變數，將 Lite-Harness 指向您的 gateway：

export LITELLM_API_BASE=https://litellm.your-company.com/v1
export LITELLM_API_KEY=sk-litellm-...

接著如常呼叫——每個底層模型請求都會經由 gateway 路由：

from lite_harness import query, AgentOptions

prompt = "Fix the failing test"

# Claude Code harness
async for message in query(
    prompt=prompt,
    options=AgentOptions(harness="claude-code", model="claude-opus-4-8"),
):
    print(message)

# Codex harness
async for message in query(
    prompt=prompt,
    options=AgentOptions(harness="codex", model="gpt-5.5"),
):
    print(message)

常見問題​

我一定要使用 LiteLLM AI Gateway 嗎？​

不需要。lite-harness 可獨立運作——只要將它指向使用原生金鑰的提供者 API。對於希望集中管理金鑰、預算、備援，以及跨所有模型呼叫的單一稽核記錄的團隊，AI Gateway 整合是可選的。

切換 harness 會改變代理程式行為嗎？​

會——這正是重點。每個 harness 都保有其原生迴圈、工具呼叫語義與提示格式。lite-harness 只是統一您「呼叫」它們的方式，而不是它們內部的運作方式。請用相同的提示在三者上執行，看看哪個組合最能完成任務。

這已準備好投入正式環境了嗎？​

lite-harness 是一個早期、實驗性的專案。目前處於公開 beta。歡迎加入我們的discord，協助我們依照您的偏好來設計它。

這在 LiteLLM OSS 中可用嗎？​

可以。lite-harness 採 MIT 授權，位於 github.com/LiteLLM-Labs/lite-harness。LiteLLM Enterprise 在其搭配的 AI Gateway 之上，提供 SSO/SCIM、air-gapped 部署、24/7 SLA，以及進階防護欄。

建議閱讀​

• LiteLLM AI Gateway — 完整功能總覽
• LiteLLM 受管理代理程式平台 — Alpha
• 跨 100+ LLM 提供者的負載平衡與路由

感謝所有參加我們 5 月 town hall 的人。

我們涵蓋了安全強化、版本發布編號變更、新產品發布（MCP 工具集、on-behalf-of OAuth）、效能提升，以及我們迄今最大的一個押注——LiteLLM Agent Platform。

我們正在推出 LiteLLM Managed Agents Platform —— 一個簡單、可自行架設的基礎架構平台，用於在正式環境中執行多個代理程式。

感謝所有參加我們 4 月 town hall 的朋友。

我們在這次會議中分享了 CI/CD v2 的改進、產品穩定性工作，以及接下來在可靠性與產品藍圖上的優先事項。