MoyaiOpen source cloud agent

October 7, 2026

Hermes

Claude Code

Codex

OpenCode

Deep Agents

OpenAI

Anthropic

Fireworks

Google

xAI

Mistral

DeepSeek

Bedrock

Works with Claude Code and CodexSelf-hosted · 100+ providers through LiteLLM

1. [1]The problem
2. [2]The results: 79% cheaper
3. [3]Why we're open sourcing it
4. [4]A cloud agent that keeps working
5. [5]Any harness
6. [6]Any model, any provider
7. [7]Get started

Published: Oct 7, 2026

Ishaan JafferCTO, LiteLLMTin LoAI Product Engineer, LiteLLMMoe KhalilAI Product Engineer, LiteLLM

今天我們將 Moyai 開源，這是我們團隊每天都在使用的自架雲端代理程式。它可與 Claude Code 和 Codex 搭配運作，透過 LiteLLM 在 100+ 個提供者上執行，並能在您的筆電關機時，將來自 Slack 或瀏覽器的任務轉化為 pull request

Published: Oct 3, 2026

Tin LoAI Product Engineer, LiteLLM

在 BerriAI，我們打造了 Moyai Devin，一個在雲端執行的內部工程代理程式。團隊成員可以在 Slack 中交辦任務、在網頁應用中追蹤進度，並請它準備 pull request。

您已使用自己的工具、提示詞和模型組態建置了一個 agent。現在您想在相同任務上嘗試不同的 harness。

LiteAgents 讓您無需重寫應用程式即可切換 agent harness。 其介面以 Claude Agent SDK 為藍本，包括 query() 模式與型別化訊息。您可以在保留工具、MCP 連線、模型組態與用戶端程式碼的情況下，選擇 Deep Agents、Pydantic AI、Claude Agent SDK、Codex 或 OpenCode。每個選定的 harness 都會執行自己的 agent loop。

LiteLLM 為模型提供通用介面。LiteAgents 將這種做法帶到 agent harness，並透過 Temporal 提供原生控制與可選的持久性。

一位工程師為新專案索取一組 API 金鑰。您需要為它選擇模型、設定預算，並將其指派給某個團隊。隨著使用量成長，您需要檢查支出並調整那些限制。

LiteAdmin MCP 讓您的代理程式透過閘道的管理 API 處理這些工作。將它連接到一個 MCP 用戶端或自訂代理程式。我們也用同一個連接器建立了 LiteAdmin——我們的 Slack 管理代理程式。

機器人先查詢天氣，接著查看商店的營業時間。使用者問：「商店幾點關門？」機器人仍然把先前的天氣報告送給模型，儘管它已經無助於回答這個問題。

TypeSafe Jev 可協助 LiteLLM 找出不再需要的工具結果。LiteLLM 會在呼叫模型之前，以簡短提示取代這些結果。這稱為壓縮，可減少長對話所使用的輸入 token。

共享代理程式可以保留個別身分、存取與支出控制。

當財務代理程式服務多個業務單位時，平台團隊需要一致的方法來識別每個請求的發起者、套用正確的模型與工具權限，並歸屬支出。LiteLLM 讓這些脈絡在共享代理程式工作流程中保持可用，因此每個業務單位都能在各自的存取與預算政策下運作。

LiteLLM 為此工作流程提供一個統一的控制平面，涵蓋 Agent Gateway、Model Gateway 與 MCP Gateway。團隊可以共享相同的代理程式基礎架構，同時讓存取權、憑證、支出與稽核資料都繫結到正確的呼叫者。

OpenAI Responses 和 Chat Completions API 讓您可以宣告 code_interpreter tool，而模型會在 OpenAI 託管的容器中執行 Python。該容器是封閉的、由 OpenAI 計費，而程式碼（通常是客戶資料）會離開您的邊界。LiteLLM 現在讓您攔截該 tool 呼叫，並在您可控制的 sandbox 中執行。用戶端請求維持不變。

自 LiteLLM v1.91.0.dev1 起可用。請在這裡查看 版本發佈。

最後更新：2026 年 6 月

代理程式基礎架構已經開始分成三層：模型、harnesses，以及 runtime。我們認為第四層即將出現：統一的代理程式控制平面。這將能從一個地方呼叫存在於不同代理程式 runtime 中的代理程式。

Harness 是提供者鎖定的下一個前沿。LiteLLM 的設計初衷是讓模型提供者之間能夠輕鬆切換。然而，隨著模型越來越飽和，下一個競爭領域就會變成 harness 與受管理的代理程式。為了讓您更容易在 harness 層切換提供者，我們推出 Lite-Harness SDK。這是一個簡單的 TypeScript+Python SDK，讓開發者能像切換模型一樣切換 harness。

我們的目標是用代理程式將公司的生產力提升 10 倍。

三週前，我們開始打造一個能夠承接 30% 工程票券的代理程式。以下是截至目前我們的所學。

感謝所有參加我們 5 月 town hall 的人。

我們涵蓋了安全強化、版本發布編號變更、新產品發布（MCP 工具集、on-behalf-of OAuth）、效能提升，以及我們迄今最大的一次投注——LiteLLM Agent Platform。

我們正在推出 LiteLLM Managed Agents Platform —— 一個簡單、可自行架設的基礎架構平台，用於在正式環境中執行多個代理程式。