跳至主要內容

3 篇文章 含有標籤「infrastructure」

檢視所有標籤

Moyai 現已開源

Ishaan Jaffer
CTO, LiteLLM
Tin Lo
AI Product Engineer, LiteLLM
Moe Khalil
AI Product Engineer, LiteLLM

MoyaiOpen source cloud agent

October 7, 2026
HermesHermes
Claude CodeClaude Code
CodexCodex
OpenCodeOpenCode
Deep AgentsDeep Agents
OpenAIOpenAI
AnthropicAnthropic
FireworksFireworks
GoogleGoogle
xAIxAI
MistralMistral
DeepSeekDeepSeek
BedrockBedrock

Works with Claude Code and CodexSelf-hosted · 100+ providers through LiteLLM

  1. [1]The problem
  2. [2]The results: 79% cheaper
  3. [3]Why we're open sourcing it
  4. [4]A cloud agent that keeps working
  5. [5]Any harness
  6. [6]Any model, any provider
  7. [7]Get started
Published:
Ishaan JafferCTO, LiteLLMTin LoAI Product Engineer, LiteLLMMoe KhalilAI Product Engineer, LiteLLM

今天我們將 Moyai 開源,這是我們團隊每天都在使用的自架雲端代理程式。它可與 Claude Code 和 Codex 搭配運作,透過 LiteLLM 在 100+ 個提供者上執行,並能在您的筆電關機時,將來自 Slack 或瀏覽器的任務轉化為 pull request

我們如何在 2 天內打造自己的內部 Devin

Tin Lo
AI Product Engineer, LiteLLM

我們如何在 2 天內打造自己的內部 Devin

Our team's cloud coding agent, built with Render and Temporal.

Our internal Devin, running in the cloud.
Published:
Tin LoAI Product Engineer, LiteLLM

在 BerriAI,我們打造了 Moyai Devin,一個在雲端執行的內部工程代理程式。團隊成員可以在 Slack 中交辦任務、在網頁應用中追蹤進度,並請它準備 pull request。

讓 AI 閘道對 Redis 故障具備韌性

Ishaan Jaffer
CTO, LiteLLM

最後更新:2026 年 4 月

企業級 AI 閘道部署將 Redis 放在幾乎每個請求的熱路徑上:速率限制、快取查詢、支出追蹤。當 Redis 正常時,延遲影響僅有個位數毫秒,終端使用者幾乎察覺不到。當它劣化時,正式環境中的 AI 閘道就必須不受影響地持續運作。

在 100+ 個 Pod 上大規模執行 LiteLLM,意味著必須在失敗模式出現之前先為其設計。簡單的情況是 Redis 完全當機:快速失敗,回退到資料庫,繼續提供請求服務。困難的情況,也是會拖垮閘道的情況,是 緩慢 的 Redis:仍然接受連線、仍然回應,但每次操作都會在 20 到 30 秒後逾時。