LiteLLM Lens
協助您的代理程式持續進步的閘道
今天我們要推出 LiteLLM Lens。告訴 Lens 要在您的代理程式中尋找什麼，讓它分析您的追蹤，然後閱讀發現並深入查看任何追蹤
代理程式式群體開發者
我們正在為這樣的未來打造：開發者運行代理程式式群體——數百個代理程式平行運作，每個都進行 LLM 和工具請求，合計產生 20 萬筆以上追蹤
LiteLLM 已經是您企業 100% AI 流量的瓶頸，因此那些請求中的每一個都已經流經這個閘道
問題
沒有人能手動讀完 20 萬筆追蹤。當群體出了問題時，證據分散在數千次執行中，您無法判斷哪些有效、哪些失敗，或您的代理程式應該如何改進
追蹤平台讓事情更困難。您的資料放在他人系統中，還受到速率限制，因此您無法直接讓 Codex 或 Claude Code 對其進行深入分析
我們的解決方案
我們相信，閘道的下一個時代，是利用流經其中的資料幫助您的代理程式進步。Lens 透過三個步驟做到這一點，並在底層提供以代理程式為優先的追蹤 API
1. 告訴 Lens 要尋找什麼
針對您的每個代理程式，描述您希望 Lens 尋找什麼。什麼樣的執行是好的，什麼樣的是不好的？您也可以新增特定問題，每行一個，例如「找出代理程式無法復原的工具失敗」
2. Lens 分析您的追蹤
Lens 使用 AI 代理程式為您檢視追蹤。它會調查執行內容、將相似的問題分組，並向您顯示每個代理程式的發現：發生了什麼、接下來該做什麼，以及支撐這些發現的執行
3. 閱讀發現，然後深入查看追蹤
先從發現開始。當您需要更多資訊時，每個發現都會連回原始追蹤中的確切步驟，因此您可以閱讀其背後的輸入、輸出與屬性
個別追蹤看起來像這樣：左側是完整的步驟樹，右側是所選步驟的輸入與輸出
以代理程式為優先的追蹤 API
擁有自己的基礎架構。追蹤資料會落在您自行運行的 ClickHouse 中，與您已經部署的 LiteLLM 閘道並列。您可以用簡單的 SQL 查詢它們，或讓 Codex 和 Claude Code 透過追蹤 API 分析它們，而不受追蹤平台速率限制
發布合作夥伴
Lens 是與我們的發布合作夥伴共同打造並設計的
MindFort“我們打造了全球第一個全自主安全群體。MindFort 使用數千個代理程式協同運作，在目標上即時找出真正可利用的漏洞，接著安全地建立並逐步推出修補程式，持續不斷。
我們使用 Lens 來支援內部應用 AI 研究與生產工程，讓我們能在維持完整資料主權的同時，以規模化方式分析數十萬次代理程式互動。”