跳转到主要内容
FailproofAI Observability 是一个自托管平台，用于观测、评估和改进生产环境中的 AI 智能体。它记录智能体的所有行为（每次工具调用、模型请求、hook 以及错误），对每次运行的质量进行评分，并在您自己基础设施内的仪表板中呈现那些您原本不知道需要关注的故障。 如果您正在部署 AI 智能体，并且厌倦了猜测某次运行为何出错，这就是您的起点。本页面将介绍 FailproofAI Observability 能为您提供什么，以及各个组件如何协同工作——在您安装任何内容之前。
FailproofAI Observability 是 FailproofAI 的企业级产品。 想亲眼看看它的效果？申请演示，请发邮件至 nikita@befailproof.ai。
FailproofAI Observability 会话以 git 风格的执行图呈现，旁边是事件时间轴，右侧面板按运行分解工具、模型和 hook 每次智能体运行都以 git 风格的执行图（左侧）呈现，旁边是事件时间轴。并行子智能体各占一条泳道；右侧面板按本次运行分解工具、模型、hook 及 token 消耗。

​
实际效果演示

以下两个简短视频展示了团队最常用的两项功能：追踪单次运行，以及自动发现故障。
智能体追踪：逐步跟随单次运行，从目标到工具调用，直至最终答案。
Failproof Audit：让 FailproofAI Observability 跨会话挖掘日志，告诉您哪里需要修复。

​
为什么团队选择使用它

  • 清晰了解智能体的实际行为。 每次运行都会转化为可读的 git 风格执行图：哪些工具并行运行、哪些子智能体分支出去、在哪里卡住，以及消耗了什么。
  • 自动捕获质量回归。 接入一个小型评分服务，FailproofAI Observability 便会对每次已完成的运行打分，帮助性下降或幻觉激增等问题将自动浮现。
  • 发现没有预设规则的故障。 定期审计会跨会话挖掘日志，找出错误集群、延迟异常值、低分运行和卡住的任务，并为您提供经过排名、有证据支撑的调查发现。
  • 在关键时刻收到通知。 针对错误率、延迟、成本或评估得分设置阈值规则，触发后自动创建事件，您可以确认、分配和解决。
  • 用自然语言提问。 仪表板内置 AI 助手，可以基于您自己的数据回答”本周生产环境的质量趋势如何？“等问题。它所做的任何变更都需要审批。
  • 数据自主可控。 FailproofAI Observability 采用自托管模式：事件、提示词和分析数据均保存在您控制的基础设施中。

​
您将获得什么

FailproofAI Observability 围绕三个核心理念组织：观测（observe）、分析（analyze）和管理（admin），在仪表板左侧边栏中均有对应入口。 观测（原始事实，记录发生了什么）：
  • 事件流：每次运行的实时逐步记录（工具调用、模型调用、hook、错误）。
  • 会话：将这些事件汇总为每次运行的一行记录，每行均可评分，并附带 git 风格执行图。
  • 性能指标：针对模型、工具和 hook 的按维度延迟热图及 p50/p95/p99 关键指标，让尾部延迟峰值从中位数中凸显出来。
  • 错误追踪：一个统一的分诊界面，汇总所有出错情况，点击一次即可跳转至触发告警。
工具观测页面：延迟热图、百分位区间，以及 24 个时间分箱的工具分布柱状图 每个观测界面都将迷你折线图与 p50/p95/p99 关键指标、延迟热图及百分位区间配对展示。图中所示为工具（Tools）视图。 分析（将活动转化为洞察）：
  • 查询 和 仪表板：基于事件和评估数据的已保存 SQL，可绘制成组织范围内的共享仪表板。
  • 评估：由您自己的评估服务生成的质量得分，附带每项得分的推理说明。
  • 审计：跨会话定期运行的调查，用于浮现故障模式。
  • 告警 和 事件：触发通知的阈值规则，以及用于分诊处理的事件工作流。
接口（以您习惯的方式访问数据）：
  • CLI：从终端或脚本驱动整个部署流程，也可让编码智能体用自然语言替您操作。
  • AI 助手：直接在仪表板中用自然语言询问关于智能体的问题。
管理（为团队运营）：
  • API 密钥：为采集器、仪表板和助手分别设置范围限定的令牌。
  • 用户：基于邮件的无密码登录，支持允许列表。
  • 设置：按组织维度的配置，包括模型上下文窗口覆盖。

​
各组件如何协同工作

数据沿单一方向流动，从您的智能体代码流向仪表板：您的智能体（通过 Python SDK）将事件发送至 agenteye-collector，后者将事件传输至服务器，服务器再提供仪表板界面。另有两个可选服务作为补充——评分服务（评估）和 AI 助手服务（仪表板内对话）。
  • Python SDK：在智能体中添加少量 agenteye.event.* 调用；事件在本地缓冲。
  • agenteye-collector：每台智能体机器上的轻量守护进程，批量收集事件并发送至服务器。
  • 服务器：接收事件并将运营状态保存在您自己的数据库中。
  • 仪表板：您探索所有内容的地方。
  • 可选服务：评分服务（评估）和 AI 助手服务（仪表板内对话）。
关于文档中使用的术语词汇（event、session、evaluation、audit、finding、incident），请参阅 概念说明。

​
获取 FailproofAI Observability

FailproofAI Observability 是 FailproofAI 的企业级产品，与 FailproofAI Enforcement（策略与护栏产品）共同归属于 FailproofAI 品牌旗下。它完全运行在您自己的环境中。如果您尚未获得软件包访问权限，请申请演示，我们将协助您完成配置：发邮件至 nikita@befailproof.ai。

​
后续步骤

  • 概念说明：FailproofAI Observability 的词汇术语一览。
  • 可观测性：逐次追踪智能体的行为。
  • 安全性：FailproofAI Observability 如何确保您的数据隔离且处于您的掌控之中。