数据模型
事件(Event) 最小数据单元。一条事件记录了您的 Agent 执行的单个步骤:一次tool_use、一次 model_request、一次 hook_completed、一次 error 等等。您的 Agent 通过 Python SDK 发出事件,这些事件会实时显示在**事件(Events)**页面上。
会话(Session)
一次 Agent 运行,以 session_id 标识。会话是共享同一 ID 的所有事件的集合,在**会话(Sessions)**页面上汇总为单行,并在详情页上以执行图的形式呈现。会话通常以 agent_start 开始,以 agent_end 结束。
Agent
一次运行中具名的参与者,以 agent_id 标识。一次运行可以涉及多个 Agent:例如一个规划器(planner)派生出一个摘要子 Agent。子 Agent 携带 parent_id,正是这个字段使 Failproof AI 可观测性能够在执行图中将它们绘制在各自的泳道上。
环境(Environment)
标识运行发生位置的标签:production、staging、dev。您在配置 SDK 时设置一次,几乎每个仪表板页面都可以按环境进行筛选。
上下文窗口占用率(Context-window fill)
模型响应所消耗的上下文窗口百分比。Failproof AI 可观测性会在其识别的模型的 model_response 事件上标记该数值,使提示词增长趋势和即将到来的压缩行为直接在事件流中可见。
质量
评估(Evaluation) 由您运行的评分服务为已完成会话生成的质量分数。评估为选装功能:在接入评估器之前,会话只会被记录,不会被评分。每次评估可以包含多个命名维度的分数(例如helpfulness、factuality、tool_efficiency),每个维度附带简短的推理说明。请参阅评估套件(Evaluation suite)。
分数键(Score key)
评估器报告的某一维度名称,例如 helpfulness。告警规则和审计可以随时间追踪特定的分数键。
评估器(Evaluator)
您的评分服务。Failproof AI 可观测性会将已完成运行的对话记录以 POST 方式发送给它,并存储其返回的分数。平台不内置默认评估器,评分逻辑由您自行实现。
发现与修复故障
Hook 您的 Agent 框架在某个步骤前后运行的守卫或副作用逻辑:内容安全检查、PII 脱敏、预算限制等。Hook 会发出hook_triggered / hook_completed 事件,携带 outcome(allow、deny、modify),并拥有独立的观测页面。
告警规则(Alert rule)
当指标超过您设定的阈值时触发的规则:错误率、p95 延迟、Token 成本或评估分数。规则触发时,会创建一个事件单并通过您选择的渠道(邮件、Slack、Webhook、仪表板内)发送通知。请参阅告警(Alerts)。
事件单(Incident)
告警规则触发时创建的待处理问题。事件单具有生命周期(确认、分配、解决)以及记录每次操作的活动时间线。您也可以手动创建事件单。
审计(Audit)
定期(每小时至每周)运行的调查任务,在跨会话的日志中挖掘您尚未编写规则的故障模式:错误聚类、低分、延迟异常值、工具调用循环以及未正常结束的运行。告警监控的是您已知的指标,而审计则告诉您下一步应该关注什么。请参阅审计(Audits)。
发现(Finding)
一次审计运行产出的带有排名和证据支撑的结果。发现会描述一种模式,关联到其背后的具体会话,并具有分级处理生命周期(确认、解决、静默、忽略)。Failproof AI 可观测性会对多次运行间的发现进行去重,使已知模式得到更新而不是不断堆积。
AI 助手(The AI assistant)
仪表板内的对话工具,能够用自然语言回答关于您的 Agent 的问题,基于您自己的数据。默认为只读模式;其创建的任何内容(已保存的查询、仪表板)均需审批,且无法执行删除操作。请参阅 AI 助手(AI assistant)。
运行方式
组织(Organization / 租户) 隔离的工作空间。一个 Failproof AI 可观测性实例可以托管多个组织,每个组织拥有独立的用户、密钥和数据。所有仪表板 URL 均限定在您的组织标识符下(/<org-slug>/…)。
采集器(Collector)
agenteye-collector,运行在每台 Agent 机器上的轻量级守护进程,负责批量处理 SDK 写入磁盘的事件并将其发送到服务器。
API 密钥(API key)
用于向服务器验证客户端身份的作用域令牌。密钥携带细粒度权限(例如,采集器使用 events:add,仪表板密钥使用只读作用域)。请参阅 API 密钥(API keys)。
服务器(Server)
数据采集和 API 服务。负责采集事件、将运行状态存储到您的数据库中,并提供仪表板和 CLI 服务。
仪表板(Dashboard)
Web 界面。每个页面均限定在某个组织范围内,通过服务器 API 读取数据。
后续步骤
- 概览(Overview):了解各组件如何协同工作。
- 可观测性(Observability):各观测页面(Events、Sessions、Models、Tools、Hooks、Errors)的详细介绍。

