← 返回教程

Agent 看起来能用,怎样监控失败率、延迟和人工接管

2026-10-23 流程自动化

Agent 看起来能用,仍需要监控它是否按业务要求完成任务、何时变慢、什么时候转人工。只监测服务在线或接口返回成功,会漏掉答非所问、工具结果未知和无人接手。本文从指标口径开始设计配置草案,所有阈值均为可替换的业务假设,不把某个客户要求写成行业标准,也不编造生产可用率数据。

先定义一个完整任务

把从用户提交有效请求到业务终态的过程定义为任务,分开记录接受、处理、待确认、已完成、拒绝、失败和结果未知。一次任务可能有多个模型请求和工具调用,不能把每个调用都算一个成功用户任务。主动拒绝无权操作是符合要求的安全结果,不宜和系统崩溃合并;合法问题无法完成,则需要按原因记录业务失败或人工接管。

给每项指标写分子、分母、时间窗口与排除规则。例如技术失败率使用受理后的合法任务为分母,内部测试与明显无效输入另计;业务完成率要求结果核对通过,不用 HTTP 状态直接代替。分母变化会让曲线看似改善,仪表板应同时展示任务量和口径版本。样本很少时也标明数量,不用漂亮百分比掩盖只有几次请求。

延迟至少分成三段

记录排队等待、自动处理和人工等待,用户总体等待另作展示。若只把模型耗时作为总延迟,就会漏掉排队和工具查询;若把等待主管批准的一天都算模型处理,又会误导优化方向。对于流式响应,可以区分首个有效输出与最终业务完成,出现第一句话不代表工单已建。各时间都使用明确单位和可比较的时间戳。

OpenTelemetry 指标说明介绍计数、度量和直方图等指标概念,可据此组织任务数与耗时分布;具体业务成功定义仍由客户决定。监控工具不会自动理解某次回答是否有依据,质量抽查、用户反馈与动作读回结果要作为独立证据。高分位延迟也不能用各实例平均值再简单平均来替代,应按一致的聚合方式计算。

人工接管不是一个笼统失败标签

下载指标分母与阈值草案。人工接管至少区分知识不足、权限边界、用户主动要求、接口故障和结果未知。该转人工的任务被正确接住,可能是安全策略成功;不该转的频繁转人工,则可能增加业务负担。记录接管原因、首次等待和是否有人接手,才能判断问题在模型、资料还是人员安排,不能只追求接管率越低越好。

演示可约定五分钟窗口内技术失败比例超过某值提醒,但正式阈值应结合实际任务量、业务时段和影响确定。低流量系统可使用连续失败次数与合成探针,高流量系统再结合比例与持续时间。告警消息带影响任务数、主要错误类别和责任组,不附完整对话。普通用户不需要看到内部工具密钥或堆栈,排障详情保持受控。

指标必须能追到具体任务

任务号连接日志、调用追踪、确认与业务回执,聚合曲线出现异常后能找到脱敏案例。指标标签避免放用户原文、客户名和订单号,既减少隐私暴露,也避免无限增长的标签值。详细对象号保存在受控事件记录,通过追踪号关联。采样会影响案例覆盖,尤其错误和未知写入结果应按明确策略保留,不能假设随机采样一定能捕获罕见事故。

监控延迟、采集器中断与缺失数据也需要可见状态。没有新失败数据,可能是流量停止或采集断开,不能自动当作系统恢复。合成探针只查演示资料或模拟工具,不应定期创建真实业务单据。需要外部写入探针时,必须在明确授权的测试目标执行,并由有权限人员确认范围和清理方式,不能以监控为由绕过业务批准。

用三类故障验证告警与接手

在隔离环境让模拟工具失败、让队列延迟、让任务进入人工等待,检查对应指标是否按口径变化,告警是否路由到正确角色。再关闭采集入口,确认出现数据缺失提示。手工对十条合成任务计数,与监控查询结果对照,避免状态转换重复计入分母。对跨窗口完成的长任务,说明按受理时间还是终态时间计入。

验收材料应包含指标定义、查询或配置、合成事件、预期结果、实际证据和处置责任。上线以后定期检查告警是否仍有用,新增工具或审批分支时更新口径。监控观察到正常不等于所有答案正确,质量抽查与权限演练仍需继续;二者在维护范围中分别安排,而不是用一个总成功率涵盖全部表现。

还应按业务类型分层看指标。简单知识问答与需要人工确认的建单任务,完成时间本来不同;放在一条平均曲线上可能掩盖局部故障。分层标签使用有限的任务类型与环境版本,详细用户对象仍留在受控记录中。

相关背景见流程自动化专题和项目运维问题,审计可参考动作日志字段。需要为现有 Agent 建立运维指标,可通过定制咨询提供任务状态、业务窗口和已有日志,先定义分母与责任,再选择监控实现。

这个页面有问题?

提交时会附带当前页面地址和浏览器信息,帮助我们定位问题。不填联系方式即为匿名。