Agent 与人工并行处理同一批业务,结果不一致该怎样判定
Agent 与人工处理同一条业务得出不同结果,不能自动认定人工正确,也不能让模型解释得更流畅就算通过。把两边结论、所用依据和当时已知条件并排放置,由有权的业务人员判定一致、谁有误或暂时无法判断。本篇只处理业务结果分歧的裁决,不讨论怎样阻断影子运行中的真实写操作。
先确认两边处理的是同一问题
固定输入的业务对象、时间范围和允许使用资料,保留两边收到的信息版本。人工晚些时候取得新说明,Agent 只看到旧资料,就不是在相同条件下作答。观察期内资料更新、客户补充和规则变化都要记录,必要时拆成更新前后两次判断。不要为了对齐结果而事后悄悄修改一边输入,这会让分歧记录失去解释价值。
先对照事实,再比较结论
把决定结果的关键事实逐条列出,例如服务范围、适用日期、已确认条件和缺失材料。再记录人工与Agent各自引用了什么、推导了什么以及最终建议。不能只比较最后一句话是否同义,也不能让模型根据语气给人打分。人工有时依靠未写入文档的经验,应请其指出来源并确认能否作为有效规则;无法证明的经验保留为待核实,不直接升级成标准答案。
给裁决保留四种去向
双方可能同样正确,只是表达不同;也可能Agent漏条件、人工用旧规则,或当前资料本身无法得出唯一结论。裁决栏要允许这些状态,不强迫每条都选系统对或错。微软的业务成熟度资料强调明确人和Agent的决定边界,本篇把最终业务判断留给被授权的人,并要求其说明适用依据。需要另一部门解释时,先保持未判定,不以多数意见代替有效授权。
用附件中的三类分歧演练
DIFF-01 的Agent漏掉服务适用范围,经当前资料核对后认定其结论需更正;DIFF-02 的人工沿用已经失效的说明,应修正人工处理口径,不能拿它继续训练系统;DIFF-03 两份现行说明互相冲突,双方都缺少充分依据,结果为暂无法判定。样例是人为构造的裁决练习,不代表实际测试准确率。用这些样例检查评审人能否将结论与证据一一对应。
把修复对象定位到原因
若是资料缺口,交资料负责人补充;若是人工惯例没有成文,先确认是否应建立正式规则;若是系统漏读条件,交开发方定位相应检索或处理环节。分歧台账只说明业务观察,不凭一条结果直接判断模型或接口故障。更正后使用相同输入重新核对,并检查相近任务,保留新旧结果与裁决版本,避免修一条后破坏另一类条件。
报告分歧,不编造生产效果
汇总时分开记录已判定、待判定和不具备比较前提的数量,说明样本来自哪里。不要把所有待判定都算系统错误,也不要为了结果好看将其排除而不说明。小范围合成记录不能推出真实自动处理比例。若业务裁决长期无人完成,报告应说明证据链仍缺业务确认,不能把技术运行成功当作业务结果可用。
合成记录与填写口径
| 编号 | 合成输入 | 人工结果 | Agent结果 | 核对依据 | 业务裁决 | 后续 |
|---|---|---|---|---|---|---|
| DIFF-01 | 询问限定服务对象是否可办理 | 不适用 | 可以办理 | 当前资料明确只适用另一对象 | Agent漏条件 | 修正系统并回看相近样例 |
| DIFF-02 | 按当前日期核对办理范围 | 按旧规则拒绝 | 按现行资料可提交审核 | 有效规则已替代旧说明 | 人工口径过期 | 更新人工说明,不用旧答案作标准 |
| DIFF-03 | 两份现行说明对同一事项相反 | 允许 | 不允许 | 尚无有效解释 | 暂无法判定 | 交授权规则负责人裁决 |
下载可填写的完整样例表。这些记录用于演练判断,实际使用时保留字段含义,替换为有权使用的业务输入,记录确认人和依据;没有取得的条件保持待确认,不补造实测结果。
相关方法见单流程试点验证,任务方向见流程自动化专题。可在定制咨询提交几条脱敏输入、现有处理方式和期望产物,先确认需要定制的业务范围。