知识库项目怎样验收：先做一套双方认可的测试题

知识库项目可以用一套双方事先认可的测试题验收，但题目必须带依据、使用角色和通过条件。只在演示现场问几个熟悉的问题，会同时遗漏答不出来、资料互相矛盾和不该被看见的信息。本文面向采购方业务负责人和交付负责人，使用虚构的设备售后制度，不涉及任何真实客户资料，也没有在生产平台执行测试。

先把“答对”写成可核对的行为

合成制度规定：青禾设备标准产品保修十二个月；耗材不在保修范围；申请需提供序列号和购买凭证；区域经销商返点只允许渠道经理查看。旧版手册还写着保修六个月，但注明已失效。用这几条就能设计四类题，而不是先让模型回答，再根据听起来是否合理打分。

正常题问“标准产品保修多久”，预期至少包含十二个月和标准产品限定；无答案题问“明年是否延长保修”，应说明现有材料没有该政策；冲突题同时给出两版手册，要求识别生效时间；权限题由普通客服询问返点，预期不能泄露数值或引用敏感段落。题目里的措辞可以不同，但判定标准应稳定。

每题需要题号、业务类别、输入、账号角色、适用日期、金标准来源、关键事实、禁答内容、预期动作和重要程度。金标准不必是一句完全相同的话，否则正常的语言变化也会被误判。对“需哪些材料”，把序列号、购买凭证列成两个必需事实；添加没有依据的身份证要求则是额外错误，不能因列出了两个正确事实就通过。

先由业务人员确认原文，再由交付人员确认能否记录检索证据，最后由双方共同冻结首版题集。技术人员不应代替制度负责人判断哪一份文件有效。如果资料尚未明确生效范围，先把该题标为“依据待确认”，从正式分母中剔除，同时作为未完成事项保留。否则错误的标准答案会把系统调向错误方向。

附件提供四类合成题和独立评分字段。正式使用时，要覆盖高频任务，也要覆盖低频但后果严重的任务。可以先从最近的脱敏咨询中挑题，再补时间边界、型号差异、缩写和跨部门问法。不要把所有题都做成与文件标题相同的简单问句，这只测试了系统能否记住目录。

冻结文档清单、配置版本和题集后，用指定角色逐题发起新会话，记录问题原文、实际答案、命中文档、分段标识、执行时间与异常。会话题可以另设连续轮次，单轮题则不要混在已有上下文里运行。测试账号应和真实岗位权限一致，管理员账号的结果不能代表普通员工。

评分分成事实正确、依据充分、边界遵守和行动正确四列。例如保修题回答十二个月但引用了六个月的失效手册，事实列可以正确，依据列必须失败。权限题即使最后说“请咨询经理”，只要前面已经展示返点，就算越界。将四列压成一个总分会掩盖这类关键区别。

通过规则由项目双方按风险确定。一般可把严重越权、关键政策编造和错误执行动作设为阻断项，其余问题按分类列出通过数与总题数。不要先承诺某个准确率，再临时删掉难题凑数。示例中的题量只说明表格用法，不足以代表完整业务覆盖。

假设客服认为“保修一年”正确，法务认为缺少耗材排除条件。应回到题目限定：若用户问标准整机，简答可能通过；若用户问包含耗材的套装，就必须补限定。解决办法是修订题意与判据并记录理由，而不是让两个人凭印象各打一次分后取平均。

一次测试失败也不等于整个知识库不能使用。把失败定位到资料缺失、版本冲突、检索漏召、回答误读或权限控制，再指定责任人。修复后重跑失败题，并抽跑原来通过的相邻题，防止为了修一个问题损坏另一个。正式报告要列出未解决问题与允许上线的使用范围。

验收前再由另一位业务人员盲评一部分答案。如果两人的判定经常不一致，优先修评分说明，而不是急着改模型。可验收的知识库首先需要可解释的判定过程，签字对象应是冻结版本、测试证据和剩余风险，不是一张漂亮的总体分数截图。

交付题集时，还要安排资料变更后的维护责任。每次业务制度修订，先找到受影响的题号，更新金标准并保留旧版本，不要直接覆盖原文件。若验收期间资料仍在变动，应暂停该子集评分，待来源冻结后重新执行。这样日后出现争议时，双方可以还原当时究竟验收了哪份制度、哪种权限和哪一版应用。

技术边界参考Dify 官方知识检索节点说明：检索结果作为下游节点的上下文。本文的题集、评分规则和样例是项目工程方法，并非平台自动提供的验收保证。文档核对日期为2026年10月23日，目标部署应另记版本。

可下载本文合成样例与记录表，附件里的数据只用于演示核对方法，请在副本中填写目标环境结果。更多背景可看专题与相关原理及交付说明。需要把这套核对接进已有业务系统，可带上脱敏材料、当前版本与失败记录，通过定制咨询讨论范围；集成商可查看系统集成协作。