← 返回教程

知识库切块怎么比较:固定同一题集做 A/B 实验

比较知识库切块策略时,应固定同一份原文、同一题集和其余检索配置,只改变切块方式。直接同时换模型、增加重排再调整提示词,即使结果变好,也无法知道切块有没有作用。本文适合已经有可检索知识库、准备改进片段结构的维护人员,演示数据都是人工构造。

准备能暴露边界的材料

合成手册有三部分:标准机保修十二个月;耗材不保修;特殊环境需另行确认。另一张产品表分别列出松风A、松风B的额定电压与允许温度。题集不能只有“保修多久”,还要问“耗材是否同样十二个月”“B型电压是多少”“温度超过范围怎么办”。它们分别考察例外、表头绑定和跨段条件。

策略A按固定长度分段;策略B按章节和产品行分段,并在每段保留型号或标题。这里的策略是实验设计,不指定任何平台通用的最佳字符数。长度取值需要结合目标文档和上下文限制确认。两套索引应使用同一份受控原文副本,避免A用旧文件、B用新文件。

冻结其他变量

记录原文校验值、文本清洗规则、向量模型及版本、检索候选数量、过滤规则、阈值、重排开关、回答模型和提示版本。若平台导入时自动执行不同清洗,也会影响结果,必须把差异写入实验记录,不能再称为纯切块对比。

每套索引单独标识,并在测试时确认请求确实进入相应集合。尤其是多个库同时挂到一个应用时,B题命中A库会让对比失效。可先执行一条带合成唯一标记的探针检查路由,再正式运行相同题序列。

评分不只看有没有关键词

对每题先定义必要证据单元。保修排除题需要同时拿到期限和耗材例外;产品电压题需要型号、电压数值与单位。只命中“十二个月”不能算完整支持。记录目标证据是否进入前列候选、是否进入最终上下文,以及最终答案有没有遗漏条件。

附件的固定查询与召回对照包含三个演示场景,并留出A、B实际片段和判定字段。可以给每题记完整、部分、未命中三档,再单列回答正确性。不要将来源分段数增加等同于质量提升,更多片段可能只是重复内容,也会增加上下文噪声。

同时记录索引条目数、总存储量、导入耗时和单次检索耗时。按章节分段可能减少截断,却产生过长片段;按产品行分段可能很精准,却失去共同注释。质量收益要和维护、存储及上下文成本一起看。

用失败例解释变化

假设A把“耗材不保修”分到下一块,召回只返回期限;B保留完整章节后回答正确。可以提出“例外与主条款共同出现改善了该题”的解释。还需看其他例外题是否同样受益,不能用一个演示题宣布B全面优胜。

相反,B把整章合并后,产品表里的A型和B型一起出现,模型可能抄错行。修复可采用每行重复型号并保留表头,而不是无限增加块大小。每一条改进都应该对应观察到的故障机制。

对于必须跨段组合的题,切块未必能够单独解决。需要多次检索、文档结构化或业务查询接口时,应把结论写为“超出本轮单变量实验”,另开任务。不要为了维持切块方案正确而排除难题。

避免反复看题造成过拟合

调试题用于理解问题,最终比较还应包含未参与调参的保留题。若每次改边界都围绕同样三句话,很容易让方案只适合样例。可以按文档来源或产品系列分组保留,减少同一表格改写题泄漏到两边。

同一问题多次执行时要记录次数和运行环境,回答生成可能变化;检索结果稳定但答案摇摆,说明下一步需要检查生成环节。先比较检索,再比较最终回答,有助于把切块的收益说清楚。

实验报告应列出哪类问题改善、哪类变坏、仍缺什么证据,以及是否值得迁移全部索引。若B只对产品表有帮助,可以只在该类资料使用,不必全库统一。完成前再保留A索引和回退入口,让业务能够在新策略出现遗漏时恢复已知状态。

另一个容易遗漏的因素是重复页眉页脚。它们在两套策略中如果处理不同,会让候选排序产生变化。实验前可统计重复文本,并抽查包含表格、图片说明和多级标题的页面。文档清洗属于上游变量,应先固定后再比较切块;必须一起变更时,报告应改称文档处理方案比较,并分别列出每种处理动作。

签署结果前,双方还应核对附件中的实际记录与报告一致,并明确没有执行的验证项,避免把演示预期误作真实成绩。

技术边界参考Dify 官方知识检索节点说明:检索结果作为下游节点的上下文。本文的题集、评分规则和样例是项目工程方法,并非平台自动提供的验收保证。文档核对日期为2026年10月23日,目标部署应另记版本。

可下载本文合成样例与记录表,附件里的数据只用于演示核对方法,请在副本中填写目标环境结果。更多背景可看专题与相关原理及交付说明。需要把这套核对接进已有业务系统,可带上脱敏材料、当前版本与失败记录,通过定制咨询讨论范围;集成商可查看系统集成协作。

这个页面有问题?

提交时会附带当前页面地址和浏览器信息,帮助我们定位问题。不填联系方式即为匿名。