← 返回教程

Rerank 值不值得加:命中、延迟和成本一起测

Rerank 是否值得加,取决于它是否把业务所需证据排到可用位置,以及增加的等待和调用成本是否能接受。检索候选中没有正确资料时,重排通常不能凭空补出该资料。本文给知识库负责人设计一个有无重排的受控对比,使用合成记录说明计算方法,不声称任何模型在真实项目中的效果。

从候选里挑错的问题开始

合成售后库有“标准产品退货”“定制产品退货”“耗材退货”三份规则。用户问“定制产品拆封后能退吗”,第一阶段检索同时找到了三份文件,但标准产品排在最前。如果下游只接收很少的片段,正确的定制条款可能没有进入上下文。这种候选正确、排序不理想的场景,才值得单独研究重排。

先挑三类固定题:正确证据在候选靠前、正确证据靠后、候选完全没有正确证据。第一类观察是否出现退步,第二类观察是否改善,第三类确认重排的边界。不要只挑最可能受益的题,否则得到的结论无法代表日常查询。

让两条链路共享同一候选

建立A链路关闭重排,B链路启用目标重排服务;固定原文、向量模型、第一阶段检索方式、候选数量、过滤条件、最终上下文长度及回答提示。最好将同一份候选快照同时交给两条排序路径,避免源索引在实验中更新造成差异。

记录重排模型标识、服务地址所属环境和配置版本。不同重排模型的评分范围不能直接比较,也不要把分数解释为“正确概率”。项目关心的是目标证据排名、必要事实是否完整,以及最终回答有没有错误扩展。

如果平台把重排与其他检索模式绑定,无法做到只改变这一项,应明确记录实际改变了哪些配置。这样的测试仍可比较两个完整方案,但结论应写成方案对比,不能将所有收益都归给重排算法。

质量、延迟和费用分别记

附件提供相同问题在两条路径下的记录字段。质量列包含目标来源、A排名、B排名、完整证据是否进入上下文、A答案判定与B答案判定。对于“退货期限正确但例外漏掉”的回答,不能只给一个通过标记。

耗时要分开记首阶段检索、重排、生成首字和最终完成,记录失败、重试与并发情况。比较时同时看典型值和慢请求分布,不能只用一次最快调用。生成长度不同也会影响总耗时,重排增加的时间应从独立阶段里读,而不是简单用两次总时长相减。

费用使用目标服务的真实计费口径,在报告中填请求次数、候选文本量与自定义单价。演示计算可假设每月查询一万次、每次重排费用为变量c,则直接调用费用是一万乘以c;这只是公式示范,不是行情报价。还应计入重试和服务维护,不把免费试用额度当成长期成本。

先解释变化,再决定开启范围

如果B把定制条款从候选后部提前,答案因此保留拆封限制,可以保留这条证据链。若B排名变好但答案仍错,应检查上下文组装和生成,而不是继续扩大重排调用。如果候选里根本没有定制规则,应先回到资料、过滤或第一阶段检索。

有时重排模型偏爱文字丰富的标准产品说明,反而把短小的例外条款压后。可以增加一组短条款与同义问法测试,判断这是不是系统性退步。调整描述方式、候选范围或选择其他服务,应分别记录,不能一边换文档一边说是在比较有无重排。

处理依赖故障

重排服务不可用时,业务是降级为原始排序、转人工还是直接报错,应在上线前确定。对低风险内部检索,降级可能可接受;对合同或关键政策问答,使用未经核对的降级结果可能不符合范围。配置降级不会自动带来质量保证,必须有独立测试。

实验还需包含超时、限流和返回结构异常的模拟输入。若B平均效果更好却经常卡在外部服务,用户体验可能更差。需要把失败率与等待分布放在同一份报告里,不要只发布质量分数。

最后按业务子集决定:复杂制度可能启用,简单编号查询可能无需增加步骤。验收结论应给出样本范围、收益证据、额外成本和回退条件,而不是“重排一定更准”。上线后继续收集自然问题,确认实验中的收益没有只停留在固定题集。

采购重排服务时,不必只问能否接入。应要求提供可记录的模型标识、超时行为、数据去向和故障响应方式,在目标部署环境确认是否允许外发候选文本。私有化部署也可能调用外部重排地址,不能从应用安装位置推断数据全程留在本地。未完成这些核对前,可先用合成资料做功能实验。

技术边界参考Dify 官方知识检索节点说明:检索结果作为下游节点的上下文。本文的题集、评分规则和样例是项目工程方法,并非平台自动提供的验收保证。文档核对日期为2026年10月23日,目标部署应另记版本。

可下载本文合成样例与记录表,附件里的数据只用于演示核对方法,请在副本中填写目标环境结果。更多背景可看专题与相关原理及交付说明。需要把这套核对接进已有业务系统,可带上脱敏材料、当前版本与失败记录,通过定制咨询讨论范围;集成商可查看系统集成协作。

这个页面有问题?

提交时会附带当前页面地址和浏览器信息,帮助我们定位问题。不填联系方式即为匿名。