知识库重复文件怎么查:同名、改名和小改版分开处理
知识库重复文件应把同名、改名和小改版分开判断。同名不等于内容相同,改名不等于新资料,小改版也可能改了关键业务条件。先做内容与来源比较,再由资料所有者决定保留、合并或作为历史版本,不能只按文件名批量删除。
为每个文件建立独立记录
记录资料编号、文件名、来源、大小、版本、访问范围和批准状态。即使两份文件内容相同,也可能来自不同部门并具有不同授权范围;去重时要保留这些来源关系,而不是把所有入口替换成同一个不受控副本。
合成样例包含三组:两份同名设备制度但条款不同;一份手册复制后改名,字节完全相同;两份产品表只改了一个功率数值。它们分别需要版本核对、内容副本合并和关键差异审查,不能使用一种“相似就删”的规则。
下载文件重复判定与保留表。三条合成记录给出判定依据、风险、处理建议和复核证据。真实摘要值应对实际文件计算,附件没有编造哈希值,也没有执行任何客户文件删除。
第一层比较字节是否相同
可以为实际文件计算项目批准的摘要,并比较文件大小等信息。Python 官方 hashlib 文档介绍了SHA-256等摘要能力。字节摘要相同可作为相同内容副本的重要线索,但不能替代来源、授权和有效性判断。
字节不同也不代表业务内容不同。办公文件可能因为保存软件、属性或压缩结构变化而产生不同字节。因此第二层可以比较提取后的正文,但保留原文件摘要与提取规则版本,避免以后无法重做。提取失败的文件不能被当作空文本重复件直接删掉。
第二层比较规范化文本
规范化可以处理明确无语义的差异,例如统一换行或去除重复页眉;数字、否定词、单位、日期和版本号不应为了提高相似度而丢弃。规则需要记录,且先在样例上检查是否误合并重要差异。内容相似只是候选,不是自动删除结论。
合成的两份设备制度仅有“允许”与“不允许”不同,整体相似度可能很高,却决定完全相反的结果。产品表改一个数值也同样重要。对这类资料,应逐项显示差异并交所有者确认,不用一个统一阈值直接判定同一文件。
扫描件还有额外问题:同一原件不同扫描或OCR会产生噪声,文本差异不能单独代表版本变化。可结合页数、版式、关键字段和原页人工核对。若关键位置模糊,就保持待核实,不让模型替企业决定哪份更可靠。
第三层确定保留关系
完全相同副本可以保留一个受控内容对象,同时记录多个来源;同名不同内容要确认是否属于同一制度家族;小改版则记录替代关系、生效日期和适用范围。对于历史查询有用的旧版,不应因为“重复”而直接移除。
访问范围必须重新核对。如果部门A的资料更完整但只允许特定角色,不能用它替换全员版本后开放回答。去重与权限是两条检查线,任何合并都不能扩大原本允许的访问范围。实际平台是否支持一个内容多来源映射,需要目标版本确认。
先处理候选清单,再影响索引
在源文件层形成去重决策,保留原编号、保留对象、处理理由与批准人。随后更新知识库资料、索引和引用映射,使用固定问题核对答案不再重复,也未丢失有效版本。不要一边生成候选一边无记录删除,出错后会很难恢复关系。
检查重复引用是否减少,并检查旧链接如何处理。合并文件后,历史答案可能仍指向旧资料编号;需要受控跳转、保留说明或其他项目认可的处理方式。不能因为当前检索只剩一份,就认为历史引用问题已经解决。
失败时保留可逆证据
若发现被合并的文件其实具有不同条件,先停止受影响答案,按保留记录恢复资料关系,再修复规则。对未获批准的候选可标记待审,不执行删除。内容来源、访问范围或版本状态未知时,保持隔离通常比强行合并更容易维护。
去重完成后建立新增文件检查:先查稳定编号和摘要,再比较候选正文,最后让资料所有者处理关键差异。这样不是每次导入都重新人工翻全部目录,也避免重复副本持续进入索引。
资料基础可看文档预处理旧文,处理场景见文档与数据处理专题。可从联系入口提供脱敏候选清单和保留要求,讨论文件去重、版本治理与索引更新。