大文件传进对象存储,Agent 怎样等分片完成后再接收资料
大文件以分片方式传进对象存储后,Agent应等待完整对象完成并取得可核对证据,再开始解析。上传了部分分片、收到HTTP成功头或接到通知,都不能单独当成整份资料已经交付完成。
本文以Amazon S3官方协议做合成演练,不上传真实对象,不把S3兼容产品默认视为行为完全一致。
分片和最终对象是不同阶段
CompleteMultipartUpload官方文档说明,完成操作根据已上传分片组装对象,需要提交相应分片信息。接收端应保存对象键、上传活动标识、预期分片依据与最终完成结果,不能让每个分片都进入文档解析。
资料方与实施方先确定交付边界:由谁发起完成、如何取得最终结果、哪个对象版本或副本可供读取。若接收系统只看到一个对象名,而没有来源活动与完成依据,应明确缺口,不凭名称判断资料已齐。
分片本身的ETag和最终内容校验不是可以随意替换的概念。使用哪种完整性依据按所选官方机制和实际配置确认,不能把任意ETag统称整个文件的MD5。
HTTP头之后还要读取最终结果
官方文档特别说明完成处理可能先发送200响应头,随后才给出最终结果,响应中仍可能包含错误。因此不能只检查头部状态就通知“资料处理完成”,需要按协议完整解析最终响应。
合成U01只有200头,响应体尚未完成;U02最终结果明确成功,但尚未核对取得对象;U03最终体包含错误。三者分别是待结果、待对象核对与完成失败。
下载分片资料就绪回执演练提供三条时序与对象核对记录,不是真实S3请求、日志或官方XML响应。示例不预填任何客户环境成功结果。
完成事件是入口,不是全部验收
S3事件类型说明列出与分片完成相关的对象创建通知。事件可以唤醒后续核对,但仍要确认目标桶、对象键、实际对象与本次交付一致。
取得对象元信息和内容副本后,记录大小、所选校验依据、取得时点与保存标识,再交解析器。预期内容来源于资料交付契约,不能从文件扩展名推断完整文件应该有多大。
若对象完成后又被同名内容替换,要能说明当前取得的对象属于哪次交付。使用目标环境实际支持的版本或稳定副本标识,不能假设所有存储都开启版本管理。身份无法固定时,先挂起准入。
完成失败后的异常单要具体
分片缺失、最终响应错误、对象取得失败和内容校验不一致,应各自保留证据。资料方需要知道应补传、重新完成还是检查读取权限,不能只收到“AI解析失败”。
已产生但尚未批准的内容副本放在受控范围,避免错误版本混入正式知识。旧上传活动如何清理由明确存储流程负责,本文不自动删除分片或源对象,也不把清理成功当成资料交付成功。
验收用U01检查是否提前启动解析,用U03检查是否忽略200头之后的错误,再用对象内容不一致的U04检查准入阻断。最后用同名替换U05核对身份关联,不展开通用重试与事件幂等算法。
回执应能支持采购方复核
一条就绪记录至少解释:哪个交付活动、最终完成依据是什么、核对了哪份对象、解析使用哪个副本、未知项由谁处理。状态到“可解析”只覆盖文件取得,不代表文档结构、业务内容和知识批准全部完成。
正式方案采用其他S3兼容产品时,重新核对完成接口、错误语义、事件和校验能力,不把Amazon文档当成兼容实现的实测证明。协议相似仍需要目标环境证据。
后续知识更新见来源同步,故障交接见可复现问题包,入口见流程自动化专题。通过定制咨询提供脱敏交付时序和对象核对要求,可以先确定完整文件接收与解析准入的边界。