Azure Data Factory平面文件复制操作后数据丢失问题排查

针对你遇到的EXPORT_ORDERS.TXT文件复制后大小不一致、日志无异常的问题，可从以下几个方向排查：

• 分块传输的隐性异常
  ADF复制大文件默认采用分块传输机制，若远程存储账户的分块读取存在部分数据返回不完整但未触发错误的情况，或是目标VM磁盘写入时缓存未及时刷入磁盘，都会导致最终文件大小不符。这类场景下复制日志可能仍显示成功，因为分块级的校验未覆盖所有异常。

• 目标端文件系统或磁盘限制

  • 检查目标VM磁盘的可用空间：若文件大小接近磁盘剩余空间临界值，部分系统会自动截断写入以避免磁盘耗尽，且不会返回错误。
  • 确认目标文件系统的单文件大小上限：比如FAT32文件系统单文件最大仅4GB，若源文件超过此限制，复制后会被强制截断。

• ADF复制活动的配置疏漏

  • 核对复制行为设置：若误将复制模式设为Merge Files或Flatten Hierarchy，可能导致文件被意外合并或覆盖，引发大小异常。
  • 检查压缩传输配置：若源文件开启了自动压缩传输，ADF解压过程中出现隐性错误时，目标文件会不完整，但日志可能无记录。

• 源存储的文件状态异常

  • 源文件可能是未完成的分段上传文件：部分对象存储允许标记未完成的分段上传为可用文件，此时文件的逻辑大小与实际存储的物理大小不一致，ADF读取的是不完整的物理数据，但源文件的修改时间不会变更。
  • 存储账户的版本控制/软删除：若源文件存在旧版本的不完整文件，ADF可能误读取了旧版本，导致目标文件大小与你查看的最新源文件不符。

• 目标端安全软件拦截
  企业级防病毒或EDR软件可能在文件写入时进行扫描，临时锁定文件导致写入中断，这类操作通常不会触发ADF的错误日志。可临时关闭防护后重试复制，验证是否为该原因。

内容的提问来源于stack exchange，提问作者MrSiezen