ADF运行显示文件大小与ADLS实际文件不符，是否存在数据丢失？

差异原因 #

• 单位换算逻辑不同：ADF管道显示的是十进制的GB（1GB=10^9字节），而ADLS文件管理器默认采用二进制的GiB/MiB（1GiB≈1.07GB，1MiB≈1.048MB）。比如你看到的1.007GB（十进制）换算成二进制单位约为0.938GiB，对应约960MiB（二进制），ADLS会近似显示为960MB，这就造成了数值差异。
• ADF统计包含传输开销：ADF的读取/写入数据量统计会把传输过程中的协议开销、临时校验数据也算进去，但实际写到ADLS里的是纯文件内容，所以统计值会比实际存储的文件大小略大一点。
• 压缩处理的差异：如果传输时用了动态压缩，ADF统计的是压缩后的传输字节数，而ADLS最终存储的是解压后的原始文件，或者用了不同的压缩算法重新压缩，自然会出现大小差。

是否存在数据丢失？ #

基本不会有数据丢失，你可以用这两种方法验证：

• 对比精确字节数：直接查看SFTP源文件和ADLS目标文件的字节数，完全一致就说明数据完整。
• 校验哈希值：给源文件生成MD5或SHA256哈希，再给ADLS里的文件算一遍，哈希相同就没问题。

内容的提问来源于stack exchange，提问作者Anonymous