单个1T文件计算MD5与拆分100个10G文件计算，哪种速度更快？

核心结论 #

两种计算方式的总耗时基本一致，分片计算不会比直接计算完整文件更快，部分场景下分片耗时反而更高

原理说明 #

• MD5属于流式哈希算法，计算时是按固定缓冲块（通常为4KB~64KB）逐块读取数据送入计算单元，无论采用整体计算还是分片计算，需要读取的总数据量都是1TB，CPU哈希计算的总工作量完全相同，磁盘IO的总开销也没有差异。
• 如果你选择先把1TB文件物理拆分为100个10GB的分片文件存储到磁盘，再逐个计算分片的MD5，会额外产生1TB的磁盘写入开销，总耗时会比直接计算完整文件高很多。
• 如果你采用逻辑分片（不生成物理分片文件，每读满10GB就重置哈希上下文计算下一段），仅会产生少量的哈希上下文初始化、销毁开销，这部分开销相对于1TB文件的处理耗时可以忽略，两种方式耗时几乎感知不到差异。

适用于跨端校验场景的优化方案 #

要校验本地和远程的1TB文件是否一致，不需要传输完整文件，也不需要计算整个文件的MD5，可以直接在两端都采用逻辑分片哈希方案：

按10GB为逻辑段，依次计算每一段的MD5值，将得到的100个MD5值按顺序拼接后再计算一次总哈希，比对两端的总哈希即可确认文件是否一致。如果哈希不一致，还可以直接定位到具体差异的分片，后续只需重传对应分片即可，不需要重传整个文件。
Linux下可以直接用split命令的filter参数实现无中间文件的分片MD5计算：

split -b 10G --filter='md5sum' /path/to/your/large_file

内容的提问来源于stack exchange，提问作者Just a learner