使用GNU Parallel同时计算AWS S3大文件SHA哈希值的问题

你原命令的问题出在--pipe参数上：GNU Parallel的--pipe会将输入流分割成多个数据块，分别分配给不同的并行任务。这导致每个任务里的sha256sum和sha512sum只处理了文件的一部分内容，自然无法得到正确的完整文件哈希值。

方案1：用tee分流（推荐，无需依赖Parallel） #

tee命令可以将输入流同时复制到多个输出目标，完美实现"一次读取S3文件，同时计算两个哈希"的需求，且会阻塞到两个计算都完成：

aws s3 cp s3://bucket-name/large-file - \
| tee >(sha256sum > /tmp/sha256.txt) >(sha512sum > /tmp/sha512.txt) > /dev/null

• >(...)是进程替换语法，会创建匿名管道，让tee把输入同时传给两个哈希计算进程
• 最后> /dev/null是丢弃tee的主输出，避免冗余内容
• 整个命令会等待两个哈希计算进程全部完成后才退出，满足阻塞要求

方案2：用GNU Parallel的--tee参数 #

如果你一定要用Parallel，需要替换--pipe为--tee，让Parallel将完整输入流复制给每个任务，而不是分割数据块：

aws s3 cp s3://bucket-name/large-file - \
| parallel -j2 --halt now,fail=1 --will-cite --tee '{}' ::: 'sha256sum >/tmp/sha256.txt' 'sha512sum >/tmp/sha512.txt'

• --tee参数会让Parallel把输入完整转发给每个并行任务，确保每个哈希命令都能处理整个文件流
• -j2控制同时运行2个任务，--halt now,fail=1保证任一任务失败立即终止

执行完命令后，可以用以下方式验证哈希正确性：

# 对比sha256结果
aws s3 cp s3://bucket-name/large-file - | sha256sum
cat /tmp/sha256.txt

# 对比sha512结果
aws s3 cp s3://bucket-name/large-file - | sha512sum
cat /tmp/sha512.txt

内容的提问来源于stack exchange，提问作者bzo