如何使用xargs或parallel实现保留目录结构的并行文件复制并避免目录创建竞争

我太懂你这个痛点了——想靠并行复制拉满吞吐量，结果用cp --parents配合xargs跑的时候，多个进程抢着创建同一个父目录，报错不断；先批量建目录再复制吧，又遇到负载不均，大目录的文件全堆在一两个进程里，最后半天都跑不完。

咱们换个思路解决：不让cp去负责创建目录，而是显式用mkdir -p提前确保目标目录存在。mkdir -p的好处是，即使目录已经被其他进程创建好了，它也不会报错，完美避开竞争问题。同时，我们按文件粒度来并行，再打乱文件顺序，就能让负载更均匀地分配到各个进程。

方案一：用xargs实现批量并行复制 #

这个命令会先打乱所有文件的顺序，然后每次给8个并行进程各分配50个文件，每个文件先创建好目标目录再复制：

find <src> -type f -print0 | shuf -z | xargs -0 -P8 -n50 bash -c '
  dest="<dest>"
  src_prefix="<src>/"
  for file in "$@"; do
    # 提取文件相对于源目录的路径
    relative_path="${file#$src_prefix}"
    dest_file="$dest/$relative_path"
    # 确保目标目录存在（已存在也不会报错）
    mkdir -p "$(dirname "$dest_file")"
    # 复制文件到目标位置
    cp "$file" "$dest_file"
  done
' _

• shuf -z：打乱文件顺序，避免一开始就集中处理同一个目录的文件，让并行负载更均衡
• -P8：开启8个并行进程（可以根据你的CPU核心数调整）
• -n50：每个进程一次处理50个文件，减少进程创建的开销

方案二：用parallel实现更灵活的并行复制 #

如果你的系统装了parallel（比xargs更适合复杂并行场景），可以用更简洁的命令：

find <src> -type f -print0 | shuf -z | parallel -0 -j8 '
  dest_dir="<dest>/$(dirname "${1#<src>/}")"
  mkdir -p "$dest_dir"
  cp "$1" "$dest_dir"
'

• -j8：同样是开启8个并行进程
• parallel会自动帮你处理参数传递，语法比嵌套bash更直观

为什么这个方案比你之前的思路好？ #

你之前先建目录再批量复制的问题，是把并行粒度放在了目录级别，大目录的所有文件都由一个进程处理，自然会出现负载不均。而上面的方案是把并行粒度放在文件级别，即使大目录有几百个文件，也会被打乱后分散到多个进程里，每个进程只处理其中一部分，能充分利用多核的能力。

另外你提到的cpio，其实它也没法避免并行创建目录的竞争问题，还是得靠提前用mkdir -p确保目录存在的思路来解决。

如果需要保留文件的权限、时间戳等属性，把cp换成cp -a就行。

备注：内容来源于stack exchange，提问作者Wang