如何使用MinIO Client跨桶复制指定对象列表并保留完整对象前缀

我完全懂你现在的困扰——想用MinIO Client复制指定的一批对象到另一个桶，既要保留完整的前缀路径，又不想用慢得离谱的循环，更不想因为批量命令丢了前缀或者覆盖重名对象。之前踩过的坑我也深有体会，下面给你两个靠谱的解决方案，尤其是第一个，能直接解决速度和前缀的问题：

方法一：用mc mirror结合匹配列表（推荐，速度拉满） #

mc mirror本来是用来同步桶的，但它支持通过--include-from参数指定精确的对象列表，而且默认会用服务器端复制（同区域的桶之间直接在存储端复制数据，完全不走你的本地节点），速度和你提到的mc mirror满速状态一致，还能完美保留对象的完整前缀。

具体步骤：

1. 先把你的objects.txt转换成精确匹配的模式文件
   因为mc mirror的--include-from接受正则模式，我们给每个对象键前后加上^和$，确保只会复制完全匹配的对象，不会误复制前缀相似的其他文件：

sed 's/^/^/; s/$/$/' objects.txt > patterns.txt

转换后的patterns.txt内容会是这样：

^a/b/1.txt$
^c/2.txt$
^d/e/3.txt$
^f/1.txt$

2. 执行镜像同步命令
   只复制列表里的对象到目标桶，保留完整键：

mc mirror --include-from=patterns.txt s3/A s3/B

• 这个命令只会复制A桶中匹配patterns.txt里模式的对象，完全不会碰其他文件
• 因为用了服务器端复制，速度能达到mc mirror的满速（你说的1GiB/s级别）
• 完美保留每个对象的完整前缀，不会出现只复制文件名的情况

方法二：优化循环调用，减少容器开销（备用方案） #

如果因为某些限制没法用mc mirror，那可以优化你原来的循环，解决容器化mc每次启动慢的问题：

原来的循环每次调用mc都会启动一个新的Singularity容器，开销极大。我们可以把整个循环放到容器内部执行，只启动一次容器：

singularity exec mc.sif bash -c '
while read -r object; do
  mc cp s3/A/"$object" s3/B/"$object"
done <objects.txt
'

另外，如果你的MinIO Client版本比较新（RELEASE.2021-06-13T17-48-22Z及以后），可以加上--server-side参数强制使用服务器端复制，进一步提升速度：

singularity exec mc.sif bash -c '
while read -r object; do
  mc cp --server-side s3/A/"$object" s3/B/"$object"
done <objects.txt
'

为什么你之前的方法会失败？ #

你用的mc cp $(sed 's,^,s3/A/,' objects.txt) s3/B这种写法，mc cp会把所有源对象当成“本地文件”来处理，复制到桶时自动提取文件名（也就是路径的最后一段）作为目标对象的键，所以前缀全被剥离了，重名的文件还会被覆盖。这种写法只适合本地文件上传或者桶文件下载，不适合跨桶保留完整路径的批量复制。

备注：内容来源于stack exchange，提问作者Konrad Rudolph