GCP实例中gsutil多进程/多线程无法维持CPU使用率及复制速率

我最近在执行一项大规模迁移任务：需要把240万张图片从同区域的多个GCS存储桶复制到一个中心存储桶。

方案迭代过程 #

• 最初我采用单个CSV文件来记录所有待复制文件的路径，但很快发现单进程遍历大文件会出现等待瓶颈，整体效率受限。
• 之后我把这个大CSV拆分成了64个小文件，让每个进程独立遍历对应的小文件，彻底避免了进程间的等待阻塞，并行处理的优势立刻体现出来。

运行环境与初期表现 #

我在一台配备64 vCPU、240GB内存的GCP实例上启动了脚本，前1.5小时的运行状态非常稳定：仅仅75分钟就完成了15.5万个文件的复制，这个初期效率还是挺让人惊喜的。

（注：原内容中关于CPU使用率的记录未完整给出，若后续出现性能波动或问题，可以补充细节进一步排查分析）

内容的提问来源于stack exchange，提问作者Zach