执行gsutil批量拷贝命令失败,提示设备空间不足,请求协助
解决gsutil拷贝时磁盘空间不足导致跟踪文件写入失败的问题
问题原因
执行拷贝命令时,gsutil会在/root/.gsutil/tracker-files/目录生成断点续传跟踪文件,当前该目录所在磁盘空间耗尽,无法继续写入跟踪文件,导致拷贝中断。
解决方案
1. 清理旧跟踪文件释放空间
直接删除tracker-files目录下的所有旧跟踪文件,这些文件是之前拷贝任务遗留的无用文件:
rm -rf /root/.gsutil/tracker-files/*
清理后重新执行原拷贝命令即可。
2. 迁移跟踪文件到有足够空间的磁盘
如果/root所在磁盘本身空间不足,可将跟踪文件目录迁移到其他剩余空间充足的磁盘:
- 先在目标磁盘创建新的跟踪目录(示例路径为
/mnt/large_disk/gsutil_tracker,需替换为实际存在的大空间路径):mkdir -p /mnt/large_disk/gsutil_tracker - 编辑gsutil的配置文件(通常为
~/.boto),在[GSUtil]区块添加或修改以下配置:tracker_dir = /mnt/large_disk/gsutil_tracker - 保存配置后重新执行拷贝命令。
3. 临时禁用断点续传(仅适合稳定网络场景)
如果不需要断点续传功能,可直接指定跟踪文件目录为/dev/null跳过跟踪文件写入,这种方式中断后需重新从头拷贝:
gsutil -m cp -r -o GSUtil:tracker_dir=/dev/null $train_data_gcs_path train_data/
4. 确认目标目录磁盘空间
同时检查train_data所在磁盘是否有足够空间容纳105GB数据,避免后续拷贝到目标路径时再次触发空间不足:
df -h train_data/
内容的提问来源于stack exchange,提问作者parul kalamkar
相关产品推荐
相关产品推荐

