使用$FILE参数删除GCS存储桶文件失败的技术求助

错误原因 #

错误提示的核心是gsutil rm收到了类似file://的本地路径格式，而非合法的GCS路径，根源在于：

• files.txt中的内容是本地文件的完整路径/相对路径（比如./test.bam或/home/user/test.bam）
• 执行gsutil cp $FILE gs://bucket时，gsutil会自动提取本地文件的基础文件名（如test.bam）上传到桶根目录
• 删除时直接拼接$FILE会生成错误的GCS路径（如gs://bucket/./test.bam），要么路径不存在，要么被gsutil误判为本地file://路径，触发报错

而*bam能成功，是因为通配符匹配的是桶内实际存在的纯文件名，而非本地路径。

修正后的脚本 #

mapfile -t files < files.txt
echo "${files[@]}"
# 用双引号包裹数组，兼容含空格的文件名
for FILE in "${files[@]}"; do
  # 提取本地文件的基础文件名
  FILENAME=$(basename "$FILE")
  # 上传时加双引号，避免特殊字符解析错误
  gsutil -u absolute-bison-xxx cp "$FILE" gs://bucket
  # 这里替换为你的分析命令
  # some commands...
  # 使用基础文件名拼接合法的GCS路径
  gsutil rm gs://bucket/"$FILENAME"
done

额外注意事项 #

• 所有变量引用必须加双引号，防止文件名包含空格、特殊字符时出现解析异常
• 如果files.txt里已经是纯文件名仍报错，可能是变量混入了不可见字符，可通过FILENAME=$(echo "$FILE" | xargs)清理

内容的提问来源于stack exchange，提问作者user2300940