如何执行Google存储桶中含curl指令的bash文件并将内容直接存入桶中？

方案1：修改原脚本实现直接上传 #

你的核心问题在于原脚本里的curl命令是将内容写入本地文件，需要把这些命令改成直接通过管道将curl输出上传到GCS，不落地本地。

1. 临时下载原脚本到本地修改（仅修改脚本本身，不保留下载的目标文件）：

gsutil cp gs://bucket/my_file.sh ./my_file.sh

2. 编辑my_file.sh，把每个类似下面的curl命令：

curl https://example.com/file1.zip > file1.zip
curl https://example.com/file2.tar.gz > ./downloads/file2.tar.gz

替换成：

curl https://example.com/file1.zip | gsutil cp - gs://bucket/folder_to_copy_to/file1.zip
curl https://example.com/file2.tar.gz | gsutil cp -d - gs://bucket/folder_to_copy_to/downloads/file2.tar.gz

说明：-d参数会让gsutil自动创建目标路径中的子目录，无需手动执行gsutil mkdir

3. 把修改后的脚本传回GCS并清理本地临时文件：

gsutil cp ./my_file.sh gs://bucket/my_file.sh
rm ./my_file.sh

4. 直接执行GCS上的脚本：

gsutil cp gs://bucket/my_file.sh - | bash

方案2：不修改原脚本，动态替换输出逻辑 #

如果不想修改原脚本，可以通过sed在执行时动态替换curl的输出语句，让内容直接上传到GCS：

针对> 文件名格式的curl命令 #

gsutil cp gs://bucket/my_file.sh - | sed 's/>\s*\([^ ]*\)/| gsutil cp - gs:\/\/bucket\/folder_to_copy_to\/\1/' | bash

这个命令会把脚本里所有> 文件名的结构，替换成| gsutil cp - gs://bucket/folder_to_copy_to/文件名，让curl的输出直接通过管道传给gsutil完成上传。

针对-O自动命名格式的curl命令 #

如果脚本里用了curl -O（自动以URL中的文件名保存），可以用下面的规则替换：

gsutil cp gs://bucket/my_file.sh - | sed 's/curl \(.*\) -O/curl \1 | gsutil cp - gs:\/\/bucket\/folder_to_copy_to\/$(basename \1)/' | bash

关键注意事项 #

• 确保当前环境已配置GCS读写权限，可通过gsutil ls gs://bucket/folder_to_copy_to验证
• 如果脚本中有批量下载或复杂curl参数，建议先单独测试单条命令验证逻辑
• 避免脚本中出现本地文件操作（如mv、rm本地文件），确保全程无本地文件留存

内容的提问来源于stack exchange，提问作者Tom