如何获取Google Cloud Storage文件夹中所有图片的gsutil URI并生成CSV

可以通过gsutil命令结合简单的过滤/重定向操作，一次性生成包含所有图片GS URI的CSV文件，具体步骤如下：

• 步骤1：确认gsutil已配置完成
  确保你已经安装Google Cloud SDK，且通过gcloud auth login完成身份验证，拥有目标存储桶的访问权限。

• 步骤2：递归列出所有图片文件的GS URI
  使用gsutil ls的递归参数-r，结合通配符匹配图片文件后缀，直接输出符合条件的文件URI：

  # 匹配常见小写后缀的图片格式，可按需增删格式类型
  gsutil ls -r gs://你的存储桶名称/**/*.{jpg,jpeg,png,gif,bmp}
  

  如果需要匹配大小写混合的后缀（比如.JPG、.PNG），可以结合grep做不区分大小写的过滤：

  gsutil ls -r gs://你的存储桶名称/ | grep -iE "\.(jpg|jpeg|png|gif|bmp)$"
  

• 步骤3：将结果保存为CSV文件
  直接把命令输出重定向到CSV文件即可，每行对应一个GS URI，符合单列CSV的格式要求：

  # 示例：匹配小写后缀并保存
  gsutil ls -r gs://你的存储桶名称/**/*.{jpg,jpeg,png,gif} > image_uris.csv
  
  # 示例：不区分大小写匹配并保存
  gsutil ls -r gs://你的存储桶名称/ | grep -iE "\.(jpg|jpeg|png|gif)$" > image_uris.csv
  

• 额外说明

  • 若存储桶内文件数量极大，命令执行时间会相应延长，请耐心等待。
  • 如需排除特定文件夹，可在路径中添加排除规则，比如gsutil ls -r gs://你的存储桶名称/**/*.png !gs://你的存储桶名称/需排除的文件夹/**。

内容的提问来源于stack exchange，提问作者Nitya Rakhe