如何通过Google Cloud CLI列出GCS存储桶特定日期的文件？

针对你需要判断GCS存储桶中当日文件是否存在、进而决定是否运行ETL的需求，可以通过以下几种gsutil命令实现：

1. 列出指定日期的文件 #

因为你的文件会每日覆盖，覆盖后的对象创建时间就是更新后的当日时间，所以可以通过筛选创建时间来定位目标文件：

方法一：用gsutil ls -l配合过滤 #

-l参数会显示对象的创建时间、大小等详细信息，结合grep筛选指定日期：

# 替换your-bucket-name为你的存储桶名，2024-05-20为目标日期
gsutil ls -l gs://your-bucket-name/** | grep "2024-05-20"

**表示递归遍历桶内所有子目录，若只需查询特定目录，改为gs://your-bucket-name/target-folder/**即可。

方法二：用gsutil stat精准提取 #

gsutil stat会输出每个对象的完整元数据，通过awk过滤创建时间并提取对象路径：

gsutil stat gs://your-bucket-name/** | awk '/Creation time:/ {if ($4 == "2024-05-20") print prev} {prev=$0}'

2. 检查当日文件是否存在（ETL前置判断） #

如果不需要列出所有文件，仅需判断当日文件是否生成，可使用更简洁的命令，利用返回值做脚本判断：

# 自动获取当前日期，格式为YYYY-MM-DD
if gsutil ls -l gs://your-bucket-name/** | grep -q "$(date +%Y-%m-%d)"; then
  echo "当日文件存在，启动ETL任务"
  # 在这里添加你的ETL执行命令
else
  echo "当日文件未生成，跳过ETL任务"
fi

grep -q会静默执行，只要找到匹配项就返回0（存在），否则返回1（不存在），适合嵌入定时脚本中。

关键注意点 #

• 时区问题：GCS对象的创建时间默认以UTC为准，若你的系统时区是本地时区，需要先将目标日期转换为UTC日期再筛选，或者修改date命令的时区参数（比如date -u +%Y-%m-%d获取UTC日期）。
• 性能优化：如果桶内对象数量极多，递归遍历会较慢，可考虑启用Cloud Storage Inventory生成每日对象清单，再通过清单文件查询，效率更高。

内容的提问来源于stack exchange，提问作者Kumar V