Dataproc暂存桶子文件夹生命周期策略可行性问询

当前配置的生命周期策略不可行，问题出在以下两点：

1. 前缀格式错误
   GCS生命周期规则的matchesPrefix仅支持精确前缀匹配，不允许使用**这类通配符。你配置的前缀**google-cloud-dataproc-metainfo/d0decf20-21fd-4536-bbc4-5a4f829e49bf/jobs/digi--**中的**会被当作前缀的一部分，无法匹配到实际的日志对象。

2. 路径匹配准确性待确认
   从你给出的日志路径示例来看，路径存在重复的google-cloud-dataproc-metainfo/[集群ID]/jobs段，需要确保你设置的前缀与日志对象的实际路径开头完全一致。比如实际日志对象路径如果是google-cloud-dataproc-metainfo/d0decf20-21fd-4536-bbc4-5a4f829e49bf/jobs/digi--xxx，那么前缀需要对应这个路径的开头部分。

修正后的配置示例 #

去掉前缀中的**，调整为符合GCS规则的格式：

lifecycle_config:
  rule:
  - action:
      type: Delete
    condition:
      age: 1
      matchesPrefix:
      - google-cloud-dataproc-metainfo/d0decf20-21fd-4536-bbc4-5a4f829e49bf/jobs/digi--

额外注意事项 #

• 该前缀仅匹配当前指定集群ID下的日志，后续新建Dataproc集群会生成新的集群ID，若要覆盖新集群的同前缀日志，需要在matchesPrefix列表中添加对应新集群的路径前缀。
• 可以通过以下命令验证前缀是否能匹配到目标日志对象：

gcloud storage objects list gs://eu-digi-pipe-dataproc-stage --prefix="google-cloud-dataproc-metainfo/d0decf20-21fd-4536-bbc4-5a4f829e49bf/jobs/digi--"

内容的提问来源于stack exchange，提问作者Vikrant Singh Rana