使用Apache Beam SDK创建Google Cloud Dataflow作业后能否删除GCS临时文件？

问题背景 #

已创建用于将Google Dialogflow日志详情同步至BigQuery的Dataflow作业，作业配置中指定了Cloud Storage（GCS）作为临时存储桶。现咨询：通过Apache Beam SDK创建该Dataflow作业后，是否可以删除GCS存储桶中的临时文件？

解答 #

• 作业运行期间：禁止删除临时文件
  Dataflow运行时会依赖这些临时文件处理中间计算结果、存储作业状态、实现容错恢复机制（比如Worker节点故障时重新加载状态）。如果在作业运行中删除临时文件，会直接导致作业执行失败，出现数据丢失或任务中断的情况。

• 作业完成/终止后：可以安全删除
  当Dataflow作业成功完成、被手动终止或进入失败状态后，这些临时文件就不再被使用了，此时可以直接删除GCS存储桶中的临时文件。为了简化操作，也可以给GCS存储桶配置生命周期规则，设置在作业结束后的指定天数自动清理临时文件（比如设置创建后7天删除），避免手动操作的麻烦。

内容的提问来源于stack exchange，提问作者SarangRN