如何确保Dataflow日志写入GCP存储桶？

一、创建Dataflow作业时配置日志存储 #

• 通过Google Cloud Console创建：进入作业创建页面后，找到「日志选项」区域，勾选「将日志写入Cloud Storage」，输入目标存储桶路径（格式示例：gs://your-bucket-name/logs/）。
• 使用gcloud命令行提交作业：添加日志相关参数，示例命令如下：

gcloud dataflow jobs run YOUR_JOB_NAME \
  --gcs-location gs://dataflow-templates/latest/Word_Count \
  --parameters inputFile=gs://dataflow-samples/shakespeare/kinglear.txt,output=gs://your-bucket/output \
  --experiments=enable_stackdriver_logging \
  --worker-logging-overrides='{"WORKER": "gs://your-bucket-name/logs/worker*"}'

• 通过Dataflow API配置：在作业请求的environment字段中添加workerLoggingConfig，指定gcsPath参数指向目标存储桶。

二、修改现有运行中作业的日志配置 #

仅处于运行状态的作业支持修改，操作步骤：

1. 打开Cloud Console的Dataflow作业列表，进入目标作业的详情页。
2. 点击页面上的「编辑」按钮，在弹出的配置窗口中找到日志选项，勾选并设置存储桶路径后保存。

三、权限检查 #

确保Dataflow的服务账号拥有存储桶的写入权限：

• Dataflow服务账号格式通常为service-<你的项目编号>@dataflow-service-producer-prod.iam.gserviceaccount.com
• 给该账号添加「Storage Object Creator」角色，确保它拥有storage.objects.create和storage.objects.list权限。

四、验证日志写入结果 #

• 直接访问指定的存储桶路径，查看是否生成以worker或service开头的日志文件。
• 使用命令行验证：执行gsutil ls gs://your-bucket-name/logs/，确认输出中存在日志文件。

内容的提问来源于stack exchange，提问作者TEJAS