运行Dataflow作业时遭遇Pipeline处理错误的技术求助

问题重现 #

执行的WordCount命令：

python3 -m apache_beam.examples.wordcount \
  --region us-central1 \
  --input gs://dataflow-samples/shakespeare/kinglear.txt \
  --output gs://STORAGE_BUCKET/results/output \
  --runner DataflowRunner \
  --project traffic-prediction-317805 \
  --temp_location gs://STORAGE_BUCKET/temp/

运行后报错：

apache_beam.runners.dataflow.dataflow_runner.DataflowRuntimeException: Dataflow pipeline failed. State: FAILED, Error: Error processing pipeline.

日志仅显示：

2022-10-26 01:26:40.307 BST Error processing pipeline.

具体解决步骤 #

• 替换存储桶占位符：命令中的STORAGE_BUCKET是占位符，必须替换为你自己的GCS存储桶名称（比如my-dataflow-storage），Dataflow无法识别未替换的占位符路径。
• 验证权限配置：确保运行命令的账号拥有以下权限：
  • Dataflow Admin（或至少Dataflow Worker权限）
  • Storage Object Admin（对目标存储桶的读写权限）
  • 项目的Service Account Token Creator权限（用于Dataflow服务账号操作）
• 查看详细错误日志：当前日志过于模糊，登录GCP控制台进入Dataflow作业详情页，查看Worker日志或Job History中的具体错误栈，定位是否是存储桶不存在、配额不足、依赖包缺失等问题。
• 检查区域与配额：确认us-central1区域是否有足够的Dataflow资源配额（比如VM实例数），若配额不足可申请扩容，或切换到其他可用区域。
• 验证临时目录有效性：temp_location指定的GCS路径必须已存在，且账号有写入权限，Dataflow需要该目录存储作业运行中的临时文件。
• 核对Beam SDK版本：确保使用的Apache Beam SDK版本与Dataflow服务兼容，避免因版本不匹配导致的兼容性问题（比如Beam 2.40+对应Dataflow的最新运行环境）。

内容的提问来源于stack exchange，提问作者Emillia-rosette Nlandu