Google Cloud Dataflow UI调度触发INVALID_ARGUMENT错误求助

我开发了一个Python Dataflow管道，逻辑是从Cloud Storage读取文件、移除指定列后将结果写入BigQuery。本地使用Dataflow Runner运行完全正常，但通过Dataflow UI配置调度任务后，没有创建任何Dataflow作业，Cloud Scheduler日志中抛出INVALID_ARGUMENT错误，HTTP状态码400。

报错日志如下：

{
  "insertId": "...",
  "jsonPayload": {
    "url": "https://datapipelines.googleapis.com/v1/projects/.../locations/europe-west1/pipelines/cloudpipeline:run",
    "jobName": "projects/.../locations/europe-west1/jobs/...",
    "@type": "type.googleapis.com/google.cloud.scheduler.logging.AttemptFinished",
    "targetType": "HTTP",
    "status": "INVALID_ARGUMENT"
  },
  "httpRequest": {
    "status": 400
  },
  "resource": {
    "type": "cloud_scheduler_job",
    "labels": {
      "location": "europe-west1",
      "project_id": "...",
      "job_id": "..."
    }
  },
  "timestamp": "2022-11-01T10:45:00.657145402Z",
  "severity": "ERROR",
  "logName": "projects/.../logs/cloudscheduler.googleapis.com%2Fexecutions",
  "receiveTimestamp": "2022-11-01T10:45:00.657145402Z"
}

我尝试在代码中添加日志但无输出，说明错误在代码执行前触发；已移除所有可选参数，仍无法解决。

排查方向 #

• 核对调度请求参数：检查Cloud Scheduler触发请求中的参数格式，比如项目ID、存储桶路径、BigQuery数据集名称是否存在拼写错误，参数值是否包含未转义的特殊字符。
• 验证服务账号权限：确认Cloud Scheduler使用的服务账号拥有dataflow.jobs.create、datapipelines.pipelines.run权限，同时具备Cloud Storage读取和BigQuery写入的完整权限（本地运行用个人账号，调度用服务账号，权限范围可能不同）。
• 检查区域一致性：确保Dataflow管道、Cloud Scheduler任务、Cloud Storage存储桶、BigQuery数据集的区域统一（当前日志显示区域为europe-west1），跨区域调用可能触发参数校验失败。
• 验证模板配置：若使用管道模板部署，确认模板生成时的参数定义与调度时传入的参数完全匹配，无必填参数遗漏或类型不匹配。
• 手动触发测试：在Dataflow UI中手动点击「运行」按钮，若手动运行正常，说明调度配置存在问题；若手动也失败，需排查管道本身的基础配置。
• 查看系统级日志：在Dataflow控制台的管道详情页，查看调度触发阶段的系统日志，可能会有更详细的错误细节。

内容的提问来源于stack exchange，提问作者コーディング 上手