Dataflow SQL作业启动失败：Bad pipeline options错误求助

问题核心原因 #

你的gcloud命令存在两处关键语法错误，导致Dataflow无法识别管道参数，触发Invalid/unsupported arguments for SQL job launch: Bad pipeline options错误。

具体修复步骤 #

1. 修正BigQuery表引用语法 #

Dataflow SQL中引用BigQuery表的正确格式是bigquery.<项目ID>.<数据集ID>.<表名>，你当前命令里多了多余的.table后缀，需要删除：
原错误写法：

bigquery.table.test_project.test_dataset.input_table

修正后：

bigquery.test_project.test_dataset.input_table

2. 移除参数值前的多余空格 #

--job-name= job_name中等号后存在空格，这会被解析为无效参数，需要改为：

--job-name=job_name

3. 可选：清理冗余参数 #

--region和--worker-region都设置为us-central1，属于冗余配置，保留其中一个即可（推荐保留--region）。

修复后的完整gcloud命令 #

gcloud dataflow sql query 'WITH avg_nums AS( SELECT random_numbers FROM bigquery.test_project.test_dataset.input_table ORDER BY RAND() LIMIT 5)SELECT AVG(random_numbers) AS number,current_timestamp() AS date_time FROM avg_nums' \
--job-name=job_name \
--region=us-central1 \
--bigquery-project=test_project \
--bigquery-dataset=test_dataset \
--bigquery-table=test_table \
--max-workers=2 \
--num-workers=1 \
--bigquery-write-disposition=write-append \
--disable-public-ips \
--service-account-email=dataflow_test@test_project.iam.gserviceaccount.com \
--subnetwork=https://www.googleapis.com/compute/v1/projects/test_project/regions/us-central1/subnetworks/test_subnetwork

额外验证点 #

• 确认服务账号dataflow_test@test_project.iam.gserviceaccount.com拥有以下权限：
  • Dataflow Worker角色（roles/dataflow.worker）
  • BigQuery数据读取权限（roles/bigquery.dataViewer）
  • BigQuery数据写入权限（roles/bigquery.dataEditor）
  • 子网访问权限（roles/compute.networkUser）
• 你的SQL查询中RAND()和current_timestamp()都是Dataflow SQL支持的函数，无需额外调整。

内容的提问来源于stack exchange，提问作者Jozef Sykora