调用Dataflow REST API创建管道触发400（INVALID_ARGUMENT）错误

问题描述 #

使用Python的requests模块直接调用Dataflow REST API创建管道，基于现有正常运行的管道定义修改后提交请求，始终返回错误：

{'error': {'code': 400, 'message': 'Request contains an invalid argument.', 'status': 'INVALID_ARGUMENT'}}

因Dataflow Python客户端库处于预览阶段不支持管道创建，只能直接调用API，反复核对参数仍无法定位问题。相关代码如下：

body = {'name': 'projects/<project_id>/locations/europe-west1/pipelines/test_name',
 'displayName': 'test_name',
 'type': 'PIPELINE_TYPE_BATCH',
 'state': 'STATE_ACTIVE',
 'workload': {'dataflowFlexTemplateRequest': {'projectId': '<project_id>',
   'launchParameter': {'jobName': 'job_test2',
    'parameters': {'password': '<base64 encoded string>',
     'isTruncate': 'true',
     'useColumnAlias': 'true',
     'serviceAccount': 'censored@censored.iam.gserviceaccount.com',
     'experiments': 'use_runner_v2',
     'driverClassName': 'com.amazon.redshift.jdbc.Driver',
     'connectionProperties': 'autosave=never',
     'workerMachineType': 'n2-highmem-4',
     'bigQueryLoadingTemporaryDirectory': 'gs://censored-temp',
     'connectionURL': '<base64 encoded string>',
     'defaultWorkerLogLevel': 'DEBUG',
     'maxNumWorkers': '2',
     'query': 'select column1 from schema_name.table_name',
     'driverJars': 'gs://censored-assets/redshift-jdbc42-2.1.0.10.jar',
     'username': '<base64 encoded string>',
     'outputTable': '<project_id>:<dataset_name.<table_name>'},
    'containerSpecGcsPath': 'gs://dataflow-templates-europe-west1/latest/flex/Jdbc_to_BigQuery_Flex',
    'environment': {'workerZone': 'europe-west4-a',
     'kmsKeyName': 'projects/<project_id>/locations/global/keyrings/<keyring_id>/<key_id>'}},
   'location': 'europe-west1'}}}


headers = { 'Authorization': f'Bearer {creds.token}',
            'Content-Type': 'application/json; charset=UTF-8'}
response = requests.post(url_create, json=body, headers=headers)

修复与排查步骤 #

• 修正outputTable参数语法错误：代码中outputTable的值存在格式错误，<dataset_name缺少闭合的>，正确格式应为<project_id>:<dataset_name>.<table_name>，这是触发400错误的直接原因。
• 验证编码参数有效性：确认password、connectionURL、username这些base64编码的内容无编码错误，没有多余或缺失字符。
• 检查资源权限与路径：
  • 确认kmsKeyName的路径格式完整，且请求使用的ServiceAccount拥有该KMS密钥的访问权限。
  • 验证serviceAccount具备Dataflow作业运行所需的全部权限，包括BigQuery读写、GCS存储访问、KMS解密等。
• 核对区域配置：检查workerZone（europe-west4-a）与管道所在location（europe-west1）的兼容性，确保无跨区域资源配置冲突。
• 查看详细日志：通过Google Cloud日志查看器获取Dataflow服务端的详细错误日志，可得到更具体的参数无效提示。

内容的提问来源于stack exchange，提问作者RRR