提交Dataproc Serverless批处理作业时InactiveRpcError排查求助

问题现象 #

提交Dataproc Serverless批处理请求时，频繁触发以下gRPC错误：

grpc._channel._InactiveRpcError: <_InactiveRpcError of RPC that terminated with:
    status = StatusCode.INVALID_ARGUMENT
    details = "Request contains an invalid argument."
    debug_error_string = "UNKNOWN:Error received from peer ipv4:**** {grpc_message:"Request contains an invalid argument.", grpc_status:3, created_time:"2024-09-23T20:08:11.385708286+00:00"}"
>

该错误为临时性问题，使用完全相同的参数重试请求即可成功。问题始于上周晚些时候，期间未修改过请求内容或依赖包版本。

当前使用的工具版本：

• apache-airflow-providers-google (10.21.1)：通过Airflow Composer环境提交作业
• google-cloud-dataproc (5.6.0)：通过Python SDK直接提交作业

两种提交方式均出现该失败情况，尝试更新依赖包版本后问题仍未解决；已添加重试机制，但部分场景仍受影响，暂未明确相同参数请求先失败后成功的根因。

临时解决方案 #

1. 配置指数退避重试策略：针对作业提交请求，添加带指数退避的重试逻辑，覆盖更多临时失败场景。比如在Airflow中可这样配置：

   from datetime import timedelta
   from airflow.providers.google.cloud.operators.dataproc import DataprocSubmitJobOperator
   
   submit_dataproc_job = DataprocSubmitJobOperator(
       task_id="submit_dataproc_serverless_job",
       job=your_job_config,
       region="your-region",
       retries=3,
       retry_delay=timedelta(seconds=10),
       retry_exponential_backoff=True
   )
   

2. 留存失败请求日志：记录每次失败请求的时间戳、完整参数、错误堆栈，后续若需要排查根因可提供有效数据。

根因推测 #

这类临时性的INVALID_ARGUMENT错误，大概率和服务端侧的临时异常有关：

• Dataproc Serverless内部资源同步延迟、缓存失效
• gRPC请求传输过程中的偶发数据畸变
• 服务端临时限流或队列拥堵导致的错误返回

由于相同参数重试可成功，说明请求本身参数合法，无需调整请求内容。

内容的提问来源于stack exchange，提问作者Jacob Promisel