如何在DataprocClusterCreateOperator中传入DPMS配置

根据你使用的Google Cloud Apache Airflow provider版本不同，传参方式分两种：

• 如果你用的是apache-airflow-providers-google 4.0.0及以上版本，算子已经原生封装了DPMS配置参数，直接传dataproc_metastore_config即可，参数值为符合Dataproc API规范的字典结构，核心必填项是DPMS服务的完整资源路径。
  参考代码：

  from airflow.providers.google.cloud.operators.dataproc import DataprocClusterCreateOperator
  
  create_cluster_with_dpms = DataprocClusterCreateOperator(
      task_id="create_dataproc_cluster",
      project_id="替换为你的GCP项目ID",
      cluster_name="替换为你的集群名",
      region="替换为集群所在区域",
      num_workers=2,
      # DPMS原生配置参数
      dataproc_metastore_config={
          "dataprocMetastoreService": "projects/你的GCP项目ID/locations/DPMS所在区域/services/你的DPMS实例名",
          # 可选配置：指定Hive元存储版本等
          "hiveMetastoreConfig": {
              "version": "3.1.2"
          }
      }
  )
  

• 如果你用的是apache-airflow-providers-google 3.x及更早版本，没有封装独立的DPMS参数，需要把配置嵌套在cluster_config的metastoreConfig字段下传入，不要放错层级。
  参考代码：

  create_cluster_with_dpms = DataprocClusterCreateOperator(
      task_id="create_dataproc_cluster",
      project_id="替换为你的GCP项目ID",
      cluster_name="替换为你的集群名",
      region="替换为集群所在区域",
      num_workers=2,
      cluster_config={
          # DPMS配置放在cluster_config的一级字段下
          "metastoreConfig": {
              "dataprocMetastoreService": "projects/你的GCP项目ID/locations/DPMS所在区域/services/你的DPMS实例名"
          },
          # 其余集群配置照常填写
          "master_config": {
              "num_instances": 1,
              "machine_type_uri": "n1-standard-2"
          },
          "worker_config": {
              "num_instances": 2,
              "machine_type_uri": "n1-standard-2"
          }
      }
  )
  

常见传参失败的踩坑点 #

• 不要把DPMS关联配置写到software_config的properties字段下，这个位置是用来传Hive、Spark等组件的运行参数的，无法触发集群和DPMS实例的绑定逻辑
• DPMS实例和目标Dataproc集群必须处于同一区域、同一VPC网络下，否则参数正确也会创建失败
• 传入的DPMS服务名必须是完整的资源路径，不要只填DPMS实例的短名，否则API无法定位到目标资源
• 确保Dataproc集群绑定的服务账号拥有dataproc.metastores.use权限，有权限访问目标DPMS实例

内容的提问来源于stack exchange，提问作者cloud_anny