如何在PySpark代码中获取运行所在的Dataproc集群名称？

当然可以获取，以下是最直接的实现方式：

• 读取Spark内置配置属性
  Dataproc集群会自动将自身名称注入到Spark的配置属性spark.dataproc.cluster.name中，你可以直接通过SparkContext读取这个属性：

  from pyspark.sql import SparkSession
  
  # 初始化或获取已有的SparkSession
  spark = SparkSession.builder.getOrCreate()
  # 从配置中提取集群名称
  cluster_name = spark.sparkContext.getConf().get("spark.dataproc.cluster.name")
  # 打印或使用集群名称
  print(f"当前运行的Dataproc集群名称: {cluster_name}")
  

这个方法无需额外依赖，仅适用于在Dataproc集群上运行的PySpark作业，因为该配置属性是Dataproc环境特有的。

内容的提问来源于stack exchange，提问作者djgcp