Google Cloud Dataproc自动扩缩容集群无法自定义Spark应用名称

可能原因及对应解决方案 #

1. 集群级配置覆盖了会话指定的应用名 #

Dataproc自动扩缩容集群可能默认在集群属性里设置了spark.app.name参数，优先级高于你在Spark Session中指定的值。

• 检查集群配置：登录GCP控制台进入集群详情，查看Spark标签下是否存在spark.app.name=PySparkShell的配置，若有则删除该配置，或修改为你需要的默认名称。
• 强制在会话中覆盖配置：创建Spark Session时显式添加config参数确保生效：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder \
      .appName("modddddddd") \
      .config("spark.app.name", "modddddddd") \
      .getOrCreate()
  

2. Notebook初始化脚本固定了应用名 #

自动扩缩容集群的Notebook初始化脚本可能硬编码设置了PySparkShell作为默认应用名。

• 检查自定义初始化动作：查看集群的初始化脚本，若存在spark.app.name=PySparkShell的配置，移除该命令或允许会话级配置覆盖。
• 重启Spark Session：在Notebook开头先停止现有会话，再重新创建指定应用名的会话：

  spark.stop()
  spark = SparkSession.builder.appName("modddddddd").getOrCreate()
  

3. 自动扩缩容节点未正确传递应用名参数 #

新增Worker节点时，可能没有正确传递会话的应用名配置，导致History Server读取到默认值。

• 提交作业时显式指定名称：如果用spark-submit提交作业，加上--name modddddddd参数。
• 检查集群模板配置：确认自动扩缩容集群模板中没有spark.driver.extraJavaOptions等参数干扰应用名传递。

4. Spark History Server日志解析差异 #

自动扩缩容集群的History Server可能因日志存储路径或解析配置不同，导致应用名读取异常。

• 对比两个集群的History Server配置：检查spark.history.fs.logDirectory是否一致，确保自动扩缩容集群的日志目录下，应用日志包含正确的spark.app.name字段。

内容的提问来源于stack exchange，提问作者benji