如何为Jupyter Notebook的PySpark内核设置自定义spark.app.name

这个问题确实挺常见的——默认情况下，PySpark在Jupyter里启动的应用都会用PySparkShell这个通用名称，多Notebook并行运行时根本分不清哪个对应哪个。下面给你几个实用的解决方法，按需选择就好：

方法一：在Notebook内手动指定Spark应用名称 #

这是最灵活的方式，每个Notebook可以设置独立的专属名称，步骤非常简单：

在你初始化SparkSession（或者旧版的SparkContext）的时候，通过appName()方法直接指定自定义名称：

from pyspark.sql import SparkSession

# 初始化SparkSession时设置自定义应用名
spark = SparkSession.builder \
    .appName("用户行为分析_Notebook")  # 替换成你的自定义名称
    .getOrCreate()

如果还在使用SparkContext，写法类似：

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("数据预处理任务")
sc = SparkContext(conf=conf)

设置完成后刷新Spark Web UI，就能看到这个Notebook对应的应用已经显示你设置的名称了。

方法二：全局配置Jupyter的PySpark默认应用名 #

如果你希望所有Jupyter启动的PySpark应用都用统一的前缀或者默认名称，可以通过修改环境变量实现：

方式A：启动Jupyter时临时设置 #

在终端启动Jupyter前，先设置PYSPARK_SUBMIT_ARGS环境变量，指定默认应用名称：

PYSPARK_SUBMIT_ARGS="--name 默认_Jupyter_Spark应用 pyspark-shell" jupyter notebook

这样所有通过这个Jupyter实例启动的PySpark应用，默认都会用你设置的名称。

方式B：永久配置到Jupyter #

先运行jupyter notebook --generate-config生成配置文件，然后打开jupyter_notebook_config.py，添加以下代码：

import os
# 设置全局默认的PySpark应用名称
os.environ['PYSPARK_SUBMIT_ARGS'] = '--name "Jupyter_PySpark_应用" pyspark-shell'

保存后，每次启动Jupyter都会自动应用这个配置。

方法三：结合YARN集群全局配置（可选） #

如果你的集群有统一的应用命名规范，也可以在Spark的全局配置文件spark-defaults.conf中设置应用名模板：

spark.app.name Jupyter_Spark_${USER}_${timestamp}

不过这种方式会让所有PySpark应用都遵循这个模板（包括非Jupyter启动的），所以需要根据集群需求权衡使用。

注意事项 #

• 应用名称必须在SparkSession/SparkContext初始化前设置，初始化后再修改是无效的；
• 在YARN集群上，修改后的名称会同步显示在Spark Web UI和YARN ResourceManager UI中，方便快速区分不同Notebook任务。

内容的提问来源于stack exchange，提问作者Zohar Meir