如何在Jupyter中打印SparkSession/SparkContext的全部配置属性？

打印SparkSession的所有配置 #

如果你已经初始化了SparkSession（通常实例名为spark），可以通过以下代码获取并打印所有配置属性：

# 获取SparkSession的全部配置
spark_configs = spark.conf.getAll()

# 遍历打印每个配置项
for config_key, config_value in spark_configs.items():
    print(f"{config_key}: {config_value}")

打印SparkContext的所有配置 #

如果需要查看SparkContext的配置，可通过sc（或spark.sparkContext）调用配置方法：

# 获取SparkContext的全部配置
sc_configs = sc.getConf().getAll()

# 遍历打印每个配置项
for config_key, config_value in sc_configs:
    print(f"{config_key}: {config_value}")

注意：确保Jupyter环境中已经正确初始化了SparkSession或SparkContext，否则会抛出实例未定义的错误。

内容的提问来源于stack exchange，提问作者Dagang Wei