PySpark无法自动加载spark.properties配置文件问题咨询

PySpark默认不会像Java Spark那样自动读取/opt/spark/conf/spark.properties里的配置，给你几种可靠的解决方式：

方式一：启动PySpark时指定配置文件 #

用pyspark交互式命令或者spark-submit提交作业时，通过--properties-file参数指定配置文件路径：

# 启动交互式PySpark
pyspark --properties-file /opt/spark/conf/spark.properties

# 提交Spark作业
spark-submit --properties-file /opt/spark/conf/spark.properties your_pyspark_script.py

这样启动后，SparkContext会自动加载文件里的所有配置项。

方式二：在代码中手动加载配置 #

如果需要在代码里动态加载配置，可以先读取spark.properties的内容，解析后构建SparkConf，再用这个配置创建SparkContext：

from pyspark import SparkConf, SparkContext
from pyspark.sql import SparkSession

# 初始化SparkConf
conf = SparkConf()

# 读取并解析spark.properties文件
with open('/opt/spark/conf/spark.properties', 'r') as f:
    for line in f:
        line = line.strip()
        # 跳过注释行和空行
        if not line or line.startswith('#'):
            continue
        # 分割配置键值对（处理值中含等号的情况）
        key, value = line.split('=', 1)
        conf.set(key.strip(), value.strip())

# 用配置好的conf创建SparkContext和SparkSession
sc = SparkContext(conf=conf)
spark = SparkSession(sc)

# 验证配置是否加载成功
print(spark.sparkContext.getConf().getAll())

补充说明 #

Java Spark启动时会自动扫描SPARK_CONF_DIR（默认是/opt/spark/conf）下的spark.properties，但PySpark的启动逻辑没有这个自动加载步骤，所以必须通过上面两种方式手动引入配置。

内容的提问来源于stack exchange，提问作者Derek Brown