2019年后如何在PySpark中设置Hadoop配置参数？

当PySpark移除了_jsc属性后，你可以通过以下几种方式设置Hadoop配置：

1. 初始化SparkSession/SparkContext时全局配置 #

在创建SparkSession或SparkContext之前，通过SparkConf的config方法直接添加Hadoop相关配置，前缀用spark.hadoop.：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("HadoopConfigDemo") \
    .config("spark.hadoop.my.mapreduce.setting", "someVal") \
    .config("spark.hadoop.fs.s3a.access.key", "your-access-key") \
    .getOrCreate()

这种配置会全局生效，对所有后续的Spark操作都适用。

2. 运行时动态修改配置 #

通过SparkContext直接访问hadoopConfiguration对象，动态设置或修改Hadoop参数：

# 获取当前SparkContext
sc = spark.sparkContext
# 设置单个配置项
sc.hadoopConfiguration.set("my.mapreduce.setting", "someVal")
# 获取配置项的值
print(sc.hadoopConfiguration.get("my.mapreduce.setting"))

这种方式可以在Spark应用运行过程中调整配置，修改后的配置会对后续执行的RDD、DataFrame操作生效。

3. 针对特定IO操作临时配置 #

在读写外部存储（如HDFS、S3等）时，通过option方法为当前操作单独设置Hadoop相关参数：

# 读取S3上的CSV文件时临时配置密钥
df = spark.read \
    .option("fs.s3a.access.key", "your-access-key") \
    .option("fs.s3a.secret.key", "your-secret-key") \
    .csv("s3a://your-bucket/path/to/file.csv")

这种配置仅对当前的读写操作生效，不会影响全局配置。

内容的提问来源于stack exchange，提问作者Kagaratsch