PySpark从CSV与PostgreSQL创建DataFrame的内存问题求助

背景与问题重现 #

在Apache PySpark中使用MovieLens数据集，通过两种方式构建Spark DataFrame：

• 使用spark.read.load()直接读取.csv文件：运行正常；
• 将.csv文件导入PostgreSQL服务器后，通过JDBC连接读取SQL表到DataFrame，代码如下：

dataframeList[table] = spark.read.format("jdbc"). \
                            options(
                             url = 'jdbc:postgresql://localhost:5432/movielens_dataset',
                             dbtable = table,
                             user = 'postgres',
                             password = 'postgres',
                             driver = 'org.postgresql.Driver').\
                            load()

通过上述代码循环读取6张表，但对较大的DataFrame调用show(5)时，出现以下错误：

ERROR Executor: Exception in task 0.0 in stage 1.0 (TID 1)
java.lang.OutOfMemoryError: Java heap space

尝试将driver内存调至4/5/6G，但导致Chrome崩溃。当前Spark配置代码如下：

sparkConf.setAppName("My app")
         .set("spark.jars", "postgresql-42.5.0.jar")
         .set("spark.driver.memory", "6g")
spark = SparkSession.builder.config(conf=sparkConf).getOrCreate()

运行环境为Google Chrome中的Jupyter Notebook，笔记本总内存为8GB。

原因解析 #

两种构建方式的核心差异在于数据读取的分区策略与内存分配逻辑：

1. CSV读取的分布式特性：Spark读取CSV时，默认会根据文件大小自动拆分出多个分区，数据分散存储在各个executor节点中，driver仅处理元数据，内存压力极小。
2. JDBC默认读取的单分区问题：未配置分区参数时，Spark通过JDBC读取PostgreSQL表默认采用单分区模式，所有数据会被一次性拉取到driver端处理。调用show(5)时，即使只展示5条数据，Spark也需要先将整个分区的全量数据加载到driver内存后再筛选，大表场景下直接触发OOM。
3. 内存资源竞争：笔记本总内存仅8GB，Chrome+Jupyter本身已占用1-2GB内存，调大driver内存到4G以上时，剩余内存不足以支撑Chrome运行，导致浏览器崩溃。

解决方法 #

1. 优化JDBC读取的分区策略 #

在JDBC读取参数中添加分区配置，指定数值型列作为分区键，拆分多个分区并行读取，将数据分散到executor节点，避免driver一次性加载全量数据。示例代码：

dataframeList[table] = spark.read.format("jdbc"). \
                            options(
                             url = 'jdbc:postgresql://localhost:5432/movielens_dataset',
                             dbtable = table,
                             user = 'postgres',
                             password = 'postgres',
                             driver = 'org.postgresql.Driver',
                             partitionColumn = 'movie_id',  # 根据表中实际数值列调整，如user_id
                             lowerBound = '1',
                             upperBound = '10000',  # 对应partitionColumn的实际取值范围
                             numPartitions = '4').\  # 分区数，根据executor资源调整
                            load()

2. 合理配置Spark内存参数 #

基于8GB总内存，平衡driver、executor和系统进程的内存占用：

sparkConf.setAppName("My app")
         .set("spark.jars", "postgresql-42.5.0.jar")
         .set("spark.driver.memory", "3g")  # 给Chrome和Jupyter预留足够内存
         .set("spark.executor.memory", "2g")  # 分配给executor处理数据的内存
spark = SparkSession.builder.config(conf=sparkConf).getOrCreate()

3. 优化show()操作逻辑 #

先在executor端限制数据量，再拉取到driver展示，避免全量数据加载：

dataframeList[table].limit(5).show()

推荐调优学习资源 #

• Spark官方配置文档：详细讲解spark.driver.memory、spark.executor.memory、spark.executor.memoryOverhead等核心参数的作用、默认值与适用场景，是基础配置的权威参考。
• Spark官方性能调优指南：专门章节覆盖内存管理、分区优化、数据源调优等实战场景，指导如何针对不同业务场景优化Spark作业。
• 《Spark权威指南》：系统讲解Spark内存模型、分布式数据处理逻辑，包含JDBC数据源优化的最佳实践，适合深入学习Spark调优知识。

内容的提问来源于stack exchange，提问作者Avani Jindal