Airflow容器本地模式下Spark读取PostgreSQL时出现内存不足错误

核心问题分析 #

本地模式下，Spark的spark.executor.memory和spark.executor.cores配置完全无效——因为该模式中Driver和Executor是同一个JVM进程，所有计算和数据加载都在Driver进程内完成，实际生效的内存配置只有spark.driver.memory。另外，Airflow容器本身的内存配额如果低于你设置的Driver内存，系统会强制限制Spark可用内存，直接引发OOM。

具体解决方案 #

1. 修正Spark配置，匹配容器资源 #

• 移除无效的spark.executor.memory和spark.executor.cores配置，专注调整Driver相关参数
• 确保Airflow容器的可用内存大于spark.driver.memory的设置（建议预留20%的内存给系统进程）
• 可选配置spark.driver.maxResultSize，限制结果集的最大尺寸，避免大结果撑爆内存：

  spark = SparkSession.builder \
          .appName("data pull") \
          .config("spark.driver.memory","24g") \
          .config("spark.driver.maxResultSize","10g") \
          .getOrCreate()
  

2. 分片拉取数据，避免一次性加载全量 #

直接拉取大结果集是内存溢出的主要原因，通过JDBC分片参数将数据分批加载：

• 使用partitionColumn指定分片字段（建议选日期、ID这类有序字段）
• 配合lowerBound、upperBound设置分片范围，numPartitions控制分片数量
  示例代码：

df = spark.read \
     .format("jdbc") \
     .option("url", url) \
     .option("query", "select c1,c2,c3 from t1 where date > '2023-06-01'") \
     .option("partitionColumn", "date") \
     .option("lowerBound", "2023-06-02") \
     .option("upperBound", "2024-01-01") \
     .option("numPartitions", 8) \
     .options(**properties) \
     .load()

这样Spark会自动将查询拆分为8个小任务，每个任务拉取一部分数据，分散内存压力。

3. 优化SQL查询，缩小结果集 #

• 检查是否可以添加更严格的过滤条件，比如按天或小时拆分查询，进一步减少单批次数据量
• 确认只拉取业务必需的字段（你当前已经只选了c1,c2,c3，这一步没问题）

4. 修正代码语法错误 #

你的代码中spark.read()多了冗余的括号，正确写法是spark.read，这个小错误可能导致意外异常。

完整修正代码 #

spark = SparkSession.builder \
        .appName("data pull") \
        .config("spark.driver.memory","24g") \
        .config("spark.driver.maxResultSize","10g") \
        .getOrCreate()

query = "select c1,c2,c3 from t1 where date > '2023-06-01'"

df = spark.read \
     .format("jdbc") \
     .option("url", url) \
     .option("query", query) \
     .option("partitionColumn", "date") \
     .option("lowerBound", "2023-06-02") \
     .option("upperBound", "current_date") \
     .option("numPartitions", 8) \
     .options(**properties) \
     .load()

df.show()

内容的提问来源于stack exchange，提问作者Usman_Ahmed