AWS Glue 5.0 PySpark读取PostgreSQL写入S3任务无法结束排查

核心问题分析 #

1. JDBC读取单分区瓶颈：未指定JDBC分区参数时，Spark会用单线程从PostgreSQL拉取全量数据，所有数据集中在单个executor，导致该executor内存/CPU耗尽、GC停顿过长，触发executor heartbeat error。38M数据刚好在单executor处理能力范围内，59M数据突破阈值引发异常。
2. 过度分区导致任务超时：repartition(10000)将100GB数据拆分为10000个极小分区（单分区~10MB），大量分区的调度、初始化、IO开销累加，导致任务运行时间急剧拉长。
3. Worker资源匹配不合理：G4.X是GPU优化实例，若任务无GPU需求，CPU/内存配比无法最大化Spark数据处理效率；12DPUs的并行能力不足以支撑不合理的分区数。

具体解决步骤 #

1. 修复JDBC并行拉取问题（根源解决单分区） #

在读取PostgreSQL时，指定分区参数让Spark并行拉取数据，避免单分区瓶颈：

df = spark.read.format("jdbc") \
    .option("url", "jdbc:postgresql://<rds-endpoint>:5432/<db-name>") \
    .option("dbtable", "<target-table>") \
    .option("user", "<db-user>") \
    .option("password", "<db-password>") \
    .option("partitionColumn", "<distribution-column>")  # 选分布均匀的列，如自增ID、转数值后的创建时间
    .option("lowerBound", "<min-value-of-column>") \
    .option("upperBound", "<max-value-of-column>") \
    .option("numPartitions", "60")  # 建议设为worker总核心数的2-3倍（3个G4.X共24vCPU，24*2.5=60）
    .load()

• 注意：partitionColumn必须是数值型或可转为数值的日期列，避免数据倾斜。
• 可选：添加过滤条件（如where created_at >= '2024-01-01'）减少单次读取的数据量。

2. 调整分区数到合理范围 #

删除repartition(10000)，根据数据量设置合理分区数，建议单分区大小控制在1-2GB：

# 基于读取后的并行分区，调整为匹配Worker能力的数量（如60）
df = df.repartition(60)

• 分区数过多会增加调度开销，过少会导致单个executor负载过高，需根据数据量和Worker配置灵活调整。

3. 优化Glue Worker配置 #

• 更换Worker类型：若无需GPU，改用CPU优化实例（如G.1X、G.2X），其CPU/内存配比更适配Spark数据处理，减少资源浪费。
• 增加Worker数量：当前3个G4.X（12DPUs）可提升至4-6个（16-24DPUs），增强并行处理能力。
• 配置Spark参数：在Glue作业的参数中添加以下配置，优化executor资源与心跳：

  --conf spark.executor.heartbeatInterval=60s
  --conf spark.network.timeout=300s
  --conf spark.executor.memoryOverhead=4096m  # G4.X单实例64GB内存，executor内存设为16GB时，overhead建议4GB
  --conf spark.sql.shuffle.partitions=60  # 与repartition数一致，避免shuffle时额外分区
  

4. 优化S3分区写入 #

• 动态分区写入配置：确保开启动态分区，合理设置分区列：

  df.write.partitionBy("year", "month", "day") \
      .format("parquet") \
      .option("path", "s3://<your-bucket>/target-path/") \
      .option("mergeSchema", "true") \
      .mode("append")  # 按需选择"overwrite"或"append"
      .save()
  

• 启用小文件合并：通过Glue参数合并写入后的小文件，减少S3存储开销：

  --conf glue.mergePartitionFiles=true
  --conf glue.mergePartitionFiles.maxPartitionBytes=1073741824  # 合并为1GB大小的文件
  

内容的提问来源于stack exchange，提问作者RushHour