AWS Glue中PySpark写入少量数据到S3耗时过长的优化咨询

关于PySpark懒执行的疑惑解答 #

PySpark的懒执行机制是：所有转换操作（如filter、select）仅会构建逻辑执行计划，不会立即触发数据计算。你感知到的“过滤等前置步骤仅需数分钟”，其实只是Glue生成作业执行计划的时间，真正的数据读取、过滤计算都是在调用write这个行动操作时才开始执行的。控制台显示的“写入耗时超45分钟”，实际包含了整个DAG（从读数据到过滤再到写入）的执行时间，并非单纯写入8行数据的时间。

优化方案 #

1. 缓存过滤后的小数据集并提前触发计算 #

过滤后仅剩余8行数据，完全可以缓存到内存中，避免写入时重复执行整个读取过滤流程：

# 执行多轮过滤得到结果
filtered_df = raw_df.filter(...)
# 缓存数据集
filtered_df.cache()
# 触发缓存计算（强制执行过滤逻辑并将结果存入内存）
filtered_df.count()
# 执行写入操作
filtered_df.write.format("parquet").save("s3://your-target-path")

2. 强制合并分区为1 #

Spark/Glue默认会保留上游数据的分区数（即使过滤后数据极少），大量空分区的写入会产生额外开销。手动合并分区：

# coalesce不会触发shuffle，比repartition更高效
filtered_df.coalesce(1).write.format("parquet").save("s3://your-target-path")

3. 调整Spark并行度配置 #

针对小数据集，降低shuffle分区数可以减少不必要的任务开销：

# 在写入前设置shuffle分区数为1
spark.conf.set("spark.sql.shuffle.partitions", 1)
filtered_df.write.format("parquet").save("s3://your-target-path")

4. 避免转为Pandas DataFrame #

将分布式DataFrame转为Pandas会把所有数据拉到Driver节点，反而增加序列化、数据传输的开销，直接使用Spark原生写入更高效。

5. 检查Glue Catalog元数据更新（若写入Glue表） #

如果是写入Glue托管表，Glue会自动更新Catalog元数据，这一步可能额外耗时。可以尝试直接写入S3路径而非Glue表，验证是否是元数据更新导致的延迟。

内容的提问来源于stack exchange，提问作者sjain24