AWS Glue作业输出大量小文件的优化方案咨询

是否需要处理小文件问题？ #

如果后续用Athena、Redshift Spectrum或Spark查询这些分区数据，大量小文件会显著增加IO开销，拖慢查询速度；同时S3的请求次数增多也会带来额外成本。除非你的日数据量极小（总大小<10MB）且查询频率极低，否则建议优化。

无需硬编码分区数的优化方案 #

以下方案均适配动态数据量场景，无需手动指定分区数：

• 开启Glue自动合并与性能优化参数
  在Glue作业的「作业参数」中添加以下参数，让Glue自动处理小文件：

  --enable-auto-compaction
  --optimize-performance
  

  前者会自动合并输出阶段的小文件，后者会优化Spark的shuffle分区数、自适应调整执行计划，从根源减少小文件生成。

• 启用Spark自适应查询执行（AQE）
  在Glue作业的「Spark配置」中添加以下配置：

  spark.sql.adaptive.enabled=true
  spark.sql.adaptive.coalescePartitions.enabled=true
  spark.sql.adaptive.coalescePartitions.minPartitionSize=64mb
  

  AQE会根据实际数据量自动合并小分区，你可以通过minPartitionSize设置目标文件大小（建议64MB-1GB，适配S3最佳实践），Spark会动态调整最终输出的文件数量。

• 使用Glue Optimize作业合并历史小文件
  针对已生成的小文件，可创建单独的Glue定时作业，调用Glue的Optimize API合并指定分区：

  from awsglue.context import GlueContext
  from pyspark.context import SparkContext
  
  sc = SparkContext()
  glueContext = GlueContext(sc)
  
  # 合并date分区下的小文件，目标文件大小设为128MB
  glueContext.optimizeDataFrame(
      frame=glueContext.create_dynamic_frame.from_catalog(database="your_db", table_name="your_table"),
      path="s3://your-output-bucket/path/",
      partitionKeys=["date"],
      targetFileSize="128MB"
  )
  

  这个作业可以每天在批量任务完成后运行，专门清理当日的小文件。

• 切换为列式存储格式并开启压缩
  输出时选择Parquet或ORC格式，这类格式本身支持高效压缩与合并。在Glue可视化工具的「数据目标」配置中，设置：

  • 文件格式：Parquet/ORC
  • 压缩算法：Snappy/Gzip
    压缩后的单文件体积更大，自然减少文件数量，同时还能降低存储成本、提升查询性能。

• 动态调整Glue作业并行度
  根据输入数据量的波动，调整作业的WorkerType和NumberOfWorkers：

  • 数据量较大时，选用G.2X/G.4X这类大规格Worker，每个Worker处理的数据量更多，输出文件更大
  • 开启Glue的「自动缩放」功能，让作业根据负载自动调整Worker数量，避免因并行度过高生成过多小文件

内容的提问来源于stack exchange，提问作者guylot