AWS Glue读写超5万Parquet文件遇性能瓶颈及S3 503问题求助

文件合并与存储优化 #

• 定期合并小文件：当前每个分区约5个文件，总文件量达5万，建议在数据写入阶段通过repartition或coalesce将每个分区合并为1-2个大文件，直接减少S3请求次数与文件元数据处理开销。
• 启用Parquet压缩优化：写入时设置spark.sql.parquet.compression.codec=snappy（兼顾压缩比与速度），降低文件体积，减少IO传输时间。同时按聚合维度（brand、client、日期字段）预分区写入，避免后续聚合时的大量shuffle。

S3请求调优（解决503错误） #

• 调整S3客户端连接配置：增加最大连接数、延长超时时间，应对S3限流。添加以下Spark配置：

  spark.hadoop.fs.s3a.connection.maximum=500
  spark.hadoop.fs.s3a.connection.timeout=30000
  spark.hadoop.fs.s3a.socket.timeout=60000
  

• 开启智能重试机制：配置自动重试与指数退避，让客户端自动处理慢请求：

  spark.hadoop.fs.s3a.retry.max.attempts=10
  spark.hadoop.fs.s3a.retry.backoff.multiplier=2
  

• 启用谓词下推（Predicate Pushdown）：读取时通过push_down_predicate（Glue Dynamic Frame）或option("pushDownPredicate", "true")（Spark DataFrame）让过滤逻辑在S3端执行，减少下载的数据量，降低请求压力。

Spark/Glue作业配置优化 #

• 扩容Executor资源：提升并行处理能力，比如设置--executor-memory 16G --executor-cores 4 --num-executors 20（根据集群资源调整），减少任务排队与IO等待时间。
• 启用向量式Parquet读取：确保spark.sql.parquet.enableVectorizedReader=true（默认开启），利用向量读取提升Parquet文件的解析效率。
• 优化广播连接：如果聚合涉及小维度表，设置spark.sql.autoBroadcastJoinThreshold=104857600（100MB），将小表广播到所有Executor，避免跨节点shuffle。

读取与聚合逻辑优化 #

• 避免全分区扫描：明确指定需要的分区范围，比如计算日维度数据时，直接读取对应year/month/day分区的路径，而非扫描所有分区。
• 替换Dynamic Frame为Spark DataFrame：若Dynamic Frame的封装开销过高，直接使用Spark DataFrame读取与聚合，配合上述配置可显著提升性能。示例代码：

  val dailyAgg = spark.read.parquet("s3://your-bucket/brand/client/")
    .filter("year=2024 AND month=05 AND day=15")
    .groupBy("brand", "client", "year", "month", "day")
    .agg(sum("target_metric").alias("daily_total"))
  
  // 基于日聚合结果计算周/月数据
  val monthlyAgg = dailyAgg.groupBy("brand", "client", "year", "month")
    .agg(sum("daily_total").alias("monthly_total"))
  

• 预聚合中间结果：先计算日维度的聚合数据并保存为中间表，再基于中间表计算周/月维度数据，避免重复扫描原始大文件。

内容的提问来源于stack exchange，提问作者Nabeel Khan Ghauri