如何减少Spark写入Parquet到S3的调用次数？或寻低成本替代方案

一、优化S3写入，降低单分区请求次数 #

1. 关闭冗余元文件生成 #

Spark写入S3时默认生成的_SUCCESS、_commit、_attempt等元文件是请求次数过高的核心原因之一，可通过以下配置禁用或优化：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    # 禁用全局_SUCCESS文件（若下游不依赖该文件判断写入完成则启用）
    .config("spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs", "false") \
    # 使用Directory Committer，跳过_commit/_started等中间元文件
    .config("spark.hadoop.fs.s3a.committer.name", "directory") \
    .config("spark.sql.sources.commitProtocolClass", "org.apache.spark.sql.execution.datasources.S3ACommitProtocol") \
    # 启用MapReduce提交算法v2，批量处理任务提交，减少元文件数量
    .config("spark.hadoop.mapreduce.outputcommitter.algorithm.version", "2") \
    .getOrCreate()

2. 控制单分区数据文件数量 #

单个分区目录下的多份数据文件会增加PUT请求次数，可通过以下方式优化：

• 移除冗余分区操作：若上游DataFrame已按*cols完成分区，无需额外调用repartition(*cols)，直接使用write.partitionBy(*cols)即可；若必须重分区，确保每个唯一cols组合对应一个Spark分区，避免单目录生成多份数据文件。
• 限制单文件记录数：设置spark.sql.files.maxRecordsPerFile为匹配单分区数据量的值，确保每个分区仅生成一份.parquet文件：

  spark.conf.set("spark.sql.files.maxRecordsPerFile", "100000") # 根据实际数据量调整
  

3. 优化S3客户端连接 #

通过连接复用减少请求开销：

# 增大S3连接池大小，复用TCP连接
spark.conf.set("spark.hadoop.fs.s3a.connection.maximum", "50")

二、无需S3的低成本O(1)读取方案 #

1. AWS DynamoDB #

将*cols组合设为复合主键，其余字段作为属性存储：

• 写入：使用BatchWriteItem批量导入数据，降低单条写入的请求成本；
• 读取：直接按主键查询，原生支持O(1)随机访问；
• 优势：按需计费，无需管理集群，自动扩缩容，适配纯键值对查询场景。

2. AWS Aurora Serverless v2 #

将数据导入Aurora（MySQL/PostgreSQL兼容），为*cols组合创建唯一主键或索引：

• 读取：通过主键直接定位数据，性能接近O(1)；
• 优势：支持SQL语法，兼顾OLTP查询与轻量分析需求，Serverless模式按实际资源使用计费。

3. Apache HBase on EMR #

将*cols拼接为HBase行键，数据存入列族：

• 写入：使用BulkLoad工具高效导入超大规模数据；
• 读取：原生支持行键的O(1)随机访问；
• 优势：适配海量键值存储场景，可通过EMR按需集群控制成本，支持列级存储优化。

4. AWS Redshift（主键优化） #

为*cols组合创建主键，Redshift会基于主键对数据排序分区：

• 读取：直接定位到对应数据块，实现近似O(1)的查询性能；
• 优势：同时支持OLAP分析与快速键值查询，适合兼顾多场景需求的业务。

内容的提问来源于stack exchange，提问作者이준서