Spark读取S3小文件性能调优：调整连接与线程配置可行吗？

调整这两个配置确实有助于缓解S3上大量小文件读取的性能问题，原因如下：

• spark.hadoop.fs.s3a.connection.maximum = 200：该配置控制S3A客户端的最大连接数。默认10的连接数在处理大量小文件时，会因连接池不足导致频繁的连接建立/销毁开销，以及请求排队等待的情况。调大至200后，Spark Worker可同时发起更多S3请求，减少连接层面的瓶颈。

• spark.hadoop.fs.s3a.threads.max = 100：该配置控制S3传输管理器的并行线程数，负责处理文件的元数据读取和数据传输。大量小文件场景下，每个文件都需要独立的元数据查询和IO操作，更多的并行线程可同时处理多个文件请求，提升整体IO并行度，减少单文件处理的等待时间叠加。

官方文档提到IO密集型进程建议调大这类配置，正是因为这类场景对并行IO的需求远高于默认值的承载能力。

不过需要注意，这两个配置的优化效果有前提：

1. 集群网络带宽需足够支撑更高的并行请求，否则可能出现网络拥堵反而影响性能；
2. AWS账号的S3请求配额需充足（默认S3请求配额较高，但高并发场景仍需确认），避免触发限流。

另外，大量小文件的性能问题根源在于文件数量过多，仅调整连接和线程数只是治标，还可结合以下优化手段：

• 提前将小文件合并为大文件（比如用Spark定期合并S3上的小文件，或上游写入时控制文件大小）；
• 开启S3客户端的元数据缓存（spark.hadoop.fs.s3a.metadatastore.cache.enable=true），减少重复的元数据查询；
• 调整Spark分区数，让分区数与文件数量、集群资源匹配，避免过多小分区导致的任务调度开销。

内容的提问来源于stack exchange，提问作者Hemanth Annavarapu