使用AWS Java SDK列出S3桶文件时遇连接池超时问题求助

你遇到的连接池超时错误，本质是一次性发起大量GetObject请求+未及时释放流资源导致连接池被占满，新请求无法获取连接而超时。同时你把所有文件路径提前转成List加载到内存，不仅浪费内存，还会触发批量请求进一步加剧连接池压力。

以下是具体优化措施：

1. 调整S3客户端连接池参数 #

默认连接池配置的最大连接数、超时时间不足以支撑大量请求，初始化客户端时手动配置：

val s3Client = S3Client.builder()
  .httpClientBuilder(
    ApacheHttpClient.builder()
      .maxConnections(80) // 根据机器性能调整，建议50-100
      .connectionTimeout(Duration.ofSeconds(30))
      .socketTimeout(Duration.ofSeconds(60))
  )
  .region(Region.XXX) // 替换为你的桶所在区域
  .build()

增大最大连接数的同时调整超时阈值，避免请求因等待连接超时。

2. 流式处理文件，避免全量加载路径 #

把list方法返回的List改成Iterator，用流式遍历替代一次性加载所有路径，减少内存占用的同时，控制请求发起节奏：

def list(path: String): Iterator[String] = {
  listFSObjects(path)
    .map(_.path)
    .filter(_.endsWith("csv.gz"))
    .iterator // 用迭代器实现流式处理
}

3. 强制关闭流资源，释放连接 #

ResponseInputStream持有底层HTTP连接，不关闭会导致连接无法回到池内。用Scala的Using（2.13+）或try-finally确保流处理完成后立即关闭：

import scala.util.Using

// 定义文件处理逻辑
def processFile(inputStream: ResponseInputStream[GetObjectResponse]): Unit = {
  // 这里写你的文件处理代码：读取内容、转存、解析等
}

def execute(): Unit = {
  list(fromBucket).foreach { file =>
    Using(getObject(file)) { inputStream =>
      processFile(inputStream)
    } match {
      case Left(e) => logger.error(s"处理文件失败: $file", e)
      case Right(_) => logger.info(s"处理文件成功: $file")
    }
  }
}

每个文件处理完成后，流会自动关闭，连接回到连接池供后续请求复用。

4. 优化列表请求的分页参数 #

默认ListObjectsV2每次返回1000个对象，设置最大允许的maxKeys（10000），减少列表请求的总次数，降低连接开销：

def listFSObjects(path: String) = {
  val builder = ListObjectsV2Request
    .builder
    .bucket(bucketName)
    .maxKeys(10000) // 增大每页返回数，减少列表请求次数
  val listObjectsV2Request = builder.build()
  awsS3Client.listObjectsV2Paginator(listObjectsV2Request)
}

内容的提问来源于stack exchange，提问作者Cassie