AWS SDK for Java v2 S3 CRT Async Client putObject调用10秒后触发InvalidStateException

问题现象 #

• 使用AWS SDK for Java v2结合aws-crt的S3 Async Client进行多部分上传（对象大小不确定），偶尔在调用putObject后恰好10秒触发以下错误：

The service request was not made within 10 seconds of doBlockingWrite being invoked. Make sure to invoke the service request BEFORE invoking doBlockingWrite if your caller is single-threaded.

• 该错误出自software.amazon.awssdk.core.async.BlockingInputStreamAsyncRequestBody类的第107行。

环境与代码 #

S3客户端初始化代码 #

S3AsyncClient s3AsyncClient = S3AsyncClient.crtBuilder()
                    .credentialsProvider(credentialsProvider)
                    .region(region)
                    .minimumPartSizeInBytes(8L * 1024 * 1024)
                    .build();

应用运行环境 #

• 单线程应用，基于Java流处理长任务列表
• 部署在0.25 vCPU的AWS Fargate集群上，fork-join池仅包含1个线程

已尝试操作 #

• 曾怀疑maxConcurrency参数不足，将默认值50调整为100，问题仍偶发

分析与解决建议 #

1. 核心原因定位
   错误提示直接点明单线程场景下的请求时序问题：doBlockingWrite调用后10秒内，SDK未成功发起S3服务请求。在单线程模型中，BlockingInputStreamAsyncRequestBody会阻塞等待数据读取，若主线程被其他任务占用，导致SDK无法及时调度发起请求，就会触发这个硬编码的10秒超时。

2. 时序调整

   • 严格遵循提示要求：先调用putObject发起服务请求，再执行doBlockingWrite相关的数据流操作。如果你的代码逻辑是先准备输入流（触发doBlockingWrite）再调用putObject，必须调整顺序，确保SDK先拿到请求触发信号，再处理数据写入。
   • 避免在单线程中让数据流的读写操作阻塞SDK的请求发起逻辑，尽量将输入流准备与请求调用解耦。

3. 低资源环境优化
   0.25 vCPU的Fargate实例资源极为有限，单线程下任何耗时操作都会挤占SDK发起请求的时间窗口，建议：

   • 拆分长任务列表：避免单线程长时间被非上传任务占用，确保上传请求能及时获得CPU时间片。
   • 调整分块大小：当前设置的8MB分块在低资源环境下可能导致单线程处理分块耗时过长，尝试增大minimumPartSizeInBytes（如16MB），减少分块数量，降低线程切换和处理开销。

4. SDK配置调优

   • 检查并调整异步配置：可通过asyncConfiguration()显式设置请求超时，但需注意不要与10秒的窗口冲突。
   • 针对crt客户端，尝试调整advancedConfiguration中的线程池参数，但由于是单线程应用，需确保线程池配置不会与主线程抢占资源，避免加剧资源竞争。

内容的提问来源于stack exchange，提问作者Jonathan Gross