如何解决AWS S3请求超时错误：Rundeck中Pentaho任务挂起问题

潜在原因 #

• S3连接闲置超时：AWS S3默认对闲置连接有超时限制（通常5分钟），若Pentaho的文本输出任务在拉取大表数据时，长时间未向S3发起读写操作，会触发该超时导致连接被关闭，后续写入流程中断。
• 并行任务资源竞争：多表并行拉取任务共享S3连接池时，单个任务的连接超时会导致连接池状态异常，其他任务无法获取有效连接完成写入。
• EC2实例网络链路问题：运行任务的m5.2xlarge实例可能遭遇网络波动，或被VPC内的NAT网关、防火墙等中间设备强制断开TCP连接，时间窗口（10分钟-2小时）符合部分中间设备的超时阈值。
• S3客户端配置缺失：Pentaho的S3客户端可能未配置合理的超时重试策略，单次超时后无法自动重建连接，导致任务挂起。

诊断与解决方法 #

• 核查S3客户端参数：检查Pentaho文本输出任务的S3客户端配置，调整socket闲置超时时间（建议设置为大于最长数据拉取耗时），同时启用自动重试机制（需确保写入操作幂等，避免重复数据）。
• 监控EC2网络状态：任务运行期间，通过netstat -anp或ss -tulpn命令监控实例的TCP连接状态，查看是否有异常断开的连接；同时检查VPC NAT网关、安全组的连接超时配置。
• 优化并行任务写入策略：将各并行任务的S3连接改为独立实例，避免连接池共享冲突；或调整数据写入逻辑，拉取一批数据就立即写入S3，减少连接闲置时长。
• 启用S3访问日志：开启目标S3桶的访问日志，结合AWS CloudTrail记录，分析超时请求的详细上下文（如请求ID、发起时间），区分是客户端还是服务端问题。
• 单任务隔离测试：暂时禁用并行，单独运行task_read_table_1，验证是否因该任务拉取耗时过长导致连接闲置超时，定位具体任务的瓶颈。
• 核查Rundeck与EC2生命周期：确认Rundeck任务的超时配置未被覆盖，同时检查EC2实例是否存在意外终止、网络中断等异常事件。

附：Rundeck步骤定义 #

echo "Using AMI $(aws ec2 describe-images --owners 660354881677 --filters 'Name=name,Values="ds-pentaho-v1.15.0"' --query 'sort_by(Images, &CreationDate)[-1].ImageId' --output text)"
/usr/local/bin/pentaho-cli run-ec2 --environment prd \
--ami-id $(aws ec2 describe-images --owners 660354881677 --filters 'Name=name,Values="ds-pentaho-v1.15.0"' --query 'sort_by(Images, &CreationDate)[-1].ImageId' --output text) \
--arg BOOL_ARG_1=true \
--instance-type "m5.2xlarge" \
--on-demand \
--max-fleet-retries "2" \
--emr-host "some_emr_host.net" \
--dir "/some/job/path/" \
--job "some_job_name"

附：相关日志 #

2022/12/02 06:21:31 - tfo: task_read_table_2 - linenr 13900000
2022/12/02 06:21:11 - tfo: task_read_table_1 - linenr 900000 <- Last Line output for table 1 here
2022/12/02 06:21:59 - tfo: task_read_table_2 - linenr 15150000
2022/12/02 06:22:00 - tfo: task_read_table_2 - linenr 15200000
2022/12/02 06:22:01 - tfo: task_read_table_2 - linenr 15250000
com.amazonaws.services.s3.model.AmazonS3Exception: Your socket
connection to the server was not read from or written to within the
timeout period. Idle connections will be closed. (Service: Amazon S3;
Status Code: 400; Error Code: RequestTimeout;
2022/12/02 06:22:02 - tfo: task_read_table_2 - linenr 15300000
2022/12/02 06:22:03 - tfo: task_read_table_2 - linenr 15350000
2022/12/02 06:24:52 - in: task_read_table_2 - Finished reading query, closing connection.
2022/12/02 06:24:54 - tfo: task_read_table_3 - linenr 50000
...
2022/12/02 06:35:53 - tfo: task_read_table_3 - linenr 37500000
2022/12/02 06:35:54 Finished reading query, closing connection.
<The job hangs here!>

内容的提问来源于stack exchange，提问作者J Weezy