Pentaho 9.3上传GZip文件至Amazon S3多段上传异常求助

问题背景 #

使用Pentaho 9.3批量上传GZip文件到Amazon S3时，频繁触发S3 multipart exception caught异常。已在Kettle属性中配置最大分段大小、提升JVM内存，但问题未解决。Pentaho 7.1版本下无此故障，升级后出现；测试作业仅能上传KB级小文件，MB级文件直接被跳过。

排查与解决步骤 #

1. 校验AWS SDK版本兼容性 #

Pentaho 9.3内置的AWS SDK版本和7.1差异显著，可能与S3多段上传API不兼容：

• 替换Pentaho安装目录lib文件夹中所有AWS相关jar包（如aws-java-sdk-s3、aws-java-sdk-core等），改用Pentaho 7.1使用的SDK版本，确保依赖完整替换
• 查看Pentaho官方补丁库，安装针对S3多段上传问题的修复补丁

2. 优化分段大小配置细节 #

检查Kettle属性配置的正确性：

• 确认aws.s3.multipart.max_upload_size的单位为字节，避免因单位误解导致分段配置过小
• 添加aws.s3.multipart.chunk_size配置，建议设置为5MB-100MB之间（S3要求单个分段至少5MB，最后一段除外）
• 验证kettle.properties文件是否被作业正确加载，可通过日志确认配置参数是否生效

3. 核查权限与S3桶配置 #

• 确认上传使用的IAM身份（角色/AKSK）拥有s3:PutObject、s3:AbortMultipartUpload、s3:ListMultipartUploadParts权限，Pentaho 9.3对权限的校验更严格
• 检查S3桶的区域、存储类设置，确保与Pentaho作业中的配置完全匹配，避免跨区域上传的网络波动问题
• 排查桶的版本控制、生命周期规则，确认此类配置未干扰多段上传的完成流程

4. 开启详细日志定位根因 #

修改Pentaho日志配置文件（log4j.xml或logback.xml），添加AWS SDK调试日志：

<logger name="com.amazonaws" level="DEBUG"/>
<logger name="org.apache.commons.httpclient" level="DEBUG"/>

重新运行作业，从日志中查看多段上传各环节的请求/响应细节，明确是分段上传失败、合并失败还是其他环节异常

5. 用AWS CLI验证环境 #

使用AWS CLI执行相同文件的上传操作，验证环境是否正常：

aws s3 cp your_file.gz s3://your-bucket/target-path/ --multipart-chunk-size 10MB

若CLI上传成功，说明问题出在Pentaho的封装逻辑；若CLI也失败，需排查S3环境或网络链路问题

内容的提问来源于stack exchange，提问作者Niti Khamker