使用AWS S3 SDK对接谷歌云存储时无法获取VersionId的求助

GCS的S3兼容API在版本控制相关的响应格式、字段命名上和AWS S3存在差异，导致AWS SDK无法正确解析versionId和版本列表，以下是针对性解决办法：

1. 分片上传后获取VersionId #

GCS在CompleteMultipartUpload的XML响应中确实会返回VersionId，但AWS Java SDK因节点解析逻辑的差异无法自动提取，可通过添加HTTP响应拦截器手动解析：

S3Client s3Client = S3Client.builder()
        .endpointOverride(URI.create("https://storage.googleapis.com"))
        .credentialsProvider(yourCredentialsProvider)
        .overrideConfiguration(cfg -> cfg.addInterceptor(new HttpResponseInterceptor() {
            @Override
            public void beforeTransmission(Context context) {}

            @Override
            public void afterTransmission(Context context) throws Exception {
                HttpResponse response = context.httpResponse();
                // 仅处理分片上传完成的响应
                if (response.statusCode() == 200 && response.request().path().contains("completeMultipartUpload")) {
                    String xmlBody = new String(response.body().readAllBytes(), StandardCharsets.UTF_8);
                    Document doc = DocumentBuilderFactory.newInstance().newDocumentBuilder()
                            .parse(new ByteArrayInputStream(xmlBody.getBytes()));
                    Node versionIdNode = doc.getElementsByTagName("VersionId").item(0);
                    if (versionIdNode != null) {
                        String gcsVersionId = versionIdNode.getTextContent();
                        // 按需存储或使用该versionId
                    }
                }
            }
        }))
        .build();

2. 修复ListVersions返回空的问题 #

GCS的S3兼容API返回版本列表时，使用<ObjectVersion>节点而非AWS标准的<Version>节点，导致AWS SDK无法解析为S3VersionSummary，推荐两种方案：

方案一：切换到GCS原生SDK查询版本 #

这是最稳定的方式，GCS原生SDK直接支持版本查询，其中generation字段对应S3的versionId：

Storage storage = StorageOptions.getDefaultInstance().getService();
Bucket bucket = storage.get(destBucketName);
// 开启版本查询选项
Page<StorageObject> versions = bucket.list(Storage.BucketListOption.versions(true));
for (StorageObject version : versions.iterateAll()) {
    log.debug("key:" + version.getName() +
              " size:" + version.getSize() +
              " date:" + version.getUpdated() +
              " latest:" + version.isLatest() +
              " versionID:" + version.getGeneration() + ")");
}

方案二：自定义AWS SDK的XML解析逻辑（不推荐） #

若必须使用AWS SDK，需自定义XML Unmarshaller，将GCS的<ObjectVersion>节点映射到S3VersionSummary类，但涉及修改SDK内部逻辑，维护成本较高。

3. 关键注意事项 #

• 确认GCS存储桶的版本控制是启用状态，而非暂停：

  gsutil versioning get gs://your-bucket-name
  

  返回Enabled才是正常启用状态。
• GCS默认不会为首次上传的对象生成版本ID（generation），只有当对象被覆盖或删除时才会生成历史版本，这点和AWS不同，测试时需覆盖一次对象再查询版本。

内容的提问来源于stack exchange，提问作者Dave Breeze