如何在Spring Boot DynamoDB仓库中实现gzip/zip压缩解压缩？

一、核心思路 #

通过自定义DynamoDB属性转换器（AttributeConverter），在数据写入DynamoDB前自动压缩大字段，读取时自动解压缩。这种方式嵌入映射层，对业务代码侵入性极低，完全适配Spring Data的设计逻辑。

二、实现步骤 #

1. 引入依赖 #

确保项目已引入Spring Data DynamoDB依赖（适配Spring Boot版本调整号）：

<dependency>
    <groupId>com.github.derjust</groupId>
    <artifactId>spring-data-dynamodb</artifactId>
    <version>5.2.0</version> <!-- 对应Spring Boot 3.x，按需修改 -->
</dependency>

2. 自定义压缩/解压缩转换器 #

基于GZIP算法实现字段级的压缩和解压缩，支持字符串类型的大字段：

import org.springframework.data.convert.ReadingConverter;
import org.springframework.data.convert.WritingConverter;
import software.amazon.awssdk.services.dynamodb.model.AttributeValue;

import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.Base64;
import java.util.zip.GZIPInputStream;
import java.util.zip.GZIPOutputStream;

// 写入时：原始字符串 → 压缩后转Base64存储
@WritingConverter
public class StringToCompressedConverter implements AttributeConverter<String, AttributeValue> {

    @Override
    public AttributeValue convert(String source) {
        if (source == null || source.isEmpty()) {
            return AttributeValue.builder().s("").build();
        }
        try (ByteArrayOutputStream baos = new ByteArrayOutputStream();
             GZIPOutputStream gzipOut = new GZIPOutputStream(baos)) {
            gzipOut.write(source.getBytes(StandardCharsets.UTF_8));
            gzipOut.finish();
            String compressedBase64 = Base64.getEncoder().encodeToString(baos.toByteArray());
            return AttributeValue.builder().s(compressedBase64).build();
        } catch (IOException e) {
            throw new RuntimeException("压缩字符串失败", e);
        }
    }
}

// 读取时：Base64压缩字符串 → 原始字符串
@ReadingConverter
public class CompressedToStringConverter implements AttributeConverter<AttributeValue, String> {

    @Override
    public String convert(AttributeValue source) {
        if (source.s() == null || source.s().isEmpty()) {
            return "";
        }
        try (ByteArrayInputStream bais = new ByteArrayInputStream(Base64.getDecoder().decode(source.s()));
             GZIPInputStream gzipIn = new GZIPInputStream(bais);
             ByteArrayOutputStream baos = new ByteArrayOutputStream()) {
            byte[] buffer = new byte[1024];
            int len;
            while ((len = gzipIn.read(buffer)) != -1) {
                baos.write(buffer, 0, len);
            }
            return baos.toString(StandardCharsets.UTF_8);
        } catch (IOException e) {
            throw new RuntimeException("解压缩字符串失败", e);
        }
    }
}

3. 注册转换器到DynamoDB配置 #

创建配置类，将自定义转换器注入到DynamoDB映射上下文：

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.convert.CustomConversions;
import org.springframework.data.dynamodb.core.mapping.DynamoDBMappingContext;
import org.springframework.data.dynamodb.repository.config.EnableDynamoDBRepositories;

import java.util.Arrays;

@Configuration
@EnableDynamoDBRepositories(basePackages = "com.yourproject.repository") // 替换为你的仓库包路径
public class DynamoDBConfig {

    @Bean
    public DynamoDBMappingContext dynamoDBMappingContext() {
        DynamoDBMappingContext context = new DynamoDBMappingContext();
        context.setCustomConversions(customConversions());
        return context;
    }

    @Bean
    public CustomConversions customConversions() {
        return new CustomConversions(Arrays.asList(
                new StringToCompressedConverter(),
                new CompressedToStringConverter()
        ));
    }
}

4. 实体类中使用 #

在需要压缩的大字段上，无需额外注解（全局转换器会自动匹配字符串类型），若需指定特定字段使用，可添加@Convert(converter = ...)：

import software.amazon.awssdk.enhanced.dynamodb.mapper.annotations.DynamoDbBean;
import software.amazon.awssdk.enhanced.dynamodb.mapper.annotations.DynamoDbPartitionKey;

@DynamoDbBean
public class LargeContentEntity {

    private String id;
    // 自动触发压缩的大文本字段
    private String largeContent;

    @DynamoDbPartitionKey
    public String getId() {
        return id;
    }

    public void setId(String id) {
        this.id = id;
    }

    public String getLargeContent() {
        return largeContent;
    }

    public void setLargeContent(String largeContent) {
        this.largeContent = largeContent;
    }
}

5. 仓库层无额外代码 #

仓库接口直接继承CrudRepository，读写操作会自动触发压缩/解压缩逻辑：

import org.springframework.data.repository.CrudRepository;
import com.yourproject.entity.LargeContentEntity;

public interface LargeContentRepository extends CrudRepository<LargeContentEntity, String> {
}

三、注意事项 #

• 算法替换：可将GZIP替换为Snappy、LZ4等性能更优的压缩算法，只需修改转换器中的压缩逻辑。
• 阈值控制：可在转换器中添加长度判断（如字符串长度>10KB才压缩），减少不必要的CPU开销。
• 兼容降级：若存在未压缩的历史数据，可在解压缩失败时直接返回原始字符串，避免业务报错。

内容的提问来源于stack exchange，提问作者Tyali Nexi