如何用Spring Boot验证Postgres迁移至MongoDB的数据（抽样验证）

当然可以通过Spring Boot实现抽样验证，以下是具体落地方案：

一、抽样策略选择 #

针对1.5亿条数据规模，推荐两种高效抽样方式：

• 随机抽样：从Postgres中随机抽取指定数量的记录（如1000-10000条），对应匹配MongoDB中的文档
• 规则抽样：按业务维度分段抽样（如ID区间、时间范围、业务类型分组），覆盖不同数据场景，提升验证代表性

二、Spring Boot实现步骤 #

1. 配置双数据源 #

同时配置Postgres（JdbcTemplate）和MongoDB（MongoTemplate）的数据源，确保能同时访问两个库：

application.yml 配置

spring:
  # MongoDB配置
  data:
    mongodb:
      uri: mongodb://${mongo.host}:27017/your_database
  # Postgres配置
  datasource:
    postgres:
      url: jdbc:postgresql://${pg.host}:5432/your_database
      username: ${pg.username}
      password: ${pg.password}
      driver-class-name: org.postgresql.Driver

Postgres JdbcTemplate 配置类

@Configuration
public class PostgresDataSourceConfig {
    @Bean
    @ConfigurationProperties(prefix = "spring.datasource.postgres")
    public DataSource postgresDataSource() {
        return DataSourceBuilder.create().build();
    }

    @Bean
    public JdbcTemplate postgresJdbcTemplate() {
        return new JdbcTemplate(postgresDataSource());
    }
}

2. 高效获取抽样数据 #

避免使用ORDER BY RANDOM()导致的全表扫描，改用分段随机抽样提升性能：

@Service
public class DataVerificationService {
    @Autowired
    private JdbcTemplate postgresJdbcTemplate;

    @Autowired
    private MongoTemplate mongoTemplate;

    // 从Postgres获取随机抽样数据
    public List<Map<String, Object>> getRandomSamples(int sampleSize) {
        String sql = """
            SELECT * FROM your_table 
            WHERE id >= (SELECT floor(random() * (SELECT max(id) FROM your_table))) 
            LIMIT ?
        """;
        return postgresJdbcTemplate.queryForList(sql, sampleSize);
    }
}

3. 数据一致性与新增字段验证 #

编写比对逻辑，验证原有字段一致性，同时检查MongoDB新增字段的存在性：

public void runSampleVerification(int sampleSize) {
    List<Map<String, Object>> pgSamples = getRandomSamples(sampleSize);
    int mismatchCount = 0;
    int missingNewFields = 0;

    // 定义MongoDB新增字段列表
    List<String> requiredNewFields = Arrays.asList("new_field_a", "new_field_b");

    for (Map<String, Object> pgRecord : pgSamples) {
        Object recordId = pgRecord.get("id");
        // 从MongoDB查询对应记录
        Document mongoDoc = mongoTemplate.findOne(
            Query.query(Criteria.where("id").is(recordId)),
            Document.class,
            "your_mongo_collection"
        );

        if (mongoDoc == null) {
            System.out.println("MongoDB缺失ID为[" + recordId + "]的记录");
            mismatchCount++;
            continue;
        }

        // 比对原有字段一致性
        boolean isFieldMatch = true;
        for (String field : pgRecord.keySet()) {
            if (!Objects.equals(pgRecord.get(field), mongoDoc.get(field))) {
                System.out.println("ID[" + recordId + "]字段[" + field + "]不一致：PG=" + pgRecord.get(field) + " | Mongo=" + mongoDoc.get(field));
                isFieldMatch = false;
                break;
            }
        }
        if (!isFieldMatch) {
            mismatchCount++;
        }

        // 验证新增字段存在性
        boolean hasAllNewFields = true;
        for (String newField : requiredNewFields) {
            if (!mongoDoc.containsKey(newField)) {
                System.out.println("ID[" + recordId + "]缺失新增字段[" + newField + "]");
                hasAllNewFields = false;
                break;
            }
            // 如需验证默认值，可在此添加判断逻辑
            // if (!Objects.equals(mongoDoc.get(newField), expectedDefaultValue)) { ... }
        }
        if (!hasAllNewFields) {
            missingNewFields++;
        }
    }

    // 输出验证结果
    System.out.println("\n抽样验证完成：");
    System.out.println("总抽样数：" + sampleSize);
    System.out.println("不一致/缺失记录数：" + mismatchCount);
    System.out.println("缺失新增字段的记录数：" + missingNewFields);
}

三、关键注意事项 #

• 抽样规模：建议抽取1000-10000条，平衡验证准确性与性能
• 性能优化：确保Postgres的ID字段有索引，MongoDB的id字段也建立索引，避免查询瓶颈
• 数据类型兼容：注意Postgres与MongoDB的数据类型差异（如日期、数值类型），比对时需做类型兼容处理
• 批量处理：若抽样量较大，可改用批量查询（Postgres用IN、Mongo用$in）减少IO请求次数

内容的提问来源于stack exchange，提问作者Manjunath