如何最优获取PostgreSQL整表校验和？验证数据复制一致性

针对大表场景，你可以尝试以下几种更高效的验证方案：

1. 分批次计算哈希并对比 #

不要对全表做聚合计算，而是按主键范围、时间戳等维度拆分批次，分别计算每个批次的哈希值后再对比。这种方式不仅能利用并行计算缩短时间，还能快速定位不一致的批次范围。

SELECT 
    floor(id / 10000) AS batch_id,
    md5(CAST(array_agg(f.* ORDER BY id) AS text)) AS batch_hash
FROM foo f
GROUP BY batch_id;

2. 直接用SQL找出差异行 #

利用EXCEPT或全连接对比，跳过全表哈希计算，直接定位不一致的行。差异数据量较小时，这种方法的效率远高于全表哈希。

-- 找出主库存在但从库缺失的行
SELECT * FROM main.foo
EXCEPT
SELECT * FROM replica.foo;

-- 找出两边数据不一致的行（基于主键关联）
SELECT 
    COALESCE(m.id, r.id) AS id,
    '数据不一致' AS status
FROM main.foo m
FULL JOIN replica.foo r ON m.id = r.id
WHERE m IS DISTINCT FROM r;

3. 预计算行级哈希做增量验证 #

在测试前给目标表添加存储行哈希的生成列，后续只需对比行哈希的聚合结果，甚至可以只针对测试期间变更的行做验证：

-- 添加行哈希生成列
ALTER TABLE foo ADD COLUMN row_hash TEXT GENERATED ALWAYS AS (md5(CAST(foo.* AS text))) STORED;

-- 对比行哈希的聚合结果
SELECT md5(CAST(array_agg(row_hash ORDER BY id) AS text)) AS table_hash FROM foo;

4. 开启并行查询加速全表哈希 #

通过PostgreSQL的并行查询特性，让数据库多进程并行处理聚合计算，缩短大表的哈希生成时间：

SELECT 
    md5(CAST(array_agg(f.* ORDER BY id) AS text)) AS table_hash
FROM foo f
PARALLEL 4; -- 指定并行进程数，可根据服务器配置调整

5. 整库层面的校验和验证 #

如果是全库复制场景，可以开启PostgreSQL的pg_checksums功能（需初始化时开启或后续执行pg_checksums enable），直接对比两个数据库的校验和，不过这种方式无法精准到单表。

内容的提问来源于stack exchange，提问作者cobalt17