新旧HDFS集群同表数据快速对比方案求助（块拆分差异疑问）

我之前处理过几乎一模一样的HDFS集群迁移数据对比场景，给你分享几个亲测高效的方案，完美适配你提到的「块拆分不同、数据量大、需批量对比」的需求：

既然你的任务本身就是ETL+SQL驱动的，直接用SQL做行级对比是最贴合业务逻辑的方式，完全不受HDFS块拆分的影响。

核心思路是：用唯一键/主键关联新旧集群的表，要么对比每行的字段哈希值，要么直接逐字段校验。如果表没有主键，就用全字段拼接的哈希值来匹配。

举个Spark SQL的例子（Hive SQL也类似）：

-- 假设旧集群表为old_cluster_db.target_table，新集群为new_cluster_db.target_table
-- 先找出两边存在差异的行，分三类：旧有新无、新有旧无、数据不一致
SELECT 
    'missing_in_new_cluster' AS diff_type,
    o.*
FROM old_cluster_db.target_table o
LEFT JOIN new_cluster_db.target_table n 
    ON o.unique_id = n.unique_id -- 用唯一键关联，没有的话用全字段哈希
WHERE n.unique_id IS NULL

UNION ALL

SELECT 
    'missing_in_old_cluster' AS diff_type,
    n.*
FROM new_cluster_db.target_table n
LEFT JOIN old_cluster_db.target_table o 
    ON o.unique_id = n.unique_id
WHERE o.unique_id IS NULL

UNION ALL

SELECT 
    'data_mismatch' AS diff_type,
    o.unique_id,
    o.col1 AS old_col1, n.col1 AS new_col1,
    o.col2 AS old_col2, n.col2 AS new_col2
    -- 按需列出需要对比的字段
FROM old_cluster_db.target_table o
JOIN new_cluster_db.target_table n 
    ON o.unique_id = n.unique_id
WHERE 
    -- 用哈希值快速对比全字段，或者逐字段判断
    MD5(CONCAT_WS('|', o.col1, COALESCE(o.col2, 'NULL'), o.col3)) 
    != MD5(CONCAT_WS('|', n.col1, COALESCE(n.col2, 'NULL'), n.col3))

注意事项：

• 处理NULL值：用COALESCE把NULL转成统一的占位符（比如'NULL'），避免哈希计算时因为NULL导致的不一致
• 大表优化：如果是分区表，按分区拆分任务并行执行；如果没有分区，用LIMIT+分批次或者Spark的分布式能力来分散计算压力

如果你只需要快速验证「大部分数据是否一致」，不需要定位到具体行，可以用文件级的校验和对比，避开块拆分的影响。

步骤：

1. 对新旧集群的表，按分区（或按目录）分别合并成单个文件：

   # 旧集群合并分区数据到临时目录
   hadoop fs -getmerge /path/to/old/cluster/table/partition=20240520 /local/tmp/old_part_20240520.txt
   # 新集群同理
   hadoop fs -getmerge /path/to/new/cluster/table/partition=20240520 /local/tmp/new_part_20240520.txt
   

2. 计算合并后文件的MD5（或SHA256）：

   md5sum /local/tmp/old_part_20240520.txt
   md5sum /local/tmp/new_part_20240520.txt
   

3. 批量对比所有分区的MD5值，如果一致则说明该分区数据完全相同；如果不一致，再用方案1定位具体差异行。

这个方案的优势是速度极快，适合批量排查大量表/分区，缺点是无法直接定位到错误行，需要二次排查。

如果你们之后还要频繁做跨集群数据校验，可以部署专门的分布式校验工具，比如Apache Griffin。它支持：

• 配置多数据源（新旧HDFS集群、Hive、Spark等）
• 行级/字段级的自动对比
• 分布式处理超大数据集
• 生成可视化的校验报告

不过这个方案需要一定的部署成本，适合长期有批量校验需求的场景，临时需求的话方案1或2更划算。

• 优先处理分区表：按业务分区（比如日期、地域）拆分对比任务，并行执行，大大提升效率
• 抽样预校验：对于超大规模表，可以先随机抽取1%-5%的数据对比，如果抽样无差异，再考虑全量对比（适合对准确性要求不是100%极致的场景）
• 利用计算资源：如果有Spark/Yarn集群，尽量用分布式计算来处理对比任务，避免单节点瓶颈

内容的提问来源于stack exchange，提问作者bulbcat