如何修复Snowflake表与本地源SQL数据库表的记录不匹配问题？

方案1：基于自增ID的快速差异定位 #

利用源表自增ID的特性，先通过极值和计数快速缩小差异范围：

• 分别在源库和Snowflake执行以下SQL，获取ID区间和总记录数：
  源库：SELECT MIN(id), MAX(id), COUNT(*) FROM source_table;
  Snowflake：SELECT MIN(id), MAX(id), COUNT(*) FROM snowflake_table;
  • 若两边ID极值不一致，直接锁定缺失的ID区间；
  • 若极值一致但计数不同，说明区间内存在缺失或重复ID。

进一步精准定位差异ID：

1. 将源表的ID列导出为CSV文件，上传至S3对应阶段
2. 在Snowflake中查询源表不存在的ID：

SELECT id FROM snowflake_table
WHERE id NOT IN (SELECT id FROM @s3_stage/source_id_list.csv)

3. 反过来查询Snowflake缺失的源表ID：

SELECT id FROM @s3_stage/source_id_list.csv
WHERE id NOT IN (SELECT id FROM snowflake_table)

方案2：哈希值校验记录完整性 #

如果需要排查字段值不一致（而非单纯ID缺失），可以通过记录哈希值批量校验：

• 源库生成包含ID和记录哈希的文件（以MySQL为例）：

SELECT id, MD5(CONCAT_WS('|', col1, col2, col3, ...)) AS record_hash 
FROM source_table INTO OUTFILE '/path/to/source_hashes.csv';

将文件上传至S3后，在Snowflake执行比对：

SELECT 
    COALESCE(s.id, src.id) AS id,
    CASE WHEN s.id IS NULL THEN 'Snowflake缺失'
         WHEN src.id IS NULL THEN 'Snowflake多余'
         ELSE '字段值不一致' END AS diff_type
FROM (
    SELECT id, MD5(CONCAT_WS('|', col1, col2, col3, ...)) AS record_hash
    FROM snowflake_table
) s
FULL OUTER JOIN (
    SELECT id, record_hash FROM @s3_stage/source_hashes.csv
) src ON s.id = src.id
WHERE s.id IS NULL OR src.id IS NULL OR s.record_hash != src.record_hash;

方案3：排查Snowflake加载历史 #

检查S3到Snowflake的加载日志，定位是否存在加载异常：

SELECT * FROM TABLE(INFORMATION_SCHEMA.LOAD_HISTORY(
    TABLE_NAME => 'snowflake_table',
    START_TIME => DATEADD(DAY, -30, CURRENT_TIMESTAMP())
));

重点查看ROW_PARSED与ROW_LOADED数值不一致的批次，这类情况通常是加载失败或部分记录未入库的直接原因。

方案4：大表分批次比对 #

针对300-600万条的大表，按ID分批次（如每10万ID为一批）逐步比对，降低单次查询资源消耗：

-- 示例：查询Snowflake中1-100000区间的ID集合
SELECT ARRAY_AGG(id) FROM snowflake_table WHERE id BETWEEN 1 AND 100000;

将该ID集合导出后，在源库中验证是否全部存在；反之亦然，循环处理所有批次即可定位差异。

内容的提问来源于stack exchange，提问作者Boroda