如何从百万级日增文本记录中高效识别新增、更新及重复记录
海量文本关联记录增量识别方案
方案1:原始文本前置哈希比对(优先推荐,性能最优)
该方案在文本解析阶段完成重复过滤,不需要全量入库后再比对,能大幅降低计算量:
- 先为每条跨多行存储的逻辑记录生成唯一业务主键
biz_id,生成规则和主表Primary key的生成规则完全对齐 - 为每条完整逻辑记录生成全量特征哈希
full_hash:把这条记录所有字段(包含后续要拆分到各子表的全部关联内容)按固定顺序拼接后生成SHA256哈希值 - 提前在数据库中创建哈希校验表,仅需三个字段:
biz_id(主键)、full_hash、updated_at,每日跑批前先把该表全量数据拉取到本地生成内存KV结构,百万级数据内存占用不到100MB,无性能压力 - 流式解析文本时,每条记录生成
biz_id和full_hash后直接查询内存KV:- 无对应
biz_id:标记为需入库的新增记录,正常解析写入主表+子表,同时把biz_id和full_hash写入哈希校验表 - 有对应
biz_id但full_hash不一致:标记为需替换的更新记录,按主表PK删除旧的主表+所有关联子表数据,再插入新解析的全部数据,同时更新哈希校验表的full_hash和updated_at - 有对应
biz_id且full_hash一致:标记为可忽略的重复记录,直接跳过处理
- 无对应
- 该方案天然满足子表变动判定父级更新的要求:只要任意子表关联内容有变化,全量哈希值就会不一致,无需额外做关联比对。
方案2:入库后关联比对(适合已有成熟解析流程,不想改动前置逻辑的场景)
该方案对现有流程侵入性低,仅需新增临时表比对环节:
- 当日全量文本先解析写入结构和正式表完全一致的临时表组:
tmp_master、tmp_child1、tmp_child2……tmp_childN - 给所有子表加联合唯一索引(主表PK + 子表业务唯一字段),比对时直接通过
LEFT JOIN加IS NULL判断快速定位差异 - 识别重复记录:临时主表的PK在正式主表存在,且所有关联子表内容完全匹配的记录,判定为重复,直接从临时表中删除
- 识别新增记录:临时主表的PK不在正式主表的记录,判定为新增,直接批量写入正式主表+子表
- 识别更新记录:临时主表的PK在正式主表存在,但任意一张子表和正式子表内容有差异的记录,判定为更新,先删除正式库旧关联数据,再插入临时表新数据
注意事项
- 跨多行文本解析前先做边界校验,避免单条记录拆分错误导致哈希或比对结果异常
- 30GB大文件处理优先用流式解析+分批提交,不要一次性加载全量文件到内存
- 哈希比对场景可新增CRC32短哈希作为前置校验项,短哈希不一致再比对长哈希,进一步提升比对效率
内容的提问来源于stack exchange,提问作者Atul Jain
相关产品推荐
相关产品推荐

