Pandas实现不同结构模板与源数据比对校验方法问询
零基础场景下双结构数据比对的可落地实现方案
已完成的前置操作
- 已通过pandas完成两份原始数据的导入
- 已使用
.str.split方法,以-为分隔符将两份数据拆分为多列 - 已完成数据角色定位:携带标准阈值的为模板数据,待校验的为源数据
- 已明确源数据的特征:同时包含两类条目,一类是与模板结构对应、仅数值存在差异的待校验项,另一类是模板未覆盖的额外条目
核心判定规则
- 匹配逻辑:将源数据条目与对应模板条目做结构对齐,仅校验指定位置的数值类内容
- 判定分支:
- 源数据对应数值 ≤ 模板标准值 → 返回
True - 源数据对应数值 > 模板标准值 → 返回
False - 源条目在模板中无对应匹配项 → 返回
NOT FOUND
- 源数据对应数值 ≤ 模板标准值 → 返回
参考样例
模板数据样例
A-100-50 B-C-01-80 D-E-06-75-60 F-G-H-08-15-90-I
源数据样例
A-95-51 A-105-51 A-95-40 B-C-01-75 D-E-06-76-59 D-E-06-74-61 D-E-06-74-59 F-G-H-08-15-91-I F-G-H-08-15-75-I M-45-50
期望输出样例
| Name | Status |
|---|---|
| A-95-51 | False |
| A-105-51 | False |
| A-95-40 | True |
| B-C-01-75 | True |
| D-E-06-76-59 | False |
| D-E-06-74-61 | False |
| D-E-06-74-59 | True |
| F-G-H-08-15-91-I | False |
| F-G-H-08-15-75-I | True |
| M-45-50 | NOT FOUND |
实操步骤
- 搭建快速检索的模板索引字典
依托已经拆分好的列,先明确两类列的边界:- 结构匹配列:不参与数值校验的文本、编号类内容,将这些列的内容仍以
-拼接成唯一匹配主键 - 校验值列:需要参与比对的数值类内容,按列顺序提取模板中的对应数值,和上面的主键绑定存储
最终模板侧的存储结构为「匹配主键: [对应位置的模板阈值列表]」,保证查找效率。
- 结构匹配列:不参与数值校验的文本、编号类内容,将这些列的内容仍以
- 逐条遍历源数据完成状态判定
对每一行源数据,用完全相同的逻辑拼出结构匹配主键:- 主键未在模板字典中命中 → 状态直接标记为
NOT FOUND - 主键命中对应阈值后,按列顺序逐位对比源数值和模板阈值:只要有任意一个源数值大于同位置的模板阈值 → 状态标记为
False;所有位置的源数值都不超过对应模板阈值 → 状态标记为True
- 主键未在模板字典中命中 → 状态直接标记为
- 整理结果生成输出表
将源数据的原始完整条目、对应的校验状态拼接为两列结构,即可得到符合要求的比对结果。
内容的提问来源于stack exchange,提问作者Rakesh
相关产品推荐
相关产品推荐

