Pandas 如何基于BillNo1、BillNo2列的部分字符串匹配合并两个DataFrame
Pandas 基于部分单号匹配的两表关联合并实现
核心匹配逻辑说明
- 硬关联前置校验:仅在同一ID、同一Amount的记录范围内匹配,避免跨客户、跨金额的错配
- 单号匹配规则:从
BillNo1、BillNo2的字符串中提取连续数字组成的核心编号串,核心串完全一致即判定为匹配成功,完全覆盖示例中带斜杠、带前后缀的单号场景
分步实现代码
1. 依赖导入与核心编号提取函数
import pandas as pd import re def extract_core_billno(text): """从单号字符串中提取连续数字组成的核心匹配值""" if pd.isna(text): return "" return "".join(re.findall(r"\d+", str(text)))
2. 数据预处理
为两个数据框生成匹配用的核心编号列:
df1["core_billno"] = df1["BillNo1"].apply(extract_core_billno) df2["core_billno"] = df2["BillNo2"].apply(extract_core_billno)
3. 全外连接关联
基于ID、Amount、核心编号三个字段做外连接,保留全部未匹配记录:
merged = df1.merge( df2, on=["ID", "Amount", "core_billno"], how="outer", suffixes=("_df1", "_df2") )
4. 拆分匹配/未匹配结果集
# 匹配成功结果:两表单号均非空的记录 matched = merged.dropna(subset=["BillNo1", "BillNo2"])[ ["Date_df1", "ID", "Amount", "BillNo1", "BillNo2"] ].rename(columns={"Date_df1": "Date"}).reset_index(drop=True) # 未匹配成功结果:合并df1侧无对应记录、df2侧无对应记录的条目 unmatched_from_df1 = merged[merged["BillNo2"].isna()][ ["Date_df1", "ID", "Amount", "BillNo1"] ].rename(columns={"Date_df1": "Date"}) unmatched_from_df2 = merged[merged["BillNo1"].isna()][ ["Date_df2", "ID", "Amount", "BillNo2"] ].rename(columns={"Date_df2": "Date"}) non_matched = pd.concat([unmatched_from_df1, unmatched_from_df2]).reset_index(drop=True)
可调整点
- 如果匹配规则需要保留单号中的部分字母片段,可修改
extract_core_billno内的正则表达式,匹配需要保留的字符规则即可 - 如果存在同ID同Amount下同一核心单号对应多条重复记录的场景,可在合并前增加
drop_duplicates逻辑去重,避免冗余匹配
内容的提问来源于stack exchange,提问作者Gopal Chitalia
相关产品推荐
相关产品推荐

