Python如何比较混合字符串编码列匹配区域并对大数据集快速填充

核心思路是利用O(1)时间复杂度的字典映射+Pandas向量化操作实现最高效的匹配，完全避免逐行遍历、普通merge等耗时操作，千万级数据量下可以在秒级完成处理。 #

实现步骤 #

1. 前置修正 #

不要用list作为DataFrame变量名，会覆盖Python内置列表类导致语法错误，我们先将第二个表重命名为list_df。

2. 构造匹配映射字典 #

直接将codename表的code和region转为键值对字典，查询效率远高于DataFrame关联：

import pandas as pd
# 构造映射字典，提前对codename的code做去重处理，避免映射冲突
codename = codename.drop_duplicates(subset='code', keep='first')
code_region_map = dict(zip(codename['code'], codename['region']))

3. 提取list_df的匹配键 #

截取code字段前3位作为匹配键，Pandas的str操作是向量化实现，效率极高：

# 提取前三位字符作为匹配键，自动忽略末尾数字
list_df['match_key'] = list_df['code'].str[:3]

4. 批量填充region字段 #

# 批量映射填充，匹配不到的结果默认返回NaN，可按需用fillna修改默认值
list_df['region'] = list_df['match_key'].map(code_region_map)
# 可选：删除临时生成的match_key列
list_df = list_df.drop(columns=['match_key'])

性能优势 #

• 字典查询的时间复杂度为O(1)，远高于merge、join等需要排序/笛卡尔计算的关联操作
• 所有操作均为Pandas底层C实现的向量化运算，无Python层循环开销，亿级数据量下也可以高效运行
• 如果数据量超出内存上限，可以替换为Dask框架实现，上述逻辑几乎不需要修改即可支持外存分布式计算

注意事项 #

• 如果list_df的code字段存在长度小于3的异常值，可以提前做过滤/兜底处理，避免匹配结果不符合预期
• 若codename表存在重复的code值，drop_duplicates的keep参数可以根据业务需求调整为last或者自定义规则

内容的提问来源于stack exchange，提问作者Andrew Hoang