Pandas 大表场景下指定列高效提取10位数字的实现方法
10万行规模下的高效10位数字提取实现
核心原则:全部使用Pandas底层C实现的向量化字符串方法,彻底放弃Python层逐行循环/逐行apply写法,从根源避免卡顿
首选实现(精度、性能双优)
- 匹配规则要精准:只提取独立的、长度恰好为10位的完整数字段,避免把12位、13位长数字串中的中间10位误抓,完全适配示例场景
- 通用正则规则:
(?<!\d)(\d{10})(?!\d),含义是匹配前后都不是数字字符的10位连续数字,不管数字前后是空格、特殊符号、字符串首尾位置都能正确识别,不会漏匹配 - 代码实现(10万行下运行耗时仅百毫秒级,无卡顿):
# 替换为你的实际目标列名 df['extracted_10digit'] = df['source_text_col'].str.extract(r'(?<!\d)(\d{10})(?!\d)', expand=False)
- 示例验证:
输入单元格值:'RECLASS 1239875309823 APPLE 0123456789 INV'
输出提取值:0123456789,不会错误抓取前面13位长数字中的片段
多目标场景适配
如果单个单元格存在多个10位数字、需要全部保留,直接替换为同性能的str.findall方法即可,无额外性能损耗:
df['all_10digit_vals'] = df['source_text_col'].str.findall(r'(?<!\d)(\d{10})(?!\d)')
必须规避的性能坑
- 禁止使用逐行
apply搭配手动正则匹配的写法:这类Python层循环的运行耗时是向量化方法的几十倍,是10万行量级下出现卡顿的核心原因 - 不要自行实现逐字符遍历判断数字长度的逻辑,效率远低于Pandas内置向量化实现
内容的提问来源于stack exchange,提问作者John Mantios
相关产品推荐
相关产品推荐

