逐行遍历Pandas DataFrame,统计行内模式在目标字符串中的出现次数
Pandas逐行统计目标模式出现次数的实现方案
基础场景(纯文本精确匹配)
最直接的实现逻辑是利用Python原生字符串的count()方法统计非重叠子串出现次数,搭配DataFrame的逐行应用能力完成计算,不需要硬编码固定检索值。
可直接运行的示例代码:
import pandas as pd # 构造测试数据集 d = {'day': [1, 2, 3], 'pattern': ['++-', '+++', '-+-']} df = pd.DataFrame(data=d) # 固定的目标查找字符串 s = '++-+++----++-+-' # 逐行取当前行的pattern值,统计在s中的出现次数,生成新列 df['match_count'] = df['pattern'].apply(lambda p: s.count(p))
运行后得到的结果完全匹配预期逻辑:
- 模式
++-在s中共出现3次 - 模式
+++在s中共出现1次 - 模式
-+-在s中共出现1次
进阶场景(支持正则规则、重叠匹配)
如果后续你的模式包含正则特殊字符,或者需要统计重叠匹配的次数,可以配合正则模块实现,避免元字符被误解析:
import re def count_overlap_match(pattern, target_str): # 自动转义正则特殊字符,避免+、-等符号被当做正则规则解析 escaped_pattern = re.escape(pattern) # 零宽前视语法支持重叠匹配统计 match_res = re.findall(f'(?={escaped_pattern})', target_str) return len(match_res) df['match_count_regex'] = df['pattern'].apply(lambda p: count_overlap_match(p, s))
大数据量优化方案
当DataFrame行数较多(十万级以上)时,逐行apply的计算效率会偏低,可以先提取所有去重后的pattern值,批量计算完成后再映射回原表,大幅减少重复计算:
# 提取所有不重复的模式值 unique_pat = df['pattern'].unique() # 批量计算每个模式的出现次数 pat_count_map = {p: s.count(p) for p in unique_pat} # 映射回原表生成新列 df['match_count_fast'] = df['pattern'].map(pat_count_map)
之前尝试用
.str.contains()、groupby().count()没法实现的核心原因:这类方法要么是对DataFrame内部的列值做匹配统计,要么需要提前写死固定的检索值,没办法把外部固定字符串s作为查找池,逐行代入每行的pattern值完成计数。apply方法的灵活性刚好覆盖这类逐行自定义计算的场景。
内容的提问来源于stack exchange,提问作者brooks08
相关产品推荐
相关产品推荐

