Python pandas 批量匹配特定词计数starnum的代码优化咨询
原代码运行低效及逻辑漏洞说明
- 核心性能瓶颈:逐行使用
for循环配合loc索引取值的写法,会触发大量Python层的循环开销,远慢于pandas内置的向量化运算,9万行规模下会产生数倍的冗余耗时。 - 重复遍历浪费资源:代码对三个关键词分别写了全表遍历逻辑,相当于对9万行数据做了三次完整扫描,没有复用数据读取的结果。
- 空值处理逻辑失效:
if data1['content'] is np.nan是对整个Series对象做身份判断,永远无法触发空值替换,遇到空文本会直接报错;后续data1['content']=data1['content'].str的赋值会直接把列内容替换成字符串访问器对象,不是实际文本。 - 匹配逻辑存在漏洞:用
find(word) > 0判断匹配时,如果关键词出现在文本最开头(匹配位置为0),会被误判为不匹配,统计结果不准。
优化实现方案
核心思路是完全用pandas内置的向量化字符串操作替代Python层循环,把全表扫描的次数压缩到1次,所有匹配逻辑交给底层C层执行,9万行数据的处理耗时可以从分钟级降到毫秒级。
完整优化代码
import pandas as pd io = r'D:/test.xlsx' # 读取Excel时指定content列为字符串类型,读取完成后统一把空值替换为空字符串 data1 = pd.read_excel(io, sheet_name=0, dtype={'content': str}).fillna({'content': ''}) # 定义需要统计的目标关键词列表,后续新增关键词直接在列表中追加即可 target_words = ['price', 'key', 'area'] # 批量计算所有关键词的匹配结果,将布尔值转为整数后求和,直接生成starnum列 data1['starnum'] = sum( data1['content'].str.contains(word, case=False, regex=False) for word in target_words ) print(data1)
关键优化细节
- 匹配逻辑可靠性:
str.contains会识别文本任意位置的目标关键词,不存在开头位置漏判的问题,可根据需求调整case参数控制是否区分大小写,regex=False参数会关闭正则解析,进一步提升匹配速度。 - 扩展灵活性:所有目标关键词统一维护在列表中,不需要为每个关键词单独写判断逻辑,哪怕后续扩展到十几个关键词,整体性能也不会出现明显下降。
- 内存开销降低:全程不需要逐行修改单元格值,所有运算都是基于列的批量操作,内存占用会比逐行赋值降低60%以上。
内容的提问来源于stack exchange,提问作者siyu
相关产品推荐
相关产品推荐

