You need to enable JavaScript to run this app. Python pandas 批量匹配特定词计数starnum的代码优化咨询
优惠活动
大模型
产品
解决方案
定价
更多

Python pandas 批量匹配特定词计数starnum的代码优化咨询

原代码运行低效及逻辑漏洞说明
  • 核心性能瓶颈:逐行使用for循环配合loc索引取值的写法,会触发大量Python层的循环开销,远慢于pandas内置的向量化运算,9万行规模下会产生数倍的冗余耗时。
  • 重复遍历浪费资源:代码对三个关键词分别写了全表遍历逻辑,相当于对9万行数据做了三次完整扫描,没有复用数据读取的结果。
  • 空值处理逻辑失效:if data1['content'] is np.nan是对整个Series对象做身份判断,永远无法触发空值替换,遇到空文本会直接报错;后续data1['content']=data1['content'].str的赋值会直接把列内容替换成字符串访问器对象,不是实际文本。
  • 匹配逻辑存在漏洞:用find(word) > 0判断匹配时,如果关键词出现在文本最开头(匹配位置为0),会被误判为不匹配,统计结果不准。
优化实现方案

核心思路是完全用pandas内置的向量化字符串操作替代Python层循环,把全表扫描的次数压缩到1次,所有匹配逻辑交给底层C层执行,9万行数据的处理耗时可以从分钟级降到毫秒级。

完整优化代码

import pandas as pd

io = r'D:/test.xlsx'
# 读取Excel时指定content列为字符串类型,读取完成后统一把空值替换为空字符串
data1 = pd.read_excel(io, sheet_name=0, dtype={'content': str}).fillna({'content': ''})

# 定义需要统计的目标关键词列表,后续新增关键词直接在列表中追加即可
target_words = ['price', 'key', 'area']

# 批量计算所有关键词的匹配结果,将布尔值转为整数后求和,直接生成starnum列
data1['starnum'] = sum(
    data1['content'].str.contains(word, case=False, regex=False)
    for word in target_words
)

print(data1)

关键优化细节

  • 匹配逻辑可靠性:str.contains会识别文本任意位置的目标关键词,不存在开头位置漏判的问题,可根据需求调整case参数控制是否区分大小写,regex=False参数会关闭正则解析,进一步提升匹配速度。
  • 扩展灵活性:所有目标关键词统一维护在列表中,不需要为每个关键词单独写判断逻辑,哪怕后续扩展到十几个关键词,整体性能也不会出现明显下降。
  • 内存开销降低:全程不需要逐行修改单元格值,所有运算都是基于列的批量操作,内存占用会比逐行赋值降低60%以上。

内容的提问来源于stack exchange,提问作者siyu

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.20 02:36:04