基于Pandas实现两个CSV文件的行级匹配词数统计方法
可实现预期输出的具体实现方法
原代码的核心问题
- 对words列错误执行了
str.split()操作:words.csv的word列本身就是独立的目标词,拆分后会把单个词拆成单字符组成的列表(比如"boring"会被拆成['b','o','r','i','n','g']),完全失去匹配价值 - 嵌套循环逻辑错位:拆分后的text字段存储的是每一行文本对应的词列表,不是单个待匹配词,循环时既没有逐行统计匹配数的逻辑,也没有关联原行的number列做结果组装
基础逻辑实现(流程清晰易调试)
- 先将目标词表转为集合,利用集合的O(1)成员判断特性提升匹配效率
- 逐行清洗文本(移除标点、处理多空格拆分的无效空块)
- 统计当前行的匹配词数量,关联原行的number值组装结果
import pandas as pd # 读取两个源文件 df_text = pd.read_csv("text.csv") df_words = pd.read_csv("words.csv") # 构建目标词集合,自动去重 target_words = set(df_words["word"].tolist()) result = [] # 逐行遍历文本表 for _, row in df_text.iterrows(): # 清洗文本:移除逗号这类标点,split()默认按任意连续空白拆分,自动过滤多空格产生的空值 word_list = row["text"].replace(",", "").split() # 统计当前行的有效匹配数 current_match_count = sum(1 for w in word_list if w in target_words) # 组装为要求的子列表格式 result.append([current_match_count, row["number"]])
上述代码运行后得到的结果完全匹配预期:
[[2, 3], [3, 4], [2, 5], [1, 4]]逐行匹配校验:
- 第0行文本匹配到very、great,共2个,对应number=3
- 第1行文本匹配到book、very、boring,共3个,对应number=4
- 第2行文本匹配到very、interesting,共2个,对应number=5
- 第3行文本匹配到book,共1个,对应number=4
向量化简化实现(无显式循环,运行效率更高)
利用pandas内置的字符串匹配能力批量计算,不需要手动写遍历逻辑:
import re # 构建带词边界的正则匹配规则,避免误匹配变形词 match_pattern = "|".join([rf"\b{w}\b" for w in target_words]) # 逐行统计匹配次数,关联number列后转成列表格式 result = ( df_text.assign(match_count=df_text["text"].str.count(match_pattern)) [["match_count", "number"]] .values.tolist() )
加词边界
\b的作用是保证匹配完整的目标词,不会把文本里的"boring123"这类和目标词部分相似的内容误算为匹配项。
内容的提问来源于stack exchange,提问作者Iliyane
相关产品推荐
相关产品推荐

