You need to enable JavaScript to run this app. 基于Pandas实现两个CSV文件的行级匹配词数统计方法
优惠活动
大模型
产品
解决方案
定价
更多

基于Pandas实现两个CSV文件的行级匹配词数统计方法

可实现预期输出的具体实现方法

原代码的核心问题

  • 对words列错误执行了str.split()操作:words.csv的word列本身就是独立的目标词,拆分后会把单个词拆成单字符组成的列表(比如"boring"会被拆成['b','o','r','i','n','g']),完全失去匹配价值
  • 嵌套循环逻辑错位:拆分后的text字段存储的是每一行文本对应的词列表,不是单个待匹配词,循环时既没有逐行统计匹配数的逻辑,也没有关联原行的number列做结果组装

基础逻辑实现(流程清晰易调试)

  1. 先将目标词表转为集合,利用集合的O(1)成员判断特性提升匹配效率
  2. 逐行清洗文本(移除标点、处理多空格拆分的无效空块)
  3. 统计当前行的匹配词数量,关联原行的number值组装结果
import pandas as pd

# 读取两个源文件
df_text = pd.read_csv("text.csv")
df_words = pd.read_csv("words.csv")

# 构建目标词集合,自动去重
target_words = set(df_words["word"].tolist())
result = []

# 逐行遍历文本表
for _, row in df_text.iterrows():
    # 清洗文本:移除逗号这类标点,split()默认按任意连续空白拆分,自动过滤多空格产生的空值
    word_list = row["text"].replace(",", "").split()
    # 统计当前行的有效匹配数
    current_match_count = sum(1 for w in word_list if w in target_words)
    # 组装为要求的子列表格式
    result.append([current_match_count, row["number"]])

上述代码运行后得到的结果完全匹配预期:

[[2, 3], [3, 4], [2, 5], [1, 4]]

逐行匹配校验:

  • 第0行文本匹配到very、great,共2个,对应number=3
  • 第1行文本匹配到book、very、boring,共3个,对应number=4
  • 第2行文本匹配到very、interesting,共2个,对应number=5
  • 第3行文本匹配到book,共1个,对应number=4

向量化简化实现(无显式循环,运行效率更高)

利用pandas内置的字符串匹配能力批量计算,不需要手动写遍历逻辑:

import re

# 构建带词边界的正则匹配规则,避免误匹配变形词
match_pattern = "|".join([rf"\b{w}\b" for w in target_words])

# 逐行统计匹配次数,关联number列后转成列表格式
result = (
    df_text.assign(match_count=df_text["text"].str.count(match_pattern))
    [["match_count", "number"]]
    .values.tolist()
)

加词边界\b的作用是保证匹配完整的目标词,不会把文本里的"boring123"这类和目标词部分相似的内容误算为匹配项。

内容的提问来源于stack exchange,提问作者Iliyane

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.02 08:03:05