如何用CountVectorizer统计等号前文本出现次数并处理标点

看起来你在使用CountVectorizer时没完全匹配需求，而且统计逻辑可能出了点问题。咱们一步步来解决，最终得到你想要的结果：

核心思路 #

你的需求拆解下来是三个步骤：

1. 从每个字符串中提取=之前的部分
2. 去掉数字格式（如1.）末尾的点号
3. 统计每个处理后内容的出现次数

最直接高效的方式是先手动处理每个字符串，再用Counter统计——毕竟CountVectorizer更适合通用文本分词场景，你的需求用它反而绕了弯路。

完整代码实现 #

from collections import Counter
import re

text = ['a for=apple','b for=ball', 'd for=dog', 'e for=elephant', 'a for=apple', 'd for=dog', '1.=one', '2.=two']

# 处理每个字符串：提取前缀+清洗点号
processed_items = []
for item in text:
    # 提取=前面的内容，split('=', 1)确保只分割第一个=，避免多=的干扰
    prefix = item.split('=', 1)[0].strip()  # strip()可选，用来去除前后多余空格
    # 用正则精准匹配"数字."格式，去掉末尾点号
    cleaned_prefix = re.sub(r'^(\d+)\.$', r'\1', prefix)
    processed_items.append(cleaned_prefix)

# 统计出现次数
final_count = Counter(processed_items)
print(dict(final_count))

运行后会得到你预期的输出：

{'a for': 2, 'b for': 1, 'd for': 2, 'e for': 1, '1': 1, '2': 1}

为什么原来的CountVectorizer方法出错了？ #

1. 统计逻辑错误：CountVectorizer返回的是文档-词频矩阵，每行对应一个输入字符串，每列对应匹配到的token。要得到总次数需要对每列求和，而不是直接取索引或其他错误方式——这应该是你得到错误计数（比如b for显示3次）的核心原因。
2. 缺少清洗步骤：CountVectorizer本身不处理数字末尾的点号，必须额外做预处理。
3. 工具适配问题：你的场景是每个输入字符串只对应一个需要统计的条目，用专门做频次统计的Counter显然更简单直接。

如果你坚持要用CountVectorizer #

也可以先预处理所有字符串，再用它统计，代码如下：

from sklearn.feature_extraction.text import CountVectorizer
import re

text = ['a for=apple','b for=ball', 'd for=dog', 'e for=elephant', 'a for=apple', 'd for=dog', '1.=one', '2.=two']

# 预处理函数
def preprocess(item):
    prefix = item.split('=', 1)[0].strip()
    return re.sub(r'^(\d+)\.$', r'\1', prefix)

# 预处理所有文本
processed_text = [preprocess(item) for item in text]

# 配置CountVectorizer，让它匹配整个字符串作为token
vectorizer = CountVectorizer(token_pattern=r'.+')
word_counts = vectorizer.fit_transform(processed_text)

# 转换为字典格式的统计结果
final_count = dict(zip(vectorizer.get_feature_names_out(), word_counts.sum(axis=0).A1))
print(final_count)

这个方法也能得到正确结果，但步骤更繁琐，所以优先推荐第一种方案。

内容的提问来源于stack exchange，提问作者Balaji