Spark单词过滤与计数异常：指定多单词仅返回lion错误计数

看起来你遇到的问题主要是网上找的代码只硬编码了"lion"这一个单词，而且计数逻辑没考虑完整单词匹配（比如把包含目标单词的更长词也算进去了）对吧？我来给你一个可靠的解决方案，顺便拆解问题根源：

要实现多目标单词的准确计数，需要做到这几点：

• 定义清晰的目标单词集合，避免硬编码单个词
• 匹配完整单词（比如不要把"lioness"里的"lion"算进去）
• 可选处理大小写统一（比如把"Lion"和"lion"算作同一个词）
• 逐行遍历文件，高效统计每个单词的出现次数

import re

def count_target_words(file_path, target_words):
    # 初始化计数字典，每个目标单词初始计数为0
    word_counts = {word.lower(): 0 for word in target_words}
    
    # 编译正则表达式：匹配完整单词，支持多单词，自动转义特殊字符
    # re.IGNORECASE 用于忽略大小写，不需要的话可以删除
    pattern = re.compile(
        r'\b(' + '|'.join(re.escape(word) for word in target_words) + r')\b',
        re.IGNORECASE
    )
    
    # 逐行读取文件，避免一次性加载大文件到内存
    with open(file_path, 'r', encoding='utf-8') as f:
        for line in f:
            # 找到当前行所有匹配的完整单词
            matches = pattern.findall(line)
            for match in matches:
                # 统一转小写后更新计数（和字典键保持一致）
                word_counts[match.lower()] += 1
    
    return word_counts

# ---------------------- 使用示例 ----------------------
# 替换成你要统计的5/17个目标单词
target_words = {"lion", "tiger", "elephant", "giraffe", "zebra"}
# 替换成你的文本文件路径
file_path = "your_sentences.txt"

# 执行统计并打印结果
result = count_target_words(file_path, target_words)
for word, count in result.items():
    print(f"'{word}' 出现了 {count} 次")

大概率是这几个原因：

1. 硬编码单个单词：代码只写了针对"lion"的统计逻辑，没有遍历你的目标单词列表
2. 错误使用str.count()：比如line.count("lion")会匹配任何包含"lion"的子字符串（比如"lioness"、"lionize"），导致计数虚高
3. 未处理大小写：如果文本里有"Lion"、"LION"，会被当成不同的词，导致计数遗漏
4. 未处理单词边界：没有用正则的\b标记匹配完整单词，导致部分匹配被误统计

• 先拿小样本测试：截取几行你知道准确计数的文本，运行代码验证结果是否符合预期
• 检查正则表达式：打印pattern.pattern看看生成的正则是否正确，比如特殊字符（比如"don't"、"mother-in-law"）是否被正确转义
• 验证文件编码：如果你的文本文件不是utf-8编码，把encoding='utf-8'改成对应的编码（比如gbk）

内容的提问来源于stack exchange，提问作者John Deer