Python NLP问题：无法打印文件文本及词频统计异常求助

嗨，我来帮你排查这两个问题！这俩都是用NLTK时很容易踩的坑，咱们一步步来解决：

一、终端打印文件文本失败的常见原因&解决办法 #

• 文件路径搞混了：很多时候是相对路径不对，比如你的脚本在/project/scripts，但文件在/project/data，直接写file.txt肯定找不到。可以先打印当前工作目录确认：print(os.getcwd())，要么用绝对路径，要么把路径调整对。
• 编码不匹配：如果文本里有非ASCII字符（比如中文、特殊符号），打开文件时没指定编码会导致读取失败或乱码。一定要加上encoding='utf-8'（如果是GBK编码就换gbk），比如：

  with open('your_file.txt', 'r', encoding='utf-8') as f:
      text = f.read()
  

• 读取模式错了：要是用了'rb'二进制模式，读出来的是字节串，打印出来会是b'xxx'这种格式，改成'r'文本模式就好。

二、单词明明存在但计数为0的核心问题 #

这个基本都是预处理不到位导致的，NLTK不会自动帮你处理大小写、标点这些细节：

• 大小写不一致：文本里是"Python"，你统计的是"python"，结果肯定是0。处理时先把整个文本转小写：text = text.lower()，或者统计时把目标单词也转小写。
• 分词没处理标点：比如文本里是"hello,"，你统计"hello"就找不到。别自己用split()分词，用NLTK的word_tokenize，再过滤掉非字母字符：

  from nltk.tokenize import word_tokenize
  tokens = word_tokenize(text)
  cleaned_tokens = [token.lower() for token in tokens if token.isalpha()]
  

• 误过滤了目标单词：检查下有没有加停用词过滤，是不是不小心把要统计的单词加到停用词列表里了，或者预处理时误删了。
• 文本根本没读对：如果前面读取文件就出错了，处理的是空文本或者不完整的内容，计数自然是0。先打印读取到的文本片段，确认内容正确。

给你一份完整的测试代码 #

把下面的代码改改路径和目标单词，跑一遍试试：

import nltk
from nltk.tokenize import word_tokenize
import os

# 先下载NLTK的分词数据（第一次运行需要）
nltk.download('punkt')

# 确认当前工作目录
print("当前工作目录:", os.getcwd())

file_path = "your_file.txt"  # 替换成你的文件路径
target_word = "test"  # 替换成你要统计的单词

try:
    # 读取文件
    with open(file_path, 'r', encoding='utf-8') as f:
        text = f.read()
    
    # 打印前500个字符，确认读取成功
    print("\n读取到的文本片段:\n", text[:500])

    # 预处理分词
    tokens = word_tokenize(text)
    cleaned_tokens = [token.lower() for token in tokens if token.isalpha()]

    # 统计单词
    count = cleaned_tokens.count(target_word.lower())
    print(f"\n单词'{target_word}'的出现次数: {count}")

except FileNotFoundError:
    print(f"❌ 错误：找不到文件 {file_path}，请检查路径是否正确")
except UnicodeDecodeError:
    print(f"❌ 错误：文件编码不匹配，请尝试把encoding改成'gbk'或者其他编码")
except Exception as e:
    print(f"❌ 其他错误: {str(e)}")

内容的提问来源于stack exchange，提问作者Saadia