如何在gensim中正确分词以适配LineReader训练word2vec模型

现有操作的问题 #

你当前的使用方式不符合LineReader的输入要求，存在两个核心错误：

• 格式不符合要求：原始文件存在大量空行，且同一行包含多个句子，不满足「一句占一行」的规范
• 未完成预处理分词：词语和标点没有拆分（如space.、nuts!）、特殊符号未处理，也没有用空格分隔独立词语，直接加载会导致训练出的词向量质量极差，甚至出现大量无意义的token。

正确预处理流程 #

你需要先对原始文本做标准化处理后再喂给LineReader，英文文本的通用处理步骤如下：

• 分句：将原始文本按句子结束标点（句号、感叹号、问号等）拆分为独立句子，删除所有空行
• 分词：将每个句子拆分为独立的token，把附着在词语上的标点和词语分离
• 可选优化：根据任务需求做标准化处理，比如全转小写、过滤停用词、过滤无意义特殊符号、过滤长度小于2的短词
• 输出：将每个处理完的句子单独存为一行，所有token用空格分隔

代码示例 #

小规模数据集可参考以下实现，大体积数据集建议逐块读取处理避免内存溢出：

import re
from nltk.tokenize import sent_tokenize, word_tokenize

# 输入输出路径配置
raw_file_path = "myfile.txt"
processed_file_path = "processed_corpus.txt"

with open(raw_file_path, "r", encoding="utf-8") as raw_f, \
     open(processed_file_path, "w", encoding="utf-8") as processed_f:
    # 小数据集可直接读取全量内容，大数据集请逐行/逐块读取
    raw_content = raw_f.read()
    # 分句
    sentence_list = sent_tokenize(raw_content)
    for sent in sentence_list:
        # 分词
        token_list = word_tokenize(sent)
        # 可选预处理：转小写、过滤纯符号token
        cleaned_tokens = [
            token.lower() 
            for token in token_list 
            if re.search(r"[a-zA-Z0-9]", token)
        ]
        # 跳过空句子
        if not cleaned_tokens:
            continue
        # 写入文件，一句占一行
        processed_f.write(" ".join(cleaned_tokens) + "\n")

运行代码前需先安装nltk并下载分词模型依赖：

pip install nltk

进入Python交互环境执行：

import nltk
nltk.download('punkt')

处理完成后，使用LineReader('processed_corpus.txt')加载即可符合Word2Vec训练要求。

内容的提问来源于stack exchange，提问作者ℕʘʘḆḽḘ