如何使用NLTK的line_tokenize或word_tokenize分割换行？读取docx文件遇问题

我之前也踩过一模一样的坑！直接用字符串测试分词正常，但从docx提取文本就失效，核心问题不是nltk的工具不好用，而是docx里的换行符根本不是你以为的\n，或者段落结构没处理到位。下面给你一步步排查解决：

第一步：先搞清楚提取的文本里到底是什么换行符 #

docx文件里的换行分两种：段落之间的硬换行，和段落内部的软换行（比如按Shift+Enter的那种），它们对应的字符可能是\r、\v甚至是特殊的控制字符，nltk的分词工具只认标准的\n。你可以先打印文本的原始字符表示确认：

from docx import Document

# 读取docx文件
doc = Document("你的文档.docx")
# 提取所有段落文本并拼接
raw_text = "\n".join([para.text for para in doc.paragraphs])
# 用repr()打印原始字符，能看到真实的换行标记
print(repr(raw_text))

第二步：统一所有换行符为标准的\n #

不管提取到的是\r还是其他换行标记，用正则把它们全部替换成\n：

import re

# 替换所有非标准换行符为\n
processed_text = re.sub(r'[\r\v]+', '\n', raw_text)

第三步：处理空段落（可选但实用） #

有时候docx里会有很多空段落（比如连续的换行），可以先过滤掉这些无效内容，避免分词时出现空句子：

# 提取非空段落并拼接
filtered_paragraphs = [para.text.strip() for para in doc.paragraphs if para.text.strip()]
processed_text = "\n".join(filtered_paragraphs)

第四步：正常分词 #

现在再用sent_tokenize和word_tokenize处理就没问题了：

from nltk.tokenize import sent_tokenize, word_tokenize

# 分句
sentences = sent_tokenize(processed_text)
# 对每个句子分词
for idx, sent in enumerate(sentences, 1):
    tokens = word_tokenize(sent)
    print(f"第{idx}个句子的分词结果：{tokens}")

为啥直接用字符串没问题？ #

因为你手动写的字符串里的换行是标准的\n，nltk能直接识别；但docx提取的文本会保留它内部的换行格式，这些格式和标准换行不兼容，才导致分词失效。

内容的提问来源于stack exchange，提问作者Shubham Pramanick