如何仅修改指定Python代码行实现文本按标点换行、过滤停用词需求
问题解决方案
原代码的问题在于corpus.split()默认会按所有空白字符(包括换行、空格、制表符等)切割所有内容,直接把替换标点后生成的多行结构完全抹平,过滤停用词后统一用空格拼接就丢失了预期的换行分段。
仅修改标记(1)的代码行即可修复,修改后代码如下:
corpus = '\n'.join(' '.join(w for w in seg.split() if w not in stopwords) for seg in corpus.split('\n') if seg.strip())
逻辑说明:
- 先按
\n把预处理好的文本拆成独立片段,每个片段对应预期要单独成一行的内容 - 对每个片段单独做停用词过滤,用空格拼接成单行文本
- 最后把所有处理后的有效行用
\n拼接,保留预期的换行结构
内容的提问来源于stack exchange,提问作者LJG
相关产品推荐
相关产品推荐

