如何拆分多个TXT文件的句子并记录所属段落、句位置及去重计数
实现思路
- 第一步:保留段落分隔信息,读取文件后先以
\n\n为分隔符拆分得到所有段落,段落编号直接取段落索引+1即可 - 第二步:逐段处理内容:先把段落内部的换行符替换为空格,解决句子被换行截断的问题,再执行你原有的数字点替换、句子拆分逻辑
- 第三步:句子拆分后逐句遍历,除了过滤指定句子外,同步记录当前句子对应的段落编号、在当前段落中的位置(句子索引+1),三个字段一起存入列表
- 第四步:统计阶段以「句子内容+段落号+位置」为唯一标识分组,计数得到对应出现次数即可
完整可运行代码
from pathlib import Path import pandas as pd import re my_dir_path = "data/text_files/" # 存储所有句子的三个属性:内容、段落号、段落内位置 sentence_records = [] for file in Path(my_dir_path).iterdir(): # 只处理txt文件,避免读入其他格式文件报错 if not file.suffix.lower() == '.txt': continue with open(file, 'r', encoding='windows-1252') as file_open: content = file_open.read() # 第一步:按两个换行拆分段落,过滤掉空段落 # 如果存在3个及以上换行分隔的情况,可以替换为 re.split(r'\n{2,}', content) paragraphs = [p.strip() for p in content.split('\n\n') if p.strip()] # 遍历每个段落,para_idx从0开始,段落号是idx+1 for para_idx, para in enumerate(paragraphs): para_num = para_idx + 1 # 处理段落内的换行,替换成空格,解决句子截断问题 para = para.replace('\n', ' ') # 原有预处理逻辑 para = re.sub(r'(\d+)\.(\d+)', r"\1:\2", para) para = para.replace('. ', '.') # 拆分句子,过滤空字符串 sentences_in_para = [s.strip() for s in para.split('.') if s.strip()] # 遍历当前段落的所有句子,记录位置 for sent_idx, sent in enumerate(sentences_in_para): # 过滤不需要的句子 if 'Verwachting vandaag en morgen:' in sent: continue sent_pos = sent_idx + 1 # 把三个字段存入列表 sentence_records.append({ 'SENTENCE': sent, 'PARAGRAPH': para_num, 'POSITION': sent_pos }) # 转DataFrame df = pd.DataFrame(sentence_records) # 按三个字段分组统计出现次数 df_result = df.groupby(['SENTENCE', 'PARAGRAPH', 'POSITION'], as_index=False).size().rename(columns={'size': 'OCCURENCES'}) # 输出结果查看 print(df_result) # 如果需要导出csv可以用下面的代码 # df_result.to_csv('sentence_stats.csv', index=False, encoding='utf-8-sig')
补充说明
如果后续需要支持感叹号、问号等其他句末标点的句子拆分,可以自行调整句子拆分的正则规则即可。
内容的提问来源于stack exchange,提问作者Bluesheon
相关产品推荐
相关产品推荐

