能否使用Python重建CSV中的打乱句子以匹配对应完整语句?
Python 实现打乱句子CSV重建方案
该需求完全可以通过Python实现,且实现成本极低,不需要训练专门的语义模型。
实现前提
你已经通过模糊匹配完成了「完整句CSV条目」和「对应打乱片段组」的一一映射,不需要在重建阶段重复做两类文件的跨条目匹配,这一步已经解决了最核心的关联问题。
具体实现逻辑
核心思路
因为你手里持有完整的目标句原文,不需要从零做无参照的语义拼接排序,只需要对每一组对应的打乱片段,通过计算拼接结果和目标完整句的文本相似度,取最优的拼接顺序即可,最终准确率可以达到100%。
- 基础处理流程:
- 读取两类CSV的文本内容,加载已确认的匹配映射关系
- 对每一组片段,生成所有可能的排列组合,逐一组装为完整句子
- 用内置的文本相似度工具计算每个组装结果和对应目标完整句的匹配度
- 选出匹配度最高的组装结果作为重建内容,批量导出为新的CSV文件
简化代码示例
import pandas as pd from itertools import permutations from difflib import SequenceMatcher # 读取CSV文件,根据实际列名调整参数 full_sent_csv = pd.read_csv("完整句存储文件.csv") # 这里的match_map为你之前通过模糊匹配得到的映射关系:key为完整句的行索引,value为对应行的所有打乱片段列表 match_map = { 0: ["jumps over the", "The quick brown fox", "lazy dog."] } def get_best_join(frag_list, target_sent): highest_sim = 0 best_text = "" # 遍历所有片段排列,找和目标句最相似的拼接结果 for seq in permutations(frag_list): join_text = " ".join(seq).strip() # 自动修正拼接时产生的多余空格 join_text = " ".join(join_text.split()) current_sim = SequenceMatcher(None, join_text, target_sent).ratio() if current_sim > highest_sim: highest_sim = current_sim best_text = join_text return best_text, highest_sim # 批量处理所有条目 output_rows = [] for row_idx, target_sent in full_sent_csv["sentence对应列名"].items(): frags = match_map[row_idx] rebuilt, sim = get_best_join(frags, target_sent) output_rows.append({ "目标完整句": target_sent, "重建结果": rebuilt, "重建相似度": round(sim, 4) }) # 导出结果 pd.DataFrame(output_rows).to_csv("重建完成的句子.csv", index=False, encoding="utf-8-sig")
计算性能优化
如果单条句子拆分后的片段数量超过6个,全排列计算量会明显上升,可通过以下方式降低算力消耗:
- 先提取每个片段的开头2个词、结尾2个词的特征,优先匹配存在常规英文搭配衔接的片段对(比如
the接lazy、fox接jumps),缩小候选排列范围 - 再在缩小后的候选范围内计算和目标句的相似度,不影响最终准确率
- 拼接时注意保留原片段的标点格式,不要强行统一大小写,避免破坏原句格式
内容的提问来源于stack exchange,提问作者Paula Clark
相关产品推荐
相关产品推荐

