基于Python与Jupyter识别重复数据差异及计算频率的所需库咨询

场景与任务说明 #

我有两个数据集，均包含Name、First Name、Street、House Number、Postal Code和City字段，数据量达数百万条。同一主体在两个数据集中存在多种差异形式（例如First Name为"John"/"Jon"、Postal Code差一位数字，其余字段一致）。需完成以下任务：

1. 识别所有差异案例并关联对应数据点（如：仅Name不同；Name与Postal Code同时不同等）
2. 计算数据点间的差异程度（比如"Jon"到"John"的编辑距离为1，Postal Code 34567到34568的差异为1，总差异数为2）
3. 统计每个差异案例的发生频率（以百分比呈现）
4. 统计每个案例下不同距离度量值的发生频率
5. 将上述信息整合成矩阵形式的统计结果

核心数据处理 #

• pandas：负责加载、清洗、合并数据集，对齐同一主体的数据，逐字段对比生成差异案例标签，是处理百万级数据的核心工具。通过merge匹配数据，用布尔运算标记字段差异。
• numpy：配合pandas实现高效批量数值计算，提升大规模数据下的距离计算、频率统计性能。

字符串差异度量 #

• python-Levenshtein：底层C实现的Levenshtein编辑距离计算库，速度极快，适合百万级字符串对比场景，直接计算字符添加/修改的次数。
• fuzzywuzzy：基于python-Levenshtein封装的易用API，可快速获取字符串相似度、编辑距离，简化代码编写。
• editdistance：轻量高效的编辑距离计算库，性能优异，无需额外依赖，适合对速度要求高的场景。

统计与矩阵生成 #

• pandas（内置功能）：通过groupby、value_counts完成差异案例、距离值的频率统计；用pivot_table或crosstab直接生成任务5所需的交叉矩阵。

Jupyter可视化（可选） #

• matplotlib：在Jupyter中绘制频率柱状图、矩阵热力图，直观展示统计结果。
• seaborn：基于matplotlib，提供更美观的统计图表样式，简化复杂可视化的实现。

内容的提问来源于stack exchange，提问作者Lucia