使用Python dedupe库模糊查重遇IndexError报错求助

这个错误我之前处理过，核心原因是你的数据集太小了（只有3条记录），而pandas_dedupe底层依赖的dedupe库需要足够多的样本来生成候选重复对、训练分类器，当数据量不足以支撑这个流程时，就会出现“无法从空序列中选择”的报错。另外还有几个细节可能影响结果，下面逐一说明解决方案：

1. 扩展数据集规模（最直接的解决办法） #

dedupe库需要足够的候选对来完成训练，至少要有几十条数据才能正常工作。如果是测试用，你可以复制现有数据生成更多样本，比如：

import pandas as pd
import pandas_dedupe

# 读取原始小数据集
df = pd.read_csv("duptest.csv")
# 复制5次数据，扩展数据集
df_extended = pd.concat([df]*5, ignore_index=True)
# 再执行去重
df_deduped = pandas_dedupe.dedupe_dataframe(df_extended, ['Vendor','Invoice Ref Num','Invoice Amount'])

2. 手动提供训练数据（适合必须用小数据集的场景） #

如果一定要用少量数据测试，可以手动标注训练样本，跳过自动采样的步骤：

import pandas as pd
import pandas_dedupe

df = pd.read_csv("duptest.csv")

# 初始化deduper对象
deduper = pandas_dedupe.DedupeDataFrame(df, ['Vendor','Invoice Ref Num','Invoice Amount'])

# 手动添加训练样本：指定哪些是重复对，哪些不是
# 格式：(记录索引1, 记录索引2, 是否重复)
deduper.train([
    ((0), (1), True),
    ((0), (2), False),
    ((1), (2), False)
])

# 执行去重
df_deduped = deduper.cleanup()

3. 修正字段类型提升匹配准确性 #

你的Invoice Amount字段是字符串类型（比如'56'），建议转换成数值类型，这样dedupe能更准确地判断金额是否一致：

df['Invoice Amount'] = pd.to_numeric(df['Invoice Amount'])

内容的提问来源于stack exchange，提问作者python_rok