如何在DuckDB中插入Pandas数据并忽略重复记录？

针对DuckDB不支持INSERT OR IGNORE的情况，结合你已设置唯一列、无法提前清洗数据的需求，以下是几种高效的解决方案：

方法1：使用ON CONFLICT DO NOTHING（推荐） #

这是DuckDB支持的标准SQL冲突处理语法，直接利用已设置的唯一列约束，在插入时自动跳过重复记录，无需提前处理DataFrame。

执行代码：

conn.execute('''
INSERT INTO Main
SELECT * FROM df
ON CONFLICT (your_unique_column) DO NOTHING
''')

• 替换your_unique_column为你实际的唯一列名；如果是多列唯一约束，写成(col1, col2)的形式。
• 优势：性能最优，直接利用DuckDB的冲突检测机制，比在Pandas中处理大数据去重快得多，逻辑清晰且不占用额外内存。

方法2：通过临时表+WHERE NOT EXISTS过滤 #

如果未设置唯一约束，或者需要更复杂的过滤逻辑，可以先将DataFrame导入临时表，再通过关联查询过滤已存在的记录：

# 将DataFrame导入临时表
conn.execute('CREATE TEMP TABLE temp_df AS SELECT * FROM df')

# 插入主表时过滤重复
conn.execute('''
INSERT INTO Main
SELECT * FROM temp_df
WHERE NOT EXISTS (
    SELECT 1 FROM Main m 
    WHERE m.your_unique_column = temp_df.your_unique_column
)
''')

# 清理临时表（可选）
conn.execute('DROP TABLE temp_df')

• 适合需要自定义过滤条件的场景，比如除了唯一列外还要匹配其他字段。

方法3：用DISTINCT ON按唯一列去重后插入 #

DuckDB支持PostgreSQL风格的DISTINCT ON语法，可以在查询时直接按唯一列去重，保留每组重复记录中的第一条（可通过ORDER BY指定保留规则）：

conn.execute('''
INSERT INTO Main
SELECT DISTINCT ON (your_unique_column) * FROM df
ORDER BY your_unique_column, insert_time DESC  -- 可选，指定保留最新的记录
''')

• 这个方法会先对DataFrame数据按唯一列去重，再插入主表，适合不需要依赖主表已有数据、仅处理当前DataFrame内部重复的场景。

内容的提问来源于stack exchange，提问作者Sampath Gudibettumane