SQLite：基于table2匹配删除table1重复数据的慢查询问题求助

原查询的核心问题 #

1. 逻辑冗余导致性能浪费：你通过EXCEPT生成table1独有的Urls集合，再用NOT IN反向匹配，等于多做了一次全表扫描、排序和去重操作。800万+400万的数据量下，临时数据集的生成会占用大量CPU和IO资源，直接拖慢整个删除流程。
2. NOT IN的性能缺陷：NOT IN处理大结果集时会逐行比对，效率远低于EXISTS/LEFT JOIN；如果table2.Links存在NULL值，NOT IN还会直接返回空结果，导致删除操作失效。
3. 全量删除的事务压力：一次性删除百万级数据会生成巨量事务日志，锁表时间极长，甚至可能触发数据库超时。

优化步骤 #

1. 先创建必要索引（关键前提） #

无索引时所有查询都是全表扫描，必须先给关联字段加索引：

CREATE INDEX idx_table1_urls ON table1(Urls);
CREATE INDEX idx_table2_links ON table2(Links);

2. 用EXISTS改写删除逻辑 #

替换低效的NOT IN+EXCEPT，直接匹配关联条件，逻辑更清晰，性能提升明显：

DELETE FROM table1 t1
WHERE EXISTS (
    SELECT 1 FROM table2 t2
    WHERE t2.Links = t1.Urls
);

3. 分批删除（避免锁表和日志爆炸） #

数据量过大时，一次性删除仍会出问题，改成批量处理：

WHILE 1=1
BEGIN
    -- 每次删10000条，可根据数据库性能调整数值
    DELETE TOP (10000) FROM table1 t1
    WHERE EXISTS (
        SELECT 1 FROM table2 t2
        WHERE t2.Links = t1.Urls
    );
    -- 无数据可删时退出循环
    IF @@ROWCOUNT = 0 BREAK;
END

额外说明 #

如果你的需求是保留table1中与table2不重复的记录（即删除table1中在table2里存在的Urls），上面的改写和原逻辑完全一致；如果需求是删除table1内部的重复记录（比如同一个Urls仅留一条），原逻辑本身就有误，需要用分组取唯一值的方式处理。

内容的提问来源于stack exchange，提问作者shan syed