如何高效检查大SQL表指定末尾行的重复数据？

首先得拆解你之前遇到的问题：你用LIMIT 200000, ...没效果的核心原因是——OFFSET本质是让数据库先扫描并跳过前面的N行，再返回后面的数据，所以当OFFSET值很大时，数据库还是要遍历前20万行，根本没做到真正的“跳过”，速度自然提不上来。

下面是几个能真正缩小检索范围、大幅提升效率的方案，按实用性排序：

1. 用自增ID/时间范围直接过滤（最优解） #

既然你只需要检查最后几千行，那这些行肯定是最新插入的，如果你的表有以下两种字段之一，直接用范围过滤就行：

情况A：表有自增主键（比如id） #

假设你要检查最后5000行，先算出最近5000行的最小ID，再用这个ID作为过滤条件：

-- 先获取最近5000行的最小ID
SELECT MAX(id) - 5000 INTO @min_id FROM your_table;

-- 检查待插入数据是否在最近5000行重复
SELECT id FROM your_table 
WHERE id > @min_id 
  AND date = '待插入日期' 
  AND time = '待插入时间';

因为自增主键本身是有序的，这个查询会直接走主键索引，完全不会扫描前面的行，速度极快。

情况B：没有自增ID，但date+time是按插入顺序递增的 #

先找到最近5000行的最早时间，再用时间范围过滤：

-- 获取最近5000行的最早date和time
SELECT date, time INTO @min_date, @min_time 
FROM your_table 
ORDER BY date DESC, time DESC 
LIMIT 1 OFFSET 4999; -- 取第5000行的时间作为范围下限

-- 检查重复
SELECT id FROM your_table 
WHERE (date > @min_date) 
   OR (date = @min_date AND time >= @min_time)
  AND date = '待插入日期' 
  AND time = '待插入时间';

这个方法的前提是date+time随插入顺序递增，确保最近的5000行就是时间最晚的5000行。

2. 给date和time建联合索引 #

不管用上面哪种方法，给查询条件里的date和time建联合索引都是必须的，能让数据库快速定位符合条件的行，彻底避免全表扫描：

CREATE INDEX idx_your_table_date_time ON your_table(date, time);

如果已经有索引，先确认索引的顺序是否和查询条件匹配（先date后time），顺序不对的话索引效率会大打折扣。

3. 批量检查（进一步优化插入效率） #

如果你是批量插入数据，不要一行一行单独检查，把所有待插入的date+time收集起来，一次性查询最近几千行里的重复项：

-- 假设待插入的日期时间是('2024-05-20', '10:00'), ('2024-05-20', '10:01')...
SELECT date, time FROM your_table 
WHERE id > @min_id -- 用前面的ID范围过滤
  AND (date, time) IN (('2024-05-20', '10:00'), ('2024-05-20', '10:01'));

这样能减少多次查询的网络和数据库连接开销，比单条检查效率提升数倍。

最后再划个重点：永远不要用大OFFSET来跳过数据，它的性能会随着表的增长急剧下降，用范围过滤才是处理这类问题的正确思路。

内容的提问来源于stack exchange，提问作者ez4nick