编写MySQL脚本查找数据库中存在重复记录的表

嘿，我来给你整个实用的MySQL方案，能快速定位数据库里有重复记录的表，省得你手动挨个检查表的记录数：

一、批量检测的存储过程脚本 #

这个存储过程会自动遍历当前数据库的所有基表，对比每张表的总记录数和去重后记录数，最后输出存在重复的表：

DELIMITER //

CREATE PROCEDURE FindTablesWithDuplicates()
BEGIN
    DECLARE done INT DEFAULT FALSE;
    DECLARE tableName VARCHAR(255);
    DECLARE cur CURSOR FOR 
        SELECT table_name 
        FROM information_schema.tables 
        WHERE table_schema = DATABASE()  -- 仅检测当前数据库的表
          AND table_type = 'BASE TABLE';
    DECLARE CONTINUE HANDLER FOR NOT FOUND SET done = TRUE;

    -- 创建临时表存储检测结果
    CREATE TEMPORARY TABLE IF NOT EXISTS DuplicateTables (
        table_name VARCHAR(255),
        total_records BIGINT,
        distinct_records BIGINT,
        has_duplicates BOOLEAN
    );

    OPEN cur;
    read_loop: LOOP
        FETCH cur INTO tableName;
        IF done THEN
            LEAVE read_loop;
        END IF;

        -- 动态生成SQL，计算每张表的记录数和去重记录数
        SET @sql = CONCAT(
            'INSERT INTO DuplicateTables ',
            'SELECT "', tableName, '", COUNT(*), COUNT(DISTINCT *), ',
            'COUNT(*) != COUNT(DISTINCT *) ',
            'FROM ', tableName
        );
        PREPARE stmt FROM @sql;
        EXECUTE stmt;
        DEALLOCATE PREPARE stmt;
    END LOOP;

    CLOSE cur;

    -- 仅输出存在重复的表
    SELECT table_name, total_records, distinct_records, has_duplicates 
    FROM DuplicateTables 
    WHERE has_duplicates = TRUE;

    -- 清理临时表
    DROP TEMPORARY TABLE IF EXISTS DuplicateTables;
END //

DELIMITER ;

-- 调用存储过程执行检测
CALL FindTablesWithDuplicates();

二、关键逻辑说明 #

• 脚本通过information_schema.tables获取当前数据库的所有基表（排除视图等非实体表）
• 对每张表，用COUNT(*)统计总记录数，COUNT(DISTINCT *)统计所有列组合去重后的记录数，两者不相等则说明存在重复
• 结果会先存入临时表，最后只筛选出has_duplicates = TRUE的表，一目了然

三、手动单表检测方法 #

如果你只需要检查某一张特定的表，直接运行这两条语句对比结果即可：

-- 查询表的总记录数
SELECT COUNT(*) AS total_records FROM TableA;

-- 查询去重后的记录数
SELECT COUNT(DISTINCT *) AS distinct_records FROM TableA;

如果total_records > distinct_records，就说明这张表存在重复记录。

四、注意事项 #

• 若数据库表多、数据量大，这个批量检测脚本会消耗一定资源，建议在业务低峰时段运行
• 如果你只关心特定列的重复（比如仅按user_id判断重复），可以把COUNT(DISTINCT *)改成COUNT(DISTINCT user_id)
• 要检测其他数据库，把table_schema = DATABASE()替换为具体库名，比如table_schema = 'your_target_db'

内容的提问来源于stack exchange，提问作者genie