如何在Shell脚本中对比两个SQL文件并导出可导入的差异SQL？

普通的diff命令只能对比文本内容的差异，但SQL备份文件可能存在INSERT顺序不同、包含注释或重复表结构语句等情况，无法识别数据库层面的记录增删改差异，所以不能直接用它生成可导入的SQL。以下是两种可行的解决方案：

方案一：通过临时数据库手动对比生成差异SQL #

这种方法适合需要精准控制对比逻辑的场景，步骤清晰可控：

1. 创建两个临时数据库，用于分别导入两个备份文件：

mysql -u root -p -e "CREATE DATABASE IF NOT EXISTS db_old; CREATE DATABASE IF NOT EXISTS db_new;"

2. 将两个SQL备份分别导入对应的临时库：

mysql -u root -p db_old < sql1.sql
mysql -u root -p db_new < sql2.sql

3. 生成**新增记录（INSERT）**的SQL语句（假设表名为target_table，主键为id）：

-- 提取新备份中存在、旧备份中不存在的记录
INSERT INTO target_table
SELECT * FROM db_new.target_table t_new
WHERE NOT EXISTS (SELECT 1 FROM db_old.target_table t_old WHERE t_old.id = t_new.id);

4. 生成**更新记录（UPDATE）**的SQL语句（需列出所有需要对比的字段）：

-- 对比主键相同但字段值不同的记录，生成更新语句
UPDATE target_table t
JOIN (
    SELECT t_new.* 
    FROM db_new.target_table t_new
    JOIN db_old.target_table t_old ON t_new.id = t_old.id
    WHERE t_new.col1 != t_old.col1 
       OR t_new.col2 != t_old.col2 
       -- 继续添加其他需要对比的业务字段
) AS updated_rows ON t.id = updated_rows.id
SET 
    t.col1 = updated_rows.col1,
    t.col2 = updated_rows.col2
    -- 对应更新所有需要同步的字段
;

5. 生成**删除记录（DELETE）**的SQL语句：

-- 提取旧备份中存在、新备份中不存在的记录
DELETE FROM target_table
WHERE id IN (
    SELECT id FROM db_old.target_table t_old
    WHERE NOT EXISTS (SELECT 1 FROM db_new.target_table t_new WHERE t_new.id = t_old.id)
);

将上述SQL语句保存为文件，即可直接导入目标数据库。

方案二：使用Percona Toolkit的pt-table-sync工具自动化生成差异SQL #

如果需要高效的自动化对比，可使用Percona Toolkit中的pt-table-sync工具，它能自动识别表的增删改差异并生成可执行的同步SQL：

1. 安装Percona Toolkit（以Debian/Ubuntu为例）：

apt-get install percona-toolkit

2. 运行命令生成差异SQL：

pt-table-sync --print \
h=localhost,D=db_old,t=target_table \
h=localhost,D=db_new,t=target_table \
> diffsql.sql

• --print参数表示仅生成SQL语句不执行；若需直接同步数据库，可替换为--execute
• 命令中指定了两个临时库的表路径，工具会自动匹配主键生成对应的增删改SQL

注意事项 #

• 确保两个备份文件对应的表结构完全一致，若存在结构差异，需先同步表结构
• 必须保证表有明确的主键或唯一索引，否则无法准确匹配记录进行对比
• 操作临时库时避免影响生产环境，建议在测试环境完成对比后再同步到生产库

内容的提问来源于stack exchange，提问作者malina cortova