如何用find、sqlite3和xargs合并多个小型SQLite数据库文件

先说说你之前用的两个命令为啥踩坑了：

第一个命令的问题 #

你第一个命令里把sqlite3 .dump {} | sqlite3 Combined.db用反引号包起来了，这会让shell先执行反引号里的内容，根本不是你想的让xargs逐个处理每个db文件。而且还加了-P 4并行处理，SQLite是单写锁机制，多个进程同时往Combined.db写数据，肯定会锁冲突、报错，甚至搞坏数据库。

第二个命令的潜在问题 #

第二个命令find . -name '*.db' -exec sqlite3 {} .dump \; | sqlite3 Combined.db理论上是串行的，但如果某一个数据库损坏、没权限，或者dump过程出了错，整个管道就会中断，后面的数据库就不会被合并进去——这大概率是你只成功合并单个的原因。

推荐的靠谱解决方案 #

方法1：用循环逐个处理（最稳妥，方便排查问题） #

这种方式能逐个处理每个db文件，还能跳过有问题的文件，不会因为一个出错就全流程卡壳：

for db in $(find . -name '*.db' ! -name 'Combined.db'); do
    echo "正在合并 $db..."
    # 先尝试导出，只有导出成功才写入合并库
    sqlite3 "$db" .dump 2>/dev/null | sqlite3 Combined.db
    # 要是想看到错误信息，把2>/dev/null去掉就行
done

这里加! -name 'Combined.db'是为了避免把刚生成的合并库也塞进去循环，防止套娃。

方法2：修正xargs命令（串行执行） #

如果想用xargs，得去掉并行参数，并且用sh -c把导出和写入的命令打包成一个整体执行：

find . -name '*.db' ! -name 'Combined.db' -print0 | xargs -0 -I{} sh -c 'sqlite3 {} .dump | sqlite3 Combined.db'

这样能保证逐个处理每个db，不会有锁冲突的问题。

额外提醒 #

• 如果你的多个数据库里表名相同但结构不一样，合并时会报错，这时候要么先统一表结构，要么给不同db的表加个前缀区分（比如db1_user、db2_user）。
• 合并后如果有重复数据，得自己写SQL去重，比如针对有唯一标识的表：DELETE FROM your_table WHERE rowid NOT IN (SELECT MIN(rowid) FROM your_table GROUP BY unique_column);
• 合并前一定要备份所有原始数据库文件！万一操作失误，还能找回数据。

内容的提问来源于stack exchange，提问作者Wanderer