如何实现MSSQL到MySQL的增量数据导出？含Laravel场景诉求

当然有可行的增量导出方案！结合你已经用 Laravel Seeder 完成全量同步的情况，我给你梳理几种实用的思路和实操方法：

一、通用增量同步方案 #

1. 数据库级变更捕获（CDC）方案 #

MSSQL 本身自带 变更数据捕获（CDC） 功能，开启后能精准捕获表的新增、更新、删除操作，完全不依赖业务表的 timestamp 字段。你可以开启目标表的 CDC 后，定期读取 MSSQL 生成的 CDC 日志表，解析出变更内容，再转换成 MySQL 兼容的 SQL 语句同步过去。这种方案最可靠，适合数据量较大、对同步精度要求高的场景。

2. 第三方工具同步 #

像 DataGrip、Navicat 这类数据库管理工具都支持增量数据同步功能：

• 如果表有主键和时间戳字段，可以直接配置“基于最后更新时间+主键”的筛选规则，只同步新增/更新的记录；
• 没有时间戳的话，工具也支持通过对比主键范围、甚至记录哈希值来识别差异（不过哈希对比效率偏低，适合小表）。

二、结合 Laravel 全量同步后的增量方案 #

既然已经用 Laravel 完成了全量导出，那基于 Laravel 生态来做增量同步会更顺手，分两种场景处理：

1. 有 timestamp/updated_at 字段的表 #

这是最省心的情况，直接写个自定义 Artisan 命令就能搞定：

• 先建个同步日志表（比如 sync_logs），用来记录每次同步的结束时间；
• 每次执行命令时，从日志表取上次同步的时间，然后查询 MSSQL 中 updated_at > 上次同步时间 的记录；
• 用 Laravel 的 updateOrInsert 方法批量同步到 MySQL，最后更新同步日志的时间。

示例代码片段：

// 获取上次同步时间
$lastSync = SyncLog::where('type', 'mssql_to_mysql')->first();
$lastSyncTime = $lastSync ? $lastSync->ended_at : Carbon::parse('1970-01-01');

// 从MSSQL拉取增量数据
$incrementalData = DB::connection('mssql')
    ->table('your_target_table')
    ->where('updated_at', '>', $lastSyncTime)
    ->get();

// 同步到MySQL
foreach ($incrementalData->chunk(500) as $chunk) {
    foreach ($chunk as $record) {
        DB::table('your_target_table')->updateOrInsert(
            ['id' => $record->id],
            (array)$record
        );
    }
}

// 更新同步日志
SyncLog::updateOrCreate(
    ['type' => 'mssql_to_mysql'],
    ['ended_at' => now()]
);

2. 没有 timestamp 字段的表 #

这种情况得变通一下，给你几个可选方案：

• 主键范围同步：如果表的主键是自增 ID，每次同步时记录上次同步的最大主键值，下次只拉取 id > 上次最大ID 的记录。缺点是捕获不到删除操作，适合只有新增/更新的表；
• 哈希值对比：给 MySQL 表新增 record_hash 字段，存储每条记录所有字段拼接后的 MD5 哈希值。每次同步时，计算 MSSQL 记录的哈希值，和 MySQL 对比，不一致的就是更新记录，没匹配到主键的就是新增记录。这种方法效率低，只适合小表；
• MSSQL 触发器补全时间戳：如果能修改 MSSQL 表，新增一个 last_modified 字段（默认值为当前时间），然后创建 INSERT/UPDATE 触发器，每次操作自动更新该字段。这样就可以转成第一种有时间戳的场景处理，这是最推荐的长期方案，后续维护成本低。

三、优化全量导出耗时的小技巧 #

你提到全量导出用了 6-7 小时，可以试试这些优化点：

• 用 Laravel 的 chunk 方法分批拉取数据，避免一次性加载大量数据到内存，比如 DB::connection('mssql')->table('large_table')->chunk(1000, function ($records) { ... })；
• 批量插入前关闭 MySQL 的外键检查和自动提交，插入完成后再恢复：

DB::statement('SET FOREIGN_KEY_CHECKS=0');
DB::beginTransaction();
// 批量插入逻辑
DB::commit();
DB::statement('SET FOREIGN_KEY_CHECKS=1');

内容的提问来源于stack exchange，提问作者Vincenzo