跨DBMS海量数据同步：如何高效筛选源表未同步至目标表的数据？

兄弟，我之前也踩过跨链接服务器处理千万级数据的坑，原来的NOT EXISTS写法之所以慢，核心问题是跨DBMS的关联查询会频繁在两个服务器之间传输数据，加上全表扫描的开销，2000万行肯定卡到怀疑人生。给你几个亲测有效的优化思路，按优先级排序：

1. 先把源表ID拉到本地临时表，本地比对再回查 #

这是我最常用的方案，把跨服务器的关联变成本地关联，大幅减少数据传输：

-- 第一步：将源表的ID批量导入SQL Server本地临时表
SELECT ID INTO #SourceIDs FROM [ORCLE_DB]..GROUP.TABLEA;

-- 给临时表加索引，加速后续比对（千万级数据必须加，不然本地也慢）
CREATE CLUSTERED INDEX IX_SourceIDs_ID ON #SourceIDs(ID);

-- 第二步：用本地临时表的ID过滤源表，找未同步的数据
SELECT A.* 
FROM [ORCLE_DB]..GROUP.TABLEA AS A
INNER JOIN #SourceIDs S ON A.ID = S.ID
WHERE NOT EXISTS (SELECT 1 FROM TABLEA B WHERE B.ID = S.ID);

如果源表ID量太大（2000万），可以分批拉取，比如按ID范围分段导入临时表，避免一次性占用过多内存。

2. 用LEFT JOIN + IS NULL替代NOT EXISTS，优化执行计划 #

有些情况下，SQL Server的查询优化器对LEFT JOIN的执行计划比NOT EXISTS更友好，尤其是跨链接服务器场景，前提是ID是唯一键（同步用的ID肯定是唯一的）：

SELECT A.*
FROM [ORCLE_DB]..GROUP.TABLEA AS A
LEFT JOIN TABLEA B ON A.ID = B.ID
WHERE B.ID IS NULL;

⚠️ 重点：一定要确保目标表TABLEA的ID列有主键或非聚集索引，不然本地全表扫描还是会拖慢速度。

3. 推送查询到Oracle端执行，减少数据传输量 #

默认情况下，SQL Server会把源表的所有数据拉到本地再过滤，反过来让Oracle端先执行过滤逻辑，只返回需要的未同步数据，能大幅减少跨服务器传输的数据量。用OPENQUERY实现：

-- 让Oracle端直接比对，只返回未同步的数据
SELECT *
FROM OPENQUERY([ORCLE_DB], 
    'SELECT * FROM GROUP.TABLEA 
     WHERE ID NOT IN (SELECT ID FROM OPENQUERY([你的SQL Server链接名], ''SELECT ID FROM TABLEA''))'
);

如果Oracle无法反向访问SQL Server，可以先把目标表的ID传到Oracle临时表，再在Oracle端比对：

-- 先把SQL Server目标表的ID传到Oracle临时表（需要Oracle端权限）
INSERT INTO OPENQUERY([ORCLE_DB], 
    'CREATE GLOBAL TEMPORARY TABLE TargetIDs(ID INT) ON COMMIT PRESERVE ROWS'
)
SELECT ID FROM TABLEA;

-- Oracle端过滤后返回结果
SELECT * FROM OPENQUERY([ORCLE_DB], 
    'SELECT * FROM GROUP.TABLEA WHERE ID NOT IN (SELECT ID FROM TargetIDs)'
);

4. 从根源解决：改成增量同步 #

如果每次都全量比对2000万行，再怎么优化都有瓶颈，最好改成增量同步：

• 如果源表有UpdateTime或CreateTime时间戳，每次只同步上次同步之后新增/修改的数据：

-- 先获取上次同步的时间（可以存在一个配置表中）
DECLARE @LastSyncTime DATETIME;
SELECT @LastSyncTime = LastSyncTime FROM SyncConfig WHERE TableName = 'TABLEA';

-- 只同步增量数据中未同步的部分
SELECT A.*
FROM [ORCLE_DB]..GROUP.TABLEA AS A
WHERE A.UpdateTime > @LastSyncTime
  AND NOT EXISTS (SELECT 1 FROM TABLEA B WHERE B.ID = A.ID);

-- 更新同步时间
UPDATE SyncConfig SET LastSyncTime = GETDATE() WHERE TableName = 'TABLEA';

• 如果源表没有时间戳，可以用ID范围增量，比如每次同步ID > 上次最大同步ID的数据。

内容的提问来源于stack exchange，提问作者Alfin E. R.